Harness инженериясы: бұл не және қалай жұмыс істейді

Harness инженериясы дегеніміз не

Harness инженериясы — ЖИ құралының harness-ін, яғни құралдың ЖИ моделінен басқа барлық бөлігін жасау жұмысы.

Модель — тілді оқып, жаза алуы үшін көлемді мәтін деректерінде оқытылған ЖИ жүйесі. ЖИ модельдеріне OpenAI компаниясының GPT, Anthropic компаниясының Claude немесе Google компаниясының Gemini модельдері жатады.

Модель өз бетінше тек мәтінді (кейде суреттерді немесе аудионы) қабылдап, жауап ретінде мәтін жаза алады. Ол бұрынғы әңгімелерді есте сақтай алмайды, өзекті ақпаратты іздей алмайды және кодты іске қоса алмайды. Сондықтан оған модельге қандай ақпарат берілетінін, ол қандай қолданбаларды пайдалана алатынын, не істеуге рұқсат етілгенін және оның жұмысы қалай тексерілетінін басқаратын harness қажет.

Тіпті қарапайым чат-көмекшіге де harness керек. Модель жауап берген бойда әр алмасуды ұмытып қалады, сондықтан harness әңгіменің жазбасын сақтайды. Біреу Париж туралы сұрап, кейін «оның халқы қанша?» деп нақтыласа, harness екі сұрақты да модельге бірге жібереді. Модель «оның» деген сөз Парижді білдіретінін осылай түсінеді.

Бір модельге негізделген екі құралдың нәтижелері соншалықты әртүрлі болуының бір себебі — harness инженериясы. Мысалы, бір тәуелсіз сынақта зерттеушілер модельді (GPT5) өзгертпей, тек harness-ті ауыстырғанда, модельдің бағдарламалау сынағындағы көрсеткіші 11%-ға дейін өзгерді.

Anthropic және OpenAI сияқты ЖИ модельдерін әзірлеушілер Claude Code және Codex сияқты өз ЖИ өнімдері үшін harness жасайды. Ал ЖИ өнімдерін жасайтын компаниялар өздері таңдаған базалық модельдерге арналған harness әзірлейді. ЖИ құралдарын пайдаланатын адамдар да harness-тің бір бөлігін қалыптастырады. Көптеген құралдар оларға тұрақты нұсқаулар енгізуге, қолданбаларды қосуға және құрал әрекетті орындамас бұрын қандай әрекеттер олардың мақұлдауын қажет ететінін таңдауға мүмкіндік береді.

ЖИ агенттеріне арналған harness инженериясы

Кез келген ЖИ құралының harness-і бар, бірақ ЖИ агенттерімен жұмыс істегенде harness инженериясы ерекше маңызды болады. Агенттер көп қадамды тапсырмаларды, мысалы, бәсекелестерді зерттеп, нәтижелерді электрондық кестеге енгізу сияқты жұмыстарды өз бетінше орындайды, ал harness әр қадамды іске асырады. Сондықтан harness қателессе, мысалы, өткен жылғы бағаларды алса, бұл кейінгі қадамдардың бәріне де әсер етеді.

Агент harness-терінің көбі алты негізгі бөліктен тұрады:

1. Агент циклі

Ұлғайту

Агент циклі — тапсырманы бір-бір қадаммен алға жылжытып отыратын harness ішіндегі код.

ЖИ моделі тапсырманы орындау үшін қажетті келесі қадамды анықтап, құрал шақыруын жазады: бұл — harness-тегі құралдың атауын (мысалы, веб-іздеу) және сол құрал не істеуі керек екенін көрсететін қысқа сұрау.

Harness сұрауды байқап, іздеуді іске қосады және нәтижелерді модель көре алатын ақпаратқа қосады. Модель оларды оқып, әрі қарай не істеу керегін шешеді.

2. Контекстті басқару

Модель жалпы білімді оқыту барысында алады, бірақ бұл білім оқыту аяқталған күнмен шектеледі. Оған компанияның файлдары, бүгінгі жаңалықтар немесе әңгіменің басында айтылған нәрселер сияқты нақты тапсырмаға қатысты ештеңе кірмейді.

Мұның бәрі үшін модель өзінің контекст терезесіне сүйенеді: бұл — harness модельге әр жауап алдында беретін мәтін, мысалы, оның нұсқаулары, сұрау, осы уақытқа дейінгі әңгіме және іздеу нәтижелері.

Терезеге тек белгілі бір көлемдегі мәтін ғана сыяды. Тіпті терезе толмай тұрып та модельдер кейде ұзын кіріс мәтіннің ортасында көміліп қалған ақпаратты байқамай қалады.

Сондықтан контекстті басқаруды harness атқарады және әр қадамға қажетті ақпаратты ғана іріктейді. Мысалы, тапсырма бес бәсекелестің бағаларын салыстыру болса, harness әр компанияның бүкіл веб-сайтын емес, тек баға бетін қосуы мүмкін. Ұзақ тапсырмаларда harness бұрынғы қадамдардың толық жазбасын қысқаша түйіндемемен алмастыра да алады, сөйтіп модель бұл тарихпен терезені толтырмай-ақ, не істегенін қадағалап отырады.

3. Құралдар

Құралдар — модель сұраған әрекеттерді орындайтын код. Әр құрал әрекеттің бір түрін атқарады, мысалы, интернеттен іздеу, веб-бетті ашып оқу, кодты іске қосу немесе файлды өңдеу. Модель құрал шақыруын жазғанда, harness оны тиісті құралға беріп, нәтижені қайтарады.

Көптеген harness-терде коннекторлар да бар. Олар — адам берген қолжетімділікті пайдаланып, агентті электрондық пошта, күнтізбе немесе ортақ диск сияқты белгілі бір қолданбаға байланыстыратын құралдар. Мысалы, күнтізбе коннекторы арқылы агент кездесу уақытын ұсынбас бұрын адамның бос уақытын тексере алады.

4. Жад

Жад — бір сеанстан келесі сеансқа ауысатын сақталған ақпарат. Harness сеанс барысында адамның қалаулары немесе жобаның қай кезеңде тұрғаны сияқты қысқа жазбаларды сақтайды. Келесі сеанстың басында harness осы жазбаларды контекст терезесіне қосады, сондықтан модель жаңа сұрауды оқымас бұрын оларды оқиды. Мысалы, агент апталық есепті басынан қайта бастамай, тоқтаған жерінен осылайша жалғастыра алады.

5. Рұқсаттар

Рұқсаттар — агент неге қол жеткізе алатынын және не істей алатынын анықтайтын ережелер. Қолжетімділік ережелері оның қандай файлдарды, қолданбаларды немесе веб-сайттарды аша алатынын белгілейді. Мақұлдау ережелері хабар жіберу немесе сатып алу жасау сияқты қандай әрекеттер адамның мақұлдауын күтуі керек екенін белгілейді.

Агентті жасайтын компания бұл ережелердің бір бөлігін harness кодында орнатады. Содан кейін ұйым әкімшілері өз ережелерін қоса алады, ал жеке пайдаланушылар қай аккаунттарды қосу керектігі сияқты нәрселерді таңдай алады.

6. Тексеру

Тексеру — агенттің жұмысын адамға жетпей тұрып қарап шығатын код. Ол тексерудің екі түрін пайдаланады:

• Тұрақты ережелер — әр жолы бірдей нәтиже беретін (өтетін не өтпейтін) нақты сынақтар, мысалы, есептегі әрбір санның агент шын мәнінде оқыған құжатта бар екенін растау.
• Басқа ЖИ моделінің шолуы — ол жұмысты оқып, баға береді. Ол ережеге айналдыру қиын мәселелерді, мысалы, маңызды тұсты қалдырып кеткен түйіндемені анықтай алады.

Бірде-бір тексеру барлық қатені анықтай алмайды, сондықтан harness-тер әдетте екі түрін де біріктіреді. Тексеру мәселе тапқанда, harness оның сипаттамасын модельдің контекст терезесіне қосып, тапсырманы агент циклі арқылы қайта жібереді. Модель мәселені түзетіп, қайта әрекет жасайды, сондықтан көптеген қателер пайдаланушы нәтижені көрмей тұрып түзетіледі.

Harness инженериясының мысалдары

Клиентпен кездесуге дайындалу

Тапсырма: Клиенттермен жұмыс жөніндегі менеджер агенттен ертеңгі клиентпен кездесуге шешілмеген мәселелер мен күн тәртібінің нобайын қамтитын анықтама дайындауды сұрайды.

Harness не істейді:

• Агент электрондық пошта коннекторы арқылы менеджердің кіріс жәшігінен клиентпен жазысқан хаттарды іздейді.
• Рұқсаттар оған хаттарды оқуға мүмкіндік береді, бірақ жіберуге рұқсат бермейді.
• Контекстті басқару модельге бүкіл кіріс жәшігін емес, тек сол клиентпен соңғы үш айдағы хаттарды береді.
• Агент циклі іздеу мен оқудың бірнеше айналымын орындайды, ал модель тапқанын шешілмеген мәселелер бойынша топтайды.
• Содан кейін тексеру анықтамадағы әрбір мәселенің нақты бір хатқа негізделгенін анықтайды.

Ықтимал нәтиже: Менеджер бір беттік анықтама алады, ондағы әрбір тармақтың қай хаттан алынғанын анықтауға болады.

Ай сайынғы сату есебін жаңарту

Тапсырма: Операциялық бөлімнің жетекшісі агенттен ай сайынғы сату есебін осы айдың көрсеткіштерімен жаңартуды сұрайды.

Harness не істейді:

• Жад өткен айдағы сеанстың жазбаларын, соның ішінде есептің пішімін және жетекшінің сандарды мыңға дейін дөңгелектеу туралы өтінішін жүктейді.
• Файл құралы команданың ортақ дискіндегі сату кестесін ашады.
• Рұқсаттар агентке есептің нобайын өңдеуге мүмкіндік береді, бірақ бастапқы кестені өңдеуге рұқсат бермейді, сондықтан бастапқы сандар байқаусызда өзгертілмейді.
• Тексеру есептегі жиынтық сандарды кестемен салыстырып, олардың сәйкестігін анықтайды.

Ықтимал нәтиже: Есеп өткен айдағыдай пішімде дайын болады, пайдаланушыға оны қайта түсіндірудің қажеті болмайды.

Ортақ кіріс жәшігін сұрыптау

Тапсырма: Қолдау көрсету командасы агенттен таңертең келіп түскен сұрауларды тақырып бойынша сұрыптап, жиі кездесетіндеріне жауап нобайларын дайындауды сұрайды.

Harness не істейді:

• Агент циклі кіріс жәшігіндегі хаттарды бір-бірлеп өңдейді.
• Әр хат үшін модель тақырып белгісін таңдайды, ал harness оны электрондық пошта коннекторы арқылы хатқа қояды.
• Тапсырманың басында harness команданың бекітілген жауап үлгілерін нұсқаулық ретінде контекст терезесіне қосады, сондықтан модель әрбір нобайды үлгіге негіздеп жазады.
• Мақұлдау ережесі команда мүшелерінің бірі әрбір жауапты қарап шығып, жібергенше оны нобай күйінде ұстайды.

Ықтимал нәтиже: Команда күнді сұрыпталған сұраулармен және қарауды күтіп тұрған жауаптармен бастайды.

Веб-сайттағы қатені түзету

Тапсырма: Әзірлеуші бағдарламалау агентінен тапсырысты рәсімдеу түймесінің жұмыс істемеуіне себеп болатын қатені түзетуді сұрайды.

Harness не істейді:

• Агент Sandbox ортасында жұмыс істейді: бұл — кодтың оқшауланған көшірмесі, ондағы өзгерістер жұмыс істеп тұрған веб-сайтқа әсер етпейді.
• Код құралы модельге файлдарды оқуға және өңдеуге мүмкіндік береді.
• Әр өзгерістен кейін тексеру жобаның автоматты сынақтарын іске қосады.
• Кез келген сәтсіз нәтиже модельге жаңа ақпарат ретінде қайтарылады.

Ықтимал нәтиже: Агент сынақтар сәтті өткенше түзетуін жетілдіре береді. Содан кейін әзірлеуші өзгерісті сайтқа шықпас бұрын қарап шығады.

Harness инженериясы, промпт инженериясы және контекст инженериясы: айырмашылығы неде

Промпт инженериясы — жеке бір сұрауды құрастыру және оңтайландыру жұмысы. Контекст инженериясы — модель көретін барлық нәрсені басқару жұмысы. Harness инженериясы — модель жұмыс істейтін бүкіл жүйені жобалау және жетілдіру процесі.

Пайдаланушылар ЖИ harness-іне қалай әсер ете алады

Агент harness-інің көп бөлігін агентті жасайтын компания қамтамасыз етеді, бірақ көптеген ЖИ өнімдері пайдаланушыларға оның бір бөлігін жеке нұсқаулар, қосылған қолданбалар және мақұлдаулар сияқты параметрлер арқылы реттеуге мүмкіндік береді.

Пайдаланушылар агент harness-ін қалыптастырып, агенттің нәтижелерін төрт жолмен жақсарта алады:

1. Тұрақты нұсқаулар

Тұрақты нұсқаулар — адам бір рет жазатын жазбалар, оларды harness әр тапсырманың басында контекст терезесіне қоса алады. Оларды адам әйтпесе әр сұрауда қайталауға мәжбүр болатын кез келген нәрсе үшін орнатқан жөн: өзінің кім екені және немен айналысатыны, мәтіндердің қалай жазылғанын қалайтыны немесе клиенттің ай сайынғы есебі сияқты тұрақты жұмыстың ережелері.

Көптеген ЖИ өнімдері тұрақты нұсқауларды екі деңгейде ұсынады. Бүкіл аккаунтқа арналған нұсқаулар емле бойынша қалаулар сияқты барлық жұмысқа қатысты нәрселерге сай келеді. Жоба нұсқаулары жеке бір клиентке немесе жұмыс процесіне арналған, сондықтан біреуіне арналған нұсқау екіншісіне ауыспайды.

Тұрақты нұсқаулар чат-көмекшілерде де, агенттерде де бірдей жұмыс істейді, бірақ агенттер оларға көбірек тәуелді. Чатта адам әр жауаптан кейін ЖИ-ді түзете алады. Агент жұмысын біреу көргенге дейін көп қадам жасауы мүмкін, сондықтан алдын ала берілген нұсқаулар оны жол бойы бағыттаудың аз ғана тәсілдерінің бірі болып табылады.

Тиімді тұрақты нұсқауларды қалай жазуға болады

• Қысқа нұсқаудан бастаңыз, мысалы: «Мен бағдарламалық жасақтама компаниясында маркетинг менеджерімін. Қарапайым ағылшын тілінде жазыңыз, түйіндемелерді 200 сөзден асырмаңыз және АҚШ емлесін қолданыңыз».
• ЖИ қателескен сайын оларды толықтырып отырыңыз. Егер ЖИ командаға дәл күйінде керек сандарды дөңгелектей берсе, бұл туралы бір жол қосыңыз.
• Нұсқауларды нақты етіңіз: «Сандарды дөңгелектемей, нақты беріңіз» деген нұсқау «Дәл болыңыз» дегеннен тиімдірек.
• Тізімді қысқа ұстаңыз және пайдасы болмай қалған жолдарды өшіріңіз, өйткені әр жол контекст терезесінде орын алады.

2. Қосылған қолданбалар

Қосылған қолданбалар ЖИ өнімін адам қазірдің өзінде пайдаланып жүрген электрондық пошта, күнтізбе немесе ортақ диск сияқты құралдармен байланыстырады. Қолданба қосылғаннан кейін ЖИ тек чатқа қойылған мәтінмен ғана емес, адамның өз ақпаратымен де жұмыс істей алады.

Тапсырма сол қолданбалардағы ақпаратқа тәуелді болғанда, мысалы, электрондық пошта хат тізбектерінен кездесу анықтамасын дайындау немесе ортақ дисктегі құжаттарды қорыту кезінде қосылымдарды орнатқан жөн.

Қолданбаларды қалай қауіпсіз қосуға болады

• Тапсырмаға қажетті қолданбаларды ғана қосыңыз, өйткені әр қосылым қателердің тағы бір ықтимал көзі болады.
• Мүмкіндік болса, тек оқуға арналған қолжетімділікті таңдаңыз. Мысалы, кездесу анықтамаларын дайындайтын агентке хаттарды жіберу емес, тек оқу ғана керек.
• Өнім мүмкіндік берсе, қосылымдарды жоба бойынша реттеңіз. Мысалы, Perplexity-де адамдар әр жоба қандай коннекторларды пайдаланатынын таңдай алады.
• Енді пайдаланылмайтын қолданбаларды ажыратуды ұмытпаңыз.

3. Мақұлдау параметрлері

Мақұлдау параметрлері ЖИ әрекетті орындамас бұрын қандай әрекеттер адамның мақұлдауын күтуі керек екенін анықтайды. Кейбір мақұлдаулар өнімге енгізілген, ал кейбір өнімдер адамдарға мақұлдауды қажет ететін басқа әрекеттерді таңдауға мүмкіндік береді.

Мақұлдау ережелерін қалай белгілеуге болады

• Хабар жіберу, сатып алу немесе файлды жою сияқты кері қайтаруға болмайтын әрекеттер үшін мақұлдауды талап етіңіз.
• Мақұлдау талап етілетін әрекеттер тізімін қысқа ұстаңыз. Егер агент әрбір шағын қадам үшін келісім сұрай берсе, адамдар оқымай-ақ мақұлдай бастайды.

4. Стандарттар және тексерулер

ЖИ өнімдерінің көбінде кейбір стандарттар әуел бастан енгізілген. Мысалы, Perplexity әр тұжырымды тексеруге болатындай етіп, жауаптарына дереккөз сілтемелерін қосады. Пайдаланушы белгілеген стандарттар өнім өздігінен біле алмайтын нәрселерді, мысалы, команда қалайтын есеп пішімін қосады.

ЖИ жұмысы үшін стандарттарды қалай белгілеуге болады

• Қайталанатын жұмыс үшін үлгі ұсыныңыз, сонда ЖИ-дің толтыратын тұрақты құрылымы болады.
• Команда ұнатқан бұрынғы жұмыстың мысалымен бөлісіңіз, сонда ЖИ оның үні мен егжей-тегжей деңгейіне сай жаза алады.
• Әрбір сандық көрсеткіштің жанына дереккөз сілтемесін қосуды сұраңыз.
• Алғашқы нәтижелерді мұқият қарап шығыңыз және қайталанатын кемшіліктерді жаңа тұрақты нұсқауға айналдырыңыз.

Perplexity-дің агент harness-теріне деген тәсілі

Perplexity Computer модельге тәуелсіз harness негізінде жұмыс істейді, ол 20-дан астам озық модельді бір жүйеге біріктіреді. Ол әр тапсырманы қосалқы тапсырмаларға бөліп, оларды қосалқы агенттерге (әрқайсысы бір бөлігін орындайтын жеке агенттер) тапсырады және әр жұмыс бөлігін соған лайықты модельге бағыттайды.

Нұсқауларды, файлдарды және коннекторларды қалай баптау керектігін Perplexity жобалары бойынша нұсқаулықтан біліңіз.

Жиі қойылатын сұрақтар

Harness инженері деген кім?

Harness инженері ЖИ моделінің сенімді жұмыс істеуіне мүмкіндік беретін жүйені жобалайды және оны қолдап отырады. Бұл агент пайдаланатын жаңа құрал қосу, агенттің неге бір қатені қайталай беретінін анықтау немесе ол тапсырманы аяқтар алдында орындайтын тексерулерді күшейту болуы мүмкін. Бұл әзірге стандартты лауазым атауы емес, бірақ жағдай өзгеруі мүмкін. Бұл жұмысты әдетте ЖИ компанияларындағы немесе агенттер әзірлейтін командалардағы бағдарламалық жасақтама инженерлері атқарады. Өнеркәсіпте дәл осы атау сым жгуттарын, яғни көліктер мен машиналардың ішіндегі буылған кабельдерді жобалайтын маманды білдіреді.

Агент harness-і деген не?

Агент harness-і әдетте ЖИ агентіндегі модельдің өзінен басқа барлық нәрсені білдіреді. Оған агент циклін іске қосатын, контексті басқаратын, құрал шақыруларын орындайтын, жадты сақтайтын, рұқсаттардың сақталуын қамтамасыз ететін және агент жұмысын адамға жеткенге дейін тексеретін код кіреді.

Кез келген ЖИ құралында harness бар ма?

Иә. Тіпті қарапайым чат-көмекшінің өзі сөйлесуді қадағалап отыру үшін harness-ке сүйенеді, өйткені модель алдыңғы хабарларды өздігінен есте сақтамайды.

Әзірлеушілер модельді өз бағдарламалық жасақтамасынан API (бір бағдарламаның екіншісіне сұрау жіберуіне мүмкіндік беретін байланыс) көмегімен сұрау жіберу арқылы да пайдалана алады. Бұл жағдайда harness-тің міндетін әзірлеушінің өз коды атқарады.

Жетілдірілген модельдер harness-терді қажетсіз ете ме?

Жетілдірілген модельдерге қадамдық нұсқау азырақ қажет болуы мүмкін, сондықтан бүгінгі harness-тер атқаратын жұмыстың бір бөлігі қысқаруы ықтимал. Бірақ модель өздігінен тек мәтінді мәтінге айналдырады. Оның интернетке қосылымы да, басқа қолданбаларға қолжетімділігі де жоқ. Файлдарға қол жеткізу, әрекеттерді орындау және мақұлдау ережелерінің сақталуын қамтамасыз ету — мұның бәрі модельді қоршаған бағдарламалық жасақтамада жүзеге асады, сондықтан модельдер қаншалықты қабілетті болса да, бұл жұмыс harness-те қала беруі ықтимал.