Harness engineering: čo to je a ako funguje

Čo znamená harness engineering

Harness engineering je práca na budovaní harnessu nástroja AI, teda všetkých častí nástroja okrem samotného modelu AI.

Model je systém AI, ktorý bol natrénovaný na veľkom množstve textu, aby dokázal čítať a tvoriť text. Medzi modely AI patria napríklad GPT od spoločnosti OpenAI, Claude od spoločnosti Anthropic alebo Gemini od spoločnosti Google.

Samotný model dokáže len prijať text (niekedy aj obrázky alebo zvuk) a odpovedať textom. Nepamätá si minulé konverzácie, nevie vyhľadať aktuálne informácie ani spustiť kód. Preto potrebuje harness, ktorý riadi, aké informácie model dostane, ktoré aplikácie môže používať, čo smie robiť a ako sa jeho práca kontroluje.

Aj obyčajný chatový asistent potrebuje harness. Model zabudne každú výmenu hneď, ako odpovie, preto harness uchováva záznam konverzácie. Ak sa niekto opýta na Paríž a potom pokračuje otázkou „koľko má obyvateľov?“, harness pošle modelu obe otázky spolu. Vďaka tomu model vie, že otázka sa týka Paríža.

Harness engineering je jedným z dôvodov, prečo môžu dva nástroje postavené na rovnakom modeli fungovať tak odlišne. Napríklad v jednom nezávislom teste výskumníci ponechali rovnaký model (GPT5), zmenili iba harness a skóre modelu v teste programovania sa zmenilo až o 11 %.

Spoločnosti vyvíjajúce modely AI, ako Anthropic a OpenAI, budujú harnessy pre svoje vlastné produkty AI, napríklad Claude Code a Codex. Firmy, ktoré vytvárajú produkty AI, zasa navrhujú harnessy pre základné modely, ktoré si zvolia. Časť harnessu formujú aj ľudia, ktorí nástroje AI používajú. Mnohé nástroje im umožňujú pridať trvalé pokyny, pripojiť aplikácie a zvoliť, ktoré akcie vyžadujú ich schválenie, skôr než nástroj pokračuje.

Harness engineering pre agentov AI

Každý nástroj AI má harness, no pri práci s agentmi AI nadobúda harness engineering osobitný význam. Agenti samostatne zvládajú viackrokové úlohy, napríklad prieskum konkurencie a zapísanie zistení do tabuľky, a harness riadi každý krok. Ak teda harness urobí chybu, napríklad načíta minuloročné ceny, ovplyvní to aj všetky ďalšie kroky.

Väčšina harnessov agentov má šesť hlavných častí:

1. Agentová slučka

Zväčšiť

Agentová slučka je kód v rámci harnessu, ktorý posúva úlohu dopredu krok za krokom.

Model AI rozhodne o ďalšom kroku potrebnom na dokončenie úlohy a napíše volanie nástroja: krátku požiadavku, ktorá pomenúva niektorý z nástrojov harnessu, napríklad webové vyhľadávanie, a určuje, čo má nástroj urobiť.

Harness požiadavku zachytí, spustí vyhľadávanie a pridá výsledky k tomu, čo model vidí. Model si ich prečíta a rozhodne, čo urobí ďalej.

2. Správa kontextu

Model získava všeobecné znalosti počas trénovania, no tieto znalosti siahajú len po dátum, keď sa trénovanie skončilo. Nezahŕňajú nič, čo je špecifické pre aktuálnu úlohu, napríklad súbory firmy, dnešné správy alebo to, čo zaznelo skôr v konverzácii.

Všetky tieto informácie model získava z kontextového okna: textu, ktorý mu harness poskytne pred každou odpoveďou, napríklad pokynov, dopytu, doterajšej konverzácie a výsledkov vyhľadávania.

Okno pojme len obmedzené množstvo textu. A ešte predtým, ako sa zaplní, modely niekedy prehliadnu informácie ukryté uprostred dlhých vstupov.

Harness preto zabezpečuje správu kontextu a vyberá len tie informácie, ktoré daný krok potrebuje. Ak je napríklad úlohou porovnať ceny piatich konkurentov, harness môže zahrnúť cenníkovú stránku každej firmy namiesto celého webu. Pri dlhých úlohách môže harness tiež nahradiť podrobný záznam predchádzajúcich krokov krátkym zhrnutím, aby model vedel, čo už urobil, bez toho, aby história zapĺňala okno.

3. Nástroje

Nástroje sú kód, ktorý vykonáva akcie, o ktoré model požiada. Každý nástroj zvláda jeden druh akcie, napríklad vyhľadávanie na webe, otvorenie a prečítanie webovej stránky, spustenie kódu alebo úpravu súboru. Keď model napíše volanie nástroja, harness ho odovzdá správnemu nástroju a vráti výsledok.

Mnohé harnessy obsahujú aj konektory, teda nástroje, ktoré prepájajú agenta s konkrétnou aplikáciou, napríklad s e-mailom, kalendárom alebo zdieľaným diskom, pomocou prístupu, ktorý udelil človek. Vďaka konektoru kalendára môže agent napríklad skontrolovať, kedy má niekto čas, a až potom navrhnúť termín stretnutia.

4. Pamäť

Pamäť sú uložené informácie, ktoré sa prenášajú z jednej relácie do ďalšej. Harness si počas relácie ukladá krátke poznámky, napríklad o preferenciách človeka alebo o tom, v akom stave je projekt. Na začiatku ďalšej relácie harness tieto poznámky pridá do kontextového okna, takže ich model prečíta skôr než nový dopyt. Vďaka tomu môže agent napríklad pokračovať v týždennom reporte tam, kde skončil, namiesto toho, aby začínal odznova.

5. Oprávnenia

Oprávnenia sú pravidlá o tom, k čomu má agent prístup a čo smie robiť. Pravidlá prístupu určujú, ktoré súbory, aplikácie alebo webové stránky môže otvoriť. Pravidlá schvaľovania určujú, ktoré akcie musia počkať na súhlas človeka, napríklad odoslanie správy alebo nákup.

Niektoré z týchto pravidiel nastavuje v kóde harnessu firma, ktorá agenta vytvára. Administrátori organizácie potom môžu pridať vlastné a jednotliví používatelia si môžu zvoliť napríklad to, ktoré účty pripojiť.

6. Overovanie

Overovanie je kód, ktorý kontroluje prácu agenta skôr, než sa dostane k človeku. Využíva dva druhy kontrol:

• Pevné pravidlá, teda konkrétne testy, ktoré zakaždým rovnako prejdú alebo zlyhajú, napríklad overenie, že každý údaj v reporte sa nachádza v dokumente, ktorý agent skutočne prečítal.
• Kontrola iným modelom AI, ktorý prácu prečíta a posúdi. Dokáže zachytiť problémy, ktoré sa ťažko dajú vyjadriť pravidlom, napríklad zhrnutie, v ktorom chýba dôležitý bod.

Žiadna jednotlivá kontrola nezachytí všetko, preto harnessy zvyčajne kombinujú oba druhy. Keď kontrola nájde problém, harness pridá jeho popis do kontextového okna modelu a pošle úlohu späť do agentovej slučky. Model problém opraví a skúsi to znova, takže mnohé chyby sa opravia skôr, než používateľ uvidí výsledok.

Príklady harness engineeringu

Príprava na stretnutie s klientom

Úloha: Account manažér požiada agenta, aby pripravil podklady na zajtrajšie stretnutie s klientom vrátane otvorených problémov a návrhu programu.

Čo robí harness:

• Agent cez e-mailový konektor vyhľadá v doručenej pošte manažéra korešpondenciu s klientom.
• Oprávnenia mu umožňujú e-maily čítať, ale nie odosielať.
• Správa kontextu odovzdá modelu len korešpondenciu s týmto klientom za posledné tri mesiace, nie celú doručenú poštu.
• Agentová slučka vykoná niekoľko kôl vyhľadávania a čítania a model zoskupí zistenia do otvorených problémov.
• Overovanie potom skontroluje, či každý problém v podkladoch odkazuje na skutočný e-mail.

Možný výsledok: Manažér dostane jednostranové podklady, v ktorých sa dá každý bod dohľadať k zdrojovému e-mailu.

Aktualizácia mesačného reportu predaja

Úloha: Vedúci prevádzky požiada agenta, aby aktualizoval mesačný report predaja o čísla za tento mesiac.

Čo robí harness:

• Pamäť načíta poznámky z relácie spred mesiaca vrátane formátu reportu a požiadavky vedúceho zaokrúhľovať údaje na celé tisícky.
• Nástroj na prácu so súbormi otvorí tabuľku predaja na zdieľanom disku tímu.
• Oprávnenia umožňujú agentovi upravovať koncept reportu, ale nie zdrojovú tabuľku, takže pôvodné čísla nemožno omylom zmeniť.
• Overovanie skontroluje, či sa súčty v reporte zhodujú s tabuľkou.

Možný výsledok: Report príde v rovnakom formáte ako minulý mesiac, bez toho, aby ho používateľ musel znova vysvetľovať.

Triedenie zdieľanej doručenej pošty

Úloha: Tím podpory požiada agenta, aby roztriedil ranné prichádzajúce požiadavky podľa témy a pripravil koncepty odpovedí na tie bežné.

Čo robí harness:

• Agentová slučka prechádza doručenú poštu postupne, správu po správe.
• Pri každej správe model vyberie štítok témy a harness ho priradí cez e-mailový konektor.
• Na začiatku úlohy harness pridá do kontextového okna schválené šablóny odpovedí tímu ako vodítko, takže model každý koncept založí na šablóne.
• Pravidlo schvaľovania ponechá každú odpoveď ako koncept, kým ju niekto z tímu neskontroluje a neodošle.

Možný výsledok: Tím začína deň s roztriedenými požiadavkami a odpoveďami pripravenými na kontrolu.

Oprava chyby na webovej stránke

Úloha: Vývojár požiada programovacieho agenta, aby opravil chybu, kvôli ktorej nefunguje tlačidlo na dokončenie objednávky.

Čo robí harness:

• Agent pracuje v sandboxe, teda v izolovanej kópii kódu, kde jeho zmeny nemôžu ovplyvniť živú webovú stránku.
• Nástroj na prácu s kódom umožňuje modelu čítať a upravovať súbory.
• Po každej zmene overovanie spustí automatizované testy projektu.
• Všetky zlyhania sa vrátia modelu ako nové informácie.

Možný výsledok: Agent upravuje svoju opravu, kým testy neprejdú. Vývojár potom zmenu skontroluje skôr, než sa dostane do ostrej prevádzky.

Harness engineering vs. prompt engineering vs. context engineering

Prompt engineering je práca na vytváraní a optimalizácii jedného dopytu. Context engineering je práca na riadení všetkého, čo model vidí. Harness engineering je proces navrhovania a zlepšovania celého systému, v ktorom model pracuje.

Ako môžu používatelia ovplyvniť harness AI

Väčšinu harnessu agenta vytvára firma, ktorá agenta vyvíja, no mnohé produkty AI umožňujú používateľom upraviť jeho časť pomocou nastavení, ako sú vlastné pokyny, pripojené aplikácie a schvaľovanie.

Používatelia môžu harness agenta ovplyvniť a zlepšiť tak jeho výsledky štyrmi spôsobmi:

1. Trvalé pokyny

Trvalé pokyny sú poznámky, ktoré človek napíše raz, aby ich harness mohol pridať do kontextového okna na začiatku každej úlohy. Oplatí sa ich nastaviť pre všetko, čo by človek inak opakoval v dopyte za dopytom: kto je a čím sa zaoberá, ako chce mať texty napísané alebo pravidlá pre opakovanú prácu, napríklad mesačný report pre klienta.

Mnohé produkty AI ponúkajú trvalé pokyny na dvoch úrovniach. Pokyny pre celý účet sa hodia na veci, ktoré platia pre všetku prácu, napríklad preferovaný pravopis. Pokyny k projektu sa hodia pre jedného klienta alebo pracovný postup, aby sa usmernenia pre jeden neprenášali do iného.

Trvalé pokyny fungujú v chatových asistentoch aj v agentoch rovnako, no agenti sú na nich viac závislí. V chate môže človek AI opraviť po každej odpovedi. Agent môže urobiť veľa krokov skôr, než niekto jeho prácu uvidí, takže pokyny zadané vopred sú jedným z mála spôsobov, ako ho priebežne usmerňovať.

Ako písať účinné trvalé pokyny

• Začnite krátkym pokynom, napríklad: „Som marketingový manažér v softvérovej firme. Píš jednoduchou angličtinou, zhrnutia drž pod 200 slov a používaj americký pravopis.“
• Dopĺňajte ich vždy, keď AI urobí chybu. Ak AI stále zaokrúhľuje údaje, ktoré tím potrebuje presné, pridajte riadok, ktorý to uvádza.
• Formulujte pokyny konkrétne: „Uvádzaj presné čísla, nikdy nezaokrúhľuj“ je lepšie ako „Buď presný“.
• Udržujte zoznam krátky a odstraňujte riadky, keď prestanú byť užitočné, pretože každý riadok zaberá miesto v kontextovom okne.

2. Pripojené aplikácie

Pripojené aplikácie prepájajú produkt AI s nástrojmi, ktoré človek už používa, napríklad s e-mailom, kalendárom alebo zdieľaným diskom. Keď je aplikácia pripojená, AI môže pracovať s vlastnými informáciami človeka, nielen s tým, čo sa vloží do chatu.

Pripojenia sa oplatí nastaviť, keď úloha závisí od informácií uložených v týchto aplikáciách, napríklad pri príprave podkladov na stretnutie z e-mailových vlákien alebo pri zhrnutí dokumentov na zdieľanom disku.

Ako bezpečne pripájať aplikácie

• Pripájajte len aplikácie, ktoré úloha potrebuje, pretože každé pripojenie vytvára ďalší priestor na chyby.
• Kde je to možné, zvoľte prístup len na čítanie. Napríklad agent, ktorý pripravuje podklady na stretnutia, potrebuje e-maily čítať, nie odosielať.
• Ak to produkt umožňuje, nastavte pripojenia pre jednotlivé projekty. Napríklad v Perplexity si používatelia môžu zvoliť, ktoré konektory používa každý projekt.
• Nezabudnite odpojiť aplikácie, ktoré sa už nepoužívajú.

3. Nastavenia schvaľovania

Nastavenia schvaľovania určujú, ktoré akcie musia počkať na súhlas človeka skôr, než AI pokračuje. Niektoré schválenia sú zabudované priamo v produkte a niektoré produkty umožňujú ľuďom zvoliť, ktoré ďalšie akcie ho vyžadujú.

Ako nastaviť pravidlá schvaľovania

• Vyžadujte schválenie pri akciách, ktoré sa nedajú vrátiť späť, napríklad pri odoslaní správy, nákupe alebo odstránení súboru.
• Zoznam schválení udržujte krátky. Ak agent žiada o súhlas pri každom drobnom kroku, ľudia začnú schvaľovať bez čítania.

4. Štandardy a kontroly

Väčšina AI produktov má niektoré štandardy zabudované. Perplexity napríklad pripája k svojim odpovediam citácie, aby sa dalo overiť každé tvrdenie. Štandardy nastavené používateľom dopĺňajú to, čo produkt sám vedieť nemôže, napríklad formát správ, ktorý tím uprednostňuje.

Ako nastaviť štandardy pre prácu AI

• Pri opakujúcej sa práci poskytnite šablónu, aby mala AI pevnú štruktúru, ktorú môže vyplniť.
• Zdieľajte príklad predchádzajúcej práce, ktorá sa tímu páčila, aby AI mohla napodobniť jej tón a úroveň podrobností.
• Pri každom číselnom údaji požadujte odkaz na zdroj.
• Prvé výsledky dôkladne kontrolujte a všetky opakujúce sa nedostatky premeňte na nový trvalý pokyn.

Ako Perplexity pristupuje k harnessom pre agentov

Perplexity Computer beží na harnesse nezávislom od modelu, ktorý spája viac ako 20 pokročilých modelov do jedného systému. Každú úlohu rozdelí na podúlohy, odovzdá ich subagentom (samostatným agentom, z ktorých každý preberá jednu časť) a každú časť práce nasmeruje na model, ktorý sa na ňu najlepšie hodí.

Ako nastaviť pokyny, súbory a konektory, sa dozviete v sprievodcovi po projektoch v Perplexity.

Časté otázky

Kto je harness engineer?

Harness engineer navrhuje a udržiava systém, ktorý umožňuje AI modelu spoľahlivo pracovať. Môže to znamenať pridanie nového nástroja, ktorý bude agent používať, zisťovanie, prečo agent stále opakuje tú istú chybu, alebo sprísnenie kontrol, ktoré agent vykonáva pred dokončením úlohy. Nie je to štandardný názov pracovnej pozície, hoci sa to môže zmeniť. Túto prácu zvyčajne vykonávajú softvéroví inžinieri v AI spoločnostiach alebo v tímoch, ktoré vyvíjajú agentov. V priemyselnej výrobe sa rovnaký anglický názov používa pre človeka, ktorý navrhuje káblové zväzky (wire harnesses), teda zviazané káble vo vnútri áut a strojov.

Čo je harness agenta?

Harness agenta zvyčajne označuje všetko v AI agentovi okrem samotného modelu. Patrí sem kód, ktorý spúšťa cyklus agenta, spravuje kontext, vykonáva volania nástrojov, ukladá pamäť, vynucuje oprávnenia a kontroluje prácu agenta skôr, než sa dostane k človeku.

Má každý AI nástroj harness?

Áno. Aj obyčajný chatový asistent sa spolieha na harness, ktorý sleduje priebeh konverzácie, pretože model si sám od seba predchádzajúce správy nepamätá.

Vývojári môžu model používať aj tak, že mu posielajú požiadavky zo svojho vlastného softvéru cez API (spojenie, ktoré umožňuje jednému programu posielať požiadavky inému). V takom prípade úlohu harnessu plní vlastný kód vývojára.

Budú vďaka lepším modelom harnessy zbytočné?

Lepšie modely môžu potrebovať menej podrobného vedenia krok za krokom, takže časť toho, čo harnessy robia dnes, by mohla ubudnúť. Samotný model však len premieňa text na text. Nemá pripojenie na internet ani prístup k iným aplikáciám. Prístup k súborom, vykonávanie akcií aj vynucovanie pravidiel schvaľovania sa odohrávajú v softvéri okolo modelu, takže táto práca pravdepodobne zostane na harnesse bez ohľadu na to, aké schopné budú modely.