Harness inženjering: šta je to i kako funkcioniše

Šta znači harness inženjering

Harness inženjering je rad na izgradnji harnessa AI alata, odnosno svakog dela alata osim samog AI modela.

Model je AI sistem koji je treniran na velikim količinama teksta kako bi mogao da čita i piše jezik. Primeri AI modela su GPT kompanije OpenAI, Claude kompanije Anthropic ili Gemini kompanije Google.

Sam po sebi, model može samo da primi tekst (a ponekad i slike ili zvuk) i da odgovori tekstom. Ne može da pamti prethodne razgovore, da traži aktuelne informacije niti da pokreće kod. Zato mu je potreban harness koji upravlja time koje informacije model dobija, koje aplikacije može da koristi, šta sme da radi i kako se njegov rad proverava.

Čak je i običnom asistentu za ćaskanje potreban harness. Model zaboravlja svaku razmenu čim odgovori, pa harness čuva zapis razgovora. Ako neko pita o Parizu, a zatim nastavi pitanjem „koliki je njegov broj stanovnika?“, harness šalje oba pitanja modelu zajedno. Tako model zna da se „njegov“ odnosi na Pariz.

Harness inženjering je jedan od razloga zbog kojih dva alata zasnovana na istom modelu mogu da rade toliko različito. Na primer, u jednom nezavisnom testu istraživači su zadržali isti model (GPT5) i promenili samo harness, a rezultat modela na testu programiranja promenio se i do 11%.

Kompanije koje razvijaju AI modele, kao što su Anthropic i OpenAI, grade harnesse za sopstvene AI proizvode, poput alata Claude Code i Codex. Takođe, kompanije koje prave AI proizvode dizajniraju harnesse za modele na kojima zasnivaju svoje proizvode. I ljudi koji koriste AI alate oblikuju deo harnessa. Mnogi alati im omogućavaju da dodaju trajna uputstva, povežu aplikacije i izaberu koje radnje zahtevaju njihovo odobrenje pre nego što alat nastavi.

Harness inženjering za AI agente

Svaki AI alat ima harness, ali harness inženjering postaje posebno važan pri radu sa AI agentima. Agenti samostalno obavljaju zadatke u više koraka, poput istraživanja konkurencije i unošenja nalaza u tabelu, a harness izvršava svaki korak. Zato, ako harness napravi grešku, na primer povuče prošlogodišnje cene, to će uticati i na sve naredne korake.

Većina harnessa za agente ima šest glavnih delova:

1. Agentska petlja

Uvećaj

Agentska petlja je kod unutar harnessa koji zadatak vodi napred, korak po korak.

AI model odlučuje koji je sledeći korak potreban za završetak zadatka i piše poziv alata: kratak zahtev koji navodi alat u harnessu, na primer veb-pretragu, i šta taj alat treba da uradi.

Harness prepoznaje zahtev, pokreće pretragu i dodaje rezultate u ono što model može da vidi. Model ih čita i odlučuje šta će dalje.

2. Upravljanje kontekstom

Model tokom treniranja stiče opšte znanje, ali to znanje seže samo do datuma kada je treniranje završeno. Ono ne obuhvata ništa specifično za zadatak o kom je reč, poput fajlova neke kompanije, današnjih vesti ili onoga što je ranije rečeno u razgovoru.

Za sve to model zavisi od svog kontekstnog prozora: teksta koji mu harness daje pre svakog odgovora, kao što su njegova uputstva, upit, dosadašnji razgovor i rezultati pretrage.

Prozor može da primi samo ograničenu količinu teksta. Čak i pre nego što se prozor popuni, modeli ponekad propuste informacije zakopane u sredini dugih unosa.

Zato harness preuzima upravljanje kontekstom i bira samo informacije koje su potrebne za svaki korak. Na primer, ako je zadatak da se uporede cene pet konkurenata, harness može da uključi stranicu sa cenama svake kompanije umesto čitavog njihovog veb-sajta. Kod dugih zadataka harness može i da zameni detaljan zapis ranijih koraka kratkim rezimeom, tako da model prati šta je već uradio, a da ta istorija ne popuni prozor.

3. Alati

Alati su kod koji izvršava radnje koje model zatraži. Svaki alat obavlja jednu vrstu radnje, kao što je pretraživanje veba, otvaranje i čitanje veb-stranice, pokretanje koda ili izmena fajla. Kada model napiše poziv alata, harness ga prosleđuje odgovarajućem alatu i vraća rezultat.

Mnogi harnessi uključuju i konektore, odnosno alate koji agenta povezuju sa određenom aplikacijom, poput e-pošte, kalendara ili deljenog diska, uz pristup koji je osoba odobrila. Uz konektor za kalendar, na primer, agent može da proveri nečiju dostupnost pre nego što predloži termin sastanka.

4. Memorija

Memorija predstavlja sačuvane informacije koje se prenose iz jedne sesije u sledeću. Harness tokom sesije čuva kratke beleške, poput nečijih preferencija ili trenutnog stanja projekta. Na početku sledeće sesije harness dodaje te beleške u kontekstni prozor, pa ih model pročita pre nego što pročita novi upit. Tako agent može, na primer, da nastavi nedeljni izveštaj tamo gde je stao, umesto da ponovo počinje od početka.

5. Dozvole

Dozvole su pravila o tome čemu agent može da pristupi i šta može da radi. Pravila pristupa određuju koje fajlove, aplikacije ili veb-sajtove može da otvori. Pravila odobravanja određuju koje radnje moraju da sačekaju nečije odobrenje, kao što je slanje poruke ili obavljanje kupovine.

Kompanija koja pravi agenta postavlja neka od ovih pravila u kodu harnessa. Zatim administratori organizacije mogu da dodaju sopstvena pravila, a pojedinačni korisnici mogu da biraju stvari poput toga koje naloge da povežu.

6. Verifikacija

Verifikacija je kod koji proverava rad agenta pre nego što on stigne do čoveka. Koristi dve vrste provera:

• Fiksna pravila, odnosno konkretni testovi koji svaki put prolaze ili padaju na isti način, na primer potvrda da se svaka brojka iz izveštaja nalazi u dokumentu koji je agent zaista pročitao.
• Pregled koji obavlja drugi AI model: on čita rad i ocenjuje ga. Takav pregled može da uoči probleme koje je teško pretočiti u pravilo, poput rezimea koji izostavlja važnu stavku.

Nijedna pojedinačna provera ne otkriva sve, pa harnessi obično kombinuju obe vrste. Kada provera pronađe problem, harness dodaje njegov opis u kontekstni prozor modela i vraća zadatak kroz agentsku petlju. Model ispravlja problem i pokušava ponovo, pa se mnoge greške isprave pre nego što korisnik vidi rezultat.

Primeri harness inženjeringa

Priprema za sastanak sa klijentom

Zadatak: Menadžer za klijente traži od agenta da pripremi brifing za sutrašnji sastanak sa klijentom, koji obuhvata otvorena pitanja i nacrt dnevnog reda.

Šta harness radi:

• Preko konektora za e-poštu, agent pretražuje menadžerov prijemni sandučić u potrazi za porukama razmenjenim sa klijentom.
• Dozvole mu omogućavaju da čita e-poštu, ali ne i da je šalje.
• Upravljanje kontekstom prosleđuje modelu samo poruke sa tim klijentom iz poslednja tri meseca, a ne ceo prijemni sandučić.
• Agentska petlja izvršava nekoliko krugova pretrage i čitanja, a model ono što pronađe grupiše u otvorena pitanja.
• Verifikacija zatim proverava da li se svako pitanje u brifingu može povezati sa stvarnom porukom e-pošte.

Mogući rezultat: Menadžer dobija brifing na jednoj stranici u kom se svaka stavka može povezati sa porukom e-pošte iz koje potiče.

Ažuriranje mesečnog izveštaja o prodaji

Zadatak: Rukovodilac operacija traži od agenta da ažurira mesečni izveštaj o prodaji brojkama za ovaj mesec.

Šta harness radi:

• Memorija učitava beleške iz sesije od prošlog meseca, uključujući format izveštaja i zahtev rukovodioca da se brojke zaokružuju na najbližu hiljadu.
• Alat za fajlove otvara tabelu prodaje na deljenom disku tima.
• Dozvole agentu omogućavaju da menja nacrt izveštaja, ali ne i izvornu tabelu, tako da se originalne brojke ne mogu greškom izmeniti.
• Verifikacija proverava da li se zbirovi u izveštaju poklapaju sa tabelom.

Mogući rezultat: Izveštaj stiže u istom formatu kao prošlomesečni, a korisnik ne mora ponovo da ga objašnjava.

Razvrstavanje zajedničkog prijemnog sandučića

Zadatak: Tim za podršku traži od agenta da jutros pristigle zahteve razvrsta po temi i napiše nacrte odgovora na one uobičajene.

Šta harness radi:

• Agentska petlja prolazi kroz prijemni sandučić poruku po poruku.
• Za svaku poruku model bira oznaku teme, a harness je primenjuje preko konektora za e-poštu.
• Na početku zadatka harness dodaje odobrene šablone odgovora tima u kontekstni prozor kao smernice, tako da model svaki nacrt zasniva na šablonu.
• Pravilo odobravanja zadržava svaki odgovor kao nacrt dok ga neko iz tima ne pregleda i pošalje.

Mogući rezultat: Tim započinje dan sa razvrstanim zahtevima i odgovorima koji čekaju pregled.

Ispravljanje greške na veb-sajtu

Zadatak: Programer traži od agenta za programiranje da ispravi grešku zbog koje dugme za plaćanje ne radi.

Šta harness radi:

• Agent radi u sandboxu, izolovanoj kopiji koda u kojoj njegove izmene ne mogu da utiču na aktivni veb-sajt.
• Alat za kod omogućava modelu da čita i menja fajlove.
• Nakon svake izmene, verifikacija pokreće automatizovane testove projekta.
• Svaki neuspeh se vraća modelu kao nova informacija.

Mogući rezultat: Agent nastavlja da prilagođava ispravku dok testovi ne prođu. Programer zatim pregleda izmenu pre nego što ona bude objavljena.

Harness inženjering naspram prompt inženjeringa i inženjeringa konteksta

Prompt inženjering je rad na sastavljanju i optimizaciji jednog upita. Inženjering konteksta je rad na upravljanju svime što model vidi. Harness inženjering je proces dizajniranja i unapređivanja celog sistema u kom model radi.

Kako korisnici mogu da utiču na AI harness

Najveći deo harnessa za agenta obezbeđuje kompanija koja pravi agenta, ali mnogi AI proizvodi omogućavaju korisnicima da deo harnessa prilagode putem podešavanja kao što su prilagođena uputstva, povezane aplikacije i odobrenja.

Korisnici mogu da oblikuju harness agenta i poboljšaju rezultate agenta na četiri načina:

1. Trajna uputstva

Trajna uputstva su beleške koje osoba napiše jednom, kako bi ih harness dodavao u kontekstni prozor na početku svakog zadatka. Vredi ih podesiti za sve što bi osoba inače ponavljala u upitu za upitom: ko je i čime se bavi, kako voli da tekstovi budu napisani ili pravila za posao koji se ponavlja, kao što je mesečni izveštaj za klijenta.

Mnogi AI proizvodi nude trajna uputstva na dva nivoa. Uputstva na nivou celog naloga pogodna su za ono što važi za sve poslove, poput preferencija u pravopisu. Uputstva za projekat pogodna su za jednog klijenta ili jedan radni tok, tako da se smernice za jedan ne prenose na drugi.

Trajna uputstva funkcionišu isto kod asistenata za ćaskanje i kod agenata, ali agenti više zavise od njih. U ćaskanju osoba može da ispravi AI posle svakog odgovora. Agent može da napravi mnogo koraka pre nego što iko vidi njegov rad, pa su uputstva data unapred jedan od retkih načina da se on usmerava tokom rada.

Kako napisati delotvorna trajna uputstva

• Počnite kratkim uputstvom, na primer: „Ja sam marketinški menadžer u softverskoj kompaniji. Piši jednostavnim engleskim jezikom, rezimee drži ispod 200 reči i koristi američki pravopis.“
• Dopunjujte ih kada AI napravi grešku. Ako AI stalno zaokružuje brojke koje su timu potrebne u tačnom iznosu, dodajte red koji to naglašava.
• Neka uputstva budu konkretna: „Navodi tačne brojke, nikad zaokružene“ bolje je od „Budi precizan“.
• Neka lista bude kratka i uklanjajte redove kada prestanu da budu korisni, jer svaki red zauzima prostor u kontekstnom prozoru.

2. Povezane aplikacije

Povezane aplikacije spajaju AI proizvod sa alatima koje osoba već koristi, kao što su e-pošta, kalendar ili deljeni disk. Kada se aplikacija poveže, AI može da radi sa sopstvenim informacijama te osobe, a ne samo sa onim što je nalepljeno u ćaskanje.

Veze vredi podesiti kada zadatak zavisi od informacija koje se nalaze u tim aplikacijama, na primer pri pripremi brifinga za sastanak na osnovu niti e-pošte ili sažimanju dokumenata na deljenom disku.

Kako bezbedno povezati aplikacije

• Povežite samo aplikacije koje su potrebne za zadatak, jer svaka veza otvara još jednu mogućnost za greške.
• Izaberite pristup samo za čitanje kada je ta opcija dostupna. Na primer, agentu koji priprema brifinge za sastanke potrebno je da čita e-poštu, a ne da je šalje.
• Podesite veze po projektu kada proizvod to omogućava. U aplikaciji Perplexity, na primer, korisnici mogu da izaberu koje konektore koristi svaki projekat.
• Ne zaboravite da prekinete vezu sa aplikacijama koje više ne koristite.

3. Podešavanja odobrenja

Podešavanja odobrenja određuju koje radnje moraju da sačekaju nečije odobrenje pre nego što AI nastavi. Neka odobrenja su ugrađena u proizvod, a neki proizvodi omogućavaju korisnicima da sami izaberu koje druge radnje zahtevaju odobrenje.

Kako postaviti pravila odobravanja

• Zahtevajte odobrenje za radnje koje se ne mogu poništiti, kao što su slanje poruke, kupovina ili brisanje datoteke.
• Neka lista radnji koje zahtevaju odobrenje bude kratka. Ako agent traži saglasnost za svaki mali korak, ljudi počinju da odobravaju bez čitanja.

4. Standardi i provere

Većina AI proizvoda ima neke ugrađene standarde. Perplexity, na primer, uz svoje odgovore navodi izvore kako bi se svaka tvrdnja mogla proveriti. Standardi koje postavljaju korisnici dodaju ono što proizvod ne može sam da zna, poput formata izveštaja kojem tim daje prednost.

Kako postaviti standarde za posao koji obavlja AI

• Obezbedite šablon za posao koji se ponavlja, kako bi AI imao fiksnu strukturu koju treba da popuni.
• Podelite primer ranijeg rada koji se timu dopao, kako bi AI mogao da se prilagodi njegovom tonu i nivou detalja.
• Zatražite link ka izvoru uz svaki brojčani podatak.
• Pažljivo pregledajte prve rezultate i svaki nedostatak koji se ponavlja pretvorite u novo trajno uputstvo.

Kako Perplexity pristupa harness-ima za agente

Perplexity Computer radi na harness-u nezavisnom od modela, koji objedinjuje više od 20 naprednih modela u jedan sistem. On deli svaki zadatak na podzadatke, prosleđuje ih podagentima (zasebnim agentima od kojih svaki preuzima po jedan deo) i usmerava svaki deo posla ka modelu koji mu najbolje odgovara.

Saznajte kako da podesite uputstva, datoteke i konektore u vodiču za Perplexity projekte.

Česta pitanja

Šta je harness inženjer?

Harness inženjer projektuje i održava sistem koji AI modelu omogućava da pouzdano obavlja posao. To može značiti dodavanje novog alata koji agent može da koristi, otkrivanje razloga zbog kojeg agent stalno ponavlja istu grešku ili pooštravanje provera koje agent sprovodi pre nego što završi zadatak. To nije standardni naziv radnog mesta, mada bi se to moglo promeniti. Ovaj posao obično obavljaju softverski inženjeri u AI kompanijama ili u timovima koji razvijaju agente. U proizvodnji se isti naziv odnosi na osobu koja projektuje kablovske snopove (engl. wire harnesses), odnosno povezane kablove unutar automobila i mašina.

Šta je harness za agente?

Harness za agente obično podrazumeva sve u AI agentu osim samog modela. To uključuje kod koji pokreće petlju agenta, upravlja kontekstom, izvršava pozive alata, čuva memoriju, sprovodi dozvole i proverava rad agenta pre nego što taj rad stigne do čoveka.

Da li svaki AI alat ima harness?

Da. Čak se i osnovni asistent za ćaskanje oslanja na harness da bi pratio razgovor, jer model sam po sebi ne pamti ranije poruke.

Programeri mogu da koriste model i tako što mu šalju zahteve iz sopstvenog softvera putem API-ja (veze koja jednom programu omogućava da šalje zahteve drugom). U tom slučaju, posao harness-a obavlja sopstveni kod programera.

Da li će zbog boljih modela harness-i postati nepotrebni?

Boljim modelima će možda biti potrebno manje uputstava korak po korak, pa bi se deo onoga što harness-i danas rade mogao smanjiti. Ali model sam po sebi samo pretvara tekst u tekst. Nema vezu sa internetom niti pristup drugim aplikacijama. Pristup datotekama, izvršavanje radnji i sprovođenje pravila odobravanja odvijaju se u softveru koji okružuje model, pa će taj posao verovatno ostati na harness-u, ma koliko modeli postali sposobni.