Inženjerstvo harnessa: što je to i kako funkcionira

Što znači inženjering harnessa

Inženjering harnessa izrada je harnessa AI alata, odnosno svakog dijela alata osim samog AI modela.

Model je AI sustav treniran na velikim količinama teksta kako bi mogao čitati i pisati jezik. Primjeri AI modela su GPT tvrtke OpenAI, Claude tvrtke Anthropic i Gemini tvrtke Google.

Sam po sebi model može samo primiti tekst (a ponekad i slike ili zvuk) i odgovoriti tekstom. Ne može pamtiti prošle razgovore, tražiti aktualne informacije ni pokretati kod. Zato mu je potreban harness koji upravlja time koje informacije model dobiva, koje aplikacije može koristiti, što smije raditi i kako se njegov rad provjerava.

Čak je i jednostavnom chat asistentu potreban harness. Model zaboravlja svaku razmjenu čim odgovori, pa harness vodi zapis razgovora. Ako netko pita o Parizu, a zatim doda „koliko on ima stanovnika?”, harness modelu šalje oba pitanja zajedno. Tako model zna da se „on” odnosi na Pariz.

Inženjering harnessa jedan je od razloga zašto dva alata izgrađena na istom modelu mogu davati tako različite rezultate. Primjerice, u jednom neovisnom testu istraživači su zadržali isti model (GPT5) i promijenili samo harness, a rezultat modela na testu programiranja promijenio se za čak 11 %.

Razvijatelji AI modela poput tvrtki Anthropic i OpenAI izrađuju harnesse za vlastite AI proizvode, kao što su Claude Code i Codex. Tvrtke koje razvijaju AI proizvode dizajniraju harnesse za temeljne modele koje odaberu. Dio harnessa oblikuju i ljudi koji koriste AI alate. Mnogi alati omogućuju im da dodaju trajne upute, povežu aplikacije i odaberu za koje je radnje potrebno njihovo odobrenje prije nego što alat nastavi.

Inženjering harnessa za AI agente

Svaki AI alat ima harness, ali inženjering harnessa postaje posebno važan pri radu s AI agentima. Agenti samostalno obavljaju zadatke u više koraka, poput istraživanja konkurencije i unošenja rezultata u proračunsku tablicu, a harness izvodi svaki korak. Ako harness pogriješi, primjerice povuče prošlogodišnje cijene, to će utjecati i na sve ostale korake.

Većina harnessa za agente ima šest glavnih dijelova:

1. Petlja agenta

Povećaj

Petlja agenta kod je unutar harnessa koji zadatak pomiče naprijed, korak po korak.

AI model odlučuje o sljedećem koraku potrebnom za dovršetak zadatka i piše poziv alata: kratak zahtjev koji imenuje alat u harnessu, poput pretraživanja weba, i navodi što taj alat treba učiniti.

Harness uočava zahtjev, pokreće pretraživanje i dodaje rezultate onome što model može vidjeti. Model ih čita i odlučuje što dalje.

2. Upravljanje kontekstom

Model tijekom treniranja stječe opće znanje, ali to znanje seže samo do datuma završetka treniranja. Ne uključuje ništa specifično za konkretan zadatak, poput datoteka tvrtke, današnjih vijesti ili onoga što je ranije rečeno u razgovoru.

Za sve to model ovisi o svom kontekstnom prozoru: tekstu koji mu harness daje prije svakog odgovora, kao što su upute, upit, dosadašnji razgovor i rezultati pretraživanja.

Prozor može primiti samo ograničenu količinu teksta. Čak i prije nego što se prozor napuni, modeli ponekad propuste informacije skrivene u sredini dugih unosa.

Zato harness upravlja kontekstom i odabire samo informacije potrebne za pojedini korak. Primjerice, ako je zadatak usporediti cijene pet konkurenata, harness može uključiti stranicu s cijenama svake tvrtke umjesto cijelog njezina web-mjesta. Kod dugih zadataka harness može i zamijeniti detaljan zapis ranijih koraka kratkim sažetkom, tako da model prati što je već napravio, a da ta povijest ne ispuni prozor.

3. Alati

Alati su kod koji izvršava radnje koje model zatraži. Svaki alat obavlja jednu vrstu radnje, poput pretraživanja weba, otvaranja i čitanja web-stranice, pokretanja koda ili uređivanja datoteke. Kada model napiše poziv alata, harness ga prosljeđuje odgovarajućem alatu i vraća rezultat.

Mnogi harnessi uključuju i konektore, odnosno alate koji agenta povezuju s određenom aplikacijom, poput e-pošte, kalendara ili zajedničkog diska, putem pristupa koji je odobrila osoba. S konektorom za kalendar, primjerice, agent može provjeriti nečiju dostupnost prije nego što predloži termin sastanka.

4. Memorija

Memorija su pohranjene informacije koje se prenose iz jedne sesije u sljedeću. Harness tijekom sesije sprema kratke bilješke, poput nečijih preferencija ili stanja projekta. Na početku sljedeće sesije harness dodaje te bilješke u kontekstni prozor, pa ih model pročita prije novog upita. Tako, primjerice, agent može nastaviti tjedno izvješće ondje gdje je stao, umjesto da ponovno počinje od početka.

5. Dopuštenja

Dopuštenja su pravila o tome čemu agent može pristupiti i što može raditi. Pravila pristupa određuju koje datoteke, aplikacije ili web-stranice može otvoriti. Pravila odobrenja određuju koje radnje moraju čekati odobrenje osobe, poput slanja poruke ili obavljanja kupnje.

Tvrtka koja izrađuje agenta postavlja neka od tih pravila u kodu harnessa. Administratori organizacije zatim mogu dodati vlastita pravila, a pojedinačni korisnici mogu birati, primjerice, koje će račune povezati.

6. Verifikacija

Verifikacija je kod koji provjerava rad agenta prije nego što on stigne do osobe. Koristi dvije vrste provjera:

• Fiksna pravila, odnosno konkretni testovi koji svaki put na isti način prolaze ili ne prolaze, poput potvrde da se svaki podatak u izvješću nalazi u dokumentu koji je agent zaista pročitao.
• Pregled drugog AI modela, koji čita rad i procjenjuje ga. Takav pregled može uočiti probleme koje je teško pretočiti u pravilo, poput sažetka u kojem nedostaje važna točka.

Nijedna pojedinačna provjera ne otkriva sve, pa harnessi obično kombiniraju obje vrste. Kada provjera pronađe problem, harness dodaje njegov opis u kontekstni prozor modela i šalje zadatak natrag kroz petlju agenta. Model ispravlja problem i pokušava ponovno, pa se mnoge pogreške isprave prije nego što korisnik vidi rezultat.

Primjeri inženjeringa harnessa

Priprema za sastanak s klijentom

Zadatak: Voditelj odnosa s klijentima traži od agenta da pripremi brifing za sutrašnji sastanak s klijentom, koji obuhvaća otvorena pitanja i nacrt dnevnog reda.

Što harness radi:

• Putem konektora za e-poštu agent u voditeljevu pretincu pristigle pošte traži poruke razmijenjene s klijentom.
• Dopuštenja mu omogućuju čitanje e-pošte, ali ne i slanje.
• Upravljanje kontekstom modelu prosljeđuje samo poruke s tim klijentom iz posljednja tri mjeseca, a ne cijeli pretinac.
• Petlja agenta izvodi nekoliko krugova pretraživanja i čitanja, a model ono što pronađe grupira u otvorena pitanja.
• Verifikacija zatim provjerava upućuje li svako pitanje u brifingu na stvarnu poruku e-pošte.

Mogući rezultat: Voditelj dobiva brifing na jednoj stranici u kojem se svaka točka može povezati s izvornom porukom e-pošte.

Ažuriranje mjesečnog izvješća o prodaji

Zadatak: Voditelj operacija traži od agenta da ažurira mjesečno izvješće o prodaji brojkama za ovaj mjesec.

Što harness radi:

• Memorija učitava bilješke iz prošlomjesečne sesije, uključujući format izvješća i voditeljev zahtjev da se brojke zaokruže na najbližu tisuću.
• Alat za datoteke otvara proračunsku tablicu prodaje na zajedničkom disku tima.
• Dopuštenja agentu omogućuju uređivanje nacrta izvješća, ali ne i izvorne proračunske tablice, pa se izvorne brojke ne mogu greškom promijeniti.
• Verifikacija provjerava odgovaraju li zbrojevi u izvješću proračunskoj tablici.

Mogući rezultat: Izvješće stiže u istom formatu kao i prošlomjesečno, a da ga korisnik ne mora ponovno objašnjavati.

Razvrstavanje zajedničkog pretinca pristigle pošte

Zadatak: Tim za podršku traži od agenta da jutros pristigle zahtjeve razvrsta po temi i sastavi nacrte odgovora na one uobičajene.

Što harness radi:

• Petlja agenta prolazi kroz pretinac poruku po poruku.
• Za svaku poruku model odabire oznaku teme, a harness je primjenjuje putem konektora za e-poštu.
• Na početku zadatka harness dodaje odobrene predloške odgovora tima u kontekstni prozor kao smjernice, pa model svaki nacrt temelji na predlošku.
• Pravilo odobrenja zadržava svaki odgovor kao nacrt dok ga netko iz tima ne pregleda i pošalje.

Mogući rezultat: Tim započinje dan s razvrstanim zahtjevima i odgovorima koji čekaju pregled.

Ispravljanje pogreške na web-stranici

Zadatak: Programer traži od agenta za programiranje da ispravi pogrešku zbog koje gumb za plaćanje ne radi.

Što harness radi:

• Agent radi u sandboxu, izoliranoj kopiji koda u kojoj njegove promjene ne mogu utjecati na aktivnu web-stranicu.
• Alat za kod omogućuje modelu čitanje i uređivanje datoteka.
• Nakon svake promjene verifikacija pokreće automatizirane testove projekta.
• Podaci o svim neuspjelim testovima vraćaju se modelu kao nove informacije.

Mogući rezultat: Agent prilagođava svoj ispravak sve dok testovi ne prođu. Programer zatim pregledava promjenu prije nego što ona postane aktivna.

Inženjering harnessa naspram inženjeringa promptova i inženjeringa konteksta

Inženjering promptova izrada je i optimizacija pojedinačnog upita. Inženjering konteksta upravljanje je svime što model vidi. Inženjering harnessa proces je dizajniranja i poboljšavanja cijelog sustava unutar kojeg model radi.

Kako korisnici mogu utjecati na AI harness

Većina harnessa za agente potječe od tvrtke koja izrađuje agenta, ali mnogi AI proizvodi korisnicima omogućuju da dio harnessa prilagode putem postavki kao što su prilagođene upute, povezane aplikacije i odobrenja.

Korisnici mogu oblikovati harness agenta i poboljšati njegove rezultate na četiri načina:

1. Trajne upute

Trajne upute bilješke su koje osoba napiše jednom kako bi ih harness mogao dodati u kontekstni prozor na početku svakog zadatka. Isplati ih se postaviti za sve što bi osoba inače ponavljala iz upita u upit: tko je i čime se bavi, kako želi da tekstovi budu napisani ili pravila za posao koji se ponavlja, poput mjesečnog izvješća za klijenta.

Mnogi AI proizvodi nude trajne upute na dvije razine. Upute za cijeli račun prikladne su za ono što vrijedi za sav rad, poput pravopisnih preferencija. Upute za projekt prikladne su za pojedinog klijenta ili tijek rada, pa se smjernice za jedan ne prenose na drugi.

Trajne upute funkcioniraju jednako u chat asistentima i agentima, ali agenti o njima više ovise. U chatu osoba može ispraviti AI nakon svakog odgovora. Agent može napraviti mnogo koraka prije nego što itko vidi njegov rad, pa su upute dane unaprijed jedan od rijetkih načina da ga se usmjeri tijekom rada.

Kako napisati učinkovite trajne upute

• Počnite s kratkom uputom, primjerice: „Ja sam marketinški menadžer u softverskoj tvrtki. Piši jednostavnim engleskim jezikom, sažetke drži ispod 200 riječi i koristi američki pravopis.”
• Nadopunite ih kada AI pogriješi. Ako AI stalno zaokružuje brojke koje tim treba u točnom obliku, dodajte redak koji to navodi.
• Neka upute budu konkretne: „Navodi točne brojke, nikad zaokružene” bolje je od „Budi točan”.
• Neka popis bude kratak i uklonite retke kada prestanu biti korisni jer svaki redak zauzima prostor u kontekstnom prozoru.

2. Povezane aplikacije

Povezane aplikacije povezuju AI proizvod s alatima koje osoba već koristi, poput e-pošte, kalendara ili zajedničkog diska. Nakon što se aplikacija poveže, AI može raditi s vlastitim podacima korisnika, a ne samo s onim što je zalijepljeno u chat.

Povezivanja se isplati postaviti kada zadatak ovisi o informacijama koje se nalaze u tim aplikacijama, primjerice pri pripremi brifinga za sastanak iz niti e-pošte ili sažimanju dokumenata na zajedničkom disku.

Kako sigurno povezati aplikacije

• Povežite samo aplikacije potrebne za zadatak jer svako povezivanje otvara dodatnu mogućnost za pogreške.
• Odaberite pristup samo za čitanje kada je dostupan. Primjerice, agent koji priprema brifinge za sastanke treba čitati e-poštu, a ne slati je.
• Postavite povezivanja po projektu kada proizvod to omogućuje. U aplikaciji Perplexity, primjerice, korisnici mogu odabrati koje konektore koristi svaki Projekt.
• Ne zaboravite odspojiti aplikacije koje više ne koristite.

3. Postavke odobrenja

Postavke odobrenja određuju koje radnje moraju čekati odobrenje osobe prije nego što AI nastavi. Neka su odobrenja ugrađena u proizvod, a neki proizvodi korisnicima omogućuju da odaberu za koje je druge radnje potrebno odobrenje.

Kako postaviti pravila odobravanja

• Zahtijevajte odobrenje za radnje koje se ne mogu poništiti, poput slanja poruke, kupnje ili brisanja datoteke.
• Neka popis odobrenja bude kratak. Ako agent traži potvrdu za svaki sitni korak, ljudi počinju odobravati bez čitanja.

4. Standardi i provjere

Većina AI proizvoda dolazi s nekim ugrađenim standardima. Perplexity, primjerice, uz svoje odgovore navodi izvore kako bi se svaka tvrdnja mogla provjeriti. Standardi koje postavlja korisnik dodaju ono što proizvod ne može znati sam, poput formata izvješća kojem tim daje prednost.

Kako postaviti standarde za rad AI-ja

• Pripremite predložak za posao koji se ponavlja kako bi AI imao fiksnu strukturu koju treba popuniti.
• Podijelite primjer ranijeg rada koji se timu svidio kako bi AI mogao pogoditi ton i razinu detalja.
• Zatražite poveznicu na izvor uz svaku brojku.
• Pomno pregledajte prve rezultate i svaki nedostatak koji se ponavlja pretvorite u novu trajnu uputu.

Kako Perplexity pristupa harnessima za agente

Perplexity Computer radi na harnessu neovisnom o modelu, koji objedinjuje više od 20 naprednih modela u jedan sustav. Svaki zadatak rastavlja na podzadatke, prosljeđuje ih podagentima (zasebnim agentima od kojih svaki preuzima jedan dio) i svaki dio posla usmjerava modelu koji mu najbolje odgovara.

Saznajte kako postaviti upute, datoteke i konektore u vodiču za Perplexity projekte.

Česta pitanja

Što je inženjer harnessa?

Inženjer harnessa projektira i održava sustav koji AI modelu omogućuje pouzdan rad. To može značiti dodavanje novog alata koji agent može koristiti, otkrivanje zašto agent stalno ponavlja istu pogrešku ili pooštravanje provjera koje provodi prije dovršetka zadatka. To nije uobičajen naziv radnog mjesta, iako bi se to moglo promijeniti. Taj posao obično obavljaju softverski inženjeri u AI tvrtkama ili u timovima koji razvijaju agente. U proizvodnji se isti engleski naziv (harness engineer) odnosi na osobu koja projektira kabelske snopove, odnosno povezane kabele u automobilima i strojevima.

Što je harness za agente?

Harness za agente obično označava sve u AI agentu osim samog modela. To uključuje kod koji pokreće petlju agenta, upravlja kontekstom, izvršava pozive alata, pohranjuje memoriju, provodi dopuštenja i provjerava rad agenta prije nego što se preda čovjeku.

Ima li svaki AI alat harness?

Da. Čak se i osnovni chat asistent oslanja na harness kako bi pratio razgovor jer model sam po sebi ne pamti ranije poruke.

Programeri mogu koristiti model i tako da mu šalju zahtjeve iz vlastitog softvera putem API-ja (veze koja jednom programu omogućuje slanje zahtjeva drugom). U tom slučaju posao harnessa obavlja programerov vlastiti kod.

Hoće li zbog boljih modela harnessi postati nepotrebni?

Boljim modelima možda će trebati manje uputa korak po korak, pa bi se dio onoga što harnessi danas rade mogao smanjiti. No model sam po sebi samo pretvara tekst u tekst. Nema internetske veze ni pristupa drugim aplikacijama. Pristup datotekama, izvršavanje radnji i provođenje pravila odobravanja odvijaju se u softveru oko modela, pa će taj posao vjerojatno ostati na harnessu, ma koliko modeli postali sposobni.