Ingineria harness-urilor: ce este și cum funcționează

Ce înseamnă ingineria harness-ului

Ingineria harness-ului (harness engineering) înseamnă construirea harness-ului unui instrument AI, adică a tuturor componentelor instrumentului, cu excepția modelului AI.

Modelul este sistemul AI antrenat pe volume mari de text, astfel încât să poată citi și scrie limbaj. Printre exemplele de modele AI se numără GPT de la OpenAI, Claude de la Anthropic sau Gemini de la Google.

Luat în sine, un model poate doar să primească text (și uneori imagini sau audio) și să genereze text ca răspuns. Nu își poate aminti conversațiile anterioare, nu poate căuta informații actuale și nu poate rula cod. De aceea, are nevoie de un harness care gestionează ce informații primește modelul, ce aplicații poate folosi, ce are voie să facă și cum îi este verificată munca.

Chiar și un asistent de chat simplu are nevoie de un harness. Modelul uită fiecare schimb de replici imediat ce răspunde, așa că harness-ul păstrează o evidență a conversației. Dacă cineva întreabă despre Paris și apoi revine cu „care este populația sa?”, harness-ul trimite ambele întrebări modelului împreună. Așa știe modelul că „sa” se referă la Paris.

Ingineria harness-ului este unul dintre motivele pentru care două instrumente construite pe același model pot avea performanțe atât de diferite. De exemplu, într-un test independent, cercetătorii au păstrat același model (GPT5) și au schimbat doar harness-ul, iar scorul modelului la un test de programare a variat cu până la 11%.

Dezvoltatorii de modele AI precum Anthropic și OpenAI construiesc harness-uri pentru propriile produse AI, cum ar fi Claude Code și Codex. Iar companiile care creează produse AI proiectează harness-uri pentru modelele de bază pe care le aleg. Și utilizatorii instrumentelor AI modelează o parte din harness. Multe instrumente le permit să adauge instrucțiuni permanente, să conecteze aplicații și să aleagă ce acțiuni necesită aprobarea lor înainte ca instrumentul să acționeze.

Ingineria harness-ului pentru agenții AI

Fiecare instrument AI are un harness, dar ingineria harness-ului devine deosebit de importantă atunci când lucrezi cu agenți AI. Agenții gestionează singuri sarcini în mai mulți pași, cum ar fi cercetarea concurenților și introducerea constatărilor într-o foaie de calcul, iar harness-ul execută fiecare pas. Așadar, dacă harness-ul face o greșeală, cum ar fi preluarea prețurilor de anul trecut, aceasta va afecta și restul pașilor.

Majoritatea harness-urilor pentru agenți au șase componente principale:

1. Bucla agentului

Extinde

Bucla agentului este codul din harness care face ca o sarcină să avanseze, pas cu pas.

Modelul AI decide care este următorul pas necesar pentru finalizarea sarcinii și scrie un apel de instrument: o solicitare scurtă care numește un instrument din harness, cum ar fi căutarea pe web, și ce ar trebui să facă instrumentul.

Harness-ul identifică solicitarea, rulează căutarea și adaugă rezultatele la ceea ce poate vedea modelul. Modelul le citește și decide ce să facă în continuare.

2. Gestionarea contextului

Un model dobândește cunoștințe generale în timpul antrenării, dar aceste cunoștințe se opresc la data la care s-a încheiat antrenarea. Ele nu includ nimic specific sarcinii curente, cum ar fi fișierele unei companii, știrile de azi sau ce s-a spus mai devreme în conversație.

Pentru toate acestea, modelul depinde de fereastra sa de context: textul pe care i-l oferă harness-ul înainte de fiecare răspuns, cum ar fi instrucțiunile, solicitarea, conversația de până acum și rezultatele căutării.

Fereastra poate conține doar o cantitate fixă de text. Și chiar înainte ca fereastra să se umple, modelele scapă uneori din vedere informații îngropate în mijlocul unor date de intrare lungi.

Așadar, harness-ul se ocupă de gestionarea contextului și alege doar informațiile de care are nevoie fiecare pas. De exemplu, dacă sarcina este compararea prețurilor a cinci concurenți, harness-ul ar putea include pagina de prețuri a fiecărei companii, nu întregul lor site web. În cazul sarcinilor lungi, harness-ul poate înlocui și înregistrarea detaliată a pașilor anteriori cu un rezumat scurt, astfel încât modelul să țină evidența a ceea ce a făcut fără ca acest istoric să umple fereastra.

3. Instrumente

Instrumentele sunt componente de cod care execută acțiunile solicitate de model. Fiecare instrument se ocupă de un singur tip de acțiune, cum ar fi căutarea pe web, deschiderea și citirea unei pagini web, rularea de cod sau editarea unui fișier. Când modelul scrie un apel de instrument, harness-ul îl transmite instrumentului potrivit și returnează rezultatul.

Multe harness-uri includ și conectori, adică instrumente care leagă agentul de o anumită aplicație, cum ar fi e-mailul, un calendar sau o unitate partajată, folosind accesul acordat de o persoană. Cu un conector de calendar, de exemplu, un agent poate verifica disponibilitatea cuiva înainte de a propune o oră pentru o întâlnire.

4. Memorie

Memoria reprezintă informațiile stocate care se transferă de la o sesiune la următoarea. Harness-ul salvează note scurte în timpul unei sesiuni, cum ar fi preferințele unei persoane sau stadiul unui proiect. La începutul sesiunii următoare, harness-ul adaugă aceste note în fereastra de context, astfel încât modelul să le citească înainte de a citi noua solicitare. De exemplu, așa poate un agent să reia un raport săptămânal de unde a rămas, în loc să o ia din nou de la capăt.

5. Permisiuni

Permisiunile sunt reguli despre ce poate accesa și ce poate face un agent. Regulile de acces stabilesc ce fișiere, aplicații sau site-uri web poate deschide. Regulile de aprobare stabilesc ce acțiuni trebuie să aștepte acordul unei persoane, cum ar fi trimiterea unui mesaj sau efectuarea unei achiziții.

Compania care creează agentul configurează unele dintre aceste reguli în codul harness-ului. Apoi, administratorii unei organizații își pot adăuga propriile reguli, iar utilizatorii individuali pot alege, de exemplu, ce conturi să conecteze.

6. Verificare

Verificarea este codul care controlează munca agentului înainte ca aceasta să ajungă la o persoană. Folosește două tipuri de verificări:

• Reguli fixe, adică teste specifice care trec sau eșuează în același mod de fiecare dată, cum ar fi confirmarea faptului că fiecare cifră dintr-un raport apare într-un document pe care agentul l-a citit efectiv.
• O analiză realizată de un alt model AI, care citește munca și o evaluează. Aceasta poate depista probleme greu de transformat într-o regulă, cum ar fi un rezumat care omite un aspect important.

Nicio verificare nu depistează totul, așa că harness-urile combină de obicei ambele tipuri. Când o verificare găsește o problemă, harness-ul adaugă o descriere a acesteia în fereastra de context a modelului și trimite sarcina înapoi prin bucla agentului. Modelul remediază problema și încearcă din nou, astfel încât multe greșeli sunt corectate înainte ca utilizatorul să vadă rezultatul.

Exemple de inginerie a harness-ului

Pregătirea unei întâlniri cu un client

Sarcina: Un manager de cont îi cere unui agent să pregătească o notă informativă pentru întâlnirea de mâine cu un client, care să acopere problemele deschise și o agendă preliminară.

Ce face harness-ul:

• Prin intermediul unui conector de e-mail, agentul caută în căsuța de e-mail a managerului mesajele schimbate cu clientul.
• Permisiunile îi permit să citească e-mailuri, dar nu și să trimită.
• Gestionarea contextului îi transmite modelului doar mesajele din ultimele trei luni schimbate cu acel client, nu întreaga căsuță de e-mail.
• Bucla agentului rulează mai multe runde de căutare și citire, iar modelul grupează ce găsește în probleme deschise.
• Apoi, verificarea confirmă că fiecare problemă din nota informativă trimite la un e-mail real.

Rezultat posibil: Managerul primește o notă informativă de o pagină în care fiecare punct poate fi urmărit până la e-mailul sursă.

Actualizarea unui raport lunar de vânzări

Sarcina: Un responsabil de operațiuni îi cere unui agent să actualizeze raportul lunar de vânzări cu cifrele din luna aceasta.

Ce face harness-ul:

• Memoria încarcă notele din sesiunea de luna trecută, inclusiv formatul raportului și solicitarea responsabilului de a rotunji cifrele la cea mai apropiată mie.
• Un instrument pentru fișiere deschide foaia de calcul cu vânzările de pe unitatea partajată a echipei.
• Permisiunile îi permit agentului să editeze ciorna raportului, dar nu și foaia de calcul sursă, astfel încât cifrele originale să nu poată fi modificate din greșeală.
• Verificarea confirmă că totalurile din raport corespund cu cele din foaia de calcul.

Rezultat posibil: Raportul sosește în același format ca cel de luna trecută, fără ca utilizatorul să fie nevoit să-l explice din nou.

Sortarea unei căsuțe de e-mail partajate

Sarcina: O echipă de asistență îi cere unui agent să sorteze după subiect solicitările primite în cursul dimineții și să redacteze răspunsuri la cele frecvente.

Ce face harness-ul:

• Bucla agentului parcurge căsuța de e-mail mesaj cu mesaj.
• Pentru fiecare mesaj, modelul alege o etichetă de subiect, iar harness-ul o aplică prin conectorul de e-mail.
• La începutul sarcinii, harness-ul adaugă în fereastra de context șabloanele de răspuns aprobate ale echipei, ca repere, astfel încât modelul să-și bazeze fiecare ciornă pe un șablon.
• O regulă de aprobare păstrează fiecare răspuns ca ciornă până când cineva din echipă îl revizuiește și îl trimite.

Rezultat posibil: Echipa își începe ziua cu solicitările sortate și cu răspunsurile care așteaptă revizuirea.

Remedierea unei erori dintr-un site web

Sarcina: Un dezvoltator îi cere unui agent de programare să remedieze o eroare care împiedică funcționarea unui buton de finalizare a comenzii.

Ce face harness-ul:

• Agentul lucrează într-un sandbox, o copie izolată a codului în care modificările sale nu pot afecta site-ul web live.
• Un instrument pentru cod îi permite modelului să citească și să editeze fișiere.
• După fiecare modificare, verificarea rulează testele automate ale proiectului.
• Orice eșec este transmis înapoi modelului ca informație nouă.

Rezultat posibil: Agentul își tot ajustează remedierea până când testele trec. Apoi, dezvoltatorul revizuiește modificarea înainte ca aceasta să ajungă pe site-ul live.

Ingineria harness-ului vs. ingineria prompturilor vs. ingineria contextului

Ingineria prompturilor înseamnă formularea și optimizarea unei singure solicitări. Ingineria contextului înseamnă gestionarea a tot ceea ce vede modelul. Ingineria harness-ului este procesul de proiectare și îmbunătățire a întregului sistem în care funcționează modelul.

Cum pot influența utilizatorii un harness AI

Cea mai mare parte a unui harness pentru agenți provine de la compania care creează agentul, dar multe produse AI le permit utilizatorilor să ajusteze o parte din acesta prin setări precum instrucțiunile personalizate, aplicațiile conectate și aprobările.

Utilizatorii pot modela harness-ul unui agent și pot îmbunătăți rezultatele acestuia în patru moduri:

1. Instrucțiuni permanente

Instrucțiunile permanente sunt note pe care o persoană le scrie o singură dată, astfel încât harness-ul să le poată adăuga în fereastra de context la începutul fiecărei sarcini. Merită configurate pentru orice lucru pe care o persoană l-ar repeta altfel în solicitare după solicitare: cine este și cu ce se ocupă, cum preferă să îi fie redactate materialele sau regulile pentru o activitate recurentă, cum ar fi raportul lunar al unui client.

Multe produse AI oferă instrucțiuni permanente pe două niveluri. Instrucțiunile la nivel de cont sunt potrivite pentru lucrurile valabile în orice activitate, cum ar fi preferințele de ortografie. Instrucțiunile de proiect sunt potrivite pentru un singur client sau flux de lucru, astfel încât indicațiile pentru unul să nu se transfere în altul.

Instrucțiunile permanente funcționează la fel în asistenții de chat și în agenți, dar agenții depind mai mult de ele. Într-un chat, o persoană poate corecta AI-ul după fiecare răspuns. Un agent poate parcurge mulți pași înainte ca cineva să-i vadă munca, așa că instrucțiunile oferite de la început sunt una dintre puținele modalități de a-l ghida pe parcurs.

Cum să scrii instrucțiuni permanente eficiente

• Începe cu o instrucțiune scurtă, de exemplu: „Sunt manager de marketing la o companie de software. Scrie într-o engleză simplă, păstrează rezumatele sub 200 de cuvinte și folosește ortografia americană.”
• Completează-le atunci când AI-ul face o greșeală. Dacă AI-ul tot rotunjește cifre de care echipa are nevoie exacte, adaugă un rând care să specifice acest lucru.
• Formulează instrucțiuni specifice: „Oferă cifre exacte, niciodată rotunjite” funcționează mai bine decât „Fii precis”.
• Păstrează lista scurtă și elimină rândurile odată ce nu mai sunt utile, deoarece fiecare rând ocupă spațiu în fereastra de context.

2. Aplicații conectate

Aplicațiile conectate leagă un produs AI de instrumentele pe care o persoană le folosește deja, cum ar fi e-mailul, un calendar sau o unitate partajată. Odată ce o aplicație este conectată, AI-ul poate lucra cu informațiile proprii ale persoanei, nu doar cu ceea ce este lipit în chat.

Merită să configurezi conexiunile atunci când o sarcină depinde de informații aflate în acele aplicații, cum ar fi pregătirea unei note informative pentru o întâlnire pe baza firelor de e-mail sau rezumarea documentelor de pe o unitate partajată.

Cum să conectezi aplicațiile în siguranță

• Conectează doar aplicațiile de care are nevoie o sarcină, deoarece fiecare conexiune adaugă o nouă posibilitate de eroare.
• Alege accesul doar pentru citire acolo unde este disponibil. De exemplu, un agent care pregătește note informative pentru întâlniri trebuie să citească e-mailurile, nu să le trimită.
• Configurează conexiunile pentru fiecare proiect, acolo unde produsul permite acest lucru. În Perplexity, de exemplu, utilizatorii pot alege ce conectori folosește fiecare proiect.
• Nu uita să deconectezi aplicațiile pe care nu le mai folosești.

3. Setări de aprobare

Setările de aprobare stabilesc ce acțiuni trebuie să aștepte acordul unei persoane înainte ca AI-ul să treacă mai departe. Unele aprobări sunt integrate în produs, iar unele produse le permit utilizatorilor să aleagă ce alte acțiuni necesită aprobare.

Cum să stabilești reguli de aprobare

• Solicită aprobare pentru acțiunile ireversibile, cum ar fi trimiterea unui mesaj, efectuarea unei achiziții sau ștergerea unui fișier.
• Păstrează scurtă lista aprobărilor. Dacă un agent cere confirmare pentru fiecare pas mărunt, oamenii încep să aprobe fără să citească.

4. Standarde și verificări

Majoritatea produselor AI vin cu anumite standarde integrate. Perplexity, de exemplu, include citări în răspunsurile sale, astfel încât fiecare afirmație să poată fi verificată. Standardele stabilite de utilizatori adaugă ceea ce un produs nu poate ști singur, cum ar fi formatul de raport preferat de o echipă.

Cum să stabilești standarde pentru munca realizată de AI

• Oferă un șablon pentru activitățile recurente, astfel încât AI-ul să aibă o structură fixă de completat.
• Pune la dispoziție un exemplu de lucrare anterioară apreciată de echipă, astfel încât AI-ul să-i poată reproduce tonul și nivelul de detaliu.
• Cere un link către sursă lângă fiecare cifră.
• Analizează atent primele rezultate și transformă orice lacune recurente într-o nouă instrucțiune permanentă.

Cum abordează Perplexity harness-urile pentru agenți

Perplexity Computer rulează pe un harness independent de model, care reunește peste 20 de modele avansate într-un singur sistem. Acesta împarte fiecare sarcină în subsarcini, le încredințează unor subagenți (agenți separați, fiecare preluând câte o parte) și direcționează fiecare componentă a lucrului către un model potrivit pentru ea.

Descoperă cum să configurezi instrucțiuni, fișiere și conectori în ghidul despre proiectele din Perplexity.

Întrebări frecvente

Ce este un inginer de harness?

Un inginer de harness proiectează și întreține sistemul care îi permite unui model AI să lucreze în mod fiabil. Asta poate însemna adăugarea unui instrument nou pe care agentul să-l folosească, aflarea motivului pentru care un agent repetă aceeași greșeală sau consolidarea verificărilor pe care le efectuează înainte de a încheia o sarcină. Nu este un titlu de post standard, deși acest lucru s-ar putea schimba. De obicei, această muncă este realizată de ingineri software din companiile de AI sau din echipele care dezvoltă agenți. În producția industrială, același titlu din engleză desemnează pe cineva care proiectează cablaje electrice (wire harnesses), adică mănunchiurile de cabluri din interiorul automobilelor și al utilajelor.

Ce este un harness pentru agenți?

Prin harness pentru agenți se înțelege, de obicei, tot ce ține de un agent AI în afară de modelul propriu-zis. Aici intră codul care rulează bucla agentului, gestionează contextul, execută apelurile de instrumente, stochează memoria, aplică permisiunile și verifică munca agentului înainte ca aceasta să ajungă la o persoană.

Are fiecare instrument AI un harness?

Da. Chiar și un asistent de chat simplu se bazează pe un harness pentru a ține evidența conversației, deoarece modelul nu își amintește singur mesajele anterioare.

Dezvoltatorii pot folosi un model și direct, trimițându-i solicitări din propriul software printr-un API (o conexiune care permite unui program să trimită solicitări altui program). În acest caz, codul dezvoltatorului face treaba harness-ului.

Vor deveni harness-urile inutile odată cu apariția unor modele mai bune?

Modelele mai bune ar putea avea nevoie de mai puține îndrumări pas cu pas, așa că o parte din ceea ce fac astăzi harness-urile s-ar putea reduce. Dar un model, de unul singur, doar transformă text în text. Nu are conexiune la internet și nici acces la alte aplicații. Accesarea fișierelor, efectuarea acțiunilor și aplicarea regulilor de aprobare au loc toate în software-ul din jurul modelului, așa că această muncă va rămâne, probabil, în sarcina harness-ului, oricât de capabile ar deveni modelele.