Enginyeria de harness: què és i com funciona

Què significa l'enginyeria de harness

L'enginyeria de harness és la feina de construir el harness d'una eina d'IA, és a dir, totes les parts de l'eina excepte el model d'IA.

El model és el sistema d'IA, que s'ha entrenat amb grans volums de text perquè pugui llegir i escriure llenguatge. Alguns exemples de models d'IA són GPT d'OpenAI, Claude d'Anthropic o Gemini de Google.

Per si sol, un model només pot rebre text (i de vegades imatges o àudio) i respondre amb text. No pot recordar converses anteriors, consultar informació actualitzada ni executar codi. Per això necessita un harness que gestioni quina informació rep el model, quines aplicacions pot fer servir, què té permès fer i com es revisa la seva feina.

Fins i tot un assistent de xat bàsic necessita un harness. El model oblida cada intercanvi tan bon punt respon, de manera que el harness guarda un registre de la conversa. Si algú pregunta per París i després afegeix «quina és la seva població?», el harness envia totes dues preguntes al model alhora. Així és com el model sap que «seva» fa referència a París.

L'enginyeria de harness és una de les raons per les quals dues eines basades en el mateix model poden tenir un rendiment tan diferent. Per exemple, en una prova independent, uns investigadors van mantenir el mateix model (GPT5) i només van canviar el harness, i la puntuació del model en una prova de programació va variar fins a un 11 %.

Els desenvolupadors de models d'IA com Anthropic i OpenAI construeixen el harness dels seus propis productes d'IA, com Claude Code i Codex. I les empreses que creen productes d'IA dissenyen el harness per als models subjacents que trien. Les persones que fan servir eines d'IA també configuren una part del harness. Moltes eines els permeten afegir instruccions permanents, connectar aplicacions i triar quines accions necessiten la seva aprovació abans que l'eina continuï.

Enginyeria de harness per a agents d'IA

Tota eina d'IA té un harness, però l'enginyeria de harness esdevé especialment important quan es treballa amb agents d'IA. Els agents gestionen tasques de diversos passos pel seu compte, com ara investigar la competència i bolcar les conclusions en un full de càlcul, i el harness executa cada pas. Per tant, si el harness comet un error, com ara obtenir els preus de l'any passat, també afectarà la resta de passos.

La majoria dels harness d'agents tenen sis parts principals:

1. El bucle de l'agent

Amplia

El bucle de l'agent és codi dins del harness que fa avançar una tasca, pas a pas.

El model d'IA decideix el pas següent necessari per completar la tasca i escriu una crida a una eina: una petició breu que indica el nom d'una eina del harness, com ara la cerca web, i què ha de fer aquesta eina.

El harness detecta la petició, executa la cerca i afegeix els resultats al que el model pot veure. El model els llegeix i decideix què fer a continuació.

2. Gestió del context

Un model adquireix coneixements generals durant l'entrenament, però aquests coneixements s'aturen a la data en què va acabar l'entrenament. No inclouen res específic de la tasca en qüestió, com ara els fitxers d'una empresa, les notícies d'avui o el que s'ha dit abans a la conversa.

Per a tot això, el model depèn de la seva finestra de context: el text que el harness li proporciona abans de cada resposta, com ara les seves instruccions, la consulta, la conversa fins al moment i els resultats de cerca.

La finestra només pot contenir una quantitat fixa de text. I fins i tot abans que la finestra s'ompli, els models de vegades passen per alt informació enterrada al mig d'entrades llargues.

Per això, el harness s'encarrega de la gestió del context i selecciona només la informació que necessita cada pas. Per exemple, si la tasca consisteix a comparar els preus de cinc competidors, el harness pot incloure la pàgina de preus de cada empresa en lloc del seu lloc web sencer. En tasques llargues, el harness també pot substituir el registre detallat dels passos anteriors per un resum breu, de manera que el model no perd de vista el que ha fet sense que aquest historial ompli la finestra.

3. Eines

Les eines són codi que duu a terme les accions que demana el model. Cada eina s'encarrega d'un tipus d'acció, com ara cercar al web, obrir i llegir una pàgina web, executar codi o editar un fitxer. Quan el model escriu una crida a una eina, el harness la passa a l'eina adequada i en retorna el resultat.

Molts harness també inclouen connectors, que són eines que vinculen l'agent a una aplicació concreta, com ara el correu electrònic, un calendari o una unitat compartida, mitjançant l'accés que una persona ha concedit. Amb un connector de calendari, per exemple, un agent pot comprovar la disponibilitat d'algú abans de suggerir una hora per a una reunió.

4. Memòria

La memòria és informació emmagatzemada que es manté d'una sessió a la següent. El harness desa notes breus durant una sessió, com ara les preferències d'una persona o l'estat d'un projecte. A l'inici de la sessió següent, el harness afegeix aquestes notes a la finestra de context, de manera que el model les llegeix abans de llegir la nova consulta. Així és com un agent pot reprendre un informe setmanal on el va deixar en lloc de tornar a començar des del principi, per exemple.

5. Permisos

Els permisos són regles sobre a què pot accedir un agent i què pot fer. Les regles d'accés estableixen quins fitxers, aplicacions o llocs web pot obrir. Les regles d'aprovació estableixen quines accions han d'esperar el vistiplau d'una persona, com ara enviar un missatge o fer una compra.

L'empresa que crea l'agent configura algunes d'aquestes regles al codi del harness. Després, els administradors d'una organització hi poden afegir les seves, i cada usuari pot triar aspectes com ara quins comptes vol connectar.

6. Verificació

La verificació és codi que revisa la feina de l'agent abans que arribi a una persona. Fa servir dos tipus de comprovacions:

• Regles fixes, que són proves concretes que se superen o fallen sempre de la mateixa manera, com ara confirmar que cada xifra d'un informe apareix en un document que l'agent ha llegit realment.
• Una revisió per part d'un altre model d'IA, que llegeix la feina i l'avalua. Pot detectar problemes difícils de convertir en una regla, com ara un resum que omet un punt important.

Cap comprovació no ho detecta tot, de manera que els harness normalment combinen tots dos tipus. Quan una comprovació troba un problema, el harness n'afegeix una descripció a la finestra de context del model i torna a enviar la tasca pel bucle de l'agent. El model corregeix el problema i ho torna a provar, de manera que molts errors es corregeixen abans que l'usuari vegi el resultat.

Exemples d'enginyeria de harness

Preparar una reunió amb un client

Tasca: Un gestor de comptes demana a un agent que prepari un dossier informatiu per a la reunió de demà amb un client, amb les qüestions pendents i un esborrany d'ordre del dia.

Què fa el harness:

• Mitjançant un connector de correu electrònic, l'agent cerca a la safata d'entrada del gestor els missatges intercanviats amb el client.
• Els permisos li permeten llegir correus electrònics, però no enviar-ne cap.
• La gestió del context només passa al model els missatges dels últims tres mesos amb aquest client, no tota la safata d'entrada.
• El bucle de l'agent executa diverses rondes de cerca i lectura, i el model agrupa el que troba en qüestions pendents.
• Després, la verificació comprova que cada qüestió del dossier remet a un correu electrònic real.

Resultat possible: El gestor rep un dossier d'una pàgina en què cada punt es pot rastrejar fins al correu electrònic d'origen.

Actualitzar un informe mensual de vendes

Tasca: Un responsable d'operacions demana a un agent que actualitzi l'informe mensual de vendes amb les xifres d'aquest mes.

Què fa el harness:

• La memòria carrega les notes de la sessió del mes passat, inclosos el format de l'informe i la petició del responsable d'arrodonir les xifres al miler més proper.
• Una eina de fitxers obre el full de càlcul de vendes a la unitat compartida de l'equip.
• Els permisos permeten a l'agent editar l'esborrany de l'informe, però no el full de càlcul d'origen, de manera que les xifres originals no es poden modificar per error.
• La verificació comprova que els totals de l'informe coincideixen amb els del full de càlcul.

Resultat possible: L'informe arriba amb el mateix format que el del mes passat, sense que l'usuari l'hagi de tornar a explicar.

Classificar una safata d'entrada compartida

Tasca: Un equip d'assistència demana a un agent que classifiqui per tema les sol·licituds rebudes durant el matí i que redacti esborranys de resposta per a les més habituals.

Què fa el harness:

• El bucle de l'agent revisa la safata d'entrada missatge per missatge.
• Per a cadascun, el model tria una etiqueta de tema i el harness l'aplica mitjançant el connector de correu electrònic.
• A l'inici de la tasca, el harness afegeix les plantilles de resposta aprovades de l'equip a la finestra de context com a guia, de manera que el model basa cada esborrany en una plantilla.
• Una regla d'aprovació manté cada resposta com a esborrany fins que algú de l'equip la revisa i l'envia.

Resultat possible: L'equip comença el dia amb les sol·licituds classificades i les respostes a l'espera de revisió.

Corregir un error en un lloc web

Tasca: Un desenvolupador demana a un agent de programació que corregeixi un error que impedeix que funcioni un botó de pagament.

Què fa el harness:

• L'agent treballa en un entorn de proves, una còpia aïllada del codi en què els seus canvis no poden afectar el lloc web en producció.
• Una eina de codi permet al model llegir i editar fitxers.
• Després de cada canvi, la verificació executa les proves automatitzades del projecte.
• Les proves que fallen tornen al model com a informació nova.

Resultat possible: L'agent continua ajustant la correcció fins que les proves se superen. Després, el desenvolupador revisa el canvi abans que es publiqui.

Enginyeria de harness vs. enginyeria de prompts vs. enginyeria de context

L'enginyeria de prompts és la feina de crear i optimitzar una sola consulta. L'enginyeria de context és la feina de gestionar tot el que veu el model. L'enginyeria de harness és el procés de dissenyar i millorar tot el sistema dins del qual treballa el model.

Com poden influir els usuaris en el harness d'una IA

La major part del harness d'un agent prové de l'empresa que crea l'agent, però molts productes d'IA permeten als usuaris ajustar-ne una part mitjançant opcions de configuració com les instruccions personalitzades, les aplicacions connectades i les aprovacions.

Els usuaris poden donar forma al harness d'un agent, i millorar-ne els resultats, de quatre maneres:

1. Instruccions permanents

Les instruccions permanents són notes que una persona escriu una sola vegada perquè el harness les pugui afegir a la finestra de context a l'inici de cada tasca. Val la pena configurar-les per a qualsevol cosa que, si no, s'hauria de repetir consulta rere consulta: qui és la persona i a què es dedica, com li agrada que es redacti la feina o les regles d'una tasca recurrent, com ara l'informe mensual d'un client.

Molts productes d'IA ofereixen instruccions permanents a dos nivells. Les instruccions per a tot el compte són adequades per a aspectes que s'apliquen a tota la feina, com ara les preferències ortogràfiques. Les instruccions de projecte són adequades per a un sol client o flux de treball, de manera que les indicacions per a un no s'apliquen a cap altre.

Les instruccions permanents funcionen igual en els assistents de xat i en els agents, però els agents en depenen més. En un xat, una persona pot corregir la IA després de cada resposta. Un agent pot fer molts passos abans que algú vegi la seva feina, de manera que les instruccions donades per endavant són una de les poques maneres d'orientar-lo durant el procés.

Com escriure instruccions permanents eficaces

• Comença amb una instrucció breu, com ara: «Soc responsable de màrqueting en una empresa de programari. Escriu en un anglès senzill, fes que els resums no superin les 200 paraules i fes servir l'ortografia dels EUA.»
• Amplia-les quan la IA cometi un error. Si la IA continua arrodonint xifres que l'equip necessita exactes, afegeix-hi una línia que ho indiqui.
• Fes que les instruccions siguin específiques: «Dona xifres exactes, mai arrodonides» funciona millor que «Sigues precís».
• Mantén la llista curta i elimina les línies quan deixin de ser útils, ja que cada línia ocupa espai a la finestra de context.

2. Aplicacions connectades

Les aplicacions connectades vinculen un producte d'IA a les eines que una persona ja fa servir, com ara el correu electrònic, un calendari o una unitat compartida. Un cop connectada una aplicació, la IA pot treballar amb la informació pròpia de la persona en lloc de limitar-se al que s'enganxa al xat.

Val la pena configurar connexions quan una tasca depèn d'informació que es troba en aquestes aplicacions, com ara preparar un dossier per a una reunió a partir de fils de correu electrònic o resumir documents d'una unitat compartida.

Com connectar aplicacions de manera segura

• Connecta només les aplicacions que necessita una tasca, ja que cada connexió afegeix una nova possibilitat d'error.
• Tria l'accés de només lectura quan estigui disponible. Per exemple, un agent que prepara dossiers per a reunions necessita llegir el correu electrònic, no enviar-ne.
• Configura les connexions per projecte quan el producte ho permeti. A Perplexity, per exemple, es pot triar quins connectors fa servir cada Projecte.
• Recorda desconnectar les aplicacions que ja no facis servir.

3. Configuració d'aprovacions

La configuració d'aprovacions determina quines accions han d'esperar el vistiplau d'una persona abans que la IA continuï. Algunes aprovacions estan integrades al producte, i alguns productes permeten triar quines altres accions en requereixen una.

Com establir regles d'aprovació

• Exigeix aprovació per a les accions que no es poden desfer, com ara enviar un missatge, fer una compra o eliminar un fitxer.
• Mantén breu la llista d'aprovacions. Si un agent demana el vistiplau per a cada petit pas, la gent comença a aprovar sense llegir.

4. Estàndards i comprovacions

La majoria de productes d'IA ja inclouen alguns estàndards de sèrie. Perplexity, per exemple, acompanya les respostes amb cites perquè es pugui verificar cada afirmació. Els estàndards definits per l'usuari hi afegeixen allò que un producte no pot saber per si sol, com ara el format d'informe que prefereix un equip.

Com establir estàndards per a la feina feta amb IA

• Proporciona una plantilla per a la feina recurrent, perquè la IA tingui una estructura fixa per emplenar.
• Comparteix un exemple d'una feina anterior que hagi agradat a l'equip, perquè la IA en pugui reproduir el to i el nivell de detall.
• Demana un enllaç a la font al costat de cada xifra.
• Revisa amb atenció els primers resultats i converteix qualsevol mancança recurrent en una nova instrucció permanent.

Com enfoca Perplexity els harness per a agents

Perplexity Computer funciona amb un harness independent del model, que reuneix més de 20 models avançats en un sol sistema. Divideix cada tasca en subtasques, les assigna a subagents (agents diferents que s'encarreguen cadascun d'una part) i adreça cada part de la feina al model més adequat per fer-la.

Descobreix com configurar instruccions, fitxers i connectors a la guia dels projectes de Perplexity.

Preguntes freqüents

Què és un enginyer de harness?

Un enginyer de harness dissenya i manté el sistema que permet a un model d'IA fer una feina fiable. Això pot voler dir afegir una eina nova perquè l'agent la utilitzi, esbrinar per què un agent comet sempre el mateix error o reforçar les comprovacions que fa abans d'acabar una tasca. No és un càrrec professional estàndard, tot i que això podria canviar. Normalment, aquesta feina la fan enginyers de programari d'empreses d'IA o d'equips que creen agents. En la indústria manufacturera, el mateix títol en anglès designa qui dissenya arnesos de cablejat (wire harnesses), és a dir, els feixos de cables que hi ha dins dels cotxes i les màquines.

Què és un harness d'agent?

Un harness d'agent sol designar tot allò que forma part d'un agent d'IA excepte el model en si. Això inclou el codi que executa el bucle de l'agent, gestiona el context, fa les crides a eines, emmagatzema la memòria, aplica els permisos i comprova la feina de l'agent abans que arribi a una persona.

Totes les eines d'IA tenen un harness?

Sí. Fins i tot un assistent de xat bàsic depèn d'un harness per fer el seguiment de la conversa, ja que el model no recorda per si sol els missatges anteriors.

Els desenvolupadors també poden utilitzar un model enviant-li sol·licituds des del seu propi programari mitjançant una API (una connexió que permet que un programa enviï sol·licituds a un altre). En aquest cas, és el codi del mateix desenvolupador el que fa la funció del harness.

Amb models millors, els harness deixaran de ser necessaris?

És possible que els models millors necessitin menys orientació pas a pas, de manera que una part del que fan avui els harness es podria reduir. Però un model, per si sol, només converteix text en text. No té connexió a internet ni accés a altres aplicacions. Accedir a fitxers, dur a terme accions i aplicar regles d'aprovació són tasques que tenen lloc al programari que envolta el model, de manera que és probable que aquesta feina continuï recaient en el harness, per molt capaços que arribin a ser els models.