Com avaluar agents d’IA: conjunts de proves, avaluadors i comprovacions de regressió

Darrere de tot gran producte d’IA hi ha un procés sòlid d’avaluació d’agents d’IA, conegut com a evals, que detecta els errors aviat i garanteix el bon funcionament de l’agent. Les avaluacions són essencials per als agents d’IA que executen accions d’alt risc, com ara reemborsaments en nom d’algú.

Construir aquest procés requereix certs coneixements tècnics i habilitats d’anàlisi de dades. Però no és ni de bon tros tan intimidant ni inaccessible com pot semblar. Per ajudar-te a començar, hem recollit sis passos pràctics per avaluar agents d’IA i els errors de concepte habituals que fan fracassar el procés.

Què vol dir avaluar un agent d’IA?

Avaluar un agent d’IA vol dir valorar-ne el rendiment a l’hora de completar tasques correctament i si les seves decisions compleixen els requisits de l’organització. En termes pràctics, les avaluacions d’agents d’IA, o evals, són mètriques específiques que ajuden les organitzacions a determinar si l’agent funciona amb prou fiabilitat per a la funció prevista.

Pensa en un agent de compres d’IA en una planta de fabricació que comprova l’inventari de recanvis i prepara sol·licituds de reposició. Si una peça aprovada no està disponible o la informació del proveïdor està desactualitzada, l’agent assenyalarà el problema o recomanarà un substitut no aprovat?

I si canvies el prompt del sistema per resoldre aquest problema, com saps que no n’has introduït un altre?

Sense un procés d’avaluació, els gestors de producte bàsicament han d’anar a cegues. Per això, les avaluacions proporcionen un senyal de retroalimentació per mesurar el rendiment, detectar problemes recurrents i provar canvis amb més confiança.

Dit això, una avaluació d’agents pot examinar diversos aspectes d’una execució:

• La qualitat del resultat final
• La informació que ha utilitzat l’agent
• Les eines que ha cridat
• Si ha seguit les regles que regeixen el seu comportament

Mètriques habituals d’avaluació d’agents d’IA

Les avaluacions treballen amb dades qualitatives i quantitatives. L’avaluació qualitativa t’ajuda a entendre què passa i per què, incloent-hi la revisió manual de les decisions de l’agent. L’avaluació quantitativa converteix aquestes observacions en senyals mesurables, com ara comptar la freqüència de modes d’error específics o calcular les taxes d’èxit de les tasques.

Aquesta és la llista de mètriques fonamentals d’avaluació d’agents d’IA:

• L’èxit de la tasca mesura si l’agent ha aconseguit el resultat previst; normalment es mesura com el percentatge d’execucions que produeixen resultats vàlids.
• La correcció de les accions mesura si l’agent ha utilitzat les eines adequadament, ha seleccionat arguments vàlids i ha respectat els permisos.
• La qualitat de la resposta avalua si el resultat final és precís, complet i útil. Pot incloure la correcció factual, el compliment de les instruccions i si l’agent fonamenta les seves decisions en la informació disponible.
• La fiabilitat mesura la coherència entre proves repetides, entrades variables i casos límit.
• El cost i la latència mesuren els recursos necessaris per aconseguir un resultat satisfactori, inclosos el temps d’execució, el consum de tokens i les crides a eines.

Segons el que vulguis mesurar, les avaluacions poden valorar el rendiment de punta a punta d’un agent, la seva trajectòria d’execució o components individuals, com ara les crides a eines i els passos de recuperació d’informació.

Pas 1: Defineix com és una execució reeixida de l’agent

Primer, descriu explícitament què ha d’aconseguir l’agent — els requisits del producte. Sembla obvi, però pot ser sorprenentment difícil. Fins i tot té nom: la bretxa d’especificació.

Així és com cal abordar-ho, segons Andrey Khomutov, el nostre científic de dades sènior:

«Comença amb dues preguntes: “Què comptaria com a fer la feina?” i “Què faria inacceptable una execució aparentment reeixida?”

Per als agents, des d’un punt de vista tècnic, això vol dir comprovar tant el resultat com la manera com els agents hi han arribat.»

Un agent podria donar la resposta correcta accedint a una clau de respostes filtrada o dur a terme accions no autoritzades mentre completa la tasca. Khomutov assenyala que la filtració de respostes i les accions no segures durant les avaluacions són motius concrets per no jutjar només la resposta final.

«Espero que la inspecció de trajectòries esdevingui una part estàndard dels conjunts d’avaluació d’agents, en lloc d’una cosa que només fem quan un resultat sembla sospitós», afegeix.

Després, compta amb un expert en el domini perquè validi els teus criteris d’èxit. Les persones amb coneixement pràctic del domini poden dir si les condicions que establim per a un agent d’IA reflecteixen un resultat reeixit.

Pas 2. Crea un conjunt de proves a partir de tasques i errors reals

Examina el comportament real de l’agent per entendre com és un bon rendiment i un de dolent. Resisteix la temptació de començar generant desenes de proves basades només en el que creus que podria fallar.

Hamel Husain, enginyer d’aprenentatge automàtic a Parlance Lab, i Shreya Shankar, investigadora de sistemes d’aprenentatge automàtic i d’avaluacions d’IA aplicada, recomanen començar amb l’anàlisi d’errors, una tècnica manllevada de l’aprenentatge automàtic i la ciència de dades. El procés comença amb l’anàlisi qualitativa de les traces d’execució de l’agent — registres que mostren l’entrada de l’usuari, les crides a eines, la informació recuperada i la sortida de l’agent.

1. Revisa traces individuals i anota els errors (codificació oberta). Fes que un expert en el domini inspeccioni les execucions de l’agent i escrigui observacions breus sobre què ha fallat. Centra’t en el primer error significatiu.
2. Agrupa les observacions en modes d’error (codificació axial). Quan tinguis prou notes, utilitza un LLM perquè suggereixi categories per a errors similars. Poden incloure recomanacions de peces incompatibles, consultes d’inventari inexactes i traspassos fallits a persones.
3. Compta les ocurrències. Assigna cada observació a una categoria i, després, utilitza un full de càlcul o una taula dinàmica per calcular amb quina freqüència apareix cada mode d’error.
4. Prioritza què cal abordar, tenint en compte tant la freqüència com la gravetat.
5. Converteix els errors importants en casos de prova. Desa l’entrada rellevant, les condicions inicials, el resultat esperat i els criteris de qualificació perquè l’agent es pugui tornar a provar en el mateix escenari.

Quantes traces cal examinar? Aproximadament 100, però no hi ha cap xifra màgica. Atura’t abans d’hora quan arribis a la saturació teòrica: el punt en què revisar més traces deixa de revelar nous patrons d’error significatius.

Encara no has llançat l’aplicació? Els exemples sintètics poden ajudar a crear un conjunt de proves inicial, tot i que les dades reals dels usuaris l’haurien de nodrir tan aviat com estiguin disponibles.

L’ús de benchmarks en l’avaluació d’agents d’IA

A més de crear els teus propis casos de prova, pots utilitzar col·leccions existents de tasques d’avaluació estandarditzades, conegudes com a benchmarks, per valorar les capacitats dels agents.

Però els benchmarks no són infal·libles. Les auditories de SWE-bench, les revisions de benchmarks d’Epoch AI i les respostes correctes rebutjades inicialment a TheoPhysEval il·lustren com les tasques o les respostes esperades defectuoses poden distorsionar els resultats de l’avaluació.

Tal com aconsella Khomutov, tria benchmarks actualitzats i rellevants per al teu domini, i investiga els encerts o errors sorprenents abans de considerar les puntuacions una prova fiable del rendiment de l’agent.

Pas 3. Executa l’agent en un entorn de proves repetible

Un entorn de proves repetible és una configuració controlada en què pots executar un agent d’IA amb els mateixos casos de prova i les mateixes condicions inicials, i comparar-ne els resultats. Pot incloure una carpeta de casos de prova, un script de Python que executa l’agent o un conjunt de comprovacions que avaluen els resultats.

Pots començar desant entrades representatives com a fitxers JSON i utilitzant un script de Python per executar el flux de treball de l’agent i comprovar-ne les sortides amb assercions. Per a l’agent d’inventari de la nostra planta de fabricació, un entorn de proves repetible podria tenir aquest aspecte:

Amplia

Per configurar un entorn de proves repetible, segueix aquests passos:

1. Desa entrades representatives. Emmagatzema esdeveniments reals o casos de prova amb la mateixa estructura que rep la teva aplicació en producció. En el nostre escenari, desaries com a fitxer JSON una sol·licitud de manteniment que contingui l’identificador de la màquina, el recanvi necessari i la data de manteniment, juntament amb una instantània de l’inventari i de les dades de peces aprovades.
2. Executa el flux de treball. Passa cada entrada per l’agent, inclosos els passos de recuperació, les crides a eines i la generació de respostes.
3. Registra el resultat i la traça. Captura la sortida final i les accions intermèdies rellevants (com ara les consultes d’inventari) perquè puguis veure no només si l’agent ha fallat, sinó on.
4. Repeteix els casos segons la gravetat de l’error, la freqüència i la dificultat de resoldre el problema. Les aplicacions d’LLM són no deterministes (poden produir resultats diferents a partir d’entrades idèntiques), de manera que una execució reeixida no garanteix que la següent també ho sigui. Informa de la proporció de proves reeixides i inspecciona els errors.

Per a això últim, Khomutov aconsella mesurar pass@1 (amb quina freqüència l’agent té èxit en un sol intent) i pass@k (la probabilitat de tenir èxit almenys una vegada en un nombre determinat d’intents). Si informes de pass@k, especifica el nombre d’intents, ja que produir una resposta correcta entre diverses no vol dir que l’agent sàpiga quina ha de triar.

A mesura que la teva aplicació creixi, utilitza un marc de proves com pytest per organitzar i executar les proves, i planteja’t emmagatzemar els conjunts de dades de prova grans i els resultats en una base de dades.

Pas 4. Tria el qualificador adequat per a cada comprovació

Un qualificador (també anomenat sovint avaluador) és un mecanisme —en forma de fragment de codi, d’un LLM guiat per una rúbrica de qualificació o d’un revisor humà— que comprova la sortida o l’acció d’un agent respecte a un criteri definit. Un qualificador retorna un veredicte d’aprovat/suspès i una explicació que identifica les proves rellevants.

Informació: Una rúbrica de qualificació és un conjunt de criteris i instruccions que defineixen què es considera un resultat correcte o acceptable.

El tipus de qualificador adequat depèn del que vulguis verificar. Així es comparen els tres enfocaments:

De vegades, diferents aspectes d’una mateixa execució poden requerir mètodes d’avaluació diferents, així que potser hauràs de combinar qualificadors.

Com es combinen els qualificadors?

Pregunta’t: «Es pot verificar el resultat respecte a una regla coneguda o un valor esperat, o requereix un judici semblant al d’una persona?»

• Si pots verificar el resultat amb exactitud, comença amb un qualificador basat en codi. Els qualificadors basats en codi també poden verificar sortides estructurades, valors de camp vàlids, arguments d’eines o l’estat final d’una base de dades.
• Si la comprovació requereix interpretar el context, utilitza un LLM com a jutge.
• Recorre a revisors humans per a decisions específiques del domini o controvertides.

Important! Un qualificador basat en LLM pot interpretar malament les proves o aplicar una rúbrica incorrectament. Per això necessita un pas d’avaluació addicional: el calibratge respecte als judicis humans.

Calibra el qualificador basat en LLM respecte als judicis humans.

Bàsicament, el calibratge requereix que un expert en el domini avaluï execucions reals de l’agent. Després, l’expert compara els seus judicis amb els de l’LLM i perfecciona la rúbrica de qualificació a partir de les discrepàncies.

Aquest és un procés de calibratge del qualificador en cinc passos:

1. Recull exemples d’entrades, sortides i traces rellevants de l’agent.
2. Fes que un expert en el domini avaluï de manera independent si cada exemple compleix el criteri d’avaluació.
3. Executa el qualificador basat en LLM sobre aquests exemples.
4. Compara els judicis humans amb els del model.
5. Investiga les discrepàncies i perfecciona la rúbrica del qualificador abans de provar-lo amb exemples nous.

Khomutov també subratlla la importància de provar per separat la coherència del qualificador basat en LLM:

«Dona-li exactament la mateixa execució desada i els mateixos fitxers diverses vegades, sense tornar a executar l’agent. Això et permet separar la variació en la feina de l’agent de la variació en la qualificació.»

Si la mateixa sortida rep veredictes diferents, no donis per fet que tots els canvis de puntuació provenen de l’agent. En lloc d’això, examina una matriu de confusió que mostri quan el qualificador ha identificat correctament els errors, quan els ha passat per alt i quan ha marcat incorrectament sortides acceptables.

La revisió humana continua sent essencial per establir judicis de referència, resoldre casos controvertits i descobrir nous modes d’error que els qualificadors existents no estaven dissenyats per detectar.

Pas 5. Compara versions i executa comprovacions de regressió

Suposem que l’anàlisi d’errors revela que el teu agent d’inventari recomana sovint recanvis no aprovats. Modifiques el prompt del sistema de l’agent perquè exigeixi una comprovació explícita de compatibilitat. El cas que fallava originalment ara passa. Però com saps que el canvi no ha afectat altres tasques?

Aquí és on entren en joc les proves de regressió.

Les proves de regressió consisteixen a tornar a executar casos de prova que abans funcionaven després de canviar el prompt, el model o el flux de treball d’un agent, per garantir que el canvi no ha introduït errors nous.

1. Reprodueix l’error original utilitzant una entrada desada del conjunt de proves.
2. Fes un canvi específic al prompt, al model o al flux de treball.
3. Torna a executar la prova que fallava per comprovar si el problema s’ha resolt.
4. Executeu les altres proves per verificar que el canvi no ha trencat comportaments que abans funcionaven correctament.
5. Inspeccioneu els resultats i investigueu qualsevol fallada nova.

Compareu l’agent de referència i l’agent actualitzat amb els mateixos casos de prova i criteris d’avaluació per obtenir resultats precisos.

Pas 6: superviseu el rendiment de l’agent d’IA en producció

L’avaluació d’agents no s’acaba quan heu desplegat l’aplicació. Tal com expliquen Husain i Shankar, els mateixos avaluadors que feu servir durant el desenvolupament també es poden executar sobre dades reals de producció per mesurar el rendiment de l’agent al llarg del temps.

Això es coneix com a avaluació en línia i forma part d’un procés més ampli de supervisió en producció que ajuda a detectar fallades recurrents i fins ara desconegudes.

El procés és iteratiu i inclou quatre activitats complementàries:

• Executeu jutges LLM calibrats sobre traces de producció. Preneu mostres d’interaccions reals de l’agent i apliqueu-hi els avaluadors que ja heu validat amb judicis humans.
• Feu el seguiment de les taxes de fallada al llarg del temps. Feu servir les categories de fallada establertes durant l’anàlisi d’errors per quantificar els problemes recurrents.
• Continueu revisant les traces manualment. Els avaluadors automatitzats només detecten els problemes que estan dissenyats per identificar. Inspeccioneu manualment mostres d’interaccions reals de l’agent per descobrir errors nous o sol·licituds inusuals dels usuaris.
• Feu servir proves A/B per mesurar els resultats de negoci (només quan sigui adequat). Compareu diferents indicacions, models o fluxos de treball amb mètriques com ara la finalització de tasques, la satisfacció dels usuaris i el temps de resolució. Aquest procés ajuda a determinar si un canvi millora l’experiència real del producte, més enllà de superar proves individuals.

Un aclariment important: no cal que les avaluacions siguin perfectes. Només han de ser prou bones per millorar el producte.

Idees errònies habituals sobre l’avaluació d’agents d’IA

• Les avaluacions són només proves unitàries. No ho són: les proves unitàries són comprovacions petites i automatitzades que només són una part de l’avaluació. Les avaluacions també inclouen l’anàlisi qualitativa d’errors, els judicis humans, la supervisió en producció i experiments per mesurar la qualitat de l’aplicació.
• Una plataforma d’avaluació ho pot fer tot per vosaltres. Les eines estàndard poden automatitzar algunes comprovacions, però no poden determinar quins modes de fallada (tipus d’errors o comportaments no desitjats de l’agent) són rellevants per al vostre producte.
• Podeu deixar que un LLM ho avaluï tot. Aquesta és una gran fal·làcia. L’anàlisi d’errors dirigida per persones i el calibratge dels avaluadors continuen sent essencials, ja que als LLM els falta el context de negoci necessari per descobrir tots els problemes.
• Les proves A/B o simplement fer servir l’agent substitueixen les avaluacions. Incorrecte. Les proves A/B poden mostrar quina versió té un rendiment millor segons les mètriques seleccionades, però no poden explicar per si soles els problemes subjacents.

Preguntes freqüents sobre l’avaluació d’agents d’IA

1. Quina diferència hi ha entre l’avaluació d’agents d’IA i l’avaluació de LLM?

L’avaluació de LLM mesura el rendiment d’un model de llenguatge en una tasca determinada, com ara respondre una pregunta, resumir un document o extreure informació. L’avaluació d’agents d’IA analitza un sistema que executa diversos passos de manera autònoma per completar una tasca.

A diferència d’una avaluació típica de LLM, l’avaluació d’agents examina tant el resultat final com la seqüència d’accions dutes a terme per aconseguir-lo, incloses les crides a eines, les decisions i el compliment de les regles predefinides.

2. Mètriques clau per a l’avaluació d’agents d’IA

Les mètriques d’avaluació d’agents d’IA es divideixen en dues grans categories:

• Mètriques de rendiment tècnic: taxa d’èxit de les tasques, correcció de les accions, qualitat de les respostes, fiabilitat (pass@1 i pass@k), latència, ús de tokens i cost per tasca completada amb èxit.
• Mètriques de negoci i d’experiència d’usuari: satisfacció del client (CSAT), taxa de resolució d’incidències, taxa d’escalat, taxa de conversió, temps de finalització de les tasques i altres resultats específics de la funció de l’agent.

Per exemple, un agent d’atenció al client es podria avaluar segons la resolució correcta d’incidències i la satisfacció del client, mentre que un agent de compres d’IA es podria mesurar per la precisió de les sol·licituds de reposició, les taxes d’aprovació i la durada del cicle de compres.

Les mètriques adequades han de reflectir tant la fiabilitat amb què treballa l’agent com si la seva feina millora els resultats de negoci.

3. Quines són les millors eines per avaluar agents d’IA?

Entre les opcions habituals hi ha:

• Marcs de proves: les assercions de Python i pytest són útils per executar casos de prova repetibles i comprovar condicions exactes, com ara si un agent ha seleccionat l’eina correcta o ha retornat un identificador de peça vàlid.
• Marcs d’avaluació d’agents d’IA: DeepEval i el conjunt d’eines agent-eval de Google admeten avaluacions més complexes, incloses les traces d’execució, els avaluadors basats en LLM i les proves de regressió automatitzades.
• Plataformes d’avaluació i observabilitat: LangSmith, Arize Phoenix i MLflow ajuden els equips a inspeccionar el comportament dels agents, gestionar conjunts de dades d’avaluació, comparar versions dels agents i supervisar-ne el rendiment en producció.

4. Com es poden automatitzar les avaluacions d’agents d’IA?

Podeu automatitzar les avaluacions d’agents d’IA creant proves repetibles, aplicant avaluadors automatitzats i integrant aquestes comprovacions en els fluxos de treball de desenvolupament i de producció:

1. Creeu un conjunt de dades d’avaluació: recopileu tasques representatives dels usuaris, resultats esperats, fallades conegudes i traces d’execució de l’agent. Incloeu-hi casos límit, com ara crides a eines fallides, informació que falta i accions no autoritzades.
2. Automatitzeu l’execució de les proves i l’avaluació: feu servir marcs com pytest o DeepEval per executar casos de prova i aplicar comprovacions basades en codi o avaluadors LLM. Valideu els avaluadors LLM amb judicis humans abans de confiar en les seves puntuacions.
3. Integreu les avaluacions a la CI/CD: torneu a executar automàticament les proves de regressió quan els desenvolupadors actualitzin les indicacions, els models, les eines o el flux de treball d’un agent. Compareu els resultats amb una referència i establiu llindars de qualitat que impedeixin els llançaments quan fallin comprovacions crítiques.
4. Apliqueu avaluadors calibrats a mostres de traces de producció, feu el seguiment de les taxes de fallada i d’altres mètriques de rendiment, i investigueu els errors nous mitjançant la revisió manual.