Come valutare gli agenti IA: set di test, valutatori e controlli di regressione

Dietro ogni grande prodotto di IA c’è un solido processo di valutazione degli agenti IA, noto come eval, che individua tempestivamente gli errori e garantisce il corretto funzionamento dell’agente. Le eval sono fondamentali per gli agenti IA che eseguono azioni ad alto rischio, come i rimborsi per conto di qualcuno.

Costruire questo processo richiede alcune competenze tecniche e di analisi dei dati. Ma non è affatto così spaventoso o inaccessibile come potrebbe sembrare. Per aiutarti a iniziare, abbiamo illustrato sei passaggi pratici per valutare gli agenti IA e i malintesi più comuni che compromettono il processo.

Che cosa significa valutare un agente IA?

Valutare un agente IA significa misurare la sua capacità di portare a termine correttamente le attività e verificare se le sue decisioni soddisfano i requisiti dell’organizzazione. In termini pratici, le valutazioni degli agenti IA, o eval, sono metriche specifiche che aiutano le organizzazioni a stabilire se l’agente funziona in modo abbastanza affidabile per il ruolo previsto.

Pensa a un agente IA per gli acquisti in uno stabilimento produttivo che controlla l’inventario dei ricambi e prepara le richieste di rifornimento. Se un componente approvato non è disponibile o le informazioni sul fornitore non sono aggiornate, l’agente segnalerà il problema o consiglierà un sostituto non approvato?

E se modifichi il suo prompt di sistema per risolvere quel problema, come fai a sapere di non averne introdotto un altro?

Senza un processo di valutazione, i product manager si ritrovano di fatto a tirare a indovinare. Le eval forniscono quindi un segnale di feedback per misurare le prestazioni, individuare i problemi ricorrenti e testare le modifiche con maggiore sicurezza.

Detto questo, una valutazione dell’agente può esaminare diversi aspetti di un’esecuzione:

• La qualità del risultato finale
• Le informazioni utilizzate dall’agente
• Gli strumenti che ha chiamato
• Se ha rispettato le regole che ne disciplinano il comportamento

Metriche comuni per la valutazione degli agenti IA

Le eval si basano su dati qualitativi e quantitativi. La valutazione qualitativa ti aiuta a capire cosa sta succedendo e perché, anche attraverso la revisione manuale delle decisioni dell’agente. La valutazione quantitativa trasforma queste osservazioni in segnali misurabili, ad esempio contando la frequenza di specifiche modalità di errore o calcolando i tassi di successo delle attività.

Ecco l’elenco delle metriche fondamentali per la valutazione degli agenti IA:

• Il successo dell’attività misura se l’agente ha raggiunto il risultato previsto; di solito si esprime come percentuale di esecuzioni che producono risultati validi.
• La correttezza delle azioni misura se l’agente ha utilizzato gli strumenti in modo appropriato, ha selezionato argomenti validi e ha rispettato le autorizzazioni.
• La qualità della risposta valuta se l’output finale è accurato, completo e utile. Può includere la correttezza fattuale, il rispetto delle istruzioni e la capacità dell’agente di motivare le proprie decisioni con le informazioni disponibili.
• L’affidabilità misura la coerenza tra prove ripetute, input diversi e casi limite.
• Costo e latenza misurano le risorse necessarie per ottenere un risultato positivo, inclusi il tempo di esecuzione, il consumo di token e le chiamate agli strumenti.

A seconda di ciò che stai misurando, le eval possono valutare le prestazioni end-to-end di un agente, la sua traiettoria di esecuzione o singoli componenti come le chiamate agli strumenti e le fasi di recupero delle informazioni.

Passaggio 1: stabilisci che aspetto ha un’esecuzione riuscita dell’agente

Per prima cosa, descrivi in modo esplicito cosa dovrebbe realizzare l’agente — i requisiti di prodotto. Sembra ovvio, eppure può essere sorprendentemente difficile. Esiste persino un nome per questo fenomeno: il divario di specifica.

Ecco come affrontarlo secondo Andrey Khomutov, il nostro senior data scientist:

“Inizia con due domande: “Cosa significherebbe svolgere il lavoro?” e “Cosa renderebbe inaccettabile un’esecuzione apparentemente riuscita?”

Per gli agenti, da un punto di vista tecnico, ciò significa verificare sia il risultato sia il modo in cui gli agenti ci sono arrivati.”

Un agente potrebbe produrre la risposta corretta accedendo a soluzioni trapelate, oppure compiere azioni non autorizzate durante lo svolgimento del proprio compito. Khomutov sottolinea che la fuga delle risposte e le azioni non sicure durante le valutazioni sono motivi concreti per non giudicare soltanto la risposta finale.

“Mi aspetto che l’ispezione della traiettoria diventi una parte standard delle suite di eval per agenti, anziché qualcosa che facciamo solo quando un risultato sembra sospetto”, aggiunge.

Poi coinvolgi un esperto del dominio per convalidare i tuoi criteri di successo. Chi ha una conoscenza pratica del dominio può dire se le condizioni che abbiamo fissato per un agente IA riflettono un risultato positivo.

Passaggio 2. Crea un set di test a partire da attività ed errori reali

Esamina il comportamento effettivo dell’agente per capire che aspetto hanno prestazioni buone e scadenti. Resisti alla tentazione di iniziare generando decine di test basati solo su ciò che pensi possa andare storto.

Hamel Husain, ML engineer presso Parlance Lab, e Shreya Shankar, ricercatrice nel campo dei sistemi ML e delle eval di IA applicata, consigliano di iniziare con l’analisi degli errori, una tecnica mutuata dal machine learning e dalla data science. Il processo inizia con un’analisi qualitativa delle tracce di esecuzione dell’agente — record che mostrano l’input dell’utente, le chiamate agli strumenti, le informazioni recuperate e l’output dell’agente.

1. Rivedi le singole tracce e annota gli errori (codifica aperta). Chiedi a un esperto del dominio di esaminare le esecuzioni dell’agente e di scrivere brevi osservazioni su cosa è andato storto. Concentrati sul primo errore significativo.
2. Raggruppa le osservazioni in modalità di errore (codifica assiale). Una volta raccolte abbastanza note, usa un LLM per suggerire categorie per errori simili. Queste potrebbero includere raccomandazioni di componenti incompatibili, recuperi imprecisi dei dati di inventario e passaggi all’operatore umano non riusciti.
3. Conta le occorrenze. Assegna ogni osservazione a una categoria, poi usa un foglio di calcolo o una tabella pivot per calcolare con quale frequenza compare ciascuna modalità di errore.
4. Stabilisci le priorità degli interventi, considerando sia la frequenza sia la gravità.
5. Trasforma gli errori importanti in casi di test. Salva l’input pertinente, le condizioni iniziali, il risultato atteso e i criteri di valutazione, in modo da poter testare nuovamente l’agente sullo stesso scenario.

Quante tracce dovresti esaminare? Circa 100, ma non esiste un numero magico. Fermati prima quando raggiungi la saturazione teorica: il punto in cui l’esame di ulteriori tracce smette di rivelare nuovi schemi di errore significativi.

Non hai ancora lanciato l’applicazione? Gli esempi sintetici possono aiutarti a creare un set di test iniziale, anche se i dati reali degli utenti dovrebbero alimentarlo non appena disponibili.

L’uso dei benchmark nella valutazione degli agenti IA

Oltre a creare i tuoi casi di test, puoi utilizzare raccolte esistenti di attività di valutazione standardizzate, note come benchmark, per valutare le capacità dell’agente.

Ma i benchmark non sono infallibili. Gli audit di SWE-bench, le revisioni dei benchmark di Epoch AI e le risposte corrette inizialmente respinte in TheoPhysEval mostrano come attività o risposte attese errate possano distorcere i risultati della valutazione.

Come consiglia Khomutov, scegli benchmark aggiornati e pertinenti al tuo dominio e analizza i superamenti o i fallimenti inattesi prima di considerare i punteggi come prove affidabili delle prestazioni dell’agente.

Passaggio 3. Esegui l’agente in un ambiente di test riproducibile

Un ambiente di test riproducibile è una configurazione controllata in cui puoi eseguire un agente IA sugli stessi casi di test, nelle stesse condizioni iniziali, e confrontarne i risultati. Include una cartella di casi di test, uno script Python che esegue l’agente o una serie di controlli che valutano i risultati.

Puoi iniziare memorizzando input rappresentativi come file JSON e usando uno script Python per eseguire il flusso di lavoro dell’agente e verificarne gli output con le asserzioni. Per l’agente di inventario del nostro stabilimento produttivo, un ambiente di test riproducibile potrebbe avere questo aspetto:

Espandi

Per configurare un ambiente di test riproducibile, segui questi passaggi:

1. Salva input rappresentativi. Memorizza eventi reali o casi di test nella stessa struttura che la tua applicazione riceve in produzione. Nel nostro scenario, salveresti come file JSON una richiesta di manutenzione contenente l’ID della macchina, il ricambio necessario e la data di manutenzione, insieme a uno snapshot dei dati di inventario e dei componenti approvati.
2. Esegui il flusso di lavoro. Fai elaborare ogni input all’agente, incluse le fasi di recupero delle informazioni, le chiamate agli strumenti e la generazione della risposta.
3. Registra il risultato e la traccia. Acquisisci l’output finale e le azioni intermedie rilevanti (come le ricerche nell’inventario), così da vedere non solo se l’agente ha fallito, ma anche dove.
4. Ripeti i casi in base alla gravità dell’errore, alla frequenza e alla difficoltà di risolvere il problema. Le applicazioni LLM sono non deterministiche (possono produrre risultati diversi a partire da input identici), quindi un’esecuzione riuscita non garantisce che anche la successiva vada a buon fine. Riporta la percentuale di prove riuscite ed esamina gli errori.

Per quest’ultimo aspetto, Khomutov consiglia di misurare pass@1 (la frequenza con cui l’agente riesce al primo tentativo) e pass@k (la probabilità di riuscire almeno una volta su un numero specificato di tentativi). Se riporti pass@k, specifica il numero di tentativi, perché produrre una risposta corretta tra diverse non significa che l’agente sappia quale scegliere.

Man mano che la tua applicazione cresce, usa un framework di test come pytest per organizzare ed eseguire i test e valuta la possibilità di archiviare in un database i dataset di test di grandi dimensioni e i relativi risultati.

Passaggio 4. Scegli il valutatore giusto per ogni controllo

Un valutatore (in inglese grader, spesso chiamato anche evaluator) è un meccanismo — sotto forma di codice, di un LLM guidato da una griglia di valutazione o di un revisore umano — che verifica l’output o l’azione di un agente rispetto a un criterio definito. Un valutatore restituisce un giudizio superato/non superato e una spiegazione che individua le prove pertinenti.

Info: Una griglia di valutazione è un insieme di criteri e istruzioni che definisce cosa conta come risultato corretto o accettabile.

Il tipo di valutatore giusto dipende da ciò che vuoi verificare. Ecco un confronto tra i tre approcci:

A volte aspetti diversi della stessa esecuzione possono richiedere metodi di valutazione differenti, quindi potrebbe essere necessario combinare più valutatori.

Come si combinano i valutatori?

Chiediti: “Il risultato può essere verificato rispetto a una regola nota o a un valore atteso, oppure richiede un giudizio di tipo umano?”

• Se puoi verificare il risultato in modo esatto, inizia con un valutatore basato su codice. I valutatori basati su codice possono anche verificare output strutturati, valori di campo validi, argomenti degli strumenti o lo stato finale di un database.
• Se il controllo richiede l’interpretazione del contesto, usa un LLM-as-a-judge.
• Affida ai revisori umani le decisioni specifiche del dominio o controverse.

Importante! Un valutatore LLM può interpretare male le prove o applicare una griglia in modo errato. Per questo serve un ulteriore passaggio di valutazione: la calibrazione rispetto ai giudizi umani.

Calibra il valutatore LLM rispetto ai giudizi umani.

In sostanza, la calibrazione richiede che un esperto del dominio valuti esecuzioni reali dell’agente. L’esperto confronta poi i propri giudizi con quelli dell’LLM e perfeziona la griglia di valutazione in base alle divergenze.

Ecco un processo di calibrazione del valutatore in cinque passaggi:

1. Raccogli esempi di input, output e tracce pertinenti dell’agente.
2. Chiedi a un esperto del dominio di stabilire in modo indipendente se ciascun esempio soddisfa il criterio di valutazione.
3. Esegui il valutatore LLM su questi esempi.
4. Confronta i giudizi umani con quelli del modello.
5. Analizza le divergenze e perfeziona la griglia del valutatore prima di testarlo su nuovi esempi.

Khomutov sottolinea anche l’importanza di testare separatamente la coerenza del valutatore LLM:

“Forniscigli più volte la stessa identica esecuzione salvata e gli stessi file, senza rieseguire l’agente. In questo modo puoi distinguere la variabilità nel lavoro dell’agente da quella nella valutazione.”

Se lo stesso output riceve verdetti diversi, non dare per scontato che ogni variazione del punteggio dipenda dall’agente. Esamina invece una matrice di confusione che mostri quando il valutatore ha individuato correttamente gli errori, quando li ha mancati e quando ha segnalato erroneamente output accettabili.

La revisione umana resta essenziale per stabilire giudizi di riferimento, risolvere i casi controversi e scoprire nuove modalità di errore che i valutatori esistenti non sono stati progettati per rilevare.

Passaggio 5. Confronta le versioni ed esegui i controlli di regressione

Supponiamo che l’analisi degli errori riveli che il tuo agente di inventario consiglia spesso ricambi sostitutivi non approvati. Modifichi il suo prompt di sistema per richiedere un controllo esplicito della compatibilità. Il caso che prima falliva ora viene superato. Ma come fai a sapere che la modifica non ha influito su altre attività?

È qui che entrano in gioco i test di regressione.

Il test di regressione consiste nel rieseguire i casi di test superati in precedenza dopo aver modificato il prompt, il modello o il flusso di lavoro di un agente, per assicurarsi che la modifica non abbia introdotto nuovi errori.

1. Riproduci l’errore originale utilizzando un input salvato dal set di test.
2. Apporta una modifica mirata al prompt, al modello o al flusso di lavoro.
3. Riesegui il test non superato per verificare se il problema è stato risolto.
4. Esegui gli altri test per verificare che la modifica non abbia compromesso comportamenti che in precedenza funzionavano correttamente.
5. Esamina i risultati e analizza eventuali nuovi errori.

Confronta la versione di riferimento dell’agente con quella aggiornata utilizzando gli stessi casi di test e gli stessi criteri di valutazione, per ottenere risultati accurati.

Passaggio 6: monitora le prestazioni dell’agente IA in produzione

La valutazione degli agenti non si ferma dopo il deployment dell’applicazione. Come spiegano Husain e Shankar, gli stessi valutatori utilizzati durante lo sviluppo possono essere applicati anche ai dati reali di produzione per misurare le prestazioni dell’agente nel tempo.

Si parla in questo caso di valutazione online, che rientra in un processo più ampio di monitoraggio in produzione e aiuta a individuare errori ricorrenti e mai rilevati prima.

Il processo è iterativo e comprende quattro attività complementari:

• Applica giudici LLM calibrati alle tracce di produzione. Seleziona un campione di interazioni reali dell’agente e applica i valutatori che hai già convalidato rispetto ai giudizi umani.
• Monitora i tassi di errore nel tempo. Usa le categorie di errore definite durante l’analisi degli errori per quantificare i problemi ricorrenti.
• Continua a esaminare manualmente le tracce. I valutatori automatici rilevano solo i problemi che sono stati progettati per individuare. Esamina manualmente campioni di interazioni reali dell’agente per scoprire nuovi errori o richieste insolite degli utenti.
• Usa i test A/B per misurare i risultati di business (solo quando opportuno). Confronta prompt, modelli o flussi di lavoro diversi utilizzando metriche come il completamento delle attività, la soddisfazione degli utenti e il tempo di risoluzione. Questo processo aiuta a capire se una modifica migliora l’esperienza effettiva del prodotto, al di là del superamento dei singoli test.

Una nota importante: le valutazioni non devono necessariamente essere perfette. Basta che siano abbastanza valide da migliorare il tuo prodotto.

Idee sbagliate comuni sulla valutazione degli agenti IA

• Le valutazioni sono solo unit test. Non è così: gli unit test sono piccoli controlli automatizzati che rappresentano solo una parte della valutazione. Le valutazioni comprendono anche l’analisi qualitativa degli errori, i giudizi umani, il monitoraggio in produzione e gli esperimenti per misurare la qualità dell’applicazione.
• Una piattaforma di valutazione può fare tutto al posto tuo. Gli strumenti preconfezionati possono automatizzare alcuni controlli, ma non sono in grado di stabilire quali modalità di errore (tipi di errori o comportamenti indesiderati dell’agente) siano rilevanti per il tuo prodotto.
• Puoi lasciare che sia un LLM a valutare tutto. È un grave errore. L’analisi degli errori condotta da persone e la calibrazione dei valutatori restano essenziali, perché gli LLM non dispongono del contesto di business necessario per individuare ogni problema.
• I test A/B o il semplice utilizzo dell’agente sostituiscono le valutazioni. Sbagliato. I test A/B possono mostrare quale versione offre prestazioni migliori rispetto a determinate metriche, ma da soli non possono spiegare i problemi di fondo.

Domande frequenti sulla valutazione degli agenti IA

1. Qual è la differenza tra la valutazione degli agenti IA e la valutazione degli LLM?

La valutazione degli LLM misura quanto bene un modello linguistico svolge un determinato compito, come rispondere a una domanda, riassumere un documento o estrarre informazioni. La valutazione degli agenti IA analizza un sistema che esegue autonomamente più passaggi per completare un’attività.

A differenza di una tipica valutazione degli LLM, la valutazione degli agenti esamina sia il risultato finale sia la sequenza di azioni compiute per ottenerlo, incluse le chiamate agli strumenti, le decisioni e il rispetto di regole predefinite.

2. Metriche chiave per la valutazione degli agenti IA

Le metriche di valutazione degli agenti IA rientrano in due grandi categorie:

• Metriche di prestazione tecnica: tasso di successo delle attività, correttezza delle azioni, qualità delle risposte, affidabilità (pass@1 e pass@k), latenza, utilizzo dei token e costo per attività completata con successo.
• Metriche di business e di esperienza utente: soddisfazione dei clienti (CSAT), tasso di risoluzione dei problemi, tasso di escalation, tasso di conversione, tempo di completamento delle attività e altri risultati specifici del ruolo dell’agente.

Ad esempio, un agente di assistenza clienti potrebbe essere valutato in base all’efficacia nella risoluzione dei problemi e alla soddisfazione dei clienti, mentre un agente IA per gli acquisti potrebbe essere misurato in base all’accuratezza delle richieste di riapprovvigionamento, ai tassi di approvazione e alla durata del ciclo di approvvigionamento.

Le metriche giuste dovrebbero riflettere sia l’affidabilità con cui opera l’agente sia la capacità del suo lavoro di migliorare i risultati di business.

3. Quali sono i migliori strumenti per valutare gli agenti IA?

Tra le opzioni più comuni figurano:

• Framework di test: le asserzioni Python e pytest sono utili per eseguire casi di test ripetibili e verificare condizioni precise, ad esempio se un agente ha selezionato lo strumento corretto o ha restituito un ID componente valido.
• Framework di valutazione degli agenti IA: DeepEval e l’agent-eval toolkit di Google supportano valutazioni più complesse, che includono tracce di esecuzione, valutatori basati su LLM e test di regressione automatizzati.
• Piattaforme di valutazione e osservabilità: LangSmith, Arize Phoenix e MLflow aiutano i team a esaminare il comportamento degli agenti, gestire i dataset di valutazione, confrontare le versioni degli agenti e monitorare le prestazioni in produzione.

4. Come si automatizzano le valutazioni degli agenti IA?

Puoi automatizzare le valutazioni degli agenti IA creando test ripetibili, applicando valutatori automatici e integrando questi controlli nei flussi di lavoro di sviluppo e di produzione:

1. Crea un dataset di valutazione: raccogli attività rappresentative degli utenti, risultati attesi, errori noti e tracce di esecuzione dell’agente. Includi casi limite come chiamate agli strumenti non riuscite, informazioni mancanti e azioni non autorizzate.
2. Automatizza l’esecuzione e la valutazione dei test: usa framework come pytest o DeepEval per eseguire i casi di test e applicare controlli basati su codice o valutatori LLM. Convalida i valutatori LLM rispetto ai giudizi umani prima di fare affidamento sui loro punteggi.
3. Integra le valutazioni nella CI/CD: riesegui automaticamente i test di regressione quando gli sviluppatori aggiornano prompt, modelli, strumenti o flusso di lavoro di un agente. Confronta i risultati con una baseline e stabilisci soglie di qualità che blocchino i rilasci quando i controlli critici non vengono superati.
4. Applica valutatori calibrati a campioni di tracce di produzione, monitora i tassi di errore e altre metriche di prestazione e analizza i nuovi errori tramite revisione manuale.