Så utvärderar du AI-agenter: testuppsättningar, bedömare och regressionskontroller

Bakom varje framgångsrik AI-produkt finns en gedigen process för utvärdering av AI-agenter, så kallade evals, som fångar upp fel tidigt och säkerställer att agenten fungerar som den ska. Evals är avgörande för AI-agenter som utför högriskåtgärder, till exempel återbetalningar för någons räkning.

Att bygga upp en sådan process kräver viss teknisk kunskap och förmåga att analysera data. Men det är inte alls så skrämmande eller svårtillgängligt som det kanske låter. För att hjälpa dig komma igång har vi sammanställt sex praktiska steg för att utvärdera AI-agenter, samt vanliga missuppfattningar som får processen att fallera.

Vad innebär det att utvärdera en AI-agent?

Att utvärdera en AI-agent innebär att bedöma om den utför uppgifter korrekt och om dess beslut uppfyller organisationens krav. Rent praktiskt är utvärderingar av AI-agenter, eller evals, specifika mått som hjälper organisationer att avgöra om agenten fungerar tillräckligt tillförlitligt för sin avsedda roll.

Tänk dig en AI-inköpsagent på en tillverkningsanläggning som kontrollerar lagret av reservdelar och förbereder påfyllnadsbeställningar. Om en godkänd del inte finns tillgänglig eller om leverantörsinformationen är inaktuell – kommer agenten då att flagga problemet eller rekommendera en ersättningsdel som inte är godkänd?

Och om du ändrar dess systemprompt för att åtgärda det problemet, hur vet du att du inte har infört ett nytt?

Utan utvärdering är produktchefer i princip hänvisade till att gissa. Evals ger därför en återkopplingssignal för att mäta prestanda, upptäcka återkommande problem och testa ändringar med större säkerhet.

Med det sagt kan en agentutvärdering granska flera aspekter av en körning:

• Kvaliteten på slutresultatet
• Informationen som agenten använde
• Verktygen som den anropade
• Om den följde de regler som styr dess beteende

Vanliga mått för utvärdering av AI-agenter

Evals bygger på både kvalitativa och kvantitativa data. Kvalitativ utvärdering hjälper dig att förstå vad som händer och varför, bland annat genom att manuellt granska agentens beslut. Kvantitativ utvärdering omvandlar dessa observationer till mätbara signaler, till exempel genom att räkna hur ofta specifika feltyper uppstår eller beräkna andelen lyckade uppgifter.

Här är en lista över de grundläggande måtten för utvärdering av AI-agenter:

• Uppgiftsframgång mäter om agenten uppnådde det avsedda resultatet, vanligtvis uttryckt som andelen körningar som ger giltiga resultat.
• Korrekta åtgärder mäter om agenten använde verktyg på rätt sätt, valde giltiga argument och respekterade behörigheter.
• Svarskvalitet bedömer om det slutliga resultatet är korrekt, fullständigt och användbart. Det kan omfatta faktamässig korrekthet, efterlevnad av instruktioner och om agenten underbygger sina beslut med tillgänglig information.
• Tillförlitlighet mäter hur konsekvent agenten presterar vid upprepade försök, med varierande indata och i kantfall.
• Kostnad och latens mäter de resurser som krävs för att uppnå ett lyckat resultat, inklusive körtid, tokenförbrukning och verktygsanrop.

Beroende på vad du mäter kan evals bedöma en agents prestanda från början till slut, dess körningsförlopp eller enskilda komponenter som verktygsanrop och hämtningssteg.

Steg 1: Bestäm hur en lyckad agentkörning ser ut

Beskriv först uttryckligen vad agenten ska åstadkomma – produktkraven. Det låter självklart, men kan vara förvånansvärt svårt. Det finns till och med ett namn för det: specifikationsgapet.

Så här bör du gå till väga enligt Andrey Khomutov, senior data scientist hos oss:

”Börja med två frågor: ’Vad skulle räknas som att uppgiften är utförd?’ och ’Vad skulle göra en till synes lyckad körning oacceptabel?’

För agenter innebär det, ur ett tekniskt perspektiv, att kontrollera både resultatet och hur agenterna kom fram till det.”

En agent kan ta fram rätt svar genom att komma åt ett läckt facit, eller vidta obehöriga åtgärder medan den utför sin uppgift. Khomutov påpekar att svarsläckage och osäkra åtgärder under utvärderingar är konkreta skäl att inte enbart bedöma det slutliga svaret.

”Jag förväntar mig att granskning av körningsförloppet blir en självklar del av utvärderingssviter för agenter, snarare än något vi bara gör när ett resultat ser misstänkt ut”, tillägger han.

Låt sedan en domänexpert validera dina framgångskriterier. Personer med praktisk kunskap om området kan avgöra om de villkor vi ställer upp för en AI-agent speglar ett lyckat resultat.

Steg 2. Bygg en testuppsättning utifrån verkliga uppgifter och fel

Granska agentens faktiska beteende för att förstå hur bra och dålig prestanda ser ut. Motstå frestelsen att börja med att generera dussintals tester utifrån enbart vad du tror kan gå fel.

Hamel Husain, ML-ingenjör på Parlance Lab, och Shreya Shankar, forskare inom ML-system och evals för tillämpad AI, rekommenderar att börja med felanalys, en teknik som är lånad från maskininlärning och datavetenskap. Processen inleds med en kvalitativ analys av agentens körningsspår — loggar som visar användarens indata, verktygsanrop, hämtad information och agentens utdata.

1. Granska enskilda spår och annotera fel (öppen kodning). Låt en domänexpert granska agentkörningar och skriva korta observationer om vad som gick fel. Fokusera på det första betydande felet.
2. Gruppera observationerna i feltyper (axial kodning). När du har tillräckligt med anteckningar kan du använda en LLM för att föreslå kategorier för liknande fel. Det kan till exempel handla om rekommendationer av inkompatibla delar, felaktig hämtning av lagerdata och misslyckade överlämningar till människor.
3. Räkna förekomsterna. Tilldela varje observation en kategori och använd sedan ett kalkylblad eller en pivottabell för att beräkna hur ofta varje feltyp förekommer.
4. Prioritera vad som ska åtgärdas med hänsyn till både frekvens och allvarlighetsgrad.
5. Gör viktiga fel till testfall. Spara relevanta indata, startvillkor, förväntat resultat och bedömningskriterier så att agenten kan testas mot samma scenario igen.

Hur många spår bör du granska? Ungefär 100, men det finns inget magiskt tal. Du kan sluta tidigare så fort du når teoretisk mättnad: den punkt där granskning av ytterligare spår inte längre avslöjar några betydande nya felmönster.

Har du inte lanserat applikationen ännu? Syntetiska exempel kan hjälpa dig att bygga en första testuppsättning, men den bör baseras på verkliga användardata så snart sådana finns tillgängliga.

Användningen av benchmarks vid utvärdering av AI-agenter

Utöver att skapa egna testfall kan du använda befintliga samlingar av standardiserade utvärderingsuppgifter, så kallade benchmarks, för att bedöma agenters förmågor.

Men benchmarks är inte ofelbara. Granskningar av SWE-bench, Epoch AI:s genomgångar av benchmarks och korrekta svar som först avvisades i TheoPhysEval visar hur bristfälliga uppgifter eller förväntade svar kan snedvrida utvärderingsresultat.

Khomutov råder dig att välja aktuella benchmarks som är relevanta för din domän och att undersöka överraskande godkända eller underkända resultat innan du behandlar poängen som tillförlitliga belägg för agentens prestanda.

Steg 3. Kör agenten i en reproducerbar testmiljö

En reproducerbar testmiljö är en kontrollerad uppsättning där du kan köra en AI-agent mot samma testfall under samma startvillkor och jämföra resultaten. Det kan vara en mapp med testfall, ett Python-skript som kör agenten eller en uppsättning kontroller som utvärderar resultaten.

Du kan börja med att lagra representativa indata som JSON-filer och använda ett Python-skript för att köra agentens arbetsflöde och kontrollera dess utdata med assertions. För lageragenten på vår tillverkningsanläggning skulle en reproducerbar testmiljö kunna se ut så här:

Förstora

Följ de här stegen för att sätta upp en reproducerbar testmiljö:

1. Spara representativa indata. Lagra faktiska händelser eller testfall i samma struktur som din applikation tar emot i produktion. I vårt scenario skulle du spara en underhållsbegäran med maskin-ID, nödvändig reservdel och underhållsdatum som en JSON-fil, tillsammans med en ögonblicksbild av lagret och data om godkända delar.
2. Kör arbetsflödet. Låt varje indata gå igenom agenten, inklusive dess hämtningssteg, verktygsanrop och svarsgenerering.
3. Registrera resultatet och spåret. Spara det slutliga resultatet och relevanta mellanliggande åtgärder (som lageruppslag) så att du inte bara ser om agenten misslyckades, utan också var.
4. Upprepa fall utifrån felets allvarlighetsgrad, frekvens och hur svårt problemet är att åtgärda. LLM-applikationer är icke-deterministiska (de kan ge olika resultat utifrån identiska indata), så en lyckad körning garanterar inte att nästa också lyckas. Redovisa andelen lyckade försök och granska misslyckandena.

För det senare råder Khomutov att mäta pass@1 (hur ofta agenten lyckas på ett enda försök) och pass@k (sannolikheten att lyckas minst en gång under ett angivet antal försök). Om du redovisar pass@k ska du ange antalet försök, eftersom ett korrekt svar bland flera inte betyder att agenten vet vilket den ska välja.

När din applikation växer kan du använda ett testramverk som pytest för att organisera och köra tester, och överväga att lagra stora testdatamängder och resultat i en databas.

Steg 4. Välj rätt bedömare för varje kontroll

En bedömare (ofta även kallad utvärderare) är en mekanism i form av en kodsnutt, en LLM som styrs av en bedömningsmatris eller en mänsklig granskare som kontrollerar en agents utdata eller åtgärd mot ett definierat kriterium. En bedömare returnerar ett utlåtande av typen godkänt/underkänt och en förklaring som pekar ut relevanta belägg.

Info: En bedömningsmatris är en uppsättning kriterier och instruktioner som definierar vad som räknas som ett korrekt eller godtagbart resultat.

Vilken typ av bedömare som passar beror på vad du försöker verifiera. Så här skiljer sig de tre metoderna åt:

Ibland kan olika aspekter av samma körning kräva olika utvärderingsmetoder, så du kan behöva kombinera bedömare.

Hur kombinerar man bedömare?

Fråga dig: ”Kan resultatet verifieras mot en känd regel eller ett förväntat värde, eller kräver det ett människoliknande omdöme?”

• Om du kan verifiera resultatet exakt börjar du med en kodbaserad bedömare. Kodbaserade bedömare kan också verifiera strukturerade utdata, giltiga fältvärden, verktygsargument eller det slutliga tillståndet i en databas.
• Om kontrollen kräver att sammanhanget tolkas använder du LLM som domare.
• Använd mänskliga granskare för domänspecifika eller omtvistade beslut.

Viktigt! En LLM-bedömare kan feltolka belägg eller tillämpa en bedömningsmatris felaktigt. Den behöver därför ytterligare ett utvärderingssteg: kalibrering mot mänskliga bedömningar.

Kalibrera LLM-bedömaren mot mänskliga bedömningar.

I grund och botten kräver kalibrering att en domänexpert bedömer faktiska agentkörningar. Experten jämför sedan sina bedömningar med LLM:ens och förfinar bedömningsmatrisen utifrån skillnaderna.

Här är en kalibreringsprocess för bedömare i fem steg:

1. Samla in exempel på agentens indata, utdata och relevanta spår.
2. Låt en domänexpert självständigt bedöma om varje exempel uppfyller utvärderingskriteriet.
3. Kör LLM-bedömaren på dessa exempel.
4. Jämför människans och modellens bedömningar.
5. Undersök skillnaderna och förfina bedömarens matris innan du testar den på nya exempel.

Khomutov betonar också vikten av att testa LLM-bedömarens konsekvens separat:

”Ge den exakt samma sparade körning och filer flera gånger, utan att köra om agenten. Då kan du skilja variation i agentens arbete från variation i bedömningen.”

Om samma utdata får olika utlåtanden ska du inte anta att varje poängförändring beror på agenten. Granska i stället en förväxlingsmatris som visar när bedömaren korrekt identifierade fel, missade dem eller felaktigt flaggade godtagbara utdata.

Mänsklig granskning är fortfarande avgörande för att fastställa referensbedömningar, avgöra omtvistade fall och upptäcka nya feltyper som befintliga bedömare inte utformades för att fånga upp.

Steg 5. Jämför versioner och kör regressionskontroller

Anta att felanalysen visar att din lageragent ofta rekommenderar ersättningsdelar som inte är godkända. Du ändrar dess systemprompt så att den kräver en uttrycklig kompatibilitetskontroll. Det fall som tidigare misslyckades godkänns nu. Men hur vet du att ändringen inte har påverkat andra uppgifter?

Det är här regressionstestning kommer in.

Regressionstestning innebär att köra om tidigare godkända testfall efter att ha ändrat en agents prompt, modell eller arbetsflöde, för att säkerställa att ändringen inte har orsakat nya fel.

1. Återskapa det ursprungliga felet med hjälp av sparade indata från testuppsättningen.
2. Gör en riktad ändring i prompten, modellen eller arbetsflödet.
3. Kör om det misslyckade testet för att kontrollera om problemet är löst.
4. Kör de övriga testerna för att kontrollera att ändringen inte har orsakat fel i beteenden som tidigare fungerade.
5. Granska resultaten och undersök eventuella nya fel.

Jämför baslinjeagenten och den uppdaterade agenten med samma testfall och bedömningskriterier för att få tillförlitliga resultat.

Steg 6: Övervaka AI-agentens prestanda i produktion

Utvärderingen av agenten upphör inte när du har driftsatt din applikation. Som Husain och Shankar förklarar kan samma utvärderare som du använder under utvecklingen även köras mot verklig produktionsdata för att mäta hur din agent presterar över tid.

Detta kallas onlineutvärdering och är en del av en bredare process för produktionsövervakning som hjälper dig att upptäcka återkommande och tidigare okända fel.

Processen är iterativ och omfattar fyra kompletterande aktiviteter:

• Kör kalibrerade LLM-domare på produktionsspår. Ta stickprov på verkliga agentinteraktioner och tillämpa de utvärderare som du redan har validerat mot mänskliga bedömningar.
• Följ felfrekvensen över tid. Använd de felkategorier som fastställdes under felanalysen för att kvantifiera återkommande problem.
• Fortsätt att granska spår manuellt. Automatiserade bedömare upptäcker bara de problem som de är utformade för att identifiera. Granska stickprov av verkliga agentinteraktioner manuellt för att upptäcka nya fel eller ovanliga användarförfrågningar.
• Använd A/B-tester för att mäta affärsresultat (endast när det är lämpligt). Jämför olika prompter, modeller eller arbetsflöden med hjälp av mått som slutförda uppgifter, användarnöjdhet och tid till lösning. Processen hjälper dig att avgöra om en ändring förbättrar den faktiska produktupplevelsen, utöver att klara enskilda tester.

En viktig anmärkning: utvärderingar behöver inte vara perfekt finslipade. De behöver bara vara tillräckligt bra för att förbättra din produkt.

Vanliga missuppfattningar om utvärdering av AI-agenter

• Utvärderingar är bara enhetstester. Det är de inte – enhetstester är små, automatiserade kontroller som bara utgör en del av utvärderingen. Utvärderingar omfattar även kvalitativ felanalys, mänskliga bedömningar, produktionsövervakning och experiment för att mäta applikationens kvalitet.
• En utvärderingsplattform kan göra allt åt dig. Färdiga verktyg kan automatisera vissa kontroller, men de kan inte avgöra vilka felmoder (typer av fel eller oönskade agentbeteenden) som är viktiga för din produkt.
• Du kan låta en LLM utvärdera allt. Det är ett stort misstag. Människoledd felanalys och kalibrering av bedömare är fortfarande avgörande, eftersom LLM:er saknar den affärskontext som krävs för att upptäcka alla problem.
• A/B-tester eller att helt enkelt använda agenten ersätter utvärderingar. Fel. A/B-tester kan visa vilken version som presterar bäst enligt utvalda mått, men kan inte på egen hand förklara de underliggande problemen.

Vanliga frågor om utvärdering av AI-agenter

1. Vad är skillnaden mellan utvärdering av AI-agenter och utvärdering av LLM:er?

LLM-utvärdering mäter hur väl en språkmodell utför en viss uppgift, till exempel att besvara en fråga, sammanfatta ett dokument eller extrahera information. Utvärdering av AI-agenter bedömer ett system som självständigt utför flera steg för att slutföra en uppgift.

Till skillnad från en typisk LLM-utvärdering granskar agentutvärdering både slutresultatet och den sekvens av åtgärder som vidtogs för att nå det, inklusive verktygsanrop, beslut och efterlevnad av fördefinierade regler.

2. Viktiga mått för utvärdering av AI-agenter

Mått för utvärdering av AI-agenter delas in i två breda kategorier:

• Tekniska prestandamått: Andel lyckade uppgifter, åtgärdernas korrekthet, svarskvalitet, tillförlitlighet (pass@1 och pass@k), latens, tokenanvändning och kostnad per lyckad uppgift.
• Mått för verksamhet och användarupplevelse: Kundnöjdhet (CSAT), andel lösta ärenden, eskaleringsgrad, konverteringsgrad, tid för att slutföra uppgifter och andra resultat som är specifika för agentens roll.

En kundtjänstagent kan till exempel utvärderas utifrån hur väl den löser ärenden och hur nöjda kunderna är, medan en AI-agent för inköp kan mätas utifrån korrektheten i påfyllnadsbeställningar, godkännandegrad och cykeltid för inköp.

Rätt mått bör återspegla både hur tillförlitligt agenten presterar och om dess arbete förbättrar affärsresultaten.

3. Vilka är de bästa verktygen för att utvärdera AI-agenter?

Vanliga alternativ är bland annat:

• Testramverk: Python-assertioner och pytest är användbara för att köra repeterbara testfall och kontrollera exakta villkor, till exempel om en agent valde rätt verktyg eller returnerade ett giltigt artikel-ID.
• Ramverk för utvärdering av AI-agenter: DeepEval och Googles agent-eval toolkit stöder mer komplexa utvärderingar, inklusive exekveringsspår, LLM-baserade bedömare och automatiserad regressionstestning.
• Plattformar för utvärdering och observerbarhet: LangSmith, Arize Phoenix och MLflow hjälper team att granska agentbeteende, hantera utvärderingsdataset, jämföra agentversioner och övervaka prestanda i produktion.

4. Hur automatiserar man utvärderingar av AI-agenter?

Du kan automatisera utvärderingar av AI-agenter genom att bygga repeterbara tester, tillämpa automatiserade bedömare och integrera kontrollerna i arbetsflöden för utveckling och produktion:

1. Skapa ett utvärderingsdataset: Samla in representativa användaruppgifter, förväntade resultat, kända fel och agentens exekveringsspår. Inkludera gränsfall som misslyckade verktygsanrop, saknad information och obehöriga åtgärder.
2. Automatisera testkörning och bedömning: Använd ramverk som pytest eller DeepEval för att köra testfall och tillämpa kodbaserade kontroller eller LLM-bedömare. Validera LLM-bedömare mot mänskliga bedömningar innan du förlitar dig på deras poäng.
3. Integrera utvärderingar i CI/CD: Kör automatiskt om regressionstester när utvecklare uppdaterar en agents prompter, modeller, verktyg eller arbetsflöde. Jämför resultaten mot en baslinje och fastställ kvalitetströsklar som stoppar releaser när kritiska kontroller misslyckas.
4. Tillämpa kalibrerade bedömare på stickprov av produktionsspår, följ felfrekvenser och andra prestandamått och undersök nya fel genom manuell granskning.