KI-Agenten evaluieren: Testsets, Bewerter und Regressionsprüfungen

Hinter jedem großartigen KI-Produkt steht ein solider Evaluierungsprozess für KI-Agenten – sogenannte Evals –, der Fehler frühzeitig erkennt und die ordnungsgemäße Funktion des Agenten sicherstellt. Evals sind unverzichtbar für KI-Agenten, die im Auftrag anderer risikoreiche Aktionen wie Rückerstattungen ausführen.

Der Aufbau dieses Prozesses erfordert etwas technisches Wissen und Kenntnisse in der Datenanalyse. Doch er ist längst nicht so beängstigend oder unzugänglich, wie es vielleicht klingt. Damit Sie loslegen können, haben wir sechs praktische Schritte zur Evaluierung von KI-Agenten zusammengestellt – sowie häufige Missverständnisse, die den Prozess scheitern lassen.

Was bedeutet es, einen KI-Agenten zu evaluieren?

Einen KI-Agenten zu evaluieren bedeutet zu beurteilen, wie gut er Aufgaben korrekt erledigt und ob seine Entscheidungen den Anforderungen des Unternehmens entsprechen. Konkret sind Evaluierungen von KI-Agenten, kurz Evals, spezifische Metriken, mit denen Unternehmen feststellen, ob der Agent für seine vorgesehene Rolle zuverlässig genug arbeitet.

Denken Sie an einen KI-Einkaufsagenten in einem Fertigungswerk, der den Ersatzteilbestand prüft und Nachbestellungen vorbereitet. Wenn ein freigegebenes Teil nicht verfügbar ist oder Lieferanteninformationen veraltet sind: Meldet der Agent das Problem oder empfiehlt er einen nicht freigegebenen Ersatz?

Und wenn Sie seinen System-Prompt ändern, um dieses Problem zu beheben – woher wissen Sie, dass Sie dabei kein neues verursacht haben?

Ohne Evaluierung bleibt Produktmanagern im Grunde nur das Raten. Evals liefern daher ein Feedbacksignal, um die Leistung zu messen, wiederkehrende Probleme zu erkennen und Änderungen mit größerer Sicherheit zu testen.

Dabei kann eine Agenten-Evaluierung mehrere Aspekte eines Durchlaufs untersuchen:

• Die Qualität des Endergebnisses
• Die Informationen, die der Agent verwendet hat
• Die Tools, die er aufgerufen hat
• Ob er die Regeln für sein Verhalten eingehalten hat

Gängige Metriken zur Evaluierung von KI-Agenten

Evals arbeiten mit qualitativen und quantitativen Daten. Die qualitative Evaluierung hilft Ihnen zu verstehen, was passiert und warum – einschließlich der manuellen Überprüfung von Agentenentscheidungen. Die quantitative Evaluierung wandelt diese Beobachtungen in messbare Signale um, etwa indem sie zählt, wie häufig bestimmte Fehlermodi auftreten, oder Erfolgsquoten für Aufgaben berechnet.

Hier sind die grundlegenden Metriken zur Evaluierung von KI-Agenten:

• Aufgabenerfolg misst, ob der Agent das beabsichtigte Ergebnis erzielt hat; er wird in der Regel als Prozentsatz der Durchläufe angegeben, die gültige Ergebnisse liefern.
• Korrektheit der Aktionen misst, ob der Agent Tools angemessen eingesetzt, gültige Argumente gewählt und Berechtigungen beachtet hat.
• Antwortqualität bewertet, ob die endgültige Ausgabe korrekt, vollständig und nützlich ist. Dazu können sachliche Richtigkeit, die Einhaltung von Anweisungen und die Frage gehören, ob der Agent seine Entscheidungen mit den verfügbaren Informationen untermauert.
• Zuverlässigkeit misst die Konsistenz über wiederholte Versuche, unterschiedliche Eingaben und Grenzfälle hinweg.
• Kosten und Latenz messen die Ressourcen, die für ein erfolgreiches Ergebnis nötig sind, darunter Ausführungszeit, Token-Verbrauch und Tool-Aufrufe.

Je nachdem, was Sie messen, können Evals die End-to-End-Leistung eines Agenten, seine Ausführungstrajektorie oder einzelne Komponenten wie Tool-Aufrufe und Abrufschritte bewerten.

Schritt 1: Legen Sie fest, wie ein erfolgreicher Agentendurchlauf aussieht

Beschreiben Sie zunächst explizit, was der Agent leisten soll – die Produktanforderungen. Klingt selbstverständlich, kann aber überraschend schwierig sein. Dafür gibt es sogar einen Namen: die Spezifikationslücke.

So gehen Sie laut Andrey Khomutov, unserem Senior Data Scientist, am besten vor:

„Beginnen Sie mit zwei Fragen: ‚Was würde als erledigte Aufgabe gelten?‘ und ‚Was würde einen scheinbar erfolgreichen Durchlauf inakzeptabel machen?‘

Bei Agenten bedeutet das aus technischer Sicht, sowohl das Ergebnis zu prüfen als auch den Weg, auf dem die Agenten dorthin gelangt sind.“

Ein Agent könnte die richtige Antwort liefern, indem er auf einen durchgesickerten Lösungsschlüssel zugreift, oder bei der Erledigung seiner Aufgabe nicht autorisierte Aktionen ausführen. Khomutov weist darauf hin, dass durchgesickerte Antworten und unsichere Aktionen während Evaluierungen konkrete Gründe sind, nicht allein die endgültige Antwort zu beurteilen.

„Ich gehe davon aus, dass die Trajektorienprüfung zu einem festen Bestandteil von Agenten-Eval-Suites wird, statt nur dann zum Einsatz zu kommen, wenn ein Ergebnis verdächtig aussieht“, ergänzt er.

Ziehen Sie anschließend einen Fachexperten hinzu, um Ihre Erfolgskriterien zu validieren. Menschen mit praktischem Fachwissen können beurteilen, ob die Bedingungen, die wir für einen KI-Agenten festlegen, tatsächlich ein erfolgreiches Ergebnis widerspiegeln.

Schritt 2. Erstellen Sie ein Testset aus realen Aufgaben und Fehlern

Untersuchen Sie das tatsächliche Verhalten des Agenten, um zu verstehen, wie gute und schlechte Leistung aussehen. Widerstehen Sie der Versuchung, gleich zu Beginn Dutzende von Tests zu erstellen, die nur auf Ihren Vermutungen darüber beruhen, was schiefgehen könnte.

Hamel Husain, ML Engineer bei Parlance Lab, und Shreya Shankar, Forscherin für ML-Systeme und angewandte KI-Evals, empfehlen, mit der Fehleranalyse zu beginnen – einer Technik aus dem maschinellen Lernen und der Data Science. Der Prozess beginnt mit einer qualitativen Analyse der Ausführungs-Traces des Agenten – Aufzeichnungen, die die Eingabe des Nutzers, Tool-Aufrufe, abgerufene Informationen und die Ausgabe des Agenten zeigen.

1. Überprüfen Sie einzelne Traces und annotieren Sie Fehler (offenes Kodieren). Lassen Sie einen Fachexperten Agentendurchläufe prüfen und kurze Beobachtungen dazu notieren, was schiefgelaufen ist. Konzentrieren Sie sich auf den ersten relevanten Fehler.
2. Fassen Sie Beobachtungen zu Fehlermodi zusammen (axiales Kodieren). Sobald Sie genügend Notizen haben, lassen Sie sich von einem LLM Kategorien für ähnliche Fehler vorschlagen. Dazu könnten inkompatible Teileempfehlungen, ungenaue Bestandsabfragen und gescheiterte Übergaben an Menschen gehören.
3. Zählen Sie die Vorkommen. Ordnen Sie jede Beobachtung einer Kategorie zu und berechnen Sie dann mit einer Tabellenkalkulation oder Pivot-Tabelle, wie häufig jeder Fehlermodus auftritt.
4. Priorisieren Sie, was Sie angehen, und berücksichtigen Sie dabei sowohl Häufigkeit als auch Schweregrad.
5. Machen Sie aus wichtigen Fehlern Testfälle. Speichern Sie die relevante Eingabe, die Ausgangsbedingungen, das erwartete Ergebnis und die Bewertungskriterien, damit der Agent erneut mit demselben Szenario getestet werden kann.

Wie viele Traces sollten Sie untersuchen? Etwa 100, aber eine magische Zahl gibt es nicht. Hören Sie früher auf, sobald Sie die theoretische Sättigung erreicht haben: den Punkt, an dem die Prüfung weiterer Traces keine bedeutsamen neuen Fehlermuster mehr zutage fördert.

Ihre Anwendung ist noch nicht live? Synthetische Beispiele können beim Aufbau eines ersten Testsets helfen, doch sobald echte Nutzerdaten verfügbar sind, sollten sie einfließen.

Der Einsatz von Benchmarks bei der Evaluierung von KI-Agenten

Neben eigenen Testfällen können Sie auch bestehende Sammlungen standardisierter Evaluierungsaufgaben, sogenannte Benchmarks, nutzen, um die Fähigkeiten von Agenten zu bewerten.

Doch Benchmarks sind nicht unfehlbar. SWE-bench-Audits, die Benchmark-Reviews von Epoch AI und in TheoPhysEval zunächst abgelehnte korrekte Antworten zeigen, wie fehlerhafte Aufgaben oder erwartete Antworten Evaluierungsergebnisse verzerren können.

Khomutov rät, aktuelle, für Ihre Domäne relevante Benchmarks zu wählen und überraschenden Erfolgen oder Fehlschlägen nachzugehen, bevor Sie die Ergebnisse als verlässlichen Beleg für die Leistung des Agenten betrachten.

Schritt 3. Führen Sie den Agenten in einer reproduzierbaren Testumgebung aus

Eine reproduzierbare Testumgebung ist ein kontrolliertes Setup, in dem Sie einen KI-Agenten unter denselben Ausgangsbedingungen mit denselben Testfällen ausführen und die Ergebnisse vergleichen können. Dazu können ein Ordner mit Testfällen, ein Python-Skript, das den Agenten ausführt, oder eine Reihe von Prüfungen gehören, die die Ergebnisse bewerten.

Sie können damit beginnen, repräsentative Eingaben als JSON-Dateien zu speichern und mit einem Python-Skript den Workflow Ihres Agenten auszuführen und seine Ausgaben mit Assertions zu prüfen. Für den Bestandsagenten unseres Fertigungswerks könnte eine reproduzierbare Testumgebung so aussehen:

Vergrößern

So richten Sie eine reproduzierbare Testumgebung ein:

1. Speichern Sie repräsentative Eingaben. Legen Sie tatsächliche Ereignisse oder Testfälle in derselben Struktur ab, die Ihre Anwendung in der Produktion empfängt. In unserem Szenario würden Sie eine Wartungsanfrage mit Maschinen-ID, benötigtem Ersatzteil und Wartungsdatum als JSON-Datei speichern, zusammen mit einem Snapshot der Bestandsdaten und der Daten zu freigegebenen Teilen.
2. Führen Sie den Workflow aus. Lassen Sie jede Eingabe durch den Agenten laufen, einschließlich seiner Abrufschritte, Tool-Aufrufe und Antwortgenerierung.
3. Zeichnen Sie Ergebnis und Trace auf. Erfassen Sie die endgültige Ausgabe und relevante Zwischenschritte (etwa Bestandsabfragen), damit Sie nicht nur sehen, ob der Agent gescheitert ist, sondern auch, wo.
4. Wiederholen Sie Fälle je nach Schweregrad und Häufigkeit des Fehlers sowie dem Aufwand für seine Behebung. LLM-Anwendungen sind nichtdeterministisch (sie können bei identischen Eingaben unterschiedliche Ergebnisse liefern), daher garantiert ein erfolgreicher Durchlauf nicht, dass auch der nächste gelingt. Geben Sie den Anteil erfolgreicher Versuche an und untersuchen Sie die Fehlschläge.

Für Letzteres empfiehlt Khomutov, pass@1 (wie oft der Agent beim ersten Versuch erfolgreich ist) und pass@k (die Wahrscheinlichkeit, bei einer festgelegten Anzahl von Versuchen mindestens einmal erfolgreich zu sein) zu messen. Wenn Sie pass@k angeben, nennen Sie auch die Anzahl der Versuche, denn eine richtige Antwort unter mehreren bedeutet nicht, dass der Agent weiß, welche er wählen soll.

Wenn Ihre Anwendung wächst, sollten Sie ein Test-Framework wie pytest verwenden, um Tests zu organisieren und auszuführen, und große Testdatensätze und Ergebnisse gegebenenfalls in einer Datenbank speichern.

Schritt 4. Wählen Sie für jede Prüfung den passenden Grader

Ein Grader (häufig auch Evaluator genannt) ist ein Mechanismus – ein Stück Code, ein LLM, das sich an einem Bewertungsraster orientiert, oder ein menschlicher Prüfer –, der die Ausgabe oder Aktion eines Agenten anhand eines definierten Kriteriums überprüft. Ein Grader liefert ein Bestanden/Nicht-bestanden-Urteil sowie eine Erklärung, die die relevanten Belege benennt.

Hinweis: Ein Bewertungsraster ist eine Reihe von Kriterien und Anweisungen, die festlegen, was als korrektes oder akzeptables Ergebnis gilt.

Welcher Grader-Typ der richtige ist, hängt davon ab, was Sie überprüfen möchten. So schneiden die drei Ansätze im Vergleich ab:

Manchmal erfordern verschiedene Aspekte desselben Durchlaufs unterschiedliche Evaluierungsmethoden, sodass Sie Grader möglicherweise kombinieren müssen.

Wie kombiniert man Grader?

Sie fragen: „Lässt sich das Ergebnis anhand einer bekannten Regel oder eines erwarteten Werts überprüfen, oder erfordert es ein menschenähnliches Urteil?“

• Wenn Sie das Ergebnis exakt überprüfen können, beginnen Sie mit einem codebasierten Grader. Codebasierte Grader können auch strukturierte Ausgaben, gültige Feldwerte, Tool-Argumente oder den Endzustand einer Datenbank überprüfen.
• Wenn die Prüfung eine Interpretation des Kontexts erfordert, setzen Sie LLM-as-a-Judge ein.
• Setzen Sie bei domänenspezifischen oder strittigen Entscheidungen menschliche Prüfer ein.

Wichtig! Ein LLM-Grader kann Belege falsch interpretieren oder ein Bewertungsraster falsch anwenden. Daher ist ein zusätzlicher Evaluierungsschritt nötig: die Kalibrierung anhand menschlicher Urteile.

Kalibrieren Sie den LLM-Grader anhand menschlicher Urteile.

Im Kern erfordert die Kalibrierung, dass ein Fachexperte tatsächliche Agentendurchläufe bewertet. Anschließend vergleicht der Experte seine Urteile mit denen des LLMs und verfeinert das Bewertungsraster anhand der Abweichungen.

Hier ist ein fünfstufiger Prozess zur Grader-Kalibrierung:

1. Sammeln Sie Beispiele für Eingaben, Ausgaben und relevante Traces des Agenten.
2. Lassen Sie einen Fachexperten unabhängig beurteilen, ob jedes Beispiel das Evaluierungskriterium erfüllt.
3. Lassen Sie den LLM-Grader diese Beispiele bewerten.
4. Vergleichen Sie die Urteile von Mensch und Modell.
5. Untersuchen Sie Abweichungen und verfeinern Sie das Bewertungsraster des Graders, bevor Sie ihn an neuen Beispielen testen.

Khomutov betont außerdem, wie wichtig es ist, die Konsistenz des LLM-Graders separat zu testen:

„Geben Sie ihm mehrmals genau denselben gespeicherten Durchlauf und dieselben Dateien, ohne den Agenten erneut auszuführen. So können Sie Schwankungen in der Arbeit des Agenten von Schwankungen in der Bewertung trennen.“

Wenn dieselbe Ausgabe unterschiedliche Urteile erhält, sollten Sie nicht davon ausgehen, dass jede Änderung der Bewertung auf den Agenten zurückgeht. Untersuchen Sie stattdessen eine Konfusionsmatrix, die zeigt, wann der Grader Fehler korrekt erkannt, übersehen oder akzeptable Ausgaben fälschlicherweise beanstandet hat.

Die menschliche Überprüfung bleibt unverzichtbar, um Referenzurteile festzulegen, strittige Fälle zu klären und neue Fehlermodi aufzudecken, für deren Erkennung bestehende Grader nicht ausgelegt waren.

Schritt 5. Vergleichen Sie Versionen und führen Sie Regressionsprüfungen durch

Angenommen, die Fehleranalyse zeigt, dass Ihr Bestandsagent häufig nicht freigegebene Ersatzteile empfiehlt. Sie ändern seinen System-Prompt so, dass er eine explizite Kompatibilitätsprüfung verlangt. Der ursprünglich fehlgeschlagene Fall besteht nun. Doch woher wissen Sie, dass die Änderung keine anderen Aufgaben beeinträchtigt hat?

Genau hier kommen Regressionstests ins Spiel.

Beim Regressionstest werden zuvor erfolgreiche Testfälle nach einer Änderung am Prompt, Modell oder Workflow eines Agenten erneut ausgeführt, um sicherzustellen, dass die Änderung keine neuen Fehler verursacht hat.

1. Reproduzieren Sie den ursprünglichen Fehler mit einer gespeicherten Eingabe aus dem Testset.
2. Nehmen Sie eine gezielte Änderung am Prompt, Modell oder Workflow vor.
3. Führen Sie den fehlgeschlagenen Test erneut aus, um zu prüfen, ob das Problem behoben ist.
4. Führen Sie die anderen Tests aus, um sicherzustellen, dass die Änderung kein zuvor funktionierendes Verhalten beeinträchtigt hat.
5. Prüfen Sie die Ergebnisse und untersuchen Sie alle neuen Fehler.

Vergleichen Sie die Baseline und den aktualisierten Agenten anhand derselben Testfälle und Bewertungskriterien, um aussagekräftige Ergebnisse zu erhalten.

Schritt 6: Leistung von KI-Agenten in der Produktion überwachen

Die Evaluierung von Agenten endet nicht, sobald Sie Ihre Anwendung bereitgestellt haben. Wie Husain und Shankar erklären, lassen sich dieselben Evaluatoren, die Sie während der Entwicklung verwenden, auch auf echte Produktionsdaten anwenden, um zu messen, wie sich die Leistung Ihres Agenten im Laufe der Zeit entwickelt.

Dies wird als Online-Evaluierung bezeichnet und ist Teil eines umfassenderen Produktionsmonitorings, das dabei hilft, wiederkehrende und bisher unbekannte Fehler aufzudecken.

Der Prozess ist iterativ und umfasst vier sich ergänzende Aktivitäten:

• Setzen Sie kalibrierte LLM-Judges auf Produktions-Traces ein. Ziehen Sie Stichproben aus realen Agenteninteraktionen und wenden Sie die Evaluatoren an, die Sie bereits anhand menschlicher Bewertungen validiert haben.
• Verfolgen Sie Fehlerraten im Zeitverlauf. Nutzen Sie die bei der Fehleranalyse festgelegten Fehlerkategorien, um wiederkehrende Probleme zu quantifizieren.
• Prüfen Sie Traces weiterhin manuell. Automatisierte Bewerter erkennen nur die Probleme, für deren Erkennung sie entwickelt wurden. Sehen Sie sich manuell Stichproben realer Agenteninteraktionen an, um neue Fehler oder ungewöhnliche Nutzeranfragen aufzudecken.
• Nutzen Sie A/B-Tests, um Geschäftsergebnisse zu messen (nur wenn sinnvoll). Vergleichen Sie verschiedene Prompts, Modelle oder Workflows anhand von Kennzahlen wie Aufgabenabschluss, Nutzerzufriedenheit und Lösungszeit. So lässt sich feststellen, ob eine Änderung über das Bestehen einzelner Tests hinaus das tatsächliche Produkterlebnis verbessert.

Ein wichtiger Hinweis: Evals müssen nicht bis zur Perfektion ausgefeilt sein. Sie müssen lediglich gut genug sein, um Ihr Produkt zu verbessern.

Häufige Irrtümer bei der Evaluierung von KI-Agenten

• Evals sind nur Unit-Tests. Das stimmt nicht: Unit-Tests sind kleine, automatisierte Prüfungen und nur ein Teil der Evaluierung. Zu Evals gehören auch qualitative Fehleranalysen, menschliche Bewertungen, Produktionsmonitoring und Experimente zur Messung der Anwendungsqualität.
• Eine Evaluierungsplattform kann alles für Sie erledigen. Standardtools können einige Prüfungen automatisieren, aber sie können nicht bestimmen, welche Fehlermodi (Fehlerarten oder unerwünschte Verhaltensweisen des Agenten) für Ihr Produkt relevant sind.
• Sie können alles von einem LLM evaluieren lassen. Das ist ein großer Trugschluss. Von Menschen geleitete Fehleranalysen und die Kalibrierung der Bewerter bleiben unverzichtbar, da LLMs der nötige Geschäftskontext fehlt, um jedes Problem zu erkennen.
• A/B-Tests oder die bloße Nutzung des Agenten ersetzen Evals. Falsch. A/B-Tests können zeigen, welche Version bei ausgewählten Kennzahlen besser abschneidet, aber für sich genommen nicht die zugrunde liegenden Probleme erklären.

FAQ zur Evaluierung von KI-Agenten

1. Was ist der Unterschied zwischen der Evaluierung von KI-Agenten und der LLM-Evaluierung?

Die LLM-Evaluierung misst, wie gut ein Sprachmodell eine bestimmte Aufgabe erfüllt, etwa das Beantworten einer Frage, das Zusammenfassen eines Dokuments oder das Extrahieren von Informationen. Die Evaluierung von KI-Agenten bewertet ein System, das eigenständig mehrere Schritte ausführt, um eine Aufgabe zu erledigen.

Anders als eine typische LLM-Evaluierung betrachtet die Evaluierung von Agenten sowohl das Endergebnis als auch die Abfolge der Aktionen, die dazu geführt haben, einschließlich Tool-Aufrufen, Entscheidungen und der Einhaltung vordefinierter Regeln.

2. Wichtige Kennzahlen für die Evaluierung von KI-Agenten

Kennzahlen für die Evaluierung von KI-Agenten lassen sich in zwei große Kategorien einteilen:

• Technische Leistungskennzahlen: Erfolgsquote bei Aufgaben, Korrektheit der Aktionen, Antwortqualität, Zuverlässigkeit (pass@1 und pass@k), Latenz, Token-Verbrauch und Kosten pro erfolgreich erledigter Aufgabe.
• Kennzahlen zu Geschäftserfolg und Nutzererlebnis: Kundenzufriedenheit (CSAT), Problemlösungsrate, Eskalationsrate, Conversion-Rate, Bearbeitungszeit von Aufgaben und weitere Ergebnisse, die spezifisch für die Rolle des Agenten sind.

Ein Kundensupport-Agent könnte beispielsweise anhand erfolgreich gelöster Anliegen und der Kundenzufriedenheit bewertet werden, während ein KI-Einkaufsagent an der Genauigkeit von Nachbestellanfragen, Genehmigungsquoten und der Beschaffungszykluszeit gemessen werden könnte.

Die richtigen Kennzahlen sollten zeigen, wie zuverlässig der Agent arbeitet und ob seine Arbeit die Geschäftsergebnisse verbessert.

3. Welche Tools eignen sich am besten zur Evaluierung von KI-Agenten?

Gängige Optionen sind:

• Test-Frameworks: Python-Assertions und pytest eignen sich, um wiederholbare Testfälle auszuführen und exakte Bedingungen zu prüfen, etwa ob ein Agent das richtige Tool ausgewählt oder eine gültige Teile-ID zurückgegeben hat.
• Frameworks zur Evaluierung von KI-Agenten: DeepEval und Googles agent-eval-Toolkit unterstützen komplexere Evaluierungen, darunter Ausführungs-Traces, LLM-basierte Bewerter und automatisierte Regressionstests.
• Evaluierungs- und Observability-Plattformen: LangSmith, Arize Phoenix und MLflow helfen Teams dabei, das Verhalten von Agenten zu untersuchen, Evaluierungsdatensätze zu verwalten, Agentenversionen zu vergleichen und die Leistung in der Produktion zu überwachen.

4. Wie lassen sich Evaluierungen von KI-Agenten automatisieren?

Sie können Evaluierungen von KI-Agenten automatisieren, indem Sie wiederholbare Tests erstellen, automatisierte Bewerter einsetzen und diese Prüfungen in Entwicklungs- und Produktions-Workflows integrieren:

1. Erstellen Sie einen Evaluierungsdatensatz: Sammeln Sie repräsentative Nutzeraufgaben, erwartete Ergebnisse, bekannte Fehler und Ausführungs-Traces des Agenten. Berücksichtigen Sie auch Grenzfälle wie fehlgeschlagene Tool-Aufrufe, fehlende Informationen und nicht autorisierte Aktionen.
2. Automatisieren Sie Testausführung und Bewertung: Verwenden Sie Frameworks wie pytest oder DeepEval, um Testfälle auszuführen und codebasierte Prüfungen oder LLM-Bewerter anzuwenden. Validieren Sie LLM-Bewerter anhand menschlicher Bewertungen, bevor Sie sich auf deren Ergebnisse verlassen.
3. Integrieren Sie Evaluierungen in CI/CD: Führen Sie Regressionstests automatisch erneut aus, wenn Entwickler die Prompts, Modelle, Tools oder den Workflow eines Agenten aktualisieren. Vergleichen Sie die Ergebnisse mit einer Baseline und legen Sie Qualitätsschwellen fest, die Releases verhindern, wenn kritische Prüfungen fehlschlagen.
4. Wenden Sie kalibrierte Bewerter auf Stichproben von Produktions-Traces an, verfolgen Sie Fehlerraten und andere Leistungskennzahlen und untersuchen Sie neue Fehler durch manuelle Prüfung.