Jak oceniać agentów AI: zestawy testowe, mechanizmy oceniające i kontrole regresji

Za każdym świetnym produktem AI stoi solidny proces ewaluacji agentów AI, zwany ewaluacjami (ang. evals), który pozwala wcześnie wychwytywać błędy i zapewnia prawidłowe działanie agenta. Ewaluacje mają kluczowe znaczenie dla agentów AI, które w czyimś imieniu wykonują działania obarczone wysokim ryzykiem, takie jak zwroty pieniędzy.

Zbudowanie takiego procesu wymaga pewnej wiedzy technicznej i umiejętności analizy danych. Nie jest to jednak wcale tak straszne ani niedostępne, jak mogłoby się wydawać. Aby ułatwić ci start, opisaliśmy sześć praktycznych kroków ewaluacji agentów AI oraz typowe błędne przekonania, które psują ten proces.

Co oznacza ewaluacja agenta AI?

Ewaluacja agenta AI polega na ocenie, jak skutecznie wykonuje on zadania i czy jego decyzje spełniają wymagania organizacji. W praktyce ewaluacje agentów AI, w skrócie evals, to konkretne metryki, które pomagają organizacjom ustalić, czy agent działa wystarczająco niezawodnie, by pełnić przewidzianą dla niego rolę.

Wyobraź sobie agenta AI ds. zakupów w zakładzie produkcyjnym, który sprawdza stan magazynowy części zamiennych i przygotowuje zapotrzebowania na uzupełnienie zapasów. Jeśli zatwierdzona część jest niedostępna albo informacje o dostawcy są nieaktualne, czy agent zgłosi problem, czy zarekomenduje niezatwierdzony zamiennik?

A jeśli zmienisz jego prompt systemowy, aby rozwiązać ten problem, skąd masz pewność, że nie pojawił się nowy?

Bez ewaluacji menedżerom produktu pozostaje w zasadzie zgadywanie. Ewaluacje dostarczają więc sygnału zwrotnego, który pozwala mierzyć skuteczność działania, wychwytywać powtarzające się problemy i testować zmiany z większą pewnością.

Biorąc to pod uwagę, ewaluacja agenta może obejmować kilka aspektów jego przebiegu:

• Jakość wyniku końcowego
• Informacje, z których korzystał agent
• Narzędzia, które wywołał
• To, czy przestrzegał zasad określających jego zachowanie

Typowe metryki ewaluacji agentów AI

Ewaluacje opierają się na danych jakościowych i ilościowych. Ewaluacja jakościowa pomaga zrozumieć, co się dzieje i dlaczego, m.in. poprzez ręczny przegląd decyzji agenta. Ewaluacja ilościowa przekształca te obserwacje w mierzalne sygnały, np. zliczając, jak często występują określone rodzaje błędów, lub obliczając wskaźniki powodzenia zadań.

Oto lista podstawowych metryk ewaluacji agentów AI:

• Skuteczność wykonania zadania mierzy, czy agent osiągnął zamierzony rezultat; zwykle wyraża się ją jako odsetek przebiegów, które dają prawidłowe wyniki.
• Poprawność działań mierzy, czy agent właściwie korzystał z narzędzi, wybierał prawidłowe argumenty i respektował uprawnienia.
• Jakość odpowiedzi określa, czy końcowy wynik jest trafny, kompletny i użyteczny. Może obejmować poprawność merytoryczną, przestrzeganie instrukcji oraz to, czy agent uzasadnia swoje decyzje dostępnymi informacjami.
• Niezawodność mierzy spójność działania w powtarzanych próbach, przy zmiennych danych wejściowych i w przypadkach brzegowych.
• Koszt i opóźnienie mierzą zasoby potrzebne do osiągnięcia pomyślnego wyniku, w tym czas wykonania, zużycie tokenów i liczbę wywołań narzędzi.

W zależności od tego, co mierzysz, ewaluacje mogą oceniać kompleksowe działanie agenta (end-to-end), jego trajektorię wykonania lub poszczególne komponenty, takie jak wywołania narzędzi i etapy pobierania informacji.

Krok 1: Określ, jak wygląda udany przebieg działania agenta

Najpierw jednoznacznie opisz, co agent ma osiągnąć — czyli wymagania produktowe. Brzmi banalnie, a jednak bywa zaskakująco trudne. To zjawisko ma nawet swoją nazwę: luka specyfikacyjna.

Jak do tego podejść? Tak radzi Andrey Khomutov, nasz starszy data scientist:

„Zacznij od dwóch pytań: «Co można uznać za wykonanie zadania?» oraz «Co sprawiłoby, że pozornie udany przebieg byłby nie do zaakceptowania?»

W przypadku agentów, z technicznego punktu widzenia, oznacza to sprawdzanie zarówno wyniku, jak i tego, w jaki sposób agent do niego doszedł.”

Agent może wygenerować poprawną odpowiedź, korzystając z ujawnionego klucza odpowiedzi, albo podjąć nieautoryzowane działania podczas realizacji zadania. Khomutov zwraca uwagę, że wyciek odpowiedzi i niebezpieczne działania podczas ewaluacji to konkretne powody, by nie oceniać wyłącznie odpowiedzi końcowej.

„Spodziewam się, że analiza trajektorii stanie się standardowym elementem zestawów ewaluacyjnych agentów, a nie czymś, co robimy tylko wtedy, gdy wynik wygląda podejrzanie” — dodaje.

Następnie zaangażuj eksperta dziedzinowego, który zweryfikuje kryteria sukcesu. Osoby z praktyczną znajomością danej dziedziny potrafią ocenić, czy warunki, które wyznaczyliśmy agentowi AI, odzwierciedlają pomyślny rezultat.

Krok 2. Zbuduj zestaw testowy na podstawie rzeczywistych zadań i błędów

Przeanalizuj rzeczywiste zachowanie agenta, aby zrozumieć, jak wygląda dobre i złe działanie. Nie ulegaj pokusie, by zacząć od wygenerowania dziesiątek testów opartych wyłącznie na przypuszczeniach, co może pójść nie tak.

Hamel Husain, inżynier ML w Parlance Lab, i Shreya Shankar, badaczka zajmująca się systemami ML i ewaluacjami stosowanej AI, zalecają rozpoczęcie od analizy błędów — techniki zapożyczonej z uczenia maszynowego i data science. Proces zaczyna się od jakościowej analizy śladów wykonania agenta, czyli zapisów pokazujących dane wejściowe użytkownika, wywołania narzędzi, pobrane informacje i odpowiedź agenta.

1. Przejrzyj pojedyncze ślady i oznacz błędy (kodowanie otwarte). Poproś eksperta dziedzinowego o przejrzenie przebiegów agenta i zapisanie krótkich obserwacji na temat tego, co poszło nie tak. Skup się na pierwszym istotnym błędzie.
2. Pogrupuj obserwacje według rodzajów błędów (kodowanie osiowe). Gdy zbierzesz wystarczająco dużo notatek, poproś LLM o zaproponowanie kategorii podobnych błędów. Mogą to być np. rekomendacje niekompatybilnych części, nieprawidłowe pobieranie danych o stanie magazynowym czy nieudane przekazanie sprawy człowiekowi.
3. Policz wystąpienia. Przypisz każdą obserwację do kategorii, a następnie za pomocą arkusza kalkulacyjnego lub tabeli przestawnej oblicz, jak często występuje każdy rodzaj błędu.
4. Zdecyduj, czym zająć się w pierwszej kolejności, biorąc pod uwagę zarówno częstotliwość, jak i wagę błędów.
5. Przekształć istotne błędy w przypadki testowe. Zapisz odpowiednie dane wejściowe, warunki początkowe, oczekiwany rezultat i kryteria oceny, aby można było ponownie przetestować agenta w tym samym scenariuszu.

Ile śladów należy przeanalizować? Około 100, ale nie ma magicznej liczby. Możesz zakończyć wcześniej, gdy osiągniesz nasycenie teoretyczne, czyli moment, w którym przeglądanie kolejnych śladów przestaje ujawniać istotne nowe wzorce błędów.

Aplikacja nie została jeszcze uruchomiona? Przykłady syntetyczne mogą pomóc w zbudowaniu wstępnego zestawu testowego, choć gdy tylko pojawią się rzeczywiste dane użytkowników, warto je w nim uwzględnić.

Zastosowanie benchmarków w ewaluacji agentów AI

Oprócz tworzenia własnych przypadków testowych możesz korzystać z istniejących zbiorów standaryzowanych zadań ewaluacyjnych, zwanych benchmarkami, aby ocenić możliwości agenta.

Benchmarki nie są jednak nieomylne. Audyty SWE-bench, przeglądy benchmarków przeprowadzone przez Epoch AI oraz poprawne odpowiedzi początkowo odrzucone w TheoPhysEval pokazują, jak wadliwe zadania lub oczekiwane odpowiedzi mogą zniekształcać wyniki ewaluacji.

Jak radzi Khomutov, wybieraj aktualne benchmarki odpowiednie dla twojej dziedziny i analizuj zaskakujące sukcesy lub porażki, zanim uznasz wyniki za wiarygodny dowód skuteczności agenta.

Krok 3. Uruchom agenta w powtarzalnym środowisku testowym

Powtarzalne środowisko testowe to kontrolowana konfiguracja, w której możesz uruchamiać agenta AI na tych samych przypadkach testowych w tych samych warunkach początkowych i porównywać wyniki. Obejmuje ono m.in. folder z przypadkami testowymi, skrypt w języku Python uruchamiający agenta lub zestaw testów oceniających wyniki.

Na początek możesz zapisać reprezentatywne dane wejściowe jako pliki JSON i użyć skryptu w języku Python, który wykona przepływ pracy agenta i sprawdzi jego wyniki za pomocą asercji. W przypadku agenta zarządzającego zapasami w naszym zakładzie produkcyjnym powtarzalne środowisko testowe mogłoby wyglądać tak:

Powiększ

Aby skonfigurować powtarzalne środowisko testowe, wykonaj następujące kroki:

1. Zapisz reprezentatywne dane wejściowe. Przechowuj rzeczywiste zdarzenia lub przypadki testowe w tej samej strukturze, w jakiej aplikacja otrzymuje je w środowisku produkcyjnym. W naszym scenariuszu należałoby zapisać jako plik JSON zlecenie konserwacji zawierające identyfikator maszyny, wymaganą część zamienną i datę konserwacji, wraz z migawką danych o zapasach i zatwierdzonych częściach.
2. Wykonaj przepływ pracy. Przepuść każdy zestaw danych wejściowych przez agenta, łącznie z etapami pobierania informacji, wywołaniami narzędzi i generowaniem odpowiedzi.
3. Zapisz wynik i ślad. Rejestruj końcowy wynik i istotne działania pośrednie (np. wyszukiwania w danych o zapasach), aby widzieć nie tylko, czy agent zawiódł, ale też w którym miejscu.
4. Powtarzaj przypadki w zależności od wagi błędu, jego częstotliwości i trudności naprawy. Aplikacje oparte na LLM są niedeterministyczne (mogą dawać różne wyniki dla identycznych danych wejściowych), więc jeden udany przebieg nie gwarantuje, że kolejny również się powiedzie. Podawaj odsetek udanych prób i analizuj niepowodzenia.

W tym celu Khomutov zaleca mierzenie pass@1 (jak często agent odnosi sukces przy pojedynczej próbie) oraz pass@k (prawdopodobieństwo co najmniej jednego sukcesu w określonej liczbie prób). Jeśli podajesz pass@k, określ liczbę prób, ponieważ uzyskanie jednej poprawnej odpowiedzi spośród kilku nie oznacza, że agent wie, którą z nich wybrać.

W miarę rozwoju aplikacji korzystaj z frameworka testowego, takiego jak pytest, do organizowania i uruchamiania testów oraz rozważ przechowywanie dużych zbiorów danych testowych i wyników w bazie danych.

Krok 4. Wybierz odpowiedni grader dla każdego testu

Grader (często nazywany też ewaluatorem) to mechanizm — fragment kodu, LLM kierujący się schematem oceniania lub człowiek dokonujący przeglądu — który sprawdza wynik lub działanie agenta pod kątem określonego kryterium. Grader zwraca ocenę zaliczone/niezaliczone wraz z wyjaśnieniem wskazującym odpowiednie dowody.

Informacja: Schemat oceniania to zestaw kryteriów i instrukcji określających, co uznaje się za poprawny lub akceptowalny wynik.

Właściwy typ gradera zależy od tego, co chcesz zweryfikować. Oto porównanie trzech podejść:

Czasami różne aspekty tego samego przebiegu wymagają różnych metod ewaluacji, więc może być konieczne połączenie kilku graderów.

Jak łączyć gradery?

Zadaj sobie pytanie: „Czy wynik można zweryfikować na podstawie znanej reguły lub oczekiwanej wartości, czy wymaga on oceny zbliżonej do ludzkiej?”

• Jeśli możesz dokładnie zweryfikować wynik, zacznij od gradera opartego na kodzie. Gradery oparte na kodzie mogą też weryfikować ustrukturyzowane dane wyjściowe, prawidłowe wartości pól, argumenty narzędzi czy końcowy stan bazy danych.
• Jeśli sprawdzenie wymaga interpretacji kontekstu, zastosuj podejście LLM jako sędzia.
• W przypadku decyzji specjalistycznych lub spornych angażuj ludzkich recenzentów.

Ważne! Grader LLM może błędnie zinterpretować dowody lub nieprawidłowo zastosować schemat oceniania. Wymaga więc dodatkowego etapu ewaluacji: kalibracji względem ocen ludzkich.

Skalibruj grader LLM względem ocen ludzkich.

Kalibracja wymaga zasadniczo, aby ekspert dziedzinowy ocenił rzeczywiste przebiegi agenta. Następnie ekspert porównuje swoje oceny z ocenami LLM i dopracowuje schemat oceniania na podstawie rozbieżności.

Oto pięcioetapowy proces kalibracji gradera:

1. Zbierz przykłady danych wejściowych i wyjściowych agenta oraz odpowiednich śladów.
2. Poproś eksperta dziedzinowego o niezależną ocenę, czy każdy przykład spełnia kryterium ewaluacji.
3. Uruchom grader LLM na tych przykładach.
4. Porównaj oceny człowieka i modelu.
5. Przeanalizuj rozbieżności i dopracuj schemat oceniania gradera, zanim przetestujesz go na nowych przykładach.

Khomutov podkreśla również, jak ważne jest osobne testowanie spójności gradera LLM:

„Przekaż mu kilka razy dokładnie ten sam zapisany przebieg i te same pliki, bez ponownego uruchamiania agenta. Pozwala to oddzielić zmienność w pracy agenta od zmienności w ocenianiu.”

Jeśli ten sam wynik otrzymuje różne werdykty, nie zakładaj, że każda zmiana oceny wynika z działania agenta. Zamiast tego przeanalizuj macierz pomyłek, która pokazuje, kiedy grader prawidłowo wykrył błędy, kiedy je przeoczył, a kiedy niesłusznie oznaczył akceptowalne wyniki.

Weryfikacja przez człowieka pozostaje niezbędna do ustalania ocen referencyjnych, rozstrzygania spornych przypadków i odkrywania nowych rodzajów błędów, z myślą o których nie projektowano istniejących graderów.

Krok 5. Porównuj wersje i przeprowadzaj testy regresyjne

Załóżmy, że analiza błędów wykazała, iż agent zarządzający zapasami często zaleca niezatwierdzone części zamienne. Modyfikujesz jego prompt systemowy tak, aby wymagał wyraźnego sprawdzenia kompatybilności. Przypadek, który wcześniej kończył się błędem, teraz przechodzi test. Ale skąd wiesz, że zmiana nie wpłynęła na inne zadania?

Tu właśnie przydają się testy regresyjne.

Testy regresyjne polegają na ponownym uruchamianiu przypadków testowych, które wcześniej kończyły się powodzeniem, po zmianie promptu, modelu lub przepływu pracy agenta, aby upewnić się, że zmiana nie wprowadziła nowych błędów.

1. Odtwórz pierwotny błąd, korzystając z zapisanych danych wejściowych z zestawu testowego.
2. Wprowadź ukierunkowaną zmianę w prompcie, modelu lub przepływie pracy.
3. Ponownie uruchom test, który kończył się błędem, aby sprawdzić, czy problem został rozwiązany.
4. Uruchom pozostałe testy, aby sprawdzić, czy zmiana nie naruszyła zachowań, które wcześniej działały poprawnie.
5. Przeanalizuj wyniki i zbadaj wszelkie nowe błędy.

Aby uzyskać miarodajne wyniki, porównaj agenta bazowego z zaktualizowanym, korzystając z tych samych przypadków testowych i kryteriów oceny.

Krok 6: monitoruj skuteczność agenta AI w środowisku produkcyjnym

Ewaluacja agenta nie kończy się po wdrożeniu aplikacji. Jak wyjaśniają Husain i Shankar, te same ewaluatory, których używasz podczas prac rozwojowych, można uruchamiać również na rzeczywistych danych produkcyjnych, aby mierzyć skuteczność agenta na przestrzeni czasu.

Nazywa się to ewaluacją online i stanowi część szerszego procesu monitorowania środowiska produkcyjnego, który pomaga wykrywać powtarzające się oraz wcześniej nieznane błędy.

Proces ten ma charakter iteracyjny i obejmuje cztery uzupełniające się działania:

• Uruchamiaj skalibrowanych sędziów LLM na śladach produkcyjnych. Pobieraj próbki rzeczywistych interakcji z agentem i stosuj ewaluatory, które zostały już zweryfikowane względem ocen ludzkich.
• Śledź odsetek niepowodzeń w czasie. Korzystaj z kategorii niepowodzeń ustalonych podczas analizy błędów, aby ilościowo określić powtarzające się problemy.
• Nadal ręcznie przeglądaj ślady. Zautomatyzowane mechanizmy oceniające wykrywają tylko te problemy, do których identyfikowania zostały zaprojektowane. Ręcznie sprawdzaj próbki rzeczywistych interakcji z agentem, aby odkrywać nowe błędy lub nietypowe prośby użytkowników.
• Stosuj testy A/B do mierzenia wyników biznesowych (tylko wtedy, gdy jest to zasadne). Porównuj różne prompty, modele lub przepływy pracy, korzystając z takich wskaźników jak ukończenie zadania, zadowolenie użytkowników czy czas rozwiązania problemu. Ten proces pomaga ustalić, czy zmiana rzeczywiście poprawia wrażenia z korzystania z produktu, a nie tylko pozwala zaliczyć poszczególne testy.

Ważna uwaga: ewaluacje nie muszą być dopracowane do perfekcji. Wystarczy, że będą na tyle dobre, by pomóc ulepszyć produkt.

Częste błędne przekonania dotyczące ewaluacji agentów AI

• Ewaluacje to po prostu testy jednostkowe. To nieprawda: testy jednostkowe to niewielkie, zautomatyzowane kontrole, które stanowią tylko jeden element ewaluacji. Ewaluacje obejmują również jakościową analizę błędów, oceny ludzkie, monitorowanie środowiska produkcyjnego i eksperymenty służące do pomiaru jakości aplikacji.
• Platforma do ewaluacji zrobi wszystko za ciebie. Gotowe narzędzia mogą zautomatyzować niektóre kontrole, ale nie są w stanie określić, które tryby awarii (rodzaje błędów lub niepożądanych zachowań agenta) mają znaczenie dla twojego produktu.
• Ocenę wszystkiego możesz zlecić modelowi LLM. To poważne nieporozumienie. Analiza błędów prowadzona przez ludzi i kalibracja mechanizmów oceniających pozostają niezbędne, ponieważ modelom LLM brakuje kontekstu biznesowego potrzebnego do wykrycia każdego problemu.
• Testy A/B lub zwykłe korzystanie z agenta zastępują ewaluacje. Nieprawda. Testy A/B mogą pokazać, która wersja wypada lepiej pod względem wybranych wskaźników, ale same w sobie nie wyjaśniają źródeł problemów.

Ewaluacja agentów AI: najczęściej zadawane pytania

1. Czym różni się ewaluacja agentów AI od ewaluacji LLM?

Ewaluacja LLM mierzy, jak dobrze model językowy wykonuje dane zadanie, takie jak odpowiadanie na pytanie, streszczanie dokumentu czy wyodrębnianie informacji. Ewaluacja agentów AI ocenia system, który samodzielnie wykonuje wiele kroków, aby zrealizować zadanie.

W przeciwieństwie do typowej ewaluacji LLM ewaluacja agenta obejmuje zarówno wynik końcowy, jak i sekwencję działań podjętych w celu jego osiągnięcia, w tym wywołania narzędzi, decyzje i zgodność z wcześniej określonymi regułami.

2. Kluczowe wskaźniki w ewaluacji agentów AI

Wskaźniki ewaluacji agentów AI dzielą się na dwie ogólne kategorie:

• Wskaźniki wydajności technicznej: odsetek pomyślnie wykonanych zadań, poprawność działań, jakość odpowiedzi, niezawodność (pass@1 i pass@k), opóźnienie, zużycie tokenów i koszt na pomyślnie wykonane zadanie.
• Wskaźniki biznesowe i dotyczące doświadczeń użytkowników: zadowolenie klientów (CSAT), odsetek rozwiązanych zgłoszeń, odsetek eskalacji, współczynnik konwersji, czas wykonania zadania oraz inne wyniki specyficzne dla roli agenta.

Na przykład agenta obsługi klienta można oceniać pod kątem skutecznego rozwiązywania zgłoszeń i zadowolenia klientów, a agenta AI ds. zakupów – na podstawie dokładności zapotrzebowań na uzupełnienie zapasów, wskaźników zatwierdzeń i czasu trwania cyklu zaopatrzenia.

Odpowiednie wskaźniki powinny odzwierciedlać zarówno niezawodność działania agenta, jak i to, czy jego praca poprawia wyniki biznesowe.

3. Jakie są najlepsze narzędzia do ewaluacji agentów AI?

Popularne opcje to:

• Frameworki testowe: asercje w Pythonie i pytest przydają się do uruchamiania powtarzalnych przypadków testowych i sprawdzania ściśle określonych warunków, np. czy agent wybrał właściwe narzędzie lub zwrócił prawidłowy identyfikator części.
• Frameworki do ewaluacji agentów AI: DeepEval i agent-eval toolkit firmy Google obsługują bardziej złożone ewaluacje, w tym ślady wykonania, mechanizmy oceniające oparte na LLM i zautomatyzowane testy regresji.
• Platformy do ewaluacji i obserwowalności: LangSmith, Arize Phoenix i MLflow pomagają zespołom analizować zachowanie agentów, zarządzać zbiorami danych ewaluacyjnych, porównywać wersje agentów i monitorować ich działanie w środowisku produkcyjnym.

4. Jak zautomatyzować ewaluacje agentów AI?

Ewaluacje agentów AI można zautomatyzować, tworząc powtarzalne testy, stosując zautomatyzowane mechanizmy oceniające i włączając te kontrole do programistycznych i produkcyjnych przepływów pracy:

1. Utwórz zbiór danych ewaluacyjnych: zbierz reprezentatywne zadania użytkowników, oczekiwane wyniki, znane błędy i ślady wykonania agenta. Uwzględnij przypadki brzegowe, takie jak nieudane wywołania narzędzi, brakujące informacje i nieautoryzowane działania.
2. Zautomatyzuj wykonywanie testów i ocenianie: korzystaj z frameworków takich jak pytest czy DeepEval, aby uruchamiać przypadki testowe i stosować kontrole oparte na kodzie lub mechanizmy oceniające oparte na LLM. Zanim zaczniesz polegać na wynikach mechanizmów oceniających opartych na LLM, zweryfikuj te mechanizmy względem ocen ludzkich.
3. Zintegruj ewaluacje z CI/CD: automatycznie uruchamiaj ponownie testy regresji, gdy programiści aktualizują prompty, modele, narzędzia lub przepływ pracy agenta. Porównuj wyniki z punktem odniesienia i ustal progi jakości, które blokują wydania, gdy krytyczne kontrole kończą się niepowodzeniem.
4. Stosuj skalibrowane mechanizmy oceniające do próbek śladów produkcyjnych, śledź odsetek niepowodzeń i inne wskaźniki wydajności oraz analizuj nowe błędy poprzez ręczny przegląd.