Benchmark WANDR: ocena agentów badawczych wyszukujących szeroko i głęboko

Zestaw testowy dla wysokowydajnej pracy umysłowej opartej na dowodach.

AutorzyPerplexity Research

Dzisiaj udostępniamy WANDR (Wide ANd Deep Research) – otwarty zestaw testowy oraz narzędzie ewaluacyjne, oparte na 500 realistycznych i wymagających zadaniach związanych z gromadzeniem danych na potrzeby pracy umysłowej. WANDR stanowi szeroki odpowiednik naszego zestawu DRACO do przeprowadzania dogłębnych badań. DRACO bada, czy agent potrafi przygotować dokładny, kompletny i obiektywny raport długoformatowy; WANDR sprawdza, czy potrafi on zbudować duży zbiór danych i poprzeć każdy element konkretnymi dowodami.

Są to rodzaje zadań, które ludzie już teraz powierzają agentom badawczym: mapowanie konkurencji, należyta staranność (due diligence), przegląd literatury, analiza rynku, porównywanie produktów, pozyskiwanie talentów i inne. Zadania obejmują od kilkudziesięciu do tysięcy niezależnie weryfikowalnych rekordów. Nawet przy założeniu wysokiego nakładu pracy, najsilniejszy system w naszej ocenie osiąga zaledwie 0,363 wskaźnika soft F1 oraz 0,133 wskaźnika hard F1. Do rozwiązania problemu badań szerokich i dogłębnych jeszcze daleka droga.

Skala benchmarku WANDR oraz najlepsze wyniki soft F1 i hard F1 odnotowane w tej ewaluacji.

Dlaczego badania szerokie i dogłębne mają znaczenie

Wiele użytecznych zadań badawczych nie kończy się w momencie, gdy agent znajdzie jedną odpowiedź. Analityk rynku może potrzebować wykazu wszystkich kwalifikujących się konkurentów, wraz z takimi samymi dowodami dla każdego z nich. Zespół ds. należytej staranności może potrzebować informacji o dziesiątkach firm, a następnie o strukturze własnościowej, kadrze zarządzającej, finansowaniu i statusie regulacyjnym każdej z nich. Stwarza to dwa oddzielne wymagania:

Szerokie (Wide): odkrycie dużego i często otwartego zbioru kwalifikujących się podmiotów.

Dogłębne (Deep): zbadanie każdego podmiotu w stopniu wystarczającym do poparcia każdego zgłoszonego roszczenia odpowiednimi dowodami.

Połączenie tych dwóch aspektów zmienia istotę problemu. Garść przekonujących przykładów to za mało, podobnie jak dopracowana narracja zbudowana na niekompletnych badaniach. Agent musi utrzymać szeroki zakres odkryć bez poświęcania jakości faktograficznej między jednym rekordem a drugim.

WANDR odwzorowuje tę strukturę za pomocą elastycznej, komponowalnej hierarchii kluczy kwalifikacji. Zadanie może wymagać

spółka(n) → pracownik(m) → adres URL(k)

Oznacza to znalezienie n kwalifikujących się spółek, m kwalifikujących się pracowników w każdej spółce oraz k stron potwierdzających dla każdego pracownika. Każdą pełną ścieżkę w drzewie można zweryfikować niezależnie. Ta sama podstawowa struktura może reprezentować płaską listę, wyszukiwanie zagnieżdżone, macierz lub zadanie z wieloma gałęziami dowodowymi. Wzorce te można również łączyć, co pozwala jednej reprezentacji na obsługę szerokiego zakresu zastosowań w świecie rzeczywistym.

Sześć typowych wzorców hierarchii. Wypełnione koła to podmioty, przerywane koła to stałe etykiety, a kwadraty to liście URL. W macierzy powtarzające się etykiety podrzędne oznaczają te same wartości podrzędne w ramach różnych elementów nadrzędnych.

Jedno opublikowane zadanie ilustruje tę strukturę w praktyce.

ceo_cfo_appointments

Zadanie główne. Znajdź co najmniej 70 spółek z siedzibą w USA, w których nominacja na stanowisko CEO lub CFO została ogłoszona po raz pierwszy w okresie od 1 marca do 30 kwietnia 2026 r. Dla każdej spółki przedstaw autorytatywną stronę z informacją o nominacji, która identyfikuje spółkę oraz osobę nominowaną, potwierdza pełnioną funkcję i datę ogłoszenia, a także pochodzi od emitenta, z dokumentacji urzędowej, agencji informacyjnej lub bezpośrednio przypisanego dziennikarstwa biznesowego z pierwszej ręki.

Hierarchia główna. spółka(70) → osoba_nominowana_w_spółce(1) → adres URL(1).

Zadanie podrzędne dotyczące notowań spółki. Dla tych samych spółek dostarcz uznaną stronę organu prowadzącego rejestr notowań, wykazującą notowanie na amerykańskiej krajowej giełdzie papierów wartościowych lub status emitenta podlegającego obowiązkom sprawozdawczym zgodnie z ustawą SEC Exchange Act w USA.

Hierarchia zadania podrzędnego. spółka(70) → adres URL(1).

Wymagane rekordy. 140: 70 rekordów nominacji oraz 70 rekordów notowań.

Każda ścieżka kończy się stroną i fragmentami, które osoba oceniająca może ponownie sprawdzić. Wspólny klucz spółki łączy gałęzie nominacji i notowań, więc nominacja bez osobnego dowodu statusu notowania sprawia, że dane o spółce pozostają niekompletne.

Realistyczne zadania generowane na dużą skalę

WANDR wywodzi się ze zanonimizowanych wzorców zaobserwowanych w rzeczywistych zastosowaniach, a nie z syntetycznych poleceń. Dzięki temu zestaw testowy pozostaje bliski pracy, którą ludzie faktycznie delegują: otwarte odkrywanie, powtarzalne wzbogacanie danych, weryfikacja międzyźródłowa i ustrukturyzowane porównania w profesjonalnej skali. Półautomatyczny potok przekształca te wzorce w zadania, rezerwując ludzki wysiłek na kontrolę jakości, a nie na wyczerpujące adnotacje odpowiedzi.

Potok składa się z czterech etapów. Seeding (Sianie) polega na wyszukiwaniu w zanonimizowanych zapytaniach o produkt wzorca przydatnego do szerokich badań. Authoring (Tworzenie) uruchamia naprzemienną pętlę autor-krytyk: agenci szkicują i testują projekt, piszą specyfikację zadania i narzędzie oceny, tworzą rekordy wzorcowe oraz używają mechanicznego lintera, aby wszystko utrzymać w spójności. Admission (Weryfikacja wejścia) sprawdza, czy docelowa skala jest osiągalna poprzez połączenie 10–12 iteracji tworzenia, audytuje narzędzie oceny dla konkretnego zadania i opcjonalnie dodaje zatwierdzenie przez człowieka. Curation (Kuratorstwo) etykietuje przyjęte zadania i wybiera wyważony zestaw końcowy pod względem tematów, skali, topologii i trudności.

Pipeline budowy zadań składa się z czterech etapów. Seeding identyfikuje realistyczną prośbę; authoring przekształca ją w samodzielne zadanie poprzez pętlę author–critic i kontrole mechaniczne; admission testuje wykonalność i jakość oceniania; a curation wybiera zrównoważoną wersję do wydania. Wynikiem jest 500 publicznych pakietów zadań.

Mediana zadania wymaga 50 członków, czterech rekordów na członka i 245 rekordów ogółem. Łącznie 500 zadań wymaga 170 495 rekordów popartych źródłami. Skalibrowaliśmy trudność na podstawie historycznych iteracji z fazy projektowej, a następnie podzieliliśmy zadania według rangi na 167 przykładów o niskim, 166 o średnim i 167 o wyższym stopniu trudności. Poniższy wykres pokazuje, że trudność nie jest określona samą skalą; zależy również od pracy wymaganej dla każdego rekordu.

Ogólna trudność zadania w płaszczyźnie szerokość–głębokość (skala logarytmiczna; 500 zadań testowych). Szerokość to liczba wymaganych członków; głębokość to wymagana liczba rekordów podzielona przez liczbę członków. Kolor punktu oznacza ogólną etykietę trudności. Przerywane linie wyznaczają medianę szerokości (50 członków) oraz medianę głębokości (4,00 rekordy na członka).

Ocena bez odniesień, weryfikowana dowodami

Stały klucz odpowiedzi słabo sprawdza się w badaniach otwartych. Jest kosztowny w budowie, szybko staje się nieaktualny i słabo reprezentuje pytania, na które odpowiedzi zmieniają się w czasie. WANDR ocenia każde zgłoszone twierdzenie w odniesieniu do dowodów przytoczonych przez agenta.

Każdy rekord zawiera element, adres URL, wybrane fragmenty i odpowiedź. System oceniający ponownie pobiera stronę i sprawdza, czy jest ona użyteczna, czy twierdzenie jest jasne i mieści się w zakresie, czy fragmenty wiernie pojawiają się na stronie oraz czy zarówno strona, jak i fragmenty wspierają każde wymaganie.

Te binarne werdykty rekordów sumują się w hierarchii. Precyzja mierzy jakość tego, co przesłał system. Pełność (Recall) mierzy ukończenie skorygowane o jakość w odniesieniu do żądanej objętości, wypełniając wszelkie niedobory zerami. F1 równoważy oba te elementy. Wyniki miękkie (soft) przyznają częściowe kredyty za niekompletnych członków; wyniki twarde (hard) liczą tylko tych członków, których pełne wymagane poddrzewo jest poprawne. W celach diagnostycznych WANDR raportuje również werdykt oparty wyłącznie na wyszukiwaniu, który sprawdza, czy pobrana strona spełnia zadanie przed dodaniem bardziej rygorystycznych kontroli poprawności i przesłanych fragmentów.

Dzięki temu błędy są interpretowalne i możliwe do zlokalizowania. Wysoka precyzja przy niskiej pełności zazwyczaj oznacza, że system znalazł kilku dobrych członków, ale niewystarczającą liczbę. Duży spadek z wyniku miękkiego na twardy oznacza, że poczyniono częściowy postęp, ale rzadko ukończono każdą gałąź potrzebną do uzyskania pełnych kredytów. Drzewo wyników może zlokalizować stratę w fazie odkrywania, wzbogacania, obsługi tożsamości, kwalifikacji strony lub ekstrakcji dowodów.

Potok oceny. Solve normalizuje dane wyjściowe każdego systemu; fetch pobiera każdą cytowaną stronę i ponawia próby w przypadku błędów w przeglądarce; judge rozstrzyga tożsamości i ocenia każdy rekord; a score przekształca werdykty w precyzję, pełność i F1 na poziomie zadania.

Co odkryliśmy

Porównaliśmy sześć systemów produkcyjnych: hostowane API zadań i wyszukiwania, ogólne API agentów internetowych, produkt typu deep-research oraz nasz programowy system orkiestracji wyszukiwania, Search as Code (SaC). Każdy z nich został zaplanowany dla wszystkich 500 zadań w ramach przypiętej konfiguracji, a następnie przeszedł przez ten sam potok pobierania, oceny, rozstrzygania tożsamości i punktacji.

Perplexity Search as Code prowadzi z wynikiem 0,363 soft F1 oraz 0,133 hard F1. Anthropic jest drugi z wynikami 0,249 i 0,072; każdy inny system osiąga maksymalnie 0,121 soft F1 i 0,035 hard F1. Żaden system nie dominuje zarówno pod względem jakości, jak i efektywności. Perplexity plasuje się w środku zakresu kosztów (5,20 USD za zadanie), z medianą czasu rozwiązania wynoszącą 14,9 minuty i 3,82 mln raportowanych tokenów na zadanie. OpenAI i Exa są szybsze i tańsze, ale uzyskują znacznie niższe wyniki. Anthropic zbliża się jakością, ale zużywa znacznie więcej czasu, pieniędzy i tokenów.

Soft i hard precision oraz recall względem kosztu, mediany opóźnienia i zgłoszonego zużycia tokenów w WANDR.
Miękka i twarda precyzja oraz pełność (góra), oraz miękki i twardy F1 (dół), w zestawieniu z kosztem, medianą opóźnienia rozwiązania i raportowanym zużyciem tokenów. Wyższe wartości i przesunięcie w lewo oznacza lepszy wynik. Exa i Parallel są nieobecne w widokach tokenów, ponieważ nie ujawniają liczby tokenów.

Oceniliśmy również wszystkie dostępne ustawienia wysiłku na tym samym podzbiorze 45 zadań. Większy wysiłek poprawia wyniki Perplexity, Gemini i Exa na każdym kroku; Perplexity osiąga 0,447 soft F1 i 0,224 hard F1 przy xhigh. Większy wysiłek nie zawsze jest lepszy: OpenAI osiąga szczyt przy high, a hard F1 systemu Parallel nieznacznie spada między ultra2x a ultra4x. Koszty różnią się o ponad cztery rzędy wielkości, od 0,03 USD za zadanie dla Exa low do 324,83 USD dla Gemini max.

Soft F1 względem kosztu, mediany opóźnienia i zgłoszonego zużycia tokenów w różnych ustawieniach wysiłku w 45-zadaniowym podzbiorze WANDR.
Soft F1 (góra) i hard F1 (dół) dla wszystkich dostępnych ustawień wysiłku na dopasowanym podzbiorze 45 zadań. Ciemniejsze ścieżki oznaczają większy wysiłek.

Wyróżniają się cztery wnioski.

Częściowy postęp jest powszechny, pełne pokrycie nie. Miękka pełność (soft recall) jest niższa niż miękka precyzja dla każdego systemu, co oznacza, że wydajność spada, gdy pełny wymagany wolumen wchodzi do mianownika. Perplexity utrzymuje 0,357 pełności z 0,389 precyzji, co jest najmniejszą różnicą; Anthropic spada z 0,354 do 0,222. Konwersja miękkiego na twardy (hard) jest jeszcze bardziej dotkliwa. Perplexity spada z 0,363 soft F1 do 0,133 hard F1, a Anthropic z 0,249 do 0,072. Najlepsza twarda precyzja wynosi 0,150, a najlepsza twarda pełność 0,134: nawet lider zdobywa pełne kredyty tylko za około jednego na siedmiu członków, których przesyła, i jednego na siedmiu, o których prosi zadanie.

Skala komplikuje problem. Od najmniejszego do największego przedziału docelowej objętości, twarda precyzja Perplexity spada z 0,235 do 0,096, a twarda pełność z 0,219 do 0,079. Anthropic spada z 0,205 do 0,113 i z 0,127 do 0,042; OpenAI spada z 0,109 do 0,034 i z 0,102 do 0,016. Pełność zwykle spada szybciej niż precyzja: system może zachować małą grupę kompletnych członków, pokrywając jednocześnie coraz mniejszą część żądanego zestawu.

Głębsze hierarchie są jeszcze bardziej wymagające. Przechodząc od braku klucza pośredniego do trzech lub więcej, twarda precyzja Perplexity spada z 0,392 do 0,019, a twarda pełność z 0,378 do 0,017; Anthropic spada z 0,311 do 0,049 oraz z 0,229 do 0,022; OpenAI spada z 0,136 do 0,012 oraz z 0,120 do 0,011. Każda dodana gałąź tworzy kolejne miejsce, w którym członek może nie uzyskać twardej oceny "wszystko albo nic". Koszt i opóźnienie nie wykazują wspólnego monotonicznego wzorca.

Twarda precyzja, twarda pełność, mediana opóźnienia rozwiązania i średni koszt w zależności od docelowej objętości rekordów (góra) i głębokości hierarchii pośredniej (dół). Każda linia reprezentuje jedną stałą konfigurację głównego uruchomienia. Linie łączą agregaty przedziałów zadań dla czytelności i nie sugerują związku przyczynowego skali lub struktury.

Jeszcze przed oceną jakości, odkrywanie jest pierwszym strukturalnym wąskim gardłem. Patrząc tylko na surowe dane przed redukcją, średnie zakończenie odkrywania na najwyższym poziomie waha się od 0,611 do 0,951. Warunkowe wzbogacanie jest silniejsze (0,767–0,967), a końcowe uzupełnienie slotów dowodowych osiąga 0,979–0,994, gdy członek i jego ścieżka wzbogacania istnieją. Perplexity prowadzi w odkrywaniu z wynikiem 0,951 i wzbogacaniu z wynikiem 0,967, ale OpenAI jest nieco wyżej w slotach dowodowych z 0,994 w porównaniu do 0,991. Redukcja duplikatów odpowiada tylko za 0,017–0,205 punktu procentowego straty w sześciu pełnych przebiegach, więc głównym wyjaśnieniem agregacji jest niedostarczenie, a nie łączenie tożsamości. Największe surowe straty strukturalne występują przed załączeniem końcowego adresu URL.

Średnie surowe zakończenie strukturalne na poziomie zadania z drzew weryfikatora. Discovery to najwyższy klucz, enrichment obejmuje klucze pośrednie, a evidence to klucz terminalny. Wartości wykorzystują podane liczby sprzed redukcji, więc rysunek izoluje miejsca, w których brakuje przesłanego wolumenu, zanim oceni się jakość rekordów.

Znalezienie użytecznej strony jest zazwyczaj łatwe; znalezienie kompletnych dowodów jest trudne. Dla pięciu systemów tylko 3,2%–8,9% przesłanych stron jest nieużytecznych; OpenAI jest tu wyjątkiem z 23,1%. Nieprawidłowe lub błędne rekordy są również stosunkowo rzadkie (4,2%–17,4%). Dominujące straty pojawiają się później: 33,6%–68,3% przesłanych stron nie spełnia co najmniej jednego istotnego wymagania zadania, a 57,5%–86,6% przesłanych fragmentów nie wspiera wszystkiego, co rekord deklaruje. Wskaźniki Perplexity to 41,4% i 57,5%. Wynik soft F1 spada z 0,531 w kontroli wyłącznie pobierania (która sprawdza tylko, czy strona spełnia każdy istotny wymóg) do 0,363 w pełnym werdykcie, który wymaga również uniwersalnych kontroli, poprawności dla danego zadania i kompletnego wsparcia fragmentów. Hard F1 podobnie spada z 0,245 do 0,133. Trudność nie polega tylko na dotarciu do wiarygodnej strony; polega na przekształceniu tej strony w wystarczający dowód dla całego twierdzenia.

Zmierzone błędy na poziomie rekordu z dostępnych szczegółów weryfikatora, w procentach; niższa wartość oznacza lepszy wynik. Błędy w wymaganiach dotyczących strony i fragmentów są znacznie częstsze niż błędy typu "strona nieużyteczna" lub "nieprawidłowy rekord". Parallel posiada szczegóły diagnostyczne dla 350 zadań, podczas gdy pozostałe wiersze obejmują 490–500 zadań.

Search as Code dobrze pasuje do tego kształtu zadania. Model może wyrazić wyszukiwanie, filtrowanie, rozgałęzianie, renderowanie, łączenie, usuwanie duplikatów i logikę zatrzymywania jako program, podczas gdy obliczenia deterministyczne obsługują powtarzalne operacje poza kontekstem modelu. Ten profil jest spójny z silniejszym utrzymaniem zakresu przez Perplexity i konstrukcją fragmentów, chociaż nie prowadzi na każdej warstwie: Anthropic ma najniższy wskaźnik błędów wymogów strony.

Co dalej

WANDR zapewnia więcej niż jeden wynik w rankingu. Jego wspólna struktura zadań i półautomatyczny potok wspierają różnorodne generowanie zadań o dużej objętości, podczas gdy werdykty dla poszczególnych rekordów i wyniki na poziomie hierarchii pokazują, gdzie zawodzi uruchomienie: w odkrywaniu, wzbogacaniu, obsłudze tożsamości, kwalifikacji semantycznej lub konstrukcji dowodów. Opublikowane zadania, weryfikator i diagnostyka strukturalna stanowią podstawę do ulepszania kompleksowych systemów wyszukiwania i testowania, czy te zyski utrzymują się w skali.

Ta sama struktura może również uczynić WANDR użytecznym w uczeniu przez wzmacnianie. Zamiast polegać na pojedynczej, rzadkiej nagrodzie końcowej, trener może wykorzystywać oceny na poziomie rekordów i gałęzi, przypisywać częściowe kredyty za postępy w odkrywaniu i wzbogacaniu oraz budować program nauczania poprzez zwiększanie wymaganych liczb w czasie. Potok może generować powiązane zadania w różnych domenach, kształtach hierarchii, zasadach dowodowych i ustawieniach szerokości–głębokości bez wyliczania złotych odpowiedzi. Tworzy to ścieżkę do trenowania agentów nie tylko w znajdowaniu poprawnych faktów, ale także w planowaniu pokrycia, wykrywaniu brakujących gałęzi i odzyskiwaniu sprawności przed zatrzymaniem.

Zadania testowe, narzędzie ewaluacyjne i pełny raport techniczny są dostępne w serwisie GitHub.

Cytat

BibTeX
@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}