WANDR test: Procjena istraživačkih agenata koji moraju pretraživati široko i duboko

Danas objavljujemo WANDR (Wide ANd Deep Research), otvoreni referentni test i alat za ocjenjivanje izgrađen oko 500 realističnih i zahtjevnih zadataka prikupljanja podataka za rad s znanjem. WANDR je širi srodnik našeg DRACO referentnog testa za dubinsko istraživanje. DRACO pita može li agent izraditi točno, cjelovito i objektivno opsežno izvješće; WANDR pita može li izgraditi veliku zbirku i potkrijepiti svakog člana određenim dokazima.

Ovo su vrste poslova koje ljudi već prepuštaju istraživačkim agentima: konkurentsko mapiranje, dubinska analiza, pregled literature, analiza tržišta, usporedba proizvoda, pronalaženje talenata i još mnogo toga. Zadaci se kreću od desetaka do tisuća neovisno provjerljivih zapisa. Čak i uz postavku visokog napora, najsnažniji sustav u našoj evaluaciji doseže samo 0,363 mekog F1 i 0,133 tvrdog F1. Široko i dubinsko istraživanje još je jako daleko od rješenja.

Povećaj

Zašto su široko i dubinsko istraživanje važni

Mnogi korisni istraživački poslovi ne završavaju kada agent pronađe jedan odgovor. Tržišni analitičar možda treba svakog kvalificiranog konkurenta, s istim dokazima za svakoga. Tim za dubinsku analizu možda treba desetke tvrtki, a zatim vlasništvo, rukovoditelje, financiranje i regulatorni status za svaku od njih. To stvara dva odvojena zahtjeva:

Široko: otkrijte velik i često otvoren skup kvalificiranih entiteta.

Duboko: istražite svaki entitet dovoljno duboko da podržite svaku traženu tvrdnju dokazima.

Kombinacija to dvoje mijenja problem. Šačica uvjerljivih primjera nije dovoljna, kao ni dotjerana naracija izgrađena na nepotpunom istraživanju. Agent mora održati široko otkrivanje bez žrtvovanja činjenične kvalitete od jednog zapisa do drugog.

WANDR bilježi tu strukturu s fleksibilnom, složivom hijerarhijom ključeva kvalifikacije. Zadatak bi mogao tražiti

company(n) → employee(m) → url(k)

To znači pronalaženje n kvalificiranih tvrtki, m kvalificiranih zaposlenika u svakoj tvrtki i k pratećih stranica za svakog zaposlenika. Svaka potpuna staza kroz stablo može se neovisno provjeriti. Ista osnovna strukture može predstavljati ravnu listu, ugniježđeno pretraživanje, matricu ili zadatak s više grana dokaza. Ovi se uzorci također mogu kombinirati, dopuštajući jednoj reprezentaciji da pokrije širok raspon stvarnih slučajeva upotrebe.

Povećaj

Jedan objavljeni zadatak ilustrira ovu strukturu u praksi.

ceo_cfo_appointments

Primarni zadatak. Pronađite najmanje 70 tvrtki sa sjedištem u SAD-u s imenovanjem glavnog izvršnog direktora (CEO) ili financijskog direktora (CFO) koje je prvi put najavljeno između 1. ožujka i 30. travnja 2026. Za svaku tvrtku osigurajte mjerodavnu stranicu imenovanja koja identificira tvrtku i imenovomu osobu, utvrđuje ulogu i datum najave, a dolazi od izdavatelja, podneska, novinske agencije ili izravno pripisanog poslovnog novinarstva iz prve ruke.

Primarna hijerarhija. company(70) → company_appointee(1) → url(1).

Podzadatak popisa tvrtki. Za iste tvrtke navedite priznatu stranicu tijela za uvrštenje na burzu koja prikazuje uvrštenje na nacionalnu burzu vrijednosnih papira u SAD-u ili status izdavatelja koji podnosi izvješća prema Zakonu o burzi SEC-a sa sjedištem u SAD-u.

Hijerarhija podzadatka. company(70) → url(1).

Potrebni zapisi. 140: 70 zapisa o imenovanju plus 70 zapisa o uvrštenju na burzu.

Svaka staza završava na stranici i izvadcima koje ocjenjivač može ponovno provjeriti. Zajednički ključ tvrtke usklađuje grane imenovanja i uvrštenja na burzu, tako da imenovanje bez zasebnog dokaza o statusu uvrštenja na burzu i dalje ostavlja tu tvrtku nepotpunom.

Realistični zadaci, generirani u velikom mjerilu

WANDR kreće od deidentificiranih uzoraka uočenih u proizvodnoj upotrebi umjesto sintetičkih upita. Ovo drži referentni test blizu poslu koji ljudi doista delegiraju: otvoreno otkrivanje, ponovljeno obogaćivanje, provjere iz više izvora i strukturirane usporedbe u profesionalnom mjerilu. Poluautomatski cjevovod pretvara te uzorke u zadatke, rezervirajući ljudski napor za kontrolu kvalitete umjesto iscrpnog označavanja odgovora.

Cjevovod ima četiri faze. Uvođenje rudari deidentificirane zahtjeve za proizvodom za višekratno iskoristivi uzorak širokog istraživanja. Autorstvo pokreće isprepletenu petlju autora i kritičara: agenti skiciraju i testiraju dizajn, pišu specifikaciju zadatka i ocjenjivač, stvaraju zapise pričvršćenja i koriste mehanički linter kako bi sve ostalo usklađeno. Priznanje provjerava je li ciljani volumen dostupan spajanjem 10–12 izdanja autorstva, revidira ocjenjivača specifičnog za zadatak i opcionalno dodaje ljudsko odobrenje. Kustosiranje označava prihvaćene zadatke i odabire uravnotežen konačni skup po temama, mjerilu, topologiji i težini.

Povećaj

Medijan zadatka traži 50 članova, četiri zapisa po članu i ukupno 245 zapisa. Uzeto zajedno, 500 zadataka zahtijeva 170.495 zapisa potkrijepljenih izvorima. Kalibriramo težinu iz povremenih izdanja u fazi dizajna, zatim dijelimo zadatke prema rangu na 167 primjera niže, 166 srednje i 167 više težine. Grafikon u nastavku pokazuje da težina nije određena samo mjerilom; ona također ovisi o radu potrebnom za svaki zapis.

Povećaj

Ocijenjivanje bez referenci, provjereno dokazima

Fiksni ključ odgovora loše odgovara otvorenom istraživanju. Skupo ga je izraditi, brzo zastarijeva i loše predstavlja pitanja čiji se odgovori mijenjaju tijekom vremena. WANDR umjesto toga ocjenjuje svaku podnesenu tvrdnju u odnosu na dokaze koje agent navodi.

Svaki zapis sadrži stavku, URL, odabrane izvatke i odgovor. Ocjenjivač ponovno dohvaća stranicu i provjerava je li iskoristiva, je li tvrdnja jasna i u opsegu, pojavljuju li se izvadci vjerno na stranici te podupiru li i stranica i izvadci svaki zahtjev.

Te binarne presude zapisa penju se kroz hijerarhiju. Preciznost mjeri kvalitetu onoga što je sustav podnio. Opoziv mjeri dovršenost prilagođenu kvalitetu u odnosu na traženi volumen, popunjavajući svaki manjak nulama. F1 uravnotežuje to dvoje. Meki rezultati daju djelomične krediti nepotpunim članovima; tvrdi rezultati broje samo članove čije je puno potrebno podstablo točno. Za dijagnostiku, WANDR također izvještava o presudi samo o dohvaćanju koja pita zadovoljava li dohvaćena stranica zadatak prije dodavanja strožih provjera valjanosti i podnesenih izvadaka.

Ovo čini pogreške tumačljivima i lokaliziranima. Visoka preciznost s niskim opozivom obično znači da je sustav pronašao neke dobre članove, ali ne dovoljno njih. Veliki pad s mekog na tvrdi znači da je postigao djelomični napredak, ali rijetko dovršio svaku granu potrebnu za pune krediti. Stablo bodova može lokalizirati gubitak na otkrivanje, obogaćivanje, rukovanje identitetom, kvalifikaciju stranice ili izvlačenje dokaza.

Povećaj

Što smo otkrili

Usporedili smo šest produkcijskih sustava: hostirani zadatak i API-je za pretraživanje, opće API-je web-agenta, proizvod za dubinsko istraživanje i naš programski sustav orkestracije pretraživanja, Search as Code (SaC). Svaki je raspoređen na svih 500 zadataka pod fiksnom konfiguracijom, a zatim je prošao kroz isti cjevovod dohvaćanja, ocjenjivanja, razrješavanja identiteta i bodovanja.

Perplexity Search as Code vodi s 0,363 mekog F1 i 0,133 tvrdog F1. Anthropic je drugi s 0,249 i 0,072; svaki drugi sustav doseže vrhunac s 0,121 mekog F1 i 0,035 tvrdog F1. Nijedan sustav ne dominira i kvalitetom i učinkovitošću. Perplexity se nalazi u sredini raspona troškova s 5,20 USD po zadatku, s medijanom vremena rješavanja od 14,9 minuta i 3,82 milijuna prijavljenih tokena po zadatku. OpenAI i Exa brži su i jeftiniji, ali imaju puno niže ocjene. Anthropic je najbliži po kvaliteti, ali troši znatno više vremena, novca i tokena.

Povećaj

Povećaj

Također smo procijenili svaku dostupnu postavku napora na istom podskupu od 45 zadataka. Veći napor poboljšava Perplexity, Gemini i Exa u svakom koraku; Perplexity doseže 0,447 mekog F1 i 0,224 tvrdog F1 pri xhigh. Veći napor ipak nije ujednačeno bolji: OpenAI doseže vrhunac pri high, a tvrdi F1 za Parallel blago klizi između ultra2x i ultra4x. Trošak obuhvaća više od četiri reda veličine, od 0,03 USD po zadatku za Exa low do 324,83 USD za Gemini max.

Povećaj

Povećaj

Ističu se četiri nalaza.

Djelomični napredak je uobičajen; potpuna pokrivenost nije. Meki opoziv je ispod meke preciznosti za svaki sustav, što znači da performanse padaju kada cijeli traženi volumen uđe u nazivnik. Perplexity zadržava 0,357 opoziva od 0,389 preciznosti, što je najmanji jaz; Anthropic pada s 0,354 na 0,222. Pretvorba iz mekog u tvrdo još je oštrija. Perplexity pada s 0,363 mekog F1 na 0,133 tvrdog F1, a Anthropic s 0,249 na 0,072. Najbolja tvrda preciznost je 0,150, a najbolji tvrdi opoziv je 0,134: čak i lider ostvaruje puni kredit za samo otprilike jednog od sedam članova koje podnese i jednog od sedam članova koje zadatak traži.

Mjerilo usložnjava problem. Od najmanjeg do najvećeg spremnika ciljanog volumena, tvrda preciznost Perplexityja pada s 0,235 na 0,096, a njegov tvrdi opoziv s 0,219 na 0,079. Anthropic pada s 0,205 na 0,113 i s 0,127 na 0,042; OpenAI pada s 0,109 na 0,034 i s 0,102 na 0,016. Opoziv obično pada brže od preciznosti: sustav može zadržati mali džep potpunih članova dok pokriva sve manje traženog skupa.

Dublje hijerarhije još su strože. Prelaskom s nijednog međuključa na tri ili više, tvrda preciznost Perplexityja pada s 0,392 na 0,019, a tvrdi opoziv s 0,378 na 0,017; Anthropic pada s 0,311 na 0,049 i s 0,229 na 0,022; OpenAI pada s 0,136 na 0,012 i s 0,120 na 0,011. Svaka dodana grana stvara drugo mjesto gdje član može propustiti sve-ili-ništa tvrdi rezultat. Trošak i latencija ne slijede uobičajeni monotoni uzorak.

Povećaj

Čak i prije prosuđivanja kvalitete, otkrivanje je prvo strukturno usko grlo. Gledajući samo sirove, nepodijeljene brojeve, srednje dovršenje otkrivanja na najvišoj razini kreće se od 0,611 do 0,951. Uvjetno obogaćivanje je jače s 0,767–0,967, a dovršenje terminalnih utora za dokaze doseže 0,979–0,994 jednom kada postoje član i njegova putanja obogaćivanja. Perplexity prednjači u otkrivanju s 0,951 i obogaćivanju s 0,967, ali OpenAI je nešto viši na terminalnim utorima za dokaze s 0,994 naspram 0,991. Sažimanje duplikata čini samo 0,017–0,0205 postotnih bodova gubitka broja u svih šest potpunih pokretanja, tako da je podbacivanje u isporuci, a ne stapanje identiteta, glavni agregatni objašnjenju. Najveći sirovi strukturni gubici događaju se prije nego što se priloži završni URL.

Povećaj

Pronaći stranicu koja se može koristiti obično je lako; pronaći potpune dokaze je teško. Za pet sustava samo je 3,2%–8,9% podnesenih stranica neupotrebljivo; OpenAI je iskočio s 23,1%. Nevaljani zapisi ili zapisi pogrešne vrste također su relativno rijetki s 4,2%–17,4%. Glavni gubici dolaze sljedeći: 33,6%–68,3% predanih stranica ne zadovoljava barem jedan bitan zahtjev zadatka, a 57,5%–86,6% predanih izvadaka ne uspijeva podržati sve što zapis tvrdi. Stope Perplexityja su 41,4% i 57,5%. Njegov meki F1 pada s 0,531 prema provjeri samo dohvaćanja, koja pita samo zadovoljava li stranica svaki bitan zahtjev, na 0,363 prema punoj presudi, koja također zahtijeva univerzalne provjere, valjanost specifičnu za zadatak i potpunu podršku izvadaka. Tvrdi F1 slično pada s 0,245 na 0,133. Teški dio nije samo dosezanje uvjerljive stranice; to je pretvaranje te stranice u dovoljan dokaz za cijelu tvrdnju.

Povećaj

Search as Code dobro odgovara ovom obliku zadatka. Model može izraziti dohvaćanje, filtriranje, širenje, renderiranje, spajanja, uklanjanje duplikata i logiku zaustavljanja kao program, dok determinističko računanje upravlja ponovljenim operacijama izvan konteksta modela. Taj je profil u skladu s jačim zadržavanjem širine i izgradnjom izvadaka kod Perplexityja, iako ne vodi na svakom sloju: Anthropic ima najnižu stopu neuspjeha zahtjeva za stranicu.

Što je sljedeće

WANDR pruža više od jednostavnog rezultata na ljestvici. Njegova uobičajena struktura zadatka i poluautomatski cjevovod podržavaju raznoliko generiranje zadataka visoke propusnosti, dok presude po zapisima i rezultati na razini hijerarhije pokazuju gdje izvođenje ne uspijeva: otkrivanje, obogaćivanje, rukovanje identitetom, semantička kvalifikacija ili izgradnja dokaza. Objavljeni zadaci, provjeritelj i strukturne dijagnostike pružaju osnovu za poboljšanje sveobuhvatnih sustava pretraživanja i testiranje drže li ti dobici mjerilo.

Ista struktura također može učiniti WANDR korisnim za učenje s potkrepljenjem. Umjesto oslanjanja na jednu rijetku terminalnu nagradu, trener može koristiti prosuđivanja na razini zapisa i grana, dodijeliti djelomične krediti za napredak otkrivanja i obogaćivanja te izgraditi kurikulum podizanjem potrebnih brojeva tijekom vremena. Cjevovod može generirati izdvojene srodne zadatke u različitim domenama, oblicima hijerarhije, pravilima dokaza i postavkama širine i dubine bez nabrajanja zlatnih odgovora. To stvara put za treniranje agenata ne samo da pronađu točne činjenice, već i da planiraju pokrivenost, otkriju grane koje nedostaju i oporave se prije zaustavljanja.

Referentni zadaci, alat za ocjenjivanje i cjelovito tehničko izvješće dostupni su na GitHubu.

Citiranje

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}