WANDR referentni sistem: Evaluacija istraživačkih agenata koji moraju vršiti široku i duboku pretragu

Danas objavljujemo WANDR (Wide ANd Deep Research), otvoreni benchmark i evaluacioni harness izgrađen oko 500 realističnih, zahtevnih zadataka prikupljanja podataka za znanje-intenzivan rad. WANDR je široki pandan našem DRACO benchmarku za Duboko istraživanje. DRACO postavlja pitanje da li agent može da proizvede tačan, potpun i objektivan dugački izveštaj; WANDR postavlja pitanje da li može da izgradi veliku kolekciju i potkrepi svakog člana konkretnim dokazima.

Ovo su vrste poslova koje ljudi već prepuštaju istraživačkim agentima: konkurentsko mapiranje, dubinska analiza (due diligence), pregled literature, analiza tržišta, poređenje proizvoda, pronalaženje talenata i drugo. Zadaci se kreću od desetina do hiljada nezavisno proverljivih zapisa. Čak i pri postavkama visokog napora, najsnažniji sistem u našoj evaluaciji dostiže samo 0,363 soft F1 i 0,133 hard F1. Široko-i-duboko istraživanje je i dalje daleko od rešenog problema.

Uvećaj

Zašto je široko-i-duboko istraživanje važno

Mnogi korisni istraživački poslovi se ne završavaju kada agent pronađe jedan odgovor. Analitičaru tržišta može biti potreban svaki kvalifikovani konkurent, sa istim dokazima za svaki. Timu za dubinsku analizu (due diligence) može biti potrebno desetine kompanija, a zatim vlasništvo, rukovodioci, finansiranje i regulatorni status za svaku od njih. To stvara dva odvojena zahteva:

Široko: otkrivanje velikog i često otvorenog skupa kvalifikovanih entiteta.

Duboko: istraživanje svakog entiteta do te mere da se svaka tražena tvrdnja potkrepi dokazima.

Kombinovanje ta dva menja problem. Šaka ubedljivih primera nije dovoljna, kao ni doterana naracija izgrađena na nepotpunom istraživanju. Agent mora da održi široko otkrivanje bez žrtvovanja činjeničnog kvaliteta od jednog zapisa do drugog.

WANDR beleži tu strukturu pomoću fleksibilne, složive hijerarhije ključeva kvalifikacije. Zadatak može tražiti

company(n) → employee(m) → url(k)

To znači pronalaženje n kvalifikovanih kompanija, m kvalifikovanih zaposlenih u svakoj kompaniji i k pratećih stranica za svakog zaposlenog. Svaka kompletna putanja kroz stablo može se nezavisno validirati. Ista osnovna struktura može predstavljati ravnu listu, ugnježdenu pretragu, matricu ili zadatak sa više grana dokaza. Ovi obrasci se takođe mogu kombinovati, omogućavajući jednoj reprezentaciji da pokrije širok spektar slučajeva upotrebe u stvarnom svetu.

Uvećaj

Jedan objavljeni zadatak ilustruje ovu strukturu u praksi.

ceo_cfo_appointments

Primarni zadatak. Pronađite najmanje 70 kompanija sa sedištem u SAD sa imenovanjem generalnog direktora (CEO) ili finansijskog direktora (CFO) prvobitno najavljenim između 1. marta i 30. aprila 2026. godine. Za svaku kompaniju obezbedite autoritativnu stranicu o imenovanju koja identifikuje kompaniju i imenovanog, utvrđuje ulogu i datum najave, i potiče od izdavača, podneska, novinske agencije ili direktno pripisanog poslovnog novinarstva iz prve ruke.

Primarna hijerarhija. company(70) → company_appointee(1) → url(1).

Podzadatak listiranja kompanija. Za iste kompanije obezbedite prepoznatljivu stranicu nadležnog tela za listiranje koja pokazuje ili listiranje na nacionalnoj berzi hartija od vrednosti u SAD ili status izveštajnog izdavača Zakona o berzi SEC sa sedištem u SAD.

Hijerarhija podzadatka. company(70) → url(1).

Potrebni zapisi. 140: 70 zapisa o imenovanju plus 70 zapisa o listiranju.

Svaka putanja se završava stranicom i odlomcima koje ocenjivač može ponovo da proveri. Deljeni ključ kompanije usklađuje grane imenovanja i listiranja, tako da imenovanje bez posebnog dokaza o statusu listiranja i dalje ostavlja tu kompaniju nekompletnom.

Realistični zadaci, generisani u velikom obimu

WANDR počinje od deidentifikovanih obrazaca uočenih u proizvodnoj upotrebi, a ne od sintetičkih upita. Ovo drži referentni sistem bliskim poslu koji ljudi zapravo delegiraju: otvoreno otkrivanje, ponovljeno obogaćivanje, provere iz više izvora i struktuirana poređenja u profesionalnom obimu. Poluautomatski cevovod pretvara te obrasce u zadatke, rezervišući ljudski napor za kontrolu kvaliteta umesto iscrpnog komentarisanja odgovora.

Cevovod ima četiri faze. Zasnivanje (Seeding) rudari zahteve za proizvodom sa uklonjenim identifikatorima u potrazi za višekratno upotrecljivim obrascem širokog istraživanja. Kreiranje (Authoring) pokreće preplitanu petlju autora i kritičara: agenti skiciraju i testiraju dizajn pod stresom, pišu specifikaciju zadatka i sudiju, kreiraju probne zapise i koriste mehanički linter da bi sve održali usklađenim. Prijem (Admission) proverava da li je ciljni obim dostupan spajanjem 10–12 lansiranja kreiranja, vrši reviziju sudije specifičnog za zadatak i opciono dodaje ljudsko odobrenje. Kuriranje (Curation) označava primljene zadatke i bira uravnotežen konačni skup u svim temama, obimu, topologiji i težini.

Uvećaj

Medijana zadatka traži 50 članova, četiri zapisa po članu i 245 zapisa ukupno. Uzeto zajedno, 500 zadataka zahteva 170.495 zapisa potkrepljenih izvorima. Mi kalibrišemo težinu iz istorijskih lansiranja u fazi dizajna, a zatim delimo zadatke po rangu na 167 primeraka niže, 166 srednje i 167 više težine. Grafikon ispod pokazuje da težina nije određena samo obimom; ona takođe zavisi od posla potrebnog za svaki zapis.

Uvećaj

Ocenjivanje bez reference, verifikovano dokazima

Fiksni ključ odgovora slabo odgovara otvorenom istraživanju. Skupo ga je graditi, brzo zastareva i loše predstavlja pitanja čiji se odgovori menjaju tokom vremena. WANDR umesto toga ocenjuje svaku podnetu tvrdnju u odnosu na dokaze koje agent navodi.

Svaki zapis sadrži stavku, URL, izabrane odlomke i odgovor. Ocenjivač ponovo preuzima stranicu i proverava da li je upotrebljiva, da li je tvrdnja jasna i u okviru opsega, da li se odlomci verno pojavljuju na stranici i da li i stranica i odlomci podržavaju svaki zahtev.

Ove binarne presude o zapisima prenose se kroz hijerarhiju. Preciznost meri kvalitet onoga što je sistem podneo. Opoziv meri dovršenost prilagođenu kvalitetu u odnosu na traženi obim, popunjavajući svaki nedostatak nulama. F1 balansira to dvoje. Soft rezultati daju delimične bodove nepotpunim članovima; hard rezultati računaju samo članove čije je celo traženo podstablo tačno. Radi dijagnostike, WANDR takođe izveštava o presudi samo za pronalaženje koja pita da li preuzeta stranica zadovoljava zadatak pre dodavanja strožijih provera valjanosti i podnetih odlomaka.

Ovo čini greške tumačivim i lokalizovanim. Visoka preciznost uz nizak opoziv obično znači da je sistem pronašao neke dobre članove, ali ne i dovoljno njih. Veliki pad sa soft na hard znači da je ostvario delimični napredak, ali retko završio svaku granu potrebnu za pune bodove. Stablo rezultata može da lokalizuje gubitak na otkrivanje, obogaćivanje, rukovanje identitetom, kvalifikaciju stranice ili izvlačenje dokaza.

Uvećaj

Šta smo otkrili

Uporedili smo šest produkcijskih sistema: hostovane API-je za zadatke i pretragu, opšte API-je veb agenata, proizvod za duboko istraživanje i naš programski sistem za orkestraciju pretrage, Search as Code (SaC). Svaki je bio raspoređen na svih 500 zadataka pod fiksnom konfiguracijom, a zatim je prošao kroz isti cevovod preuzimanja, presuđivanja, razrešavanja identiteta i bodovanja.

Perplexity Search as Code je vodeći sa 0,363 soft F1 i 0,133 hard F1. Anthropic je drugi sa 0,249 i 0,072; svaki drugi sistem dostiže maksimum od 0,121 soft F1 i 0,035 hard F1. Nijedan sistem ne dominira i u kvalitetu i u efikasnosti. Perplexity se nalazi u sredini opsega troškova sa 5,20 dolara po zadatku, uz medijano vreme rešavanja od 14,9 minuta i 3,82 miliona prijavljenih tokena po zadatku. OpenAI i Exa su brži i jeftiniji, ali ostvaruju mnogo niže rezultate. Anthropic je najbliži po kvalitetu, ali koristi znatno više vremena, novca i tokena.

Uvećaj

Uvećaj

Takođe smo procenili svaku dostupnu postavku napora na istom podskupu od 45 zadataka. Veći napor poboljšava Perplexity, Gemini i Exa u svakom koraku; Perplexity dostiže 0,447 soft F1 i 0,224 hard F1 pri xhigh. Veći napor ipak nije ujednačeno bolji: OpenAI dostiže vrhunac pri high, a hard F1 sistema Parallel blago opada između ultra2x i ultra4x. Troškovi obuhvataju više od četiri reda veličine, od 0,03 dolara po zadatku za Exa low do 324,83 dolara za Gemini max.

Uvećaj

Uvećaj

Četiri nalaza se ističu.

Delimični napredak je uobičajen; kompletna pokrivenost nije. Soft opoziv je ispod soft preciznosti za svaki sistem, što znači da performanse padaju kada celokupan traženi obim uđe u imenilac. Perplexity zadržava opoziv od 0,357 od preciznosti 0,389, što je najmanji jaz; Anthropic pada sa 0,354 na 0,222. Konverzija iz soft u hard je još oštrija. Perplexity pada sa 0,363 soft F1 na 0,133 hard F1, a Anthropic sa 0,249 na 0,072. Najbolja hard preciznost je 0,150, a najbolji hard opoziv je 0,134: čak i lider dobija pune bodove za samo oko jednog od sedam članova koje podnese i jednog od sedam članova koje zadatak traži.

Obim usložnjava problem. Od najmanjeg do najvećeg korpe ciljnog obima, hard preciznost sistema Perplexity pada sa 0,235 na 0,096, a njegov hard opoziv sa 0,219 na 0,079. Anthropic pada sa 0,205 na 0,113 i sa 0,127 na 0,042; OpenAI pada sa 0,109 na 0,034 i sa 0,102 na 0,016. Opoziv obično pada brže od preciznosti: sistem može zadržati malu grupu kompletnih članova dok pokriva sve manji deo traženog skupa.

Dublje hijerarhije su još oštrije. Prelaskom sa bez posrednog ključa na tri ili više, hard preciznost sistema Perplexity pada sa 0,392 na 0,019, a hard opoziv sa 0,378 na 0,017; Anthropic pada sa 0,311 na 0,049 i sa 0,229 na 0,022; OpenAI pada sa 0,136 na 0,012 i sa 0,120 na 0,011. Svaka dodata grana stvara još jedno mesto gde član može propustiti sve-ili-ništa hard rezultat. Troškovi i latencija ne prate zajednički monotoni obrazac.

Uvećaj

Čak i pre procene kvaliteta, otkrivanje je prvo strukturno usko grlo. Gledajući samo sirove brojeve pre sažimanja, srednja dovršenost otkrivanja na najvišem nivou kreće se od 0,611 do 0,951. Uslovno obogaćivanje je jače sa 0,767–0,967, a dovršenost terminalnog mesta dokaza dostiže 0,979–0,994 kada član i njegova putanja obogaćivanja postoje. Perplexity vodi u otkrivanju sa 0,951 i obogaćivanju sa 0,967, ali OpenAI je nešto bolji na terminalnim mestima dokaza sa 0,994 prema 0,991. Sažimanje duplikata čini samo 0,017–0,205 procentnih poena gubitka broja u svih šest potpunih pokretanja, tako da je isporuka ispod očekivanja, a ne spajanje identiteta, glavno zbirno objašnjenje. Najveći sirovi strukturni gubici dešavaju se pre nego što se konačni URL priloži.

Uvećaj

Pronalaženje upotrebljive stranice je obično lako; pronalaženje potpunih dokaza je teško. Za pet sistema, samo 3,2%–8,9% podnetih stranica je neupotrebljivo; OpenAI je izuzetak sa 23,1%. Nevažeći zapisi ili zapisi pogrešnog tipa su takođe relativno retki sa 4,2%–17,4%. Glavni gubici dolaze sledeći: 33,6%–68.3% podnetih stranica ne ispunjava bar jedan suštinski zahtev zadatka, a 57,5%–86,6% podnetih odlomaka ne uspeva da podrži sve što zapis tvrdi. Stope sistema Perplexity su 41,4% i 57,5%. Njegov soft F1 pada sa 0,531 u proveri samo za preuzimanje, koja pita samo da li stranica ispunjava svaki suštinski zahtev, na 0,363 u punoj presudi, koja takođe zahteva univerzalne provere, valjanost specifičnu za zadatak i kompletnu podršku odlomaka. Hard F1 slično pada sa 0,245 na 0,133. Težak deo nije samo dostizanje verodostojne stranice; već pretvaranje te stranice u dovoljan dokaz za celokupnu tvrdnju.

Uvećaj

Search as Code dobro odgovara ovom obliku zadatka. Model može da izrazi pretragu, filtriranje, širenje (fan-out), renderovanje, spajanja, deduplikaciju i logiku zaustavljanja kao program, dok determinističko izračunavanje obavlja ponovljene operacije izvan konteksta modela. Taj profil je u skladu sa jačim zadržavanjem širine i konstrukcijom odlomaka sistema Perplexity, iako on nije vodeći na svakom sloju: Anthropic ima najnižu stopu grešaka u zahtevima za stranicu.

Šta je sledeće

WANDR pruža više od jednog rezultata na rang-listi. Njegova uobičajena struktura zadatka i poluautomatski cevovod podržavaju raznovrsno generisanje zadataka velikog obima, dok presude po zapisima i rezultati na nivou hijerarhije pokazuju gde pokretanje propada: otkrivanje, obogaćivanje, rukovanje identitetom, semantička kvalifikacija ili konstrukcija dokaza. Objavljeni zadaci, verifikator i strukturna dijagnostika pružaju osnovu za poboljšanje sveobuhvatnih sistema pretrage i testiranje da li se ti dobici održavaju u velikom obimu.

Ista struktura takođe može učiniti WANDR korisnim za učenje sa potkrepljenjem (reinforcement learning). Umesto oslanjanja na jednu retku terminalnu nagradu, trener može da koristi procene na nivou zapisa i grana, dodeli delimične bodove za napredak u otkrivanju i obogaćivanju, i izgradi plan i program podizanjem traženih brojeva tokom vremena. Cevovod može da generiše izdvojene srodne zadatke širom domena, oblika hijerarhije, pravila dokaza i postavki širine i dubine bez nabrajanja zlatnih odgovora. Ovo stvara put ka obučavanju agenata ne samo da pronađu tačne činjenice, već i da planiraju pokrivenost, otkriju nedostajuće grane i oporave se pre zaustavljanja.

Referentni zadaci, okruženje za evaluaciju i ceo tehnički izveštaj su dostupni na GitHub-u.

Citiranje

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}