„WANDR“ standartinis testas: tyrimų agentų vertinimas

Šiandien pristatome „WANDR (Wide ANd Deep Research)“ – atvirą standartinį testą ir vertinimo rinkinį, sukurtą remiantis 500 realistiškų, sudėtingų duomenų rinkimo užduočių, skirtų žinių darbui. „WANDR“ yra platesnysis mūsų „DRACO“ standarto giluminiam tyrimui brolis. „DRACO“ klausia, ar agentas gali pateikti tikslią, išsamią ir objektyvią ilgos apimties ataskaitą; „WANDR“ klausia, ar jis gali sukurti didelį rinkinį ir kiekvieną narį pagrįsti konkrečiais įrodymais.

Tai yra tokio tipo darbai, kuriuos žmonės jau patiki tyrimų agentams: konkurencinis žemėlapių sudarymas, patikrinimas, literatūros apžvalga, rinkos analizė, produktų palyginimas, talentų paieška ir kita. Užduotys svyruoja nuo dešimčių iki tūkstančių nepriklausomai patvirtinamų įrašų. Net ir esant didelių pastangų nustatymui, stipriausia mūsų vertinimo sistema pasiekia tik 0,363 „soft“ F1 ir 0,133 „hard“ F1. Platusis ir gilusis tyrimas vis dar toli gražu nėra išspręstas.

Padidinti

Kodėl platusis ir gilusis tyrimas yra svarbus

Daugelis naudingų tyrimų darbų nesibaigia tada, kai agentas randa vieną atsakymą. Rinkos analitikui gali prireikti kiekvieno atitinkančio kriterijus konkurento su tais pačiais įrodymais kiekvienam iš jų. Patikrinimo komandai gali prireikti dešimčių įmonių, o tada nuosavybės, vadovų, finansavimo ir reguliavimo statuso kiekvienai iš jų. Tai sukuria du atskirus poreikius:

Platus: atrasti didelį ir dažnai atvirą kriterijus atitinkančių subjektų rinkinį.

Gilus: ištirti kiekvieną subjektą pakankamai giliai, kad kiekvienas prašomas teiginys būtų pagrįstas įrodymais.

Šių dviejų dalykų derinimui pakeičia problemą. Saujelės įtikinamų pavyzdžių nepakanka, kaip ir nepakanka nušlifuoto pasakojimo, sukurto remiantis nebaigtiniais tyrimais. Agentas privalo palaikyti plačią paiešką neaukodamas faktinės kokybės nuo vieno įrašo iki kito.

„WANDR“ užfiksuoja šią struktūrą naudodamas lanksčią, sudėtinę kvalifikacinio rakto hierarchiją. Užduotis gali reikalauti

company(n) → employee(m) → url(k)

Tai reiškia rasti n kriterijus atitinkančių įmonių, m kriterijus atitinkančių darbuotojų kiekvienoje įmonėje ir k palaikomųjų puslapių kiekvienam darbuotojui. Kiekvienas pilnas kelias per medį gali būti patvirtintas nepriklausomai. Ta pati pagrindinė struktūra gali pavaizduoti plokščią sąrašą, įdėtinę paiešką, matricą arba užduotį su keliomis įrodymų šakomis. Šie modeliai taip pat gali būti deritinami, leidžiant vienam vaizdavimui apimti daugybę realaus pasaulio naudojimo atvejų.

Padidinti

Viena išleista užduotis parodo šią struktūrą praktikoje.

ceo_cfo_appointments

Pirminė užduotis. Rasti bent 70 JAV įsikūrusių įmonių, kuriose generalinio direktoriaus (CEO) arba finansų vadovo (CFO) paskyrimas pirmą kartą paskelbtas 2026 m. kovo 1 d. – balandžio 30 d. Kiekvienai įmonei pateikite autoritetingą paskyrimo puslapį, kuris identifikuoja įmonę ir paskirtą asmenį, nustato vaidmenį bei paskelbimo datą ir yra gautas iš emitento, paraiškos, naujienų agentūros arba tiesiogiai priskirtos pirmos rankos verslo žurnalistikos.

Pirminė hierarchija. company(70) → company_appointee(1) → url(1).

Įmonių sąrašo subužduotis. Tose pačiose įmonėse pateikite pripažintą sąrašų sudarymo institucijos puslapį, kuriame rodomas įtraukimas į JAV nacionalinę vertybinių popierių birzą arba JAV registruoto SEC biržos akto ataskaitas teikiančio emitento statusas.

Subužduoties hierarchija. company(70) → url(1).

Reikalingi įrašai. 140: 70 paskyrimo įrašų ir 70 sąrašo įrašų.

Kiekvienas kelias baigiasi puslapiu ir ištraukomis, kurias vertintojas gali patikrinti iš naujo. Bendra įmonės klavišas suderina paskyrimo ir sąrašo šakas, todėl paskyrimas be atskiro sąrašo statuso įrodymo vis tiek palieka tą įmonę neužbaigtą.

Realistiškos užduotys, sugeneruotos masteliu

WANDR prasideda nuo nuasmenintų modelių, pastebėtų gamybinio naudojimo aplinkoje, o ne nuo sintetinių užklausų. Tai palaiko etaloną arti darbo, kurį žmonės iš tikrųjų perduoda: atviros paieškos, pasikartojančio praturtinimo, kryžminių šaltinių patikrų ir struktūruotų palyginimų profesionaliu mastu. Pusiau automatizuotas srautas šiuos modelius paverčia užduotimis, palikdamas žmogaus pastangas kokybės kontrolei, o ne išsamiam atsakymų anotavimui.

Konvejeris turi keturis etapus. Sėja (Seeding) išgauna deidentifikuotas produkto užklausas, ieškodama pakartotinai naudojamo plataus tyrimo modelio. Kūrimas (Authoring) vykdo pakaitinį kūrėjo ir kritiko ciklą: agentai eskizuoja ir stresuoja dizainą, parašo užduoties specifikaciją ir teisėją, sukuria fiktyvius įrašus ir naudoja mechaninį linterį, kad viskas būtų suderinta. Priėmimas (Admission) patikrina, ar tikslinis tūris pasiekiamas sujungiant 10–12 kūrimo paleidimų, atlieka užduotiai specifinio teisėjo auditą ir pasirinktinai prideda žmogaus patvirtinimą. Kuravimas (Curation) pažymi priimtas užduotis ir išrenka subalansuotą galutinį rinkinį pagal temas, mastą, topologiją ir sudėtingumą.

Padidinti

Medianos užduotis reikalauja 50 narių, keturių įrašų vienam nariui ir 245 įrašų iš viso. Sudėjus kartu, 500 užduočių reikalauja 170 495 šaltinio palaikomų įrašų. Sudėtingumą kalibruojame iš istorinių dizaino etapo paleidimų, tada padalijame užduotis pagal rangą į 167 mažesnio, 166 vidutinio ir 167 didesnio sudėtingumo pavyzdžius. Žemiau esanti diagrama rodo, kad sudėtingumas nustatomas ne vien pagal mastą; jis taip pat priklauso nuo darbo, kurio reikalauja kiekvienas įrašas.

Padidinti

Be nuorodų, įrodymais patvirtintas vertinimas

Fiksuotas atsakymų raktas netinka atviro pobūdžio tyrimams. Jį brangu sukurti, jis greitai pasensta ir prastai atspindi klausimus, kurių atsakymai keičiasi laikui bėgant. „WANDR“ vietoje to vertina kiekvieną pateiktą teiginį pagal įrodymus, kuriuos nurodo agentas.

Kiekviename įraše yra elementas, URL, pasirinktos ištraukos ir atsakymas. Vertintojas iš naujo atsisiunčia puslapį ir patikrina, ar jis tinkamas naudoti, ar teiginys yra aiškus ir patenka į apimtį, ar ištraukos ištikimai pasirodo puslapyje ir ar tiek puslapis, tiek ištraukos palaiko kiekvieną reikalavimą.

Šie dvejetainiai įrašų verdiktai susideda per hierarchiją. Tikslumas (Precision) matuoja sistemos pateiktos informacijos kokybę. Atmintis (Recall) matuoja pagal kokybę pakoreguotą užbaigimą lyginant su pageidaujamu tūriu, trūkumą užpildant nuliais. F1 subalansuoja abu. Švelnūs įverčiai suteikia dalinį kreditą neišsamiamiems nariams; griežti įverčiai skaičiuoja tik tuos narius, kurių visas reikalingas pomedis yra teisingas. Diagnozei „WANDR“ taip pat praneša tik nuskaitymo verdiktą, kuris klausia, ar gautas puslapis tenkina užduotį prieš pridedant griežtesnius galiojimo ir pateiktų ištraukų patikrinimus.

Dėl to nesėkmės tampa interpretuojamos ir lokalizuojamos. Didelis tikslumas su maža atmintimi paprastai reiškia, kad sistema rado gerų narių, bet nepakankamai. Didelis nuosmukis nuo švelnaus prie griežto reiškia, kad ji padarė dalinę pažangą, bet retai užbaigė kiekvieną šaką, reikalingą pilnam kreditui gauti. Įverčių medis gali lokalizuoti nuostolį į paiešką, praturtinimą, tapatybės valdymą, puslapių kvalifikaciją arba įrodymų išgavimą.

Padidinti

Ką radome

Palyginome šešias gamybines sistemas: priglobstamas užduočių ir paieškos API, bendrąsias žiniatinklio agentų API, giluminio tyrimo produktą ir mūsų programinę paieškos organizavimo sistemą „Search as Code (SaC)“. Kiekviena iš jų buvo suplanuota visoms 500 užduočių pagal prisegtą konfigūraciją, po to praėjo tą patį paėmimo, teisėjo, tapatybės nustatymo ir įvertinimo konvejerį.

„Perplexity Search as Code“ pirmauja su 0,363 „soft“ F1 ir 0,133 „hard“ F1. „Anthropic“ yra antra su 0,249 ir 0,072; kiekviena kita sistema pasiekia viršūnę ties 0,121 „soft“ F1 ir 0,035 „hard“ F1. Nė viena sistema nedominuoja tiek kokybės, tiek efektyvumo srityse. „Perplexity“ yra išlaidų diapazono viduryje su 5,20 USD už užduotį, 14,9 minutės medianine sprendimo trukme ir 3,82 mln. praneštų žetonų vienai užduočiai. „OpenAI“ ir „Exa“ yra greitesnės ir pigesnės, tačiau surenka daug mažiau taškų. „Anthropic“ labiausiai priartėja pagal kokybę, tačiau naudoja iš esmės daugiau laiko, pinigų ir žetonų.

Padidinti

Padidinti

Taip pat įvertinome kiekvieną galimą pastangų nustatymą tame pačiame 45 užduočių poaibyje. Didesnės pastangos kiekviename žingsnyje gerina Perplexity, Gemini ir Exa; Perplexity pasiekia 0,447 soft F1 ir 0,224 hard F1 esant xhigh. Tačiau didesnės pastangos ne visada yra geresnės: OpenAI aukščiausią rezultatą pasiekia esant high, o Parallel hard F1 šiek tiek sumažėja tarp ultra2x ir ultra4x. Sąnaudos skiriasi daugiau nei keturiais dydžio eilės laipsniais — nuo 0,03 USD už užduotį naudojant Exa low iki 324,83 USD naudojant Gemini max.

Padidinti

Padidinti

Išsiskiria keturios išvados.

Dalinė pažanga yra dažna; visiškas padengimas – ne. Švelni atmintis yra žemesnė už švelnų tikslumą kiekvienai sistemai, o tai reiškia, kad našumas krenta, kai visas prašomas tūris patenka į vardiklį. „Perplexity“ išlaiko 0,357 atmintį iš 0,389 tikslumo – tai mažiausias tarpas; „Anthropic“ nukrenta nuo 0,354 iki 0,222. Švelnaus į griežtą konvertavimas yra dar griežtesnis. „Perplexity“ nukrenta nuo 0,363 „soft“ F1 iki 0,133 „hard“ F1, o „Anthropic“ – nuo 0,249 iki 0,072. Geriausias griežtas tikslumas yra 0,150, o geriawusia griežta atmintis yra 0,134: netgi lyderis uždirba pilną kreditą tik už maždaug vieną iš septynių narių, kuriuos ji pateikia, ir vieną iš septynių narių, kurių prašo užduotis.

Mastelis didina problemą. Nuo mažiausio iki didžiausio tikslinio tūrio bin, „Perplexity“ griežtas tikslumas nukrenta nuo 0,235 iki 0,096, o jos griežta atmintis – nuo 0,219 iki 0,079. „Anthropic“ nukrenta nuo 0,205 iki 0,113 ir nuo 0,127 iki 0,042; „OpenAI“ nukrenta nuo 0,109 iki 0,034 ir nuo 0,102 iki 0,016. Atmintis paprastai krenta greičiau nei tikslumas: sistema gali išlaikyti nedidelę pilnų narių kišenę, tuo metu apimdama vis mažiau pageidaujamo rinkinio.

Gilesnės hierarchijos yra dar griežtesnės. Pereinant nuo jokio tarpinio rakto iki trijų ar daugiau, „Perplexity“ griežtas tikslumas nukrenta nuo 0,392 iki 0,019, o griežta atmintis – nuo 0,378 iki 0,017; „Anthropic“ nukrenta nuo 0,311 iki 0,049 ir nuo 0,229 iki 0,022; „OpenAI“ nukrenta nuo 0,136 iki 0,012 ir nuo 0,120 iki 0,011. Kiekviena pridėta šaka sukuria dar vieną vietą, kur narys gali praleisti viskas-arba-nieko griežtą įvertį. Išlaidos ir delsa neseka bendro monotoninio modelio.

Padidinti

Netgi prieš vertinant kokybę, atradimas yra pirmoji struktūrinė kliūtis. Žvelgiant tik į neapdorotus, prieš griūtį buvusius skaičius, vidutinis aukščiausio lygio atradimo užbaigimas svyruoja nuo 0,611 iki 0,951. Sąlyginis praturtinimas yra stipresnis – 0,767–0,967, o galutinių įrodymų lizdų užbaigimas pasiekia 0,979–0,994, kai narys ir jo praturtinimo kelias egzistuoja. „Perplexity“ pirmauja atradimo (0,951) ir praturtinimo (0,967) srityse, tačiau „OpenAI“ yra šiek tiek aukščiau galutinių įrodymų lizdų srityje (0,994 palyginti su 0,991). Dublikatų griūtis sudaro tik 0,017–0,205 procentinio punkto skaičiaus nuostolio visuose šešiuose pilnuose paleidimuose, todėl nepakankamas pristatymas, o ne tapatybių sujungimas, yra pagrindinis bendras paaiškinimas. Didžiausi neapdoroti struktūriniai nuostoliai įvyksta prieš prijungiant galutinį URL.

Padidinti

Rasti naudojamą puslapį paprastai lengva; rasti išsamius įrodymus sunku. Penkioms sistemoms tik 3,2%–8,9% pateiktų puslapių yra netinkami naudoti; „OpenAI“ yra išimtis su 23,1%. Negaliojantys arba netinkamo tipo įrašai taip pat yra palyginti reti – 4,2%–17,4%. Pagrindiniai nuostoliai atsiranda vėliau: 33,6%–68,3% pateiktų puslapių neatitinka bent vieno esminio užduoties reikalavimo, o 57,5%–86.6% pateiktų ištraukų neparemia visko, ką įrašas teigia. „Perplexity“ rodikliai yra 41,4% ir 57,5%. Jos „soft“ F1 krenta nuo 0,531 pagal tik nuskaitymo patikrinimą, kuris reikalauja tik, kad puslapis atitiktų kiekvieną esminį reikalavimą, iki 0,363 pagal pilną verdiktą, kuris taip pat reikalauja universalių patikrinimų, užduočiai specifinio galiojimo ir išsamaus ištraukų palaikymo. „Hard“ F1 taip pat krenta nuo 0,245 iki 0,133. Sunki dalis yra ne tik pasiekti tikėtiną puslapį; sunku paversti tą puslapį pakankamais įrodymais visam teiginiui.

Padidinti

„Search as Code“ puikiai tinka šiai užduoties formai. Modelis gali išreikšti paiešką, filtravimą, išsišakojimą, atvaizdavimą, sujungimus, deblokuotavimą ir sustabdymo logicą kaip programą, tuo tarpu deterministinis skaičiavimas tvarko pakartotines operacijas už modelio konteksto ribų. Šis profilis dera su geresniu „Perplexity“ pločio išlaikymu ir ištraukų kūrimu, nors ji ir neparodo lyderystės kiekviename sluoksnyje: „Anthropic“ turi mažiausią puslapio reikalavimų nesėkmės dažnį.

Kas tavo

„WANDR“ pateikia daugiau nei vieną lyderių lentelės įvertį. Jos bendra užduoties struktūra ir pusiau automatizuotas konvejeris palaiko įvairiapusį, didelio tūrio užduočių generavimą, o įrašų verdiktai ir hierarchijos lygio įverčiai parodo, kur paleidimas patiria nesėkmę: atradimas, praturtinimas, tapatybės valdymas, semantinė kvalifikacija arba įrodymų kūrimas. Išleistos užduotys, tikrintojas ir struktūrinė diagnostika suteikia pagrindą gerinti išsamias paieškos sistemas ir išbandyti, ar tie laimėjimai išlieka masteliu.

Ta pati struktūra taip pat gali padaryti „WANDR“ naudingą sustiprinančiam mokymuisi. Vietoj pasitikėjimo vienu retais galutiniu atlygiu, treneris gali naudoti įrašų ir šakos lygio sprendimus, priskirti dalinį kreditą už atradimo ir praturtinimo pažangą bei kurti programą keliant reikalingus skaičius laikui bėgant. Konvejeris gali generuoti atskirtas seserines užduotis įvairiose srityse, hierarchijos formose, įrodymų taisyklėse ir pločio bei gylio nustatymuose neenumeruojant aukolinių atsakymų. Tai sukuria kelią mokyti agentus ne tik rasti teisingus faktus, bet ir planuoti aprėptį, aptikti trūkstamas šakas bei atsistatyti prieš sustojant.

Standarto testų užduotys, vertinimo rinkinys ir visa techninė ataskaita yra pasiekiami „GitHub“.

Citata

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}