WANDR-i võrdlusalus: laia ja sügava otsingu tegevate uurimisagentide hindamine

Võrdlusalus suuremahulise ja tõendirikka teadmistetöö jaoks.

AutoridPerplexity Research

Täna avaldame WANDR-i (Wide ANd Deep Research), mis on teadmiste tööde jaoks loodud avatud võrdlusalus ja hindamissüsteem, mis põhineb 500 realistlikul ja keerulisel andmekogumise ülesandel. WANDR on meie põhjaliku uuringu võrdlusaluse DRACO laiem vaste. DRACO küsib, kas agent suudab luua täpse, täieliku ja objektiivse põhjaliku aruande; WANDR küsib, kas see suudab luua suure kogumi ja tõestada iga liiget konkreetsete tõenditega.

Need on sellised tööd, mida inimesed juba uurimisagentidele usaldavad: konkurentsikaardistus, hoolsuskohustus (due diligence), kirjanduse ülevaade, turuanalüüs, toodete võrdlus, talentide hankimine ja palju muud. Ülesanded hõlmavad kümnest tuhandeni sõltumatult kontrollitavat kirjet. Isegi suure pingutuse seadistuse korral ulatub meie hindamise tugevaim süsteem vaid 0,363 pehme F1 ja 0,133 range F1 skoorini. Laiahaardeline ja põhjalik uuring on lahendamisest veel kaugel.

WANDR võrdlusandmestiku skaalat ning parimaid selle hindamise käigus raporteeritud pehme F1 ja range F1 tulemusi.

Miks laiahaardeline ja põhjalik uuring on oluline

Paljud kasulikud uuringutööd ei lõpe siis, kui agent leiab ühe vastuse. Turuanalüütik võib vajada iga nõuetele vastavat konkurenti koos samade tõenditega igaühe kohta. Hoolsuskohustuse meeskond võib vajada kümneid ettevõtteid, seejärel nende omandisuhteid, juhtkonda, rahastamist ja regulatiivset staatust igaühe jaoks. See tekitab kaks eraldi nõuet:

Lai: avastage suur ja sageli lahtine hulk nõuetele vastavaid üksusi.

Põhjalik: uurige iga üksust piisavalt sügavalt, et toetada iga taotletud väidet tõenditega.

Nende kahe kombineerimine muudab probleemi. Käputäiest veenvatest näidetest ei piisa ja sama kehtib ka puudulikule uuringule üles ehitatud lihvitud narratiivi kohta. Agent peab tagama laiaulatusliku avastamise, ohverdamata fakti kvaliteeti kirjelt kirjele.

WANDR haarab selle struktuuri paindliku ja komponeeritava kvalifikatsioonivõtme hierarhia abil. Ülesanne võib nõuda järgmist

company(n) → employee(m) → url(k)

See tähendab n nõuetele vastava ettevõtte, m nõuetele vastava töötaja leidmist igas ettevõttes ja k toetava lehe leidmist iga töötaja jaoks. Iga täielikku teed läbi puu saab sõltumatult valideerida. Sama põhistruktuur võib esitada tasast loendit, pesastatud otsingut, maatriksit või mitme tõendite haruga ülesannet. Neid mustreid saab ka kombineerida, võimaldades ühel esitusel katta laia valiku reaalseid kasutusjuhte.

Kuus levinud hierarhia mustrit. Täidetud ringid on üksused, katkendlikud ringid on fikseeritud sildid ja ruudud on URL-i lehed. Maatriksis tähistavad korduvad alamlingi sildid samu alamväärtusi erinevate vanemate all.

Üks avaldatud ülesanne illustreerib seda struktuuri praktikas.

ceo_cfo_appointments

Põhiülesanne. Leidke vähemalt 70 USA-s asuvat ettevõtet, kus tegevjuhi (CEO) või finantsjuhi (CFO) ametisse nimetamisest teatati esmakordselt vahemikus 1. märts kuni 30. aprill 2026. Esitage iga ettevõtte kohta autoriteetne ametisse nimetamise leht, mis tuvastab ettevõtte ja ametisse nimetatu, määrab rolli ja teadaande kuupäeva ning pärineb emitendilt, aruandest, uudisteagentuurist või otseselt omistatud esimese käe äriajakirjandusest.

Põhierarhia. company(70) → company_appointee(1) → url(1).

Ettevõtete loendi alamülesanne. Esitage samade ettevõtete jaoks tunnustatud noteerimisasutuse leht, mis näitab noteeringut USA riiklikul väärtpaberibörsil või USA-s asuva SEC-i väärtpaberibörsi seaduse aruandva emitendi staatust.

Alamülesande hierarhia. company(70) → url(1).

Nõutavad kirjed. 140: 70 ametisse nimetamise kirjet pluss 70 noteerimiskirjet.

Iga tee lõpeb lehe ja katkenditega, mida hindaja saab uuesti kontrollida. Jagatud ettevõtte võti ühendab ametisse nimetamise ja noteerimise harud, nii et ametisse nimetamine ilma noteerimisstaatuse eraldi tõendita jätab selle ettevõtte siiski puudulikuks.

Realistlikud ülesanded, mis on loodud ulatuslikult

WANDR lähtub tootmiskasutuses täheldatud isikustamata mustritest, mitte sünteetilistest viipadest. See hoiab võrdlusaluse lähedal tööle, mida inimesed tegelikult delegeerivad: avatud otsing, korduv rikastamine, allikatevahelised kontrollid ja struktureeritud võrdlused professionaalsel skaalal. Poolautomaatne torujuhe muudab need mustrid ülesanneteks, reserveerides inimeste jõupingutused kvaliteedikontrolli jaoks, mitte ammendavate vastuste märgistamiseks.

Torujuhtmel on neli etappi. Külvamine (Seeding) ammutab isikustamata tootesoovidest korduvkasutatava laia uuringu mustri. Koostamine (Authoring) käivitab vahelduva autori-kriitiku tsükli: agendid visandavad ja testivad disaini, kirjutavad ülesande spetsifikatsiooni ja hindaja, loovad katsekirjed ja kasutavad mehaanilist lintijat, et hoida kõike joondatuna. Vastuvõtmine (Admission) kontrollib, kas sihtmaht on saavutatav 10–12 koostamise väljundi ühendamise teel, auditeerib ülesandespetsiifilist hindajat ja lisab soovi korral inimese kinnituse. Kureerimine (Curation) märgistab vastuvõetud ülesanded ja valib tasakaalustatud lõpliku komplekti teemade, ulatuse, topoloogia ja raskusastme lõikes.

Ülesande koostamise torujuhtmel on neli etappi. Seemendamine tuvastab realistliku päringu; autorlus muudab selle autori ja kriitiku tsükli ning mehaaniliste kontrollide abil iseseisvaks ülesandeks; vastuvõtutestid hindavad teostatavust ja kohtuniku kvaliteeti; ning kureerimine valib tasakaalustatud väljalaske. Väljundiks on 500 avalikku ülesandepaketti.

Keskmine ülesanne nõuab 50 liiget, neli kirjet liikme kohta ja kokku 245 kirjet. Kokku nõuavad 500 ülesannet 170 495 allikaga tagatud kirjet. Kalibreerime raskusastet ajalooliste disainietapi väljundite põhjal, seejärel jagame ülesanded auastme järgi 167 madalama, 166 keskmise ja 167 kõrgema raskusastmega näiteks. Allolev graafik näitab, et raskusaste ei sõltu ainult ulatusest; see sõltub ka iga kirje jaoks vajalikust tööst.

Üldine ülesande raskusaste laiusi-sügavuse tasapinnal (log-log; 500 võrdlusaluse ülesannet). Laius on nõutavate liikmete arv; sügavus on nõutud kirjete arv jagatud selle liikmete arvuga. Punktide värv tähistab üldist raskusastme silti. Katkendlikud juhikud tähistavad mediaanlaiust (50 liiget) ja mediaansügavust (4,00 kirjet liikme kohta).

Viidetest vaba, tõenditega kinnitatud hindamine

Fikseeritud vastuse võti sobib avatud uuringute jaoks halvasti. Seda on kallis luua, see vananeb kiiresti ja esindab halvasti küsimusi, mille vastused aja jooksul muutuvad. WANDR hindab selle asemel iga esitatud väidet agendi viidatud tõendite alusel.

Iga kirje sisaldab üksust, URL-i, valitud katkendeid ja vastust. Hindaja toob lehe uuesti ja kontrollib, kas see on kasutatav, kas väide on selge ja kuulub kohaldamisalasse, kas katkendid ilmuvad lehel ustavalt ning kas nii leht kui ka katkendid toetavad kõiki nõudeid.

Need binaarsed kirje otsused liiguvad läbi hierarhia üles. Täpsus (Precision) mõõdab süsteemi esitatud andmete kvaliteeti. Tagasikutsumine (Recall) mõõdab kvaliteediga kohandatud täitmist võrreldes soovitud mahuga, täites puudujäägid nullidega. F1 tasakaalustab neid kahte. Pehmed skoorid annavad mittetäielikele liikmetele osalisi krediite; ranged skoorid loendavad ainult neid liikmeid, mille kogu nõutav alamandmepuu on õige. Diagnostika eesmärgil raporteerib WANDR ka ainult hankimisel põhineva otsuse, mis küsib, kas toodud leht vastab ülesandele enne rangemate kehtivuse ja esitatud katkendite kontrollide lisamist.

See teeb vead tõlgendatavateks ja lokaliseeritavateks. Kõrge täpsus madala tagasikutsumisega tähendab tavaliselt seda, et süsteem leidis mõned head liikmed, kuid mitte piisavalt. Suur langus pehmest rangeni tähendab, et tehti osalisi edusamme, kuid harva viidi lõpule iga haru, mida on vaja täielike krediitide saamiseks. Skooripuu suudab kahjumi lokaliseerida avastamise, rikastamise, identiteedi käsitlemise, lehe kvalifikatsiooni või tõendite eraldamiseni.

Hindamise torujuhtme. Lahenda normaliseerib iga süsteemi väljundi; too (fetch) hangib iga viidatud lehe ja proovib katkiseid lehti brauseris uuesti; kohtunik lahendab identiteedid ja hindab iga kirjet; ning skoor liidab otsused ülesande tasandi täpsuseks, tagasikutsumiseks ja F1-ks.

Mida me leidsime

Võrdlesime kuut tootmissüsteemi: hostitud ülesannete ja otsingu API-sid, üldisi veebiagentide API-sid, põhjaliku uuringu toodet ja meie programmikat otsingu orkestreerimise süsteemi, Search as Code (SaC). Igaüks neist ajastati kõigile 500 ülesandele kinnitatud konfiguratsiooni alusel, seejärel läbis sama hankimise, kohtuniku, identiteedi lahendamise ja skoorimise torujuhtme.

Perplexity Search as Code on esirinnas 0,363 pehme F1 ja 0,133 range F1 skooriga. Anthropic on teisel kohal 0,249 ja 0,072-ga; kõik teised süsteemid küündivad maksimaalselt 0,121 pehme F1 ja 0,035 range F1-ni. Ükski süsteem ei domineeri nii kvaliteedi kui ka tõhususe osas. Perplexity asub kulude vahemiku keskel 5,20 dollariga ülesande kohta, mediaanlahendusajaga 14,9 minutit ja 3,82 miljoni raporteeritud märgiga ülesande kohta. OpenAI ja Exa on kiiremad ja odavamad, kuid skoorivad palju madalamalt. Anthropic on kvaliteedile kõige lähemal, kuid kasutab oluliselt rohkem aega, raha ja märke.

Pehme ja range täpsus ning tagasikutsumine võrrelduna kulu, mediaanse latentsuse ja raporteeritud märgikasutusega WANDR-is.
Pehme ja range täpsus ning tagasikutsumine (üval) ja pehme ning range F1 (all) võrreldes kulude, mediaani lahenduse latentsuse ja raporteeritud märkide kasutamisega. Kõrgem ja rohkem vasakul on parem. Exa ja Parallel puuduvad märkide vaadetest, kuna nad ei avalda märkide arvu.

Hindasime ka kõiki saadaolevaid pingutuse seadistusi samal 45 ülesandega alamhulgal. Suurem pingutus parandab Perplexityt, Geminit ja Exat igal sammul; Perplexity jõuab xhigh tasemel 0,447 pehme F1 ja 0,224 range F1-ni. Suurem pingutus ei ole siiski ühtlaselt parem: OpenAI saavutab tipu high tasemel ja Paralleli range F1 langeb kergelt ultra2x ja ultra4x vahel. Kulud ulatuvad üle nelja suurusjärgu, alates 0,03 dollarist ülesande kohta Exa low puhul kuni 324,83 dollarini Gemini max puhul.

Pehme F1 võrrelduna kulu, mediaanse latentsuse ja raporteeritud märgikasutusega eri pingutuseseadetel 45-ülesandelisel WANDR-i alamhulgal.
Pehme F1 (üval) ja range F1 (all) kõigil saadaolevatel pingutuse seadistustel sobitatud 45 ülesandega alamhulgal. Tumenevad teed tähistavad suuremat pingutust.

Neli leidu paistavad silma.

Osaline edu on tavaline; täielik katvus mitte. Pehme tagasikutsumine on iga süsteemi puhul madalam kui pehme täpsus, mis tähendab, et jõudlus langeb, kui kogu nõutav maht siseneb nimetajasse. Perplexity säilitab 0,357 tagasikutsumist 0,389 täpsusest, mis on väikseim vahe; Anthropic langeb 0,354-lt 0,222-le. Pehmelt rangeks teisendamine on veelgi karmim. Perplexity langeb 0,363 sujuvalt F1-lt 0,133 rangele F1-le ja Anthropic 0,249-lt 0,072-le. Parim range täpsus on 0,150 ja parim range tagasikutsumine on 0,134: isegi liider teenib täielikud krediidid vaid umbes ühe eest seitsmest esitatud liikmest ja ühe eest seitsmest liikmest, mida ülesanne küsib.

Skaala suurendab probleemi. Väikseimast kuni suurima sihtmahu salveni langeb Perplexity range täpsus 0,235-lt 0,096-le ja range tagasikutsumine 0,219-lt 0,079-le. Anthropic langeb 0,205-lt 0,113-le ja 0,127-lt 0,042-le; OpenAI langeb 0,109-lt 0,034-le ja 0,102-lt 0,016-le. Tagasikutsumine langeb tavaliselt kiiremini kui täpsus: süsteem võib säilitada väikese täielike liikmete grupi, kattes samal ajal üha vähem nõutud komplektist.

Sügavamad hierarhiad on veelgi karmimad. Minnes vahevõtme puudumiselt kolmele või enamale, langeb Perplexity range täpsus 0,392-lt 0,019-le ja range tagasikutsumine 0,378-lt 0,017-le; Anthropic langeb 0,311-lt 0,049-le ja 0,229-lt 0,022-le; OpenAI langeb 0,136-lt 0,012-le ja 0,120-lt 0,011-le. Iga lisatud haru loob uue koha, kus liige võib kaotada kõik-või-mittemidagi range skoori. Kulud ja latentsus ei järgi ühist monotoonset mustrit.

Range täpsus, range tagasikutsumine, mediaani lahenduse latentsus ja keskmised kulud sihtkirjete mahu (üval) ja vahehierarhia sügavuse (all) lõikes. Iga joon tähistab ühte fikseeritud põhijooksu konfiguratsiooni. Jooned ühendavad ülesannete salvide agregaate loetavuse huvides ega viita skaala või struktuuri põhjuslikule mõjule.

Isegi enne kvaliteedi hindamist on avastamine esimene struktuurne kitsaskoht. Vaadeldes ainult töötlemata, eelkokkuvarisemise arve, ulatub keskmine tipptaseme avastamise täielikkus 0,611-st 0,951-ni. Tingimuslik rikastamine on tugevam (0,767–0,967) ja lõpp-tõendite pesa täielikkus ulatub 0,979–0,994-ni, kui liige ja selle rikastamise tee on olemas. Perplexity juhib avastamist 0,951-ga ja rikastamist 0,967-ga, kuid OpenAI on lõpp-tõendite pesade osas veidi kõrgemal 0,994 vs 0,991. Duplikaatide kokkuvarisemine moodustab kuue täieliku jooksu lõikes arvukaotusest vaid 0,017–0,09 protsendipunkti (0,017–0,205 protsendipunkti), seega on alakohaletoomine, mitte identiteetide ühendamine peamine koondselgitus. Suurimad töötlemata struktuursed kaod ilmnevad enne lõpliku URL-i lisamist.

Keskmine ülesande tasandi töötlemata struktuurne täielikkus verifikaatori puudest. Avastamine on ülemine võti, rikastamine katab vahevõtmed ja tõendid on lõppvõti. Väärtused kasutavad kokkuvarisemise-eelseid esitatud arve, seega eraldab joonis selle, kus esitatud mahust on puudu enne kirje kvaliteedi hindamist.

Kasutatava lehe leidmine on tavaliselt lihtne; täielike tõendite leidmine on raske. Viie süsteemi puhul on ainult 3,2%–8,9% esitatud lehtedest kasutuskõlbmatud; OpenAI on 23.1% erand. Kehtetud või vale tüüpi kirjed on samuti suhteliselt haruldased (4,2%–17.4%). Valdav kaotus tuleb järgmisena: 33,6%–68,3% esitatud lehtedest ei läbi vähemalt ühte sisulist ülesande nõuet ja 57,5%–86,6% esitatud katkenditest ei suuda toetada kõike, mida kirje väidab. Perplexity määrad on 41,4% ja 57,5%. Selle pehme F1 langeb 0,531-lt ainult hankimise kontrolli all, mis küsib ainult seda, kas leht vastab igale sisulisele nõudele, 0,363-le täieliku otsuse all, mis nõuab ka universaalseid kontrolle, ülesandespetsiifilist kehtivust ja täielikku katkendite tuge. Range F1 langeb sarnaselt 0,245-lt 0,133-le. Raske osa ei ole lihtsalt usutava leheni jõudmine; see on selle lehe muutmine piisavateks tõenditeks kogu väite jaoks.

Mõõdetud kirje tasandi veaproovid saadaolevatest verifikaatori üksikasjadest protsentides; madalam on parem. Lehe- ja katkendinõuete vead on oluliselt levinumad kui kasutuskõlbmatu lehe või kehtetu kirje vead. Parallelil on diagnostilised üksikasjad 350 ülesande kohta, teised read katavad aga 490–500 ülesannet.

Search as Code sobib selle ülesande kujuga hästi. Mudel saab väljendada hankimist, filtreerimist, hargnemist, renderdamist, ühendamist, dubleerimise eemaldamist ja peatloogikat programmina, samas kui deterministlik arvutus käsitleb korduvaid toiminguid väljaspool mudeli konteksti. See profiil on kooskõlas Perplexity tugevama laiuse säilitamise ja katkendite konstrueerimisega, kuigi see ei juhi igal kihil: Anthropicul on madalaim lehenõuete veamäär.

Mis järgneb

WANDR pakub enamat kui lihtsalt ühte edetabeli skoori. Selle ühine ülesande struktuur ja poolautomaatne torujuhe toetavad mitmekesist, suure mahuga ülesannete genereerimist, samas kui kirjetasandi otsused ja hierarhia tasandi skoorid näitavad, kus jooks ebaõnnestub: avastamine, rikastamine, identiteedi käsitlemine, semantiline kvalifikatsioon või tõendite konstrueerimine. Välja antud ülesanded, verifikaator ja struktuursed diagnostikad pakuvad alust kõikehõlmavate otsingusüsteemide parandamiseks ja testimiseks, kas need võidud kehtivad ka ulatuslikult.

Sama struktuur võib teha WANDR-i kasulikuks ka tugevdatud õppe (reinforcement learning) jaoks. Üheainsa hõreda lõpliku preemia toetumise asemel saab treener kasutada kirje- ja haru tasandi otsuseid, määrata osalisi krediite avastamise ja rikastamise edusammude eest ning luua õppekava, tõstes nõutavaid arve aja jooksul. Torujuhe saab luua eraldatud sõsaruülesandeid domeenide, hierarhia kujude, tõendite reeglite ja laius-sügavus seadistuste lõikes ilma kuldseid vastuseid loendamata. See loob tee agentide treenimiseks mitte ainult õigete faktide leidmiseks, vaid ka katvuse planeerimiseks, puuduvate harude avastamiseks ja taastumiseks enne peatumist.

Võrdlusaluse ülesanded, hindamissüsteem ja täielik tehniline aruanne on saadaval GitHubis.

Tsitaat

BibTeX
@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}