WANDR-benchmark: Evaluering av forskningsagenter som må søke bredt og dypt

I dag lanserer vi WANDR (Wide ANd Deep Research), en åpen benchmark og evalueringsmotor bygget rundt 500 realistiske, krevende datainnsamlingsoppgaver for kunnskapsarbeid. WANDR er det brede søskenet til vår DRACO-benchmark for dypgående forskning. DRACO undersøker om en agent kan produsere en nøyaktig, komplett og objektiv langformet rapport; WANDR undersøker om den kan bygge en stor samling og sikkerhetskopiere hvert medlem med spesifikke bevis.

Dette er den typen oppgaver folk allerede setter bort til forskningsagenter: konkurransekartlegging, due diligence, litteraturgjennomgang, markedsanalyse, produktsammenligning, talentinnhenting med mer. Oppgavene varierer fra dusinvis til tusenvis av uavhengig verifiserbare poster. Selv med en innstilling for høy innsats oppnår det sterkeste systemet i vår evaluering bare 0,363 myk F1 og 0,133 hard F1. Wide-and-deep-forskning er fortsatt langt unna å være løst.

Forstørr

Hvorfor wide-and-deep-forskning er viktig

Mange nyttige forskningsoppgaver slutter ikke når en agent finner ett svar. En markedsanalytiker kan trenge hver eneste kvalifiserende konkurrent, med de samme bevisene for hver enkelt. Et due diligence-team kan trenge dusinvis av selskaper, og deretter eierskap, ledere, finansiering og reguleringsstatus for hver og en av dem. Det skaper to separate krav:

Bredt: oppdag et stort og ofte åpent sett med kvalifiserende enheter.

Dyp: undersøk hver enhet langt nok til å støtte hvert forespurte krav med bevis.

Å kombinere de to endrer problemet. En håndfull overbevisende eksempler er ikke nok, og det er heller ikke en polert narrativ bygget på ufullstendig forskning. Agenten må opprettholde bred oppdagelse uten å offisere den faktuelle kvaliteten fra den ene posten til den neste.

WANDR fanger opp denne strukturen med et fleksibelt og sammensettbart kvalifiseringsnøkkelhierarki. En oppgave kan be om

company(n) → employee(m) → url(k)

Dette betyr å finne n kvalifiserende selskaper, m kvalifiserende ansatte i hvert selskap, og k støttesider for hver ansatt. Hver fullstendige bane gjennom treet kan valideres uavhengig. Den samme grunnleggende strukturen kan representere en flat liste, et nestet søk, en matrise eller en oppgave med flere bevisgrener. Disse mønstrene kan også kombineres, slik at én representasjon kan dekke et bredt spekter av virkelige bruksområder.

Forstørr

Én utgitt oppgave illustrerer denne strukturen i praksis.

ceo_cfo_appointments

Primæroppgave. Finn minst 70 US-baserte selskaper med en ansettelse av administrerende direktør (CEO) eller finansdirektør (CFO) som først ble kunngjort mellom 1. mars og 30. april 2026. For hvert selskap må du oppgi en autoritativ ansettelsesside som identifiserer selskapet og den som er ansatt, fastsetter rollen og kunngjøringsdatoen, og kommer fra utstederen, en innberetning, et nyhetsbyrå eller direkte tilskrevet førstehåndsbedriftsjournalistikk.

Primærhierarki. company(70) → company_appointee(1) → url(1).

Underoppgave for selskapsnotering. For de samme selskapene, oppgi en anerkjent noteringsautoritetsside som viser enten en notering på en amerikansk nasjonal verdipapirbørs eller status som en US-domisiliert rapporterende utsteder under SEC Exchange Act.

Underoppgavehierarki. company(70) → url(1).

Poster som kreves. 140: 70 ansettelsesposter pluss 70 noteringsposter.

Hver bane ender i en side og utdrag som vurdereren kan sjekke på nytt. Den delte selskapsnøkkelen knytter ansettelses- og noteringsgrenene sammen, slik at en ansettelse uten separat bevis på noteringsstatus fortsatt gjør det selskapet ufullstendig.

Realistiske oppgaver, generert i skala

WANDR tar utgangspunkt i anonymiserte mønstre observert i produksjonsbruk i stedet for syntetiske ledetekster. Dette holder benchmarken nær arbeidet folk faktisk delegerer: åpen oppdagelse, gjentatt berikelse, krysskildesjekker og strukturerte sammenligninger i profesjonell skala. En halvt automatisert rørledning gjør disse mønstrene om til oppgaver, og reserverer menneskelig innsats til kvalitetskontroll i stedet for uttømmende svaranmerkning.

Rørledningen har fire trinn. Seeding henter ut anonymiserte produktforespørsler for et gjenbrukbart bred-forskningsmønster. Authoring kjører en sammenflettet forfatter-kritiker-løkke: agentene skissere og stress-tester designet, skriver oppgavespesifikasjonen og dommeren, oppretter testposter og bruker en mekanisk linter for å holde alt på linje. Admission sjekker at måvolumet kan nås ved å slå sammen 10–12 forfatterutrullinger, reviderer den oppgavespesifikke dommeren, og legger eventuelt til menneskelig godkjenning. Curation merker de godkjente oppgavene og velger ut et balansert endelig sett på tvers av emner, skala, topologi og vanskelighetsgrad.

Forstørr

Medianoppgaven ber om 50 medlemmer, fire poster per medlem og 245 poster totat. Sett under ett krever de 500 oppgavene 170 495 kildebaserte poster. Vi kalibrerer vanskelighetsgraden ut fra historiske utrullinger i designtrinnet, og deler deretter oppgavene etter rangering i 167 lavere, 166 midlere og 167 høyere vanskelighetsgradseksempler. Plottet nedenfor viser at vanskelighetsgraden ikke bestemmes av skala alene; den avhenger også av arbeidet som kreves for hver post.

Forstørr

Referansefri, bevisverifisert karaktersetting

En fast svarnøkkel egner seg dårlig til åpen forskning. Den er dyr å bygge, blir raskt utdatert og representerer dårlig spørsmål hvis svar endrer seg over tid. WANDR rangerer i stedet hvert innsendte krav opp mot bevisene agenten siterer.

Hver post inneholder et element, en URL, utvalgte utdrag og et svar. Vurdereren henter siden på nytt og sjekker om den kan brukes, om kravet er tydelig og innenfor omfanget, om utdragene trofast vises på siden, og om både siden og utdragene støtter alle krav.

Disse binære postdommene ruller opp gjennom hierarkiet. Precision måler kvaliteten på det systemet sendte inn. Recall måler kvalitetsjustert fullføring mot det forespurte volumet, og fyller eventuelt underskudd med nuller. F1 balanser de to. Myke scorer gir delvis kreditt til ufullstendige medlemmer; harde scorer teller bare medlemmer hvis fulle, påkrevde undertre er korrekt. For diagnose rapporterer WANDR også en henting-bare-dom som spør om den hentede siden oppfyller oppgaven før de strengere sjekkene om gyldighet og innsendte utdrag legges til.

Dette gjør feil tolkbare og lokaliserbare. Høy presisjon med lav tilbakekalling betyr vanligvis at systemet fant noen gode medlemmer, men ikke nok av dem. Et stort fall fra myk til hard betyr at det gjorde delvis fremgang, men sjelden fullførte hver gren som trengs for full kreditt. Scoretreet kan lokalisere tapet til oppdagelse, berikelse, identitetshåndtering, sidekvalifisering eller bevisutvinning.

Forstørr

Hva vi fant

Vi sammenlignet seks produksjonssystemer: hostede oppgave- og søke-API-er, generelle webagent-API-er, et dypgående forskningsprodukt og vårt programmatiske søkeorkestreringssystem, Search as Code (SaC). Hver av dem ble planlagt på alle 500 oppgaver under en fastlåst konfigurasjon, og gikk deretter gjennom den samme hentings-, dommer-, identitetsoppløsnings- og scorepipeline.

Perplexity Search as Code leder med 0,363 myk F1 og 0,133 hard F1. Anthropic er nummer to på 0,249 og 0,072; alle andre systemer topper seg på 0,121 myk F1 og 0,035 hard F1. Ingen systemer dominerer både kvalitet og effektivitet. Perplexity ligger midt i kostnadsintervallet med $5,20 per oppgave, med en mediantid på 14,9 minutter og 3,82 millioner rapporterte token per oppgave. OpenAI og Exa er raskere og billigere, men scorer mye lavere. Anthropic kommer nærmest på kvalitet, men bruker vesentlig mer tid, penger og token.

Forstørr

Forstørr

Vi evaluerte også alle tilgjengelige innsatsinnstillinger på den samme delmengden på 45 oppgaver. Mer innsats forbedrer Perplexity, Gemini og Exa ved hvert trinn; Perplexity når 0,447 myk F1 og 0,224 hard F1 ved xhigh. Høyere innsats er imidlertid ikke enhetlig bedre: OpenAI topper seg på high, og Parallels harde F1 glir litt mellom ultra2x og ultra4x. Kostnaden spenner over mer enn fire størrelsesordener, fra $0,03 per oppgave for Exa low til $324,83 for Gemini max.

Forstørr

Forstørr

Fire funn peker seg ut.

Delvis fremgang er vanlig; fullstendig dekning er det ikke. Myk tilbakekalling er lavere enn myk presisjon for hvert system, noe som betyr at ytelsen faller når hele det forespurte volumet kommer inn i nevneren. Perplexity beholder 0,357 tilbakekalling fra 0,389 presisjon, det minste gapet; Anthropic faller fra 0,354 til 0,222. Konverteringen fra myk til hard er enda strengere. Perplexity faller fra 0,363 myk F1 til 0,133 hard F1, og Anthropic fra 0,249 til 0,072. Den beste harde presisjonen er 0,150 og den beste harde tilbakekallingen er 0,134: selv lederen oppnår full kreditt for bare omtrent én av sju medlemmer den sender inn og én av sju medlemmer oppgaven ber om.

Skala forsterker problemet. Fra den minste til den største målvolumbingen faller Perplexitys harde presisjon fra 0,235 til 0,096 og dens harde tilbakekalling fra 0,219 til 0,079. Anthropic faller fra 0,205 til 0,113 og fra 0,127 til 0,042; OpenAI faller fra 0,109 til 0,034 og fra 0,102 til 0,016. Tilbakekalling faller vanligvis raskere enn presisjon: et system kan beholde en liten lunge av fullstendige medlemmer samtidig som det dekker mindre og mindre av det forespurte settet.

Dypere hierarkier er enda strengere. Ved å gå fra ingen mellombels nøkkel til tre eller flere, faller Perplexitys harde presisjon fra 0,392 til 0,019 og hard tilbakekalling fra 0,378 til 0,017; Anthropic faller fra 0,311 til 0,049 og fra 0,229 til 0,022; OpenAI faller fra 0,136 til 0,012 og fra 0,120 til 0,011. Hver lagt til gren skaper et nytt sted der et medlem kan gå glipp av alt-eller-ingenting-hardscoren. Kostnad og latens følger ikke et vanlig monotont mønster.

Forstørr

Selv før kvalitet vurderes, er oppdagelse den første strukturelle flaskehalsen. Ser man bare på rå, før-kollaps-tellinger, varierer gjennomsnittlig fullføring av oppdagelse på toppnivå fra 0,611 til 0,951. Betinget berikelse er sterkere på 0,767–0,967, og terminal bevisplassfullføring når 0,979–0,994 når et medlem og dets berikelsesbane eksisterer. Perplexity leder oppdagelse på 0,951 og berikelse på 0,967, men OpenAI er litt høyere på terminale bevisplasser med 0,994 mot 0,991. Duplikatkollaps står for bare 0,017–0,205 prosentpoeng av tellingstap på tvers av de seks fulle kjøringene, så underlevering, ikke identitetssammenslåing, er hovedforklaringen samlet sett. De største rå strukturelle tapene oppstår før den endelige URL-en er knyttet til.

Forstørr

Å finne en side som kan brukes, er vanligvis enkelt; å finne fullstendige bevis er vanskelig. For fem systemer er bare 3,2 %–8,9 % av innsendte sider ubrukelige; OpenAI er unntaket med 23,1 %. Ugyldige poster eller poster av feil type er også relativt uvanlige på 4,2 %–17,4 %. De dominerende tapene kommer deretter: 33,6 %–68,3 % av innsendte sider mislykkes på minst ett vesentlig oppgavkrav, og 57,5 %–86,6 % av innsendte utdrag mislykkes i å støtte alt posten hevder. Perplexitys rater er 41,4 % og 57,5 %. Dens myke F1 faller fra 0,531 under henting-bare-sjekken, som bare spør om siden oppfyller alle vesentlige krav, til 0,363 under den fullstendige dommen, som også krever de universelle sjekkene, oppgavespesifikk gyldighet og komplett utdragsstøtte. Hard F1 faller på samme måte fra 0,245 til 0,133. Den harde delen er ikke bare å nå en plausibel side; det er å gjøre den siden om til tilstrekkelige bevis for hele kravet.

Forstørr

Search as Code passer godt til denne oppgaveformen. En modell kan uttrykke henting, filtrering, fan-out, gjengivelse, sammenføyninger, deduplisering og stopplogikk som et program, mens deterministisch beregning håndterer gjentatte operasjoner utenfor modellkonteksten. Den profilen er i tråd med Perplexitys sterkere breddebevaring og utdragskonstruksjon, selv om den ikke leder i alle lag: Anthropic har den laveste feilraten for sidekrav.

Hva som er det neste

WANDR gir mer enn bare én ledertavlescore. Dens vanlige oppgavestruktur og halvautomatiske rørledning støtter variert, høyt volum av oppgavegenerering, mens poster-for-poster-dommer og hierarkinivåscore viser hvor en kjøring mislykkes: oppdagelse, berikelse, identitetshåndtering, semantisk kvalifisering eller beviskonstruksjon. De utgitte oppgavene, verifikatoren og de strukturelle diagnosene gir et grunnlag for å forbedre omfattende søkesystemer og teste om disse gevinstene holder i skala.

Den samme strukturen kan også gjøre WANDR nyttig for forsterkende læring. I stedet for å stole på en enkelt sparsom terminal belønning, kan en trener bruke dommer på post- og grennivå, tildele delvis kreditt for fremgang med oppdagelse og berikelse, og bygge en læreplan ved å heve de påkrevde tellingene over tid. Rørledningen kan generere hold-out-søskenoppgaver på tvers av domener, hierarkiformer, bevisregler og bredde-dybde-innstillinger uten å oppramse gullsvar. Dette skaper en vei til å trene agenter ikke bare til å finne korrekte fakta, men også til å planlegge for dekning, oppdage manglende grener og gjenopprette før de stopper.

Benchmark-oppgavene, evalueringsmotoren og den fulle tekniske rapporten er tilgjengelige på GitHub.

Sitat

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}