WANDR-benchmark: Evaluering af forskningsagenter, der skal søge bredt og dybt

I dag udgiver vi WANDR (Wide ANd Deep Research), en åben benchmark og evalueringsramme bygget op omkring 500 realistiske, udfordrende dataindsamlingsopgaver til vidensarbejde. WANDR er den brede søster til vores DRACO benchmark til dybtgående forskning. DRACO undersøger, om en agent kan producere en nøjagtig, komplet og objektiv lang form-rapport; WANDR undersøger, om den kan opbygge en stor samling og bakke hvert enkelt medlem op med specifik dokumentation.

Dette er den type opgaver, folk allerede overlader til forskningsagenter: konkurrencemæssig kortting, due diligence, litteraturgennemgang, markedsanalyse, sammenligning af produkter, talentsøgning og meget mere. Opgaverne spænder fra snesevis til tusindvis af uafhængigt verificerbare poster. Selv ved en høj indsatsindstilling når det stærkeste system i vores evaluering kun op på 0,363 blød F1 og 0,133 hård F1. Wide-and-deep-forskning er stadig langt fra løst.

Udvid

Hvorfor wide-and-deep-forskning er vigtig

Mange nyttige forskningsopgaver slutter ikke, når en agent finder ét svar. En markedsanalytiker kan få brug for alle kvalificerede konkurrencer med den samme dokumentation for hver enkelt. Et due diligence-team kan få brug for snesevis af virksomheder og derefter ejerskab, ledere, finansiering og reguleringsstatus for hver enkelt af dem. Det skaber to separate krav:

Bred: opdag et stort og ofte åbent sæt af kvalificerende enheder.

Dyb: undersøg hver enkelt enhed langt nok til at understøtte hvert efterspurgt krav med dokumentation.

Kombinationen af de to ændrer problemet. En handfuld overbevisende eksempler er ikke nok, og det samme gælder en poleret fortælling bygget på ufuldstændig forskning. Agenten skal opretholde en bred opdagelse uden at ofre den faktuelle kvalitet fra den ene post til den næste.

WANDR indfanger denne struktur med et fleksibelt, sammensætteligt kvalifikationsnøglehierarki. En opgave kan bede om

company(n) → employee(m) → url(k)

Det betyder, at man finder n kvalificerende virksomheder, m kvalificerende medarbejdere i hver virksomhed og k understøttende sider for hver medarbejder. Hver komplet sti gennem træet kan valideres uafhængigt. Den samme grundlæggende struktur kan repræsentere en flad liste, en indlejret søgning, en matrix eller en opgave med flere dokumentationsgrene. Disse mønstre kan også kombineres, hvilket gør det muligt for én repræsentation at dække en bred vifte af virkelige brugsscenarier.

Udvid

Én frigivet opgave illustrerer denne struktur i praksis.

ceo_cfo_appointments

Primær opgave. Find mindst 70 USA-baserede virksomheder med en CEO- eller CFO-udnævnelse, der først blev annonceret mellem 1. marts og 30. april 2026. For hver virksomhed skal du levere en autoritativ udnævnelsesside, der identificerer virksomheden og den udnævnte, etablerer rollen og annonceringsdatoen og kommer fra udstederen, en indberetning, et nyhedsbureau eller direkte tilskrevet førstehånds-forretningsjournalistik.

Primært hierarki. company(70) → company_appointee(1) → url(1).

Underopgave for virksomhedsnotering. For de samme virksomheder skal du levere en anerkendt noteringsmyndighedsside, der viser enten en notering på en amerikansk national værdipapirbørs eller status som en US-hjemmehørende rapporterende udsteder under SEC Exchange Act.

Underopgavehierarki. company(70) → url(1).

Krævede poster. 140: 70 udnævnelsesposter plus 70 noteringsposter.

Hver sti ender i en side og uddrag, som bedømmeren kan tjekke igen. Den delte virksomhedsnøgle forbinder udnævnelses- og noteringsgrenene, så en udnævnelse uden separat bevis for noteringsstatus stadig efterlader den pågældende virksomhed ufuldstændig.

Realistiske opgaver, genereret i skala

WANDR tager udgangspunkt i de-identificerede mønstre observeret i produktionen frem for syntetiske prompts. Dette holder benchmarken tæt på det arbejde, som folk faktisk udliciterer: åben opdagelse, gentagen berigelse, på tværs af kilder kontroller og strukturerede sammenligninger i professionel skala. En semiautomatisk pipeline omdanner disse mønstre til opgaver og reserverer menneskelig indsats til kvalitetskontrol i stedet for udtømmende svaranmærkning.

Pipen har fire faser. Såning udvinder de-identificerede produktanmodninger for et genbrugesligt wide-research-mønster. Forfatterskab kører en sammenflettet forfatter-kritiker-løkke: agenterne skitserer og stresstester designet, skriver opgavespecifikationen og dommeren, opretter fixture-poster og bruger en mekanisk linter til at holde alt på linje. Optagelse kontrollerer, at målamplituden kan nås ved at flette 10-12 forfatterudrulninger, reviderer den opgavespecifikke dommer og tilføjer eventuelt menneskelig godkendelse. Kuratering mærker de optagede opgaver og vælger et afbalanceret endeligt sæt på tværs af emner, skala, topologi og sværhedsgrad.

Udvid

Medianopgaven beder om 50 medlemmer, fire poster pr. medlem og 245 poster i alt. Set under et kræver de 500 opgaver 170.495 kildeunderstøttede poster. Vi kalibrerer sværhedsgraden ud fra historiske udrulninger i designfasen og opdeler derefter opgaverne efter rang i 167 lavere, 166 mellem- og 167 højere sværhedsgradseksempler. Grafen nedenfor viser, at sværhedsgraden ikke bestemmes af skala alene; den afhænger også af det arbejde, der kræves for hver post.

Udvid

Referenceret, evidensverificeret bedømmelse

En fast svarnøgle egner sig dårligt til åben forskning. Den er dyr at bygge, bliver hurtigt forældet og repræsenterer dårligt spørgsmål, hvis svar ændrer sig over tid. WANDR bedømmer i stedet hver indsendt påstand op mod den dokumentation, som agenten citerer.

Hver post indeholder et element, en URL, udvalgte uddrag og et svar. Bedømmeren henter siden igen og kontrollerer, om den kan bruges, om påstanden er klar og inden for rækkevidde, om uddragene trofast fremgår af siden, og om både siden og uddragene understøtter hvert enkelt krav.

Disse binære postdomme rulles op gennem hierarkiet. Præcision måler kvaliteten af det, systemet indsendte. Genkaldes måler kvalitetsjusteret fuldførelse i forhold til det anmodede volumen og udfylder eventuel mangel med nuller. F1 balancere de to. Bløde scores giver delvis kredit til ufuldstændige medlemmer; hårde scores tæller kun medlemmer, hvis fulde krævede undertræ er korrekt. Til diagnosticering rapporterer WANDR også en hent-kun-dom, der spørger, om den hentede side opfylder opgaven, før de strengere tjek for gyldighed og indsendte uddrag tilføjes.

Dette gør fejl fortolkelige og lokaliserbare. Høj præcision med lav genkaldelse betyder normalt, at systemet fandt nogle gode medlemmer, men ikke nok af dem. Et stort fald fra blød til hård betyder, at det gjorde delvist fremskridt, men sjældent fuldførte hver gren, der er nødvendig for fulde kreditter. Scoretræet kan lokalisere tabet til opdagelse, berigelse, identitetshåndtering, sidekvalificering eller dokumentationsudtræk.

Udvid

Hvad vi fandt

Vi sammenlignede seks produktionssystemer: hostede opgave- og søge-API'er, generelle webagent-API'er, et produkt til dybtgående forskning og vores programmerbare søgeorkestreringssystem, Search as Code (SaC). Hver enkelt blev tidsplanlagt på alle 500 opgaver under en fastlåst konfiguration og gik derefter igennem den samme hentnings-, dommer-, identitetsopløsnings- og scoringspipeline.

Perplexity Search as Code fører an med 0,363 blød F1 og 0,133 hård F1. Anthropic er nummer to med 0,249 og 0,072; alle andre systemer topper ved 0,121 blød F1 og 0,035 hård F1. Intet system dominerer både kvalitet og effektivitet. Perplexity ligger midt i omkostningsintervallet med $5,20 pr. opgave, en mediantid for løsning på 14,9 minutter og 3,82 millioner rapporterede tokens pr. opgave. OpenAI og Exa er hurtigere og billigere, men scorer meget lavere. Anthropic kommer tættest på hvad angår kvalitet, men bruger væsentligt mere tid, penge og tokens.

Udvid

Udvid

Vi evaluerede også alle tilgængelige indsatsindstillinger på det samme delmæt på 45 opgaver. Større indsats forbedrer Perplexity, Gemini og Exa ved hvert trin; Perplexity når 0,447 blød F1 og 0,224 hård F1 ved xhigh. Højere indsats er dog ikke ensartet bedre: OpenAI topper ved high, og Parallels hårde F1 glider lidt mellem ultra2x og ultra4x. Omkostningerne spænder over mere end fire størrelsesordener, fra $0,03 pr. opgave for Exa low til $324,83 for Gemini max.

Udvid

Udvid

Fire fund skiller sig ud.

Delvise fremskridt er almindelige; fuldstændig dækning er det ikke. Blød genkaldelse er under blød præcision for hvert system, hvilket betyder, at ydeevnen falder, når hele det anmodede volumen kommer ind i nævneren. Perplexity bibeholder 0,357 i genkaldelse fra 0,389 i præcision, hvilket er den mindste forskel; Anthropic falder fra 0,354 til 0,222. Overgangen fra blød til hård er endnu hårdere. Perplexity falder fra 0,363 i blød F1 til 0,133 i hård F1, og Anthropic fra 0,249 til 0,072. Den bedste hårde præcision er 0,150, og den bedste hårde genkaldelse er 0,134: selv føreren optjener kun fulde kreditter for ca. én ud af syv medlemmer, den indsender, og én ud af syv medlemmer, som opgaven beder om.

Skala forstærker problemet. Fra den mindste til den største målvolumenbin falder Perplexitys hårde præcision fra 0,235 til 0,096 og dens hårde genkaldelse fra 0,219 til 0,079. Anthropic falder fra 0,205 til 0,113 og fra 0,127 til 0,042; OpenAI falder fra 0,109 til 0,034 og fra 0,102 til 0,016. Genkaldelse falder normalt hurtigere end præcision: et system kan beholde en lille lomme af fuldstændige medlemmer, mens det dækker mindre og mindre af det anmodede sæt.

Dybere hierarkier er endnu hårdere. Ved at gå fra ingen mellemliggende nøgle til tre eller flere falder Perplexitys hårde præcision fra 0,392 til 0,019 og den hårde genkaldelse fra 0,378 til 0,017; Anthropic falder fra 0,311 til 0,049 og fra 0,229 til 0,022; OpenAI falder fra 0,136 til 0,012 og fra 0,120 til 0,011. Hver tilføjet gren skaber et nyt sted, hvor et medlem kan gå glip af alt-eller-intet-hård-scoren. Omkostninger og latens følger ikke et almindeligt monotont mønster.

Udvid

Selv før kvalitet bedømmes, er opdagelse den første strukturelle flaskehals. Hvis man kun ser på rå, præ-kollaps-antal, ligger gennemsnitlig fuldførelse af opdagelse på topniveau fra 0,611 til 0,951. Betinget berigelse er stærkere på 0,767-0,967, og terminal evidens-slot-fuldførelse når 0,979-0,994, når først et medlem og dens berigelsessti findes. Perplexity fører an i opdagelse med 0,951 og berigelse med 0,967, men OpenAI er lidt højere på terminale evidens-slots med 0,994 mod 0,991. Duplikatkollaps tegner sig kun for 0,017-0,205 procentpoint tab af antal på tværs af de seks fulde kørsler, så underlevering, ikke identitetssammenfletning, er den vigtigste samlede forklaring. De største rå strukturelle tab opstår, før den endelige URL tilknyttes.

Udvid

Det er som regel nemt at finde en side, der kan bruges; det er svært at finde fuldstændig dokumentation. For fem systemer er kun 3,2%-8,9% af indsendte sider ubrugelige; OpenAI er udliggeren med 23,1%. Ugyldige eller forkerte typer poster er også relativt ualmindelige med 4,2%-17,4%. De dominerende tab kommer derefter: 33,6%-68,3% af indsendte sider fejler i mindst ét substantielt opgavkrav, og 57,5%-86,6% af indsendte uddrag undlader at understøtte alt det, som posten hævder. Perplexitys rater er 41,4% og 57,5%. Dens bløde F1 falder fra 0,531 under hent-kun-tjekket, som kun spørger, om siden opfylder alle substantielle krav, til 0,363 under den fulde dom, som også kræver de universelle tjek, opgavespecifik gyldighed og komplet uddragsunderstøttelse. Hård F1 falder på samme måde fra 0,245 til 0,133. Den hårde del er ikke bare at nå frem til en plausibel side; det er at omdanne den side til tilstrækkelig dokumentation for hele påstanden.

Udvid

Search as Code passer godt til denne opgaveform. En model kan udtrykke hentning, filtrering, fan-out, gengivelse, joins, deduplikering og stoplogik som et program, mens deterministisk beregning håndterer gentagne handlinger uden for modelkonteksten. Den profil er i overensstemmelse med Perplexitys stærkere bredderentention og uddragskonstruktion, selvom den ikke fører an på alle lag: Anthropic har den laveste fejlrate for sideoppebæring.

Hvad er det næste

WANDR leverer mere end blot en enkelt ranglistescore. Dens fælles opgavestruktur og semiautomatiske pipeline understøtter varieret generering af opgaver med høj volumen, mens domme pr. post og scores på hierarkiniveau viser, hvor en kørsel fejler: opdagelse, berigelse, identitetshåndtering, semantisk kvalificering eller uddragskonstruktion. De udgivne opgaver, verifikator og strukturelle diagnostik danner et grundlag for at forbedre omfattende søgesystemer og teste, om disse gevinster holder i skala.

Den samme struktur kan også gøre WANDR nyttig til forstærkende læring. I stedet for at stole på en enkelt sparsom terminal belønning kan en træner bruge domme på post- og grens-niveau, tildele delvise kreditter for opdagelses- og berigelsesfremskridt og opbygge et pensum ved at hæve de krævede antal over tid. Pipen kan generere udeladte søsteropgaver på tværs af domæner, hierarkiformer, evidensregler og bredde-dybde-indstillinger uden at opregne guld-svar. Dette skaber en vej til at træne agenter ikke kun til at finde korrekte fakta, men også til at planlægge for dækning, registrere manglende grene og komme sig, før de stopper.

Benchmarkopgaverne, evalueringsrammen og den fulde tekniske rapport er tilgængelige på GitHub.

Citation

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}