WANDR benchmark: Onderzoeksagenten evalueren die breed en diep moeten zoeken

Vandaag brengen we WANDR (Wide ANd Deep Research) uit, een open benchmark en evaluatie-instrument gebouwd rond 500 realistische, uitdagende taken voor gegevensverzameling in kenniswerk. WANDR is de brede tegenhanger van onze DRACO-benchmark voor diepgaand onderzoek. DRACO vraagt of een agent een accuraat, volledig en objectief lang rapport kan produceren; WANDR vraagt of het een grote verzameling kan opbouwen en elk onderdeel met specifiek bewijs kan staven.

Dit zijn het soort opdrachten die mensen al aan onderzoeksagenten delegeren: competitieve in kaart brenging, due diligence, literatuuronderzoek, marktanalyse, productvergelijking, talentwerving en meer. De taken variëren van tientallen tot duizenden onafhankelijk verifieerbare records. Zelfs bij een hoge inspanningsinstelling bereikt het sterkste systeem in onze evaluatie slechts 0,363 soft F1 en 0,133 hard F1. Breed-en-diepgaand onderzoek is nog lang niet opgelost.

Vergroten

Waarom breed-en-diepgaand onderzoek belangrijk is

Veel nuttige onderzoeksopdrachten eindigen niet wanneer een agent één antwoord vindt. Een marktanalist kan elke kwalificerende concurrent nodig hebben, met hetzelfde bewijs voor elk. Een due-diligence-team kan tientallen bedrijven nodig hebben, en vervolgens het eigendom, leidinggevenden, financiering en de regelgevende status voor elk van hen. Dat creëert twee afzonderlijke eisen:

Breed: ontdek een grote en vaak openstaande set van kwalificerende entiteiten.

Diepgaand: onderzoek elke entiteit ver genoeg om elke gevraagde claim met bewijs te ondersteunen.

Het combineren van de twee verandert het probleem. Een handvol overtuigende voorbeelden is niet genoeg, en evenmin is een gepolijst verhaal gebouwd op onvolledig onderzoek. De agent moet brede ontdekking volhouden zonder feitelijke kwaliteit op te offeren van het ene record naar het volgende.

WANDR legt die structuur vast met een flexibele, samenstelbare kwalificatiesleutelhiërarchie. Een taak kan vragen om

bedrijf(n) → werknemer(m) → url(k)

Dit betekent het vinden van n kwalificerende bedrijven, m kwalificerende werknemers bij elk bedrijf, en k ondersteunende pagina's voor elke werknemer. Elk volledig pad door de boom kan onafhankelijk worden gevalideerd. Dezelfde basisstructuur kan een platte lijst, een geneste zoekopdracht, een matrix of een taak met meerdere bewijstakken vertegenwoordigen. Deze patronen kunnen ook worden gecombineerd, waardoor één representatie een breed scala aan praktijkgevallen kan dekken.

Vergroten

Eén vrijgegeven taak illustreert deze structuur in de praktijk.

ceo_cfo_benoemingen

Primaire taak. Vind ten minste 70 in de VS gevestigde bedrijven met een CEO- of CFO-benoeming die voor het eerst werd aangekondigd tussen 1 maart en 30 april 2026. Verstrek voor elk bedrijf een gezaghebbende benoemingspagina die het bedrijf en de benoemde identificeert, de rol en de aankondigingsdatum vaststelt, en afkomstig is van de uitgever, een dossier, een persbericht of direct toegeschreven zakelijke journalistiek uit de eerste hand.

Primaire hiërarchie. bedrijf(70) → bedrijf_benoemde(1) → url(1).

Bedrijfsvermelding-subtaak. Verstrek voor dezelfde bedrijven een erkende pagina van de noteringsautoriteit die ofwel een notering op een Amerikaanse nationale effectenbeurs toont of de status als in de VS gevestigde SEC Exchange Act-rapportage-uitgever.

Subtaakhiërarchie. bedrijf(70) → url(1).

Vereiste records. 140: 70 benoemingsrecords plus 70 noteringsrecords.

Elk pad eindigt in een pagina en uittreksels die de beoordelaar opnieuw kan controleren. De gedeelde bedrijfssleutel lijnt de benoemings- en noteringsbranches uit, dus een benoeming zonder apart bewijs van noteringsstatus laat dat bedrijf nog steeds onvolledig.

Realistische taken, gegenereerd op schaal

WANDR begint bij de-geïdentificeerde patronen die worden waargenomen in productiegebruik in plaats van synthetische prompts. Dit houdt de benchmark dicht bij het werk dat mensen daadwerkelijk delegeren: openstaande ontdekking, herhaalde verrijking, controles tussen bronnen en gestructureerde vergelijkingen op professionele schaal. Een semi-geautomatiseerde pijplijn zet die patronen om in taken, waarbij menselijke inspanning wordt gereserveerd voor kwaliteitscontrole in plaats van uitputtende antwoordannotatie.

De pijplijn heeft vier fasen. Seeding mijnt de-geïdentificeerde productverzoeken voor een herbruikbaar breed-onderzoekspatroon. Authoring voert een afgewisselde auteur-criticus-lus uit: de agenten schetsen en stresstesten het ontwerp, schrijven de taakspecificatie en het oordeel, creëren fixture-records en gebruiken een mechanische linter om alles uitgelijnd te houden. Admission controleert of het doelvolume bereikbaar is door 10–12 authoring-rollouts samen te voegen, controleert de taakspecifieke rechter en voegt optioneel menselijke goedkeuring toe. Curation labelt de toegelaten taken en selecteert een gebalanceerde definitieve set over onderwerpen, schaal, topologie en moeilijkheidsgraad.

Vergroten

De mediane taak vraagt om 50 leden, vier records per lid en 245 records in totaal. Alles bij elkaar vragen de 500 taken om 170.495 bron-gestaafde records. We kalibreren de moeilijkheidsgraad op basis van historische rollouts in de ontwerpfase, en splitsen vervolgens de taken per rang in 167 voorbeelden met een lagere, 166 met een gemiddelde en 167 met een hogere moeilijkheidsgraad. De onderstaande plot laat zien dat moeilijkheidsgraad niet alleen door schaal wordt bepaald; het hangt ook af van het werk dat voor elk record vereist is.

Vergroten

Referentievrije, bewijs-geverifieerde beoordeling

Een vaste antwoordsleutel is een slechte pasvorm voor openstaand onderzoek. Het is duur om te bouwen, wordt snel verouderd en vertegenwoordigt slecht vragen waarvan de antwoorden in de loop van de tijd veranderen. WANDR beoordeelt in plaats daarvan elke ingediende claim aan de hand van het bewijs dat de agent citeert.

Elk record bevat een item, een URL, geselecteerde uittreksels en een antwoord. De beoordelaar haalt de pagina opnieuw op en controleert of deze bruikbaar is, of de claim duidelijk is en binnen het bereik valt, of de uittreksels getrouw op de pagina verschijnen en of zowel de pagina als de uittreksels aan elke vereiste voldoen.

Deze binaire recordverdicten rollen door de hiërarchie omhoog. Precisie meet de kwaliteit van wat het systeem heeft ingediend. Recall meet de op kwaliteit aangepaste voltooiing tegen het gevraagde volume, waarbij elk tekort met nullen wordt opgevuld. F1 balanceert de twee. Soft scores geven gedeeltelijke credits aan onvolledige leden; harde scores tellen alleen leden wiens volledige vereiste subboom correct is. Voor diagnose rapporteert WANDR ook een verdict van alleen ophalen dat vraagt of de opgehaalde pagina aan de taak voldoet voordat de strengere controles op geldigheid en ingediende uittreksels worden toegevoegd.

Dit maakt fouten interpreteerbaar en lokaliseerbaar. Hoge precisie met lage recall betekent meestal dat het systeem enkele goede leden heeft gevonden, maar niet genoeg ervan. Een grote daling van soft naar hard betekent dat het gedeeltelijke vooruitgang boekte, maar zelden elke tak voltooide die nodig was voor volledige credits. De scoreboom kan het verlies lokaliseren naar ontdekking, verrijking, identiteitsafhandeling, paginakwalificatie of bewijsextractie.

Vergroten

Wat we vonden

We vergeleken zes productiesystemen: gehoste taak- en zoek-API's, algemene web-agent-API's, een product voor diepgaand onderzoek en ons programmatische zoek-orkestratiesysteem, Search as Code (SaC). Elk systeem werd ingepland op alle 500 taken onder een vastgelegde configuratie en doorliep vervolgens dezelfde fetch-, judge-, identiteitsresolutie- en scoringspijplijn.

Perplexity Search as Code leidt met 0,363 soft F1 en 0,133 hard F1. Anthropic staat tweede met 0,249 en 0,072; elk ander systeem stopt bij 0,121 soft F1 en 0,035 hard F1. Geen enkel systeem domineert zowel kwaliteit als efficiëntie. Perplexity zit in het midden van het kostenbereik met $5,20 per taak, met een mediane oplostijd van 14,9 minuten en 3,82 miljoen gerapporteerde tokens per taak. OpenAI en Exa zijn sneller en goedkoper, maar scoren veel lager. Anthropic komt het dichtst in de buurt wat betreft kwaliteit, maar gebruikt aanzienlijk meer tijd, geld en tokens.

Vergroten

Vergroten

We hebben ook elke beschikbare inspanningsinstelling geëvalueerd op dezelfde subset van 45 taken. Meer inspanning verbetert Perplexity, Gemini en Exa bij elke stap; Perplexity bereikt 0,447 soft F1 en 0,224 hard F1 bij xhigh. Hogere inspanning is echter niet uniform beter: OpenAI piekt bij high, en de harde F1 van Parallel daalt enigszins tussen ultra2x en ultra4x. Kosten overspannen meer dan vier ordes van grootte, van $0,03 per taak voor Exa low tot $324,83 voor Gemini max.

Vergroten

Vergroten

Vier bevindingen springen eruit.

Gedeeltelijke vooruitgang is gebruikelijk; volledige dekking niet. Soft recall is lager dan soft precisie voor elk systeem, wat betekent dat de prestaties dalen zodra het volledige gevraagde volume de noemer binnenkomt. Perplexity behoudt 0,357 recall van 0,389 precisie, de kleinste kloof; Anthropic daalt van 0,354 naar 0,222. De soft-naar-hard conversie is nog harder. Perplexity daalt van 0,363 soft F1 naar 0,133 hard F1, en Anthropic van 0,249 naar 0,072. De beste harde precisie is 0,150 en de beste harde recall is 0,134: zelfs de leider verdient alleen volledige credits voor ongeveer één op de zeven leden die het indient en één op de zeven leden waar de taak om vraagt.

Schaal verergert het probleem. Van het kleinste naar het grootste doelvolume-bakje daalt de harde precisie van Perplexity van 0,235 naar 0,096 en de harde recall van 0,219 naar 0,079. Anthropic daalt van 0,205 naar 0,113 en van 0,127 naar 0,042; OpenAI daalt van 0,109 naar 0,034 en van 0,102 naar 0,016. Recall daalt meestal sneller dan precisie: een systeem kan een klein zakje volledige leden behouden terwijl het minder en minder van de gevraagde set dekt.

Diepere hiërarchieën zijn nog harder. Gaande van geen tussenliggende sleutel naar drie of meer, daalt de harde precisie van Perplexity van 0,392 naar 0,019 en de harde recall van 0,378 naar 0,017; Anthropic daalt van 0,311 naar 0,049 en van 0,229 naar 0,022; OpenAI daalt van 0,136 naar 0,012 en van 0,120 naar 0,011. Elke toegevoegde tak creëert een andere plaats waar een lid de alles-of-niets harde score kan missen. Kosten en latentie volgen geen gemeenschappelijk monotoon patroon.

Vergroten

Zelfs voordat kwaliteit wordt beoordeeld, is ontdekking het eerste structurele knelpunt. Kijkend naar alleen ruwe, pre-collapse tellingen, varieert de gemiddelde ontdekkingsvoltooiing op het hoogste niveau van 0,611 tot 0,951. Voorwaardelijke verrijking is sterker op 0,767–0,967, en voltooiing van terminale bewijsslots bereikt 0,979–0,994 zodra een lid en zijn verrijkingspad bestaan. Perplexity leidt ontdekking met 0,951 en verrijking met 0,967, maar OpenAI is iets hoger op terminale bewijsslots met 0,994 versus 0,991. Dubbele collapse is slechts verantwoordelijk voor 0,017–0,205 procentpunt van het telverlies over de zes volledige runs, dus onderlevering, niet identiteitsvoeging, is de belangrijkste geaggregeerde verklaring. De grootste ruwe structurele verliezen treden op voordat de definitieve URL wordt toegevoegd.

Vergroten

Het vinden van een bruikbare pagina is meestal eenvoudig; het vinden van volledig bewijs is moeilijk. Voor vijf systemen zijn slechts 3,2%–8,9% van de ingediende pagina's onbruikbaar; OpenAI is de 23,1% uitschieter. Ongeldige of records van het verkeerde type zijn ook relatief ongewoon op 4,2%–17,4%. De dominante verliezen komen daarna: 33,6%–68,3% van de ingediende pagina's faalt aan ten minste één substantiële taakvereiste, en 57,5%–86,6% van de ingediende uittreksels faalt om alles te ondersteunen wat het record claimt. De tarieven van Perplexity zijn 41,4% en 57,5%. De soft F1 daalt van 0,531 onder de alleen-ophalen-controle, die alleen vraagt of de pagina aan elke substantiële vereiste voldoet, naar 0,363 onder het volledige verdict, dat ook de universele controles, taakspecifieke geldigheid en volledige uittrekselondersteuning vereist. Hard F1 daalt eveneens van 0,245 naar 0,133. Het moeilijke deel is niet alleen het bereiken van een aannemelijke pagina; het is die pagina veranderen in voldoende bewijs voor de hele claim.

Vergroten

Search as Code past goed bij deze taakvorm. Een model kan ophalen, filteren, fan-out, renderen, joins, ontdubbeling en stoplogica uitdrukken als een programma, terwijl deterministische compute herhaalde operaties buiten de modelcontext afhandelt. Dat profiel is consistent met de sterkere breedtebehoud en uittrekselconstructie van Perplexity, hoewel het niet leidt op elke laag: Anthropic heeft het laagste faalpercentage voor paginavereisten.

Wat is de volgende stap

WANDR biedt meer dan een enkele ranglijstscore. De algemene taakstructuur en semi-geautomatiseerde pijplijn ondersteunen gevarieerde, hoogvolume taakgeneratie, terwijl per-record verdicten en scores op hiërarchieniveau laten zien waar een run faalt: ontdekking, verrijking, identiteitsafhandeling, semantische kwalificatie of bewijsconstructie. De vrijgegeven taken, verifieerder en structurele diagnostiek bieden een basis voor het verbeteren van uitgebreide zoeksystemen en het testen of die winsten op schaal standhouden.

Dezelfde structuur kan WANDR ook nuttig maken voor reinforcement learning. In plaats van te vertrouwen op een enkele spaarzame terminale beloning, kan een trainer oordelen op record- en takniveau gebruiken, gedeeltelijke credits toewijzen voor ontdekkings- en verrijkingsvooruitgang, en een curriculum opbouwen door de vereiste tellingen in de loop van de tijd te verhogen. De pijplijn kan uitgesloten zuster-taken genereren over domeinen, hiërarchievormen, bewijsregels en breedte-diepte-instellingen heen zonder gouden antwoorden op te sommen. Dit creëert een pad naar het trainen van agenten om niet alleen juiste feiten te vinden, maar ook om te plannen voor dekking, ontbrekende takken te detecteren en te herstellen voordat ze stoppen.

De benchmarktaken, het evaluatie-instrument en het volledige technische rapport zijn beschikbaar op GitHub.

Citatie

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}