WANDR-mätvärde: Utvärdering av forskningsagenter som måste söka brett och djupt

Idag lanserar vi WANDR (Wide ANd Deep Research), ett öppet mätvärde och utvärderingsverktyg som bygger på 500 realistiska och utmanande datainsamlingsuppgifter för kunskapsarbete. WANDR är det breda syskonet till vårt DRACO-mätvärde för djupgående forskning. DRACO ställer frågan om en agent kan producera en exakt, fullständig och objektiv lång rapport; WANDR ställer frågan om den kan bygga upp en stor samling och styrka varje medlem med specifika bevis.

Det här är den typ av jobb som människor redan lägger över på forskningsagenter: branschkartläggning, due diligence, litteraturöversikt, marknadsanalys, produktjämförelse, talangrekrytering med mera. Uppgifterna sträcker sig från ett dussin till tusentals oberoende verifierbara poster. Även med en inställning för hög ansträngning når det starkaste systemet i vår utvärdering endast 0,363 mjuk F1 och 0,133 hård F1. Wide-and-deep-forskning är fortfarande långt ifrån löst.

Förstora

Varför wide-and-deep-forskning är viktigt

Många användbara forskningsjobb tar inte slut när en agent hittar ett svar. En marknadsanalytiker kan behöva varje kvalificerad konkurrerande företag, med samma bevis för var och en. Ett due diligence-team kan behöva dussintals företag, och sedan ägande, chefer, finansiering och regleringsstatus för vart och ett av dem. Det skapar två skilda krav:

Bredd: upptäck en stor och ofta öppen uppsättning kvalificerade enheter.

Djup: undersök varje enhet tillräckligt djupt för att stödja varje begärt påstående med bevis.

Att kombinera de två förändrar problemet. En handfull övertygande exempel räcker inte, och det gör inte heller en polerad berättelse som bygger på ofullständig forskning. Agenten måste upprätthålla bred upptäckt utan att offra faktabaserad kvalitet från den ena posten till den andra.

WANDR fångar den strukturen med en flexibel, sammansättbar kvalificeringsnyckelhierarki. En uppgift kan be om

company(n) → employee(m) → url(k)

Detta innebär att hitta n kvalificerade företag, m kvalificerade anställda på varje företag och k stödjande sidor för varje anställd. Varje komplett sökväg genom trädet kan valideras oberoende. Samma grundläggande struktur kan representera en platt lista, en kapslad sökning, en matris eller en uppgift med flera bevisskenor. Dessa mönster kan också kombineras, vilket gör att en enda representation kan täcka ett brett utbud av verkliga användningsfall.

Förstora

En lanserad uppgift illustrerar denna struktur i praktiken.

ceo_cfo_appointments

Primär uppgift. Hitta minst 70 USA-baserade företag med en vd- eller ekonomichefstillsättning som först tillkännagavs mellan 1 mars och 30 april 2026. För varje företag, tillhandahåll en auktoritativ tillsättningssida som identifierar företaget och den tillsatta personen, fastställer rollen och datumet för tillkännagivandet, och kommer från emittenten, en anmälan, en nyhetsbyrå eller direkt tillskriven förstahandsnäringslivsjournalistik.

Primär hierarki. company(70) → company_appointee(1) → url(1).

Företagsnoteringsunderuppgift. För samma företag, tillhandahåll en erkänd noteringstjänstgöringssida som visar antingen en notering på en amerikansk nationell värdepappersbörs eller status som en USA-domicilerad SEC Exchange Act-rapporterande emittent.

Underuppgiftshierarki. company(70) → url(1).

Poster som krävs. 140: 70 tillsättningsposter plus 70 noteringsposter.

Varje sökväg slutar i en sida och utdrag som bedömaren kan kontrollera igen. Den delade företagsnyckeln samordnar tillsättnings- och noteringsgrenarna, så en tillsättning utan separat bevis på noteringsstatus lämnar ändå företaget ofullständigt.

Realistiska uppgifter, genererade i stor skala

WANDR utgår från avidentifierade mönster som observerats i produktionsanvändning snarare än syntetiska prompter. Detta håller mätvärdet nära det arbete som människor faktiskt delegerar: öppen upptäckt, upprepad anrikning, korskällskontroller och strukturerade jämförelser i professionell skala. En halva-automatiserad pipeline omvandlar dessa mönster till uppgifter och reserverar mänsklig ansträngning för kvalitetskontroll istället för uttömmande svarsanteckning.

Pipelinen har fyra steg. Sådd utvinner avidentifierade produktförfrågningar för ett återanvändbart brett forskningsmönster. Författande kör en varvad författar- och kritikerloop: agenterna skisserar och stresstestar designen, skriver uppgiftsspecifikationen och domaren, skapar fixturposter och använder en mekanisk linter för att hålla allt i linje. Antagning kontrollerar att målomfånget kan nås genom att slå samman 10–12 författarutrullningar, granskar den uppgiftsspecifika domaren och lägger eventuellt till mänsklig signering. Kuratering märker de antagna uppgifterna och väljer ut en balanserad slutuppsättning över ämnen, skala, topologi och svårighetsgrad.

Förstora

Medianuppgiften efterfrågar 50 medlemmar, fyra poster per medlem och 245 poster totalt. Tillsammans kräver de 500 uppgifterna 170 495 källstödda poster. Vi kalibrerar svårighetsgraden från historiska utrullningar i designfasen, för att sedan dela upp uppgifterna efter rang i 167 lägre, 166 mellersta och 167 högre svårighetsgradsexempel. Diagrammet nedan visar att svårighetsgraden inte enbart avgörs av skala; den beror också på det arbete som krävs för varje post.

Förstora

Referensfri, bevisverifierad bedömning

En fast svarsnyckel passar dåligt för öppen forskning. Den är dyr att bygga, blir snabbt föråldrad och representerar dåligt frågor vars svar förändras över tid. WANDR bedömer i stället varje inlämnat påstående mot de bevis som agenten hänvisar till.

Varje post innehåller ett objekt, en URL, utvalda utdrag och ett svar. Bedömaren hämtar sidan på nytt och kontrollerar om den är användbar, om påståendet är klart och inom räckhåll, om utdragen troget förekommer på sidan och om både sidan och utdragen stöder varje krav.

Dessa binära postbedömningar rullas upp genom hierarkin. Precision mäter kvaliteten på vad systemet lämnade in. Återkallelse mäter kvalitetsjusterad fullbordan mot den begärda volymen och fyller eventuell brist med nollor. F1 balanserar de två. Mjuka poäng ger delpoäng till ofullständiga medlemmar; hårda poäng räknar endast medlemmar vars hela erforderliga underträd är korrekt. För diagnos rapporterar WANDR också en enbart hämtningsbaserad bedömning som frågar om den hämtade sidan uppfyller uppgiften innan de striktare kontrollerna av giltighet och inlämnade utdrag läggs till.

Detta gör fel tolkbara och lokaliserbara. Hög precision med låg återkallelse innebär vanligen att systemet hittade några bra medlemmar men inte tillräckligt många av dem. Ett stort fall från mjukt till hårt innebär att det gjorde partiella framsteg men sällan slutförde varje gren som behövdes för fullständiga krediter. Poängträdet kan lokalisera förlusten till upptäckt, anrikning, identitetshantering, sidokvalificering eller bevisextraktion.

Förstora

Vad vi fann

Vi jämförde sex produktionssystem: hostade uppgifts- och sök-API:er, generella webbagent-API:er, en produkt för djupgående forskning och vårt programmatiska sökorkestreringssystem, Search as Code (SaC). Var och en schemalades på alla 500 uppgifter under en fastställd konfiguration och gick sedan igenom samma hämtnings-, bedömnings-, identitetslösnings- och poängsättningspipeline.

Perplexity Search as Code leder med 0,363 mjuk F1 och 0,133 hård F1. Anthropic är tvåa på 0,249 och 0,072; alla andra system toppar på 0,121 mjuk F1 och 0,035 hård F1. Inget system dominerar både kvalitet och effektivitet. Perplexity ligger i mitten av kostnadsintervallet på 5,20 USD per uppgift, med en genomsnittlig lösningstid på 14,9 minuter och 3,82 miljoner rapporterade tokens per uppgift. OpenAI och Exa är snabbare och billigare men får betydligt lägre poäng. Anthropic kommer närmast gällande kvalitet, men använder avsevärt mer tid, pengar och tokens.

Förstora

Förstora

Vi utvärderade också varje tillgänglig ansträngningsinställning på samma delmängd av 45 uppgifter. Större ansträngning förbättrar Perplexity, Gemini och Exa i varje steg; Perplexity når 0,447 mjuk F1 och 0,224 hård F1 vid xhigh. Högre ansträngning är dock inte enhetligt bättre: OpenAI når en topp vid high, och Parallels hårda F1 sjunker något mellan ultra2x och ultra4x. Kostnaden spänner över mer än fyra storleksordningar, från 0,03 USD per uppgift för Exa low till 324,83 USD för Gemini max.

Förstora

Förstora

Fyra fynd sticker ut.

Partiella framsteg är vanliga; komplett täckning är det inte. Mjuk återkallelse är lägre än mjuk precision för varje system, vilket innebär att prestandan sjunker när hela den begärda volymen går in i nämnaren. Perplexity behåller 0,357 i återkallelse från 0,389 i precision, vilket är det minsta gapet; Anthropic faller från 0,354 till 0,222. Konverteringen från mjuk till hård är ännu strängare. Perplexity sjunker från 0,363 i mjuk F1 till 0,133 i hård F1, och Anthropic från 0,249 till 0,072. Den bästa hårda precisionen är 0,150 och den bästa hårda återkallelsen är 0,134: även ledaren får fulla krediter för endast ungefär en av sju medlemmar den lämnar in och en av sju medlemmar som uppgiften ber om.

Skalan förvärrar problemet. Från den minsta till den största målvolymbehållaren sjunker Perplexitys hårda precision från 0,235 till 0,096 och dess hårda återkallelse från 0,219 till 0,079. Anthropic faller från 0,205 till 0,113 och från 0,127 till 0,042; OpenAI faller från 0,109 till 0,034 och från 0,102 till 0,016. Återkallelsen faller vanligtvis snabbare än precisionen: ett system kan behålla en liten ficka av kompletta medlemmar samtidigt som det täcker mindre och mindre av den begärda uppsättningen.

Djupare hierarkier är ännu strängare. Från ingen mellanliggande nyckel till tre eller fler faller Perplexitys hårda precision från 0,392 till 0,019 och den hårda återkallelsen från 0,378 till 0,017; Anthropic faller från 0,311 till 0,049 och från 0,229 till 0,022; OpenAI faller från 0,136 till 0,012 och från 0,120 till 0,011. Varje tillagd gren skapar en ny plats där en medlem kan missa den allt-eller-inget-hårda poängen. Kostnad och latens följer inte ett gemensamt monotont mönster.

Förstora

Redan innan kvaliteten bedöms är upptäckt den första strukturella flaskhalsen. Om man enbart tittar på råa, för-kollapsade räkningar, varierar den genomsnittliga slutförandegraden för upptäckt på toppnivå från 0,611 till 0,951. Villkorlig anrikning är starkare på 0,767–0,967, och slutförandet av terminala bevisslots når 0,979–0,994 när en medlem och dess anrikningssökväg existerar. Perplexity leder upptäckt på 0,951 och anrikning på 0,967, men OpenAI är något högre på terminala bevisslots på 0,994 mot 0,991. Duplikatkollaps står för endast 0,017–0,205 procentenheters förlust i antal över de sex fulla körningarna, så underleverans, inte identitetssammanslagning, är den huvudsakliga samlade förklaringen. De största råa strukturella förlusterna inträffar innan den slutliga webbadressen bifogas.

Förstora

Att hitta en användbar sida är vanligtvis enkelt; att hitta fullständiga bevis är svårt. För fem system är endast 3,2 %–8,9 % av inlämnade sidor oanvändbara; OpenAI är avvikaren med 23,1 %. Ogiltiga eller feltypade poster är också relativt ovanliga på 4,2 %–17,4 %. De dominerande förlusterna kommer härnäst: 33,6 %–68,3 % av inlämnade sidor misslyckas med minst ett substantiellt uppgiftskrav, och 57,5 %–86,6 % av inlämnade utdrag misslyckas med att stödja allt som posten hävdar. Perplexitys andelar är 41,4 % och 57,5 %. Dess mjuka F1 faller från 0,531 under den enbart hämtningsbaserade kontrollen, som enbart frågar om sidan uppfyller varje substantiellt krav, till 0,363 under den fullständiga domen, som också kräver universella kontroller, uppgiftsspecifik giltighet och komplett utdragsstöd. Hård F1 faller på liknande sätt från 0,245 till 0,133. Det svåra är inte bara att nå en rimlig sida; det är att förvandla den sidan till tillräckliga bevis för hela påståendet.

Förstora

Search as Code passar väl för denna uppgiftsform. En modell kan uttrycka hämtning, filtrering, utspridning, rendering, kopplingar, deduplicering och stopplogok som ett program, medan deterministisk beräkning hanterar upprepade operationer utanför modellkontexten. Den profilen överensstämmer med Perplexitys starkare breddbevarande och utdragskonstruktion, även om den inte leder i varje lager: Anthropic har den lägsta felfrekvensen för sidkrav.

Vad som händer härnäst

WANDR tillhandahåller mer än bara en enskild poängtavla. Dess gemensamma uppgiftsstruktur och halva-automatiserade pipeline stöder varierad generering av uppgifter i hög volym, medan bedömningar per post och poäng på hierarkinivå visar var en körning misslyckas: upptäckt, anrikning, identitetshantering, semantisk kvalificering eller beviskonstruktion. De lanserade uppgifterna, verifikatorn och strukturella diagnostiken utgör en grund för att förbättra omfattande sökande system och testa om dessa vinster håller i skala.

Samma struktur kan också göra WANDR användbar för förstärkningsinlärning. Istället för att förlita sig på en enda gles terminal belöning kan en tränare använda bedömningar på post- och grennivå, tilldela delpoäng för upptäckts- och anrikningsframsteg samt bygga en läroplan genom att höja de erforderliga räkningarna över tid. Pipelinen kan generera undanhållna syskonuppgifter över domäner, hierarkiformer, bevisregler och bredd- och djupinställningar utan att räkna upp guldssvar. Detta skapar en väg för att träna agenter inte bara att hitta korrekta fakta, utan också att planera för täckning, upptäcka saknade grenar och återhämta sig innan de stoppar.

Mätvärdesuppgifterna, utvärderingsverktyget och den fullständiga tekniska rapporten är tillgängliga på GitHub.

Citering

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}