WANDR viðmið: Að meta rannsóknarumboðsmenn sem verða að leita víða og ítarlega

Í dag gefum við út WANDR (Wide ANd Deep Research), opið viðmið og matstæki sem byggir á 500 raunhæfum, krefjandi gagnasöfnunarverkefnum fyrir þekkingarstörf. WANDR er breiða systkinið við DRACO viðmiðið okkar fyrir ítarleg rannsókn. DRACO spyr hvort umboðsmaður geti framleitt nákvæma, fullkomna og hlutlæga ítarlega skýrslu; WANDR spyr hvort það geti byggt upp stórt safn og stytt við hvern meðlim með sérstökum sönnunargögnum.

Þetta eru þær tegundir starfa sem fólk afhendir rannsóknarumboðsmönnum þegar í stað: samkeppniskortlagning, áreiðanleikakönnun, bókmenntayfirlit, markaðsgreining, vörusamningur, hæfileikasöfnun og margt fleira. Verkefnin eru á bilinu frá tugum til þúsunda sjálfstætt sannreynanlegra færslna. Jafnvel við mikla áreynslu nær sterkasta kerfið í mati okkar aðeins 0,363 mjúku F1 og 0,133 hörðu F1. Breið-og-ítarleg rannsókn er enn langt frá því að vera leyst.

Stækka

Af hverju breið-og-ítarleg rannsókn skiptir máli

Mörg gagnleg rannsóknarstörf enda ekki þegar umboðsmaður finnur eitt svar. Markaðsgreiningaraðili gæti þurft á hverjum hæfum keppinaut að halda, með sömu sönnunargögnum fyrir hvern um sig. Áreiðanleikakönnunarteymi gæti þurft tugi fyrirtækja, síðan eignarhald, stjórnendur, fjármögnun og eftirlitsstöðu fyrir hvert og eitt þeirra. Það skapar tvær aðskildar kröfur:

Breitt: uppgötva stórt og oft opið sett af hæfum aðilum.

Ítarlegt: rannsaka hvern aðila nógu vel til að styðja hverja umbeðna fullyrðingu með sönnunargögnum.

Að sameina þetta tvennt breytir vandamálinu. Handfylli af sannfærandi dæmum dugar ekki, og ekki heldur fágað ferðasaga sem byggir á ófullkomnum rannsóknum. Umboðsmaðurinn verður að viðhalda víðtækri leit án þess að fórna staðreyndagæðum úr einni færslu yfir í þá næstu.

WANDR tekur þá uppbyggingu saman með sveigjanlegu, samsetanlegu hæfnislyklahierarkíu. Verkefni gæti beðið um

company(n) → employee(m) → url(k)

Þetta þýðir að finna n hæf fyrirtæki, m hæfa starfsmenn hjá hverju fyrirtæki og k stuðningssíður fyrir hvern starfsmann. Hver heill ferill í gegnum tréið er hægt að staðfesta sjálfstætt. Sömu grunnuppbygging getur táknað flatan lista, hreiðraða leit, fylki eða verkefni með mörgum sönnunargreinum. Þessi munstur má einnig sameina, sem gerir einni táknun kleift að ná yfir breitt svið raunverulegra notkunartilvika.

Stækka

Eitt útgefið verkefni sýnir þessa uppbyggingu í verki.

ceo_cfo_appointments

Aðalverkefni. Finndu að minnsta kosti 70 fyrirtæki með aðsetur í Bandaríkjunum með skipun á forstjóra eða fjármálastjóra sem fyrst var tilkynnt á milli 1. mars og 30. apríl 2026. Fyrir hvert fyrirtæki skal veita viðurkennda skipunarsíðu sem auðkennir fyrirtækið og skipunaraðilann, staðfestir hlutverkið og tilkynningardagsetningu, og kemur frá útgefanda, skráningu, fréttaveitu eða beint úthlutaðri fyrstu hendi viðskiptablaðamennsku.

Aðalstigskipting. company(70) → company_appointee(1) → url(1).

Undirverkefni fyrirtækjaskráningar. Fyrir sömu fyrirtæki skal veita viðurkennda skráningaryfirvaldasíðu sem sýnir annað hvort skráningu á landsbundnum verðbréfamarkaði í Bandaríkjunum eða stöðu sem útgefandi sem tilkynnir samkvæmt SEC Exchange Act í Bandaríkjunum.

Undirstigskipting. company(70) → url(1).

Færslur krafðar. 140: 70 skipunarfærslur auk 70 skráningarfærslna.

Hver ferill endar á síðu og úrdráttum sem matsmaðurinn getur endurskoðað. Sameiginlegi fyrirtækjalykillinn raðar saman skipunar- og skráningargreinum, þannig að skipun án aðskilinnar sönnunar á skráningarstöðu skilur það fyrirtæki eftir ófullkomið.

Raunhæf verkefni, búin til í stórum stíl

WANDR byrjar á afgreindum munstrum sem sjást í framleiðslunotkun fremur en tilbúnum skipunum. Þetta heldur viðmiðinu nálægt því starfi sem fólk úthlutar í raun: opinni uppgötvun, endurtekinni auðgun, þverheimildaeftirliti og skipulögðum samanburði í atvinnuskyni. Hálfsjálfvirk leiðsla breytir þeim munstrum í verkefni og frátekur mannlegt átak fyrir gæðaeftirlit í stað tæmandi svaraútskýringar.

Leiðslan hefur fjögur stig. Sáning námur afgreiddar vörubeiðnir fyrir endurnýtanlegt breitt rannsóknarmunstur. Höfundur keyrir samtvinnaða höfundar-gagnrýnendalykkju: umboðsmennirnir teikna og prófa hönnunina, skrifa verkefnislýsingu og dómara, búa til prófunarfærslur og nota vélrænan linter til the halda öllu í takt. Inntaka athugar hvort markmiðsmagnið sé náð með þessu að sameina 10–12 höfundarútköll, endurskoðar verkefnasértæka dómarann og bætir valfrjálst við mannlegri undirskrift. Safnun merkir inntökuverkefnin og velur jafnvægi lokasett þvert á efni, mælikvarða, topology og erfiðleika.

Stækka

Miðgildi verkefnis biður um 50 meðlimi, fjórar færslur á hvern meðlim og 245 færslur í heildina. Samanlagt kalla verkefnin 500 á 170.495 heimildatengdar færslur. Við kvarðum erfiðleika út frá sögulegum hönnunarstigsútköllum, skiptum síðan verkefnunum eftir röð í 167 lægri-, 166 mið- og 167 hærri erfiðleikadæmi. Línuritið hér að neðan sýnir að erfiðleikar ráðast ekki eingöngu af umfangi; það fer einnig eftir vinnunni sem krafist er fyrir hverja færslu.

Stækka

Mat án tilvísana, staðfest með sönnunargögnum

Fastur svarlykill hentar illa fyrir opnar rannsóknir. Hann er dýr í smíðum, eldist hratt og endurspeglar illa spurningar sem breytast með tímanum. WANDR gefur þess í stað einkunn fyrir hverja innsenda fullyrðingu miðað við sönnunargögnin sem umboðsmaðurinn vísar í.

Hver færsla inniheldur hlut, vefslóð, valda úrdrátt og svar. Matsmaðurinn sækir síðuna aftur og athugar hvort hún sé nothæf, hvort fullyrðingin sé skýr og innan gildissviðs, hvort úrdrættirnir birtist trúlega á síðunni og hvort bæði síðan og úrdrættirnir styðji allar kröfur.

Þessir tvíundarfærsludómar rúlla upp í gegnum stigskiptinguna. Nákvæmni mælir gæði þess sem kerfið skilaði inn. Innköllun mælir gæðaleiðrétta lokun gegn umbeðnu magni, og fyllir upp í alla skort með núllum. F1 jafnvægir þetta tvennt. Mjúk stig gefa hlutareiningar ófullkomnum meðlimum; hörð stig telja aðeins meðlimi þess sem allt nauðsynlegt hluttré er rétt fyrir. Til greiningar tilkynnir WANDR einnig dóm sem eingöngu snýst um heimildasókn sem spyr hvort sótta síðan uppfylli verkefnið áður en strangari athuganir á gildi og innsendum úrdrætti eru bættar við.

Þetta gerir bilanir túlkanlegar og staðsetjanlegar. Há nákvæmni með lágri innköllun þýðir venjulega að kerfið fann nokkra góða meðlimi en ekki nógu marga. Stórt fall frá mjúku í hart þýðir að það náði hlutaárangri en kláraði sjaldan hverja grein sem þurfti til að fá fullar einingar. Einkagnartréð getur staðsett tapið við uppgötvun, auðgun, auðkennameðhöndlun, síðuhæfni eða útdrátt sönnunargagna.

Stækka

Það sem við fundum

Við bárum saman sex framleiðslukerfi: hýst verkefna- og leitar-API, almenn vef-umboðs-API, ítarleg rannsóknarvara og forritunarleitarstjórnunarkerfi okkar, Search as Code (SaC). Hvert um sig var tímasett á öllum 500 verkefnunum undir læstri stillingu, fór síðan í gegnum sömu sóknar-, dóms-, auðkenna- og stigunarleiðslu.

Perplexity Search as Code leiðir á 0,363 mjúku F1 og 0,133 hörðu F1. Anthropic er í öðru sæti með 0,249 og 0,072; öll önnur kerfi toppa við 0,121 mjúkt F1 og 0,035 hart F1. Ekkert kerfi ríkir yfir bæði gæðum og skilvirkni. Perplexity er í miðju kostnaðarbilinu á $5,20 á verkefni, með 14,9 mínútna miðgildi lausnatíma og 3,82 milljónum tilgreindra tákna á verkefni. OpenAI og Exa eru hraðari og ódýrari en fá miklu lægri einkunnir. Anthropic kemst næst hvað varðar gæði, en notar verulega meiri tíma, peninga og tákn.

Stækka

Stækka

Við metum einnig allar tiltækar áreynslustillingar á sama 45-verkefna hlutasetti. Meiri áreynsla bætir Perplexity, Gemini og Exa á hverju skrefi; Perplexity nær 0,447 mjúku F1 og 0,224 hörðu F1 við xhigh. Miri áreynsla er þó ekki jafnt yfir betri: OpenAI nær hámarki við high, og hart F1 hjá Parallel rennur lítillega á milli ultra2x og ultra4x. Kostnaður spannar meira en fjóra stærðargráður, frá $0,03 á verkefni fyrir Exa low upp í $324,83 fyrir Gemini max.

Stækka

Stækka

Fjórar niðurstöður standa upp úr.

Hlutaárangur er algengur; fullkomin umbul er það ekki. Mjúk innköllun er undir mjúkri nákvæmni fyrir hvert kerfi, sem þýðir að árangur fellur þegar allt umbeðið magn fer í nefnarann. Perplexity heldur 0,357 innköllun frá 0,389 nákvæmni, minnsta bilið; Anthropic fellur úr 0,354 í 0,222. Mjúkt-til-hart umbreytingin er enn grófari. Perplexity fellur úr 0,363 mjúku F1 í 0,133 hart F1, og Anthropic úr 0,249 í 0,072. Besta hárða nákvæmni er 0,150 og besta hárða innköllun er 0,134: jafnvel leiðtoginn fær fullar einingar fyrir aðeins um einn af hverjum sjö meðlimum sem hann skilar inn og einn af hverjum sjö meðlimum sem verkefnið biður um.

Umfang safnar saman vandamálinu. Frá minnsta til stærsta markmiðsmagnsbing, fellur hörð nákvæmni Perplexity úr 0,235 í 0,096 og hörð innköllun úr 0,219 í 0,079. Anthropic fellur úr 0,205 í 0,113 og úr 0,127 í 0,042; OpenAI fellur úr 0,109 í 0,034 og úr 0,102 í 0,016. Innköllun fellur venjulega hraðar en nákvæmni: kerfi gæti haldið litlum vasa af fullkomnum meðlimum á meðan það þekur minna og minna af umbeðna settinu.

Dýpri stigskiptingar eru enn grófari. Að fara úr engum millilykli í þrjá eða fleiri, hörð nákvæmni Perplexity fellur úr 0,392 í 0,019 og hörð innköllun úr 0,378 í 0,017; Anthropic fellur úr 0,311 í 0,049 og úr 0,229 í 0,022; OpenAI fellur úr 0,136 í 0,012 og úr 0,120 í 0,011. Hver viðbætt grein skapar annan stað þar sem meðlimur getur misst af öllu-eða-engu hárða stiginu. Kostnaður og seinkun fylgja ekki algengu einhæfu mynstri.

Stækka

Jafnvel áður en gæði eru metin er uppgötvun fyrsti burðarvirki flöskuhálsinn. Að líta eingöngu á hráar talningar fyrir hrun, meðaltal á efsta stigs uppgötvunarlokun er á bilinu 0,611 til 0,951. Skilyrt auðgun er sterkari á 0,767–0,967, og endanleg sönnunargagnastöðum lokun nær 0,79–0,994 þegar meðlimur og auðgunarferill hans eru til staðar. Perplexity leiðir uppgötvun á 0,951 og auðgun á 0,967, en OpenAI er örlítið hærra á endanlegum sönnunargagnastöðum á 0,994 á móti 0,991. Afritunarhrun stendur aðeins fyrir 0,017–0,205 prósentustigum af töpum á fjölda þvert á sex fullar keyrslur, þannig að vanafhending, en ekki auðkenna-sameining, er aðal heildarútskýringin. Stærstu hráu burðarvirki töp eiga sér stað áður en endanleg vefslóð er tengd.

Stækka

Að finna nothæfa síðu er venjulega auðvelt; að finna fullkomin sönnunargögn er erfitt. Fyrir fimm kerfi eru aðeins 3,2%–8,9% af innsendum síðum óhæf; OpenAI er 23,1% frávikið. Ógildar eða rangrar tegundar færslur eru einnig tiltölulega sjaldgæfar á 4,2%–17.4%. Ríkjandi töp koma næst: 33,6%–68,3% af innsendum síðum mistakast við að minnsta kosti eina efnismikla verkefniskröfu, og 57,5%–86,6% af innsendum úrdrætti mistakast við að styðja allt sem færslan heldur fram. Hlutfall Perplexity er 41,4% og 57,5%. Mjúkt F1 þess fellur úr 0,531 undir leitar-eingöngu athuguninni, sem spyr eingöngu hvort síðan uppfylli allar efnismiklar kröfur, í 0,363 undir fullum dómstóli, sem krefst einnig almennra athugana, verkefnasértækrar gilda og fullkomins útdráttarstuðnings. Hart F1 fellur eins úr 0,245 í 0,133. Herti hlutinn er ekki bara að ná í sennilega síðu; það er að breyta þeirri síðu í nægileg sönnunargögn fyrir alla fullyrðinguna.

Stækka

Search as Code passar vel við þessa verkefnaform. Líkan getur tjáð leit, síun, útdeilingu, renderingu, tengingar, afritun og stöðvunarrökfræði sem forrit, á meðan ákveðin útreikningur sér um endurteknar aðgerðir utan líkansamhengisins. Sá prófíll er í samræmi við sterkari breiddarsöfnun og útdráttarsmíð Perplexity, þó að það leiði ekki á öllum lögum: Anthropic er með lægsta bilunarhlutfall síðukröfu.

Hvað er næst

WANDR veitir meira en eina stigatöflu. Sameiginleg verkefnauppbygging þess og hálfsjálfvirk leiðsla styðja við fjölbreytta, háa-bindi verkefnagerð, á meðan færsludómar og stigskiptingarskstig sýna hvar keyrsla bregst: uppgötvun, auðgun, auðkennameðhöndlun, merkjafræðileg hæfni eða sönnunargagnasmíð. Útgefnu verkefnin, sannprófunartækið og burðarvirkisgreiningar veita grundvöll til að bæta alhliða leitarkerfi og prófa hvort þessir hagnaðar haldist í stórum stíl.

Sömu uppbygging gæti einnig gert WANDR gagnlegt fyrir styrktarnám. Í stað þess að treysta á eina strjála endabætur, getur þjálfari notað dóm á færslu- og greinarstigi, úthlutað hlutaeiningum fyrir uppgötvun og auðgunarárangur, og byggt upp námskrá með því að hækka nauðsynlega talningu með tímanum. Leiðslan getur búið til frátekin systkinverkefni þvert á svið, stigskiptingarlögun, sönnunargagnareglur og breiddar- og dýptarstillingar án þess að telja upp gullin svör. Þetta skapar leið til að þjálfa umboðsmenn ekki aðeins til að finna réttar staðreyndir, heldur einnig til að skipuleggja umfjöllun, greina vantar greinar og ná sér á strik áður en stöðvað er.

Viðmiðunarverkefnin, matstækið og fulla tækniskýrslan eru fáanleg á GitHub.

Tilvitnun

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}