WANDR etalons: Pētījumu aģentu novērtēšana, kam jāmeklē plaši un padziļināti

Šodien mēs izlaižam WANDR (Wide ANd Deep Research) — atvērtu etalonu un novērtēšanas rīku kopu, kas izveidota ap 500 reālistiskiem, sarežģītiem datu vākšanas uzdevumiem zināšanu darbam. WANDR ir mūsu DRACO padziļinātās izpētes etalona plašais līdzinieks. DRACO uzdod jautājumu, vai aģents var izveidot precīzu, pilnīgu un objektīvu padziļinātu pārskatu; WANDR uzdod jautājumu, vai tas var izveidot lielu kolekciju un katru ierakstu pamatot ar konkrētiem pierādījumiem.

Šie ir tie uzdevumu veidi, ko cilvēki jau uztic izpētes aģentiem: konkurētspējas kartēšana, padziļinātā pārbaude (due diligence), literatūras apskats, tirgus analīze, produktu salīdzināšana, talantu piesaiste un daudz kas cits. Uzdevumi ietver no desmitiem līdz tūkstošiem neatkarīgi pārbaudāmu ierakstu. Pat ar lielu piepūles iestatījumu spēcīgākā sistēma mūsu novērtējumā sasniedz tikai 0,363 mīksto F1 un 0,133 cieto F1. Plaša un padziļināta izpēte joprojām ir tālu no atrisināšanas.

Izvērst

Kpēc plaša un padziļināta izpēte ir svarīga

Daudzi noderīgi izpētes uzdevumi nebeidzas brīdī, kad aģents atrod vienu atbildi. Tirgus analītiķim var būt nepieciešams katrs atbilstošs konkurents ar vienādiem pierādījumiem katram. Padziļinātās izpētes komandai var būt nepieciešami desmitiem uzņēmumu, pēc tam katram no tiem — īpašumtiesības, vadītāji, finansējums un regulatīvais statuss. Tas rada divas atsevišķas prasības:

Plaši: atklāt lielu un bieži vien neierobežotu atbilstošo vienību kopu.

Padziļināti: izpētīt katru vienību pietiekami tālu, lai pamatojami pamatotu katru pieprasīto apgalvojumu ar pierādījumiem.

Abu apvienošana maina problēmu. Ar nedaudziem pārliecinošiem piemēriem nepietiek, tāpat kā nepietiek ar slīpētu stāstījumu, kas balstīts uz nepilnīgu izpēti. Aģentam ir jānodrošina plaša atklāšana, neupurējot faktoloģisko kvalitāti no viena ieraksta uz nākamo.

WANDR iemanto šo struktūru ar elastīgu, kombinējamu kvalifikācijas atslēgu hierarhiju. Uzdevums var pieprasīt

company(n) → employee(m) → url(k)

Tas nozīmē atrast n atbilstošus uzņēmumus, m atbilstošus darbiniekus katrā uzņēmumā un k atbalsta lapas katram darbiniekam. Katru pilnīgu ceļu cauri kokam var validēt neatkarīgi. Tā pati pamata struktūra var attēlot plakanu sarakstu, ligzdotu meklēšanu, matricu vai uzdevumu ar vairākiem pierādījumu zariem. Šos modeļus var arī kombinēt, ļaujot vienam attēlojumam aptvert plašu reālās pasaules lietošanas gadījumu klāstu.

Izvērst

Viens izlaistais uzdevums ilustrē šo struktūru praksē.

ceo_cfo_appointments

Galvenais uzdevums. Atrast vismaz 70 ASV bāzētus uzņēmumus ar izpilddirektora (CEO) vai finanšu direktora (CFO) iecelšanu amatā, kas pirmo reizi paziņota laika posmā no 2026. gada 1. marta līdz 30. aprīlim. Katram uzņēmumam nodrošināt autoritatīvu iecelšanas lapu, kas identificē uzņēmumu un iecelto personu, nosaka lomu un paziņošanas datumu, kā arī nāk no emitenta, iesnieguma, ziņu aģentūras vai ir tieši piedēvēta pirmavota biznesa žurnālistikai.

Galvenā hierarhija. company(70) → company_appointee(1) → url(1).

Uzņēmumu saraksta apakšuzdevums. Tiem pašiem uzņēmumiem nodrošināt atzītu saraksta iestādes lapu, kas uzrāda vai nu iekļaušanu ASV nacionālajā vērtspapīru biržā, vai ASV reģistrētas SEC Apmaiņas akta pārskata emitenta statusu.

Apakšuzdevuma hierarhija. company(70) → url(1).

Nepieciešamie ieraksti. 140: 70 iecelšanas ieraksti un 70 saraksta ieraksti.

Katrs ceļš beidzas lapā un izgriezumos, ko vērtetājs var pārbaudīt atkārtoti. Kopējā uzņēmuma atslēga saskaņo iecelšanas un saraksta zarus, tāpēc iecelšana bez atsevisķa saraksta statusa pierādījuma joprojām atstāj šo uzņēmumu nepilnīgu.

Reālistiski uzdevumi, kas ģenerēti mērogā

WANDR sākas no deidentificētiem modeļiem, kas novēroti ražošanas lietojumā, nevis sintētiskām uzvednēm. Tas saglabā etalonu tuvu darbam, ko cilvēki faktiski delegē: atvērtu atklāšanu, atkārtotu bagātināšanu, starravotu pārbaudes un strukturētus salīdzinājumus profesionālā mērogā. Pusautomātiskā konveijers pārvērš šos modeļus uzdevumos, rezervējot cilvēka pūles kvalitātes kontrolei, nevis izsmelošai atbilžu anotācijai.

Konveijeram ir četri posmi. Sēšana (Seeding) iegūst deidentificētus produkta pieprasījumus atkārtoti izmantojamam plaša pētījuma modelim. Autortiesības / izstrāde (Authoring) darbina mijiedarbīgu autora un kritiķa cilpu: aģenti skicē un stresa testē dizainu, raksta uzdevuma specifikāciju un tiesnesi, izveido fiksatoru ierakstus un izmanto mehānisku lintētāju, lai viss būtu saskaņots. Uzņemšana (Admission) pārbauda, ka mērķa apjoms ir sasniedzams, sapludinot 10–12 autorizācijas izlaides, auditē uzdevumam specifisko tiesnesi un pēc izvēles pievieno cilvēka apstiprinājumu. Kuratūra (Curation) marķē uzņemtos uzdevumus un atlasa līdzsvarotu galīgo kopu dažādām tēmām, mērogam, topoloģijai un grūtības pakāpei.

Izvērst

Mediānas uzdevums pieprasa 50 dalībniekus, četrus ierakstus uz dalībnieku un 245 ierakstus kopumā. Kopumā 500 uzdevumi pieprasa 170 495 avota pamatotus ierakstus. Mēs kalibrējam grūtības pakāpi no vēsturiskajām dizaina posma izlaidēm, pēc tam sadalām uzdevumus pēc ranga 167 zemākas, 166 vidējas un 167 augstākas grūtības pakāpes piemēros. Zemāk redzamais grafiks parāda, ka grūtības pakāpi nenosaka tikai mērogs; tas ir atkarīgs arī no darba, kas nepieciešams katram ierakstam.

Izvērst

Bezreferences, ar pierādījumiem verificēta vērtēšana

Fiksēta atbilžu atslēga slikti der atvērtai izpētei. To ir dārgi izveidot, tā ātri noveco un slikti atspoguļo jautājumus, kuru atbildes laika gaitā mainās. Tā vietā WANDR novērtē katru iesniegto apgalvojumu pret pierādījumiem, ko aģents citē.

Katrs ieraksts satur vienumu, URL, atlasītus izgriezumus un atbildi. Vērtetājs atkārtoti ielādē lapu un pārbauda, vai tā ir lietojama, vai apgalvojums ir skaidrs un ietilpst darbības jomā, vai izgriezumi ticami parādās lapā un vai gan lapa, gan izgriezumi pamato katru prasību.

Šie binārie ieraksta spriedumi tiek apkopoti hierarhijā. Precizitāte (Precision) mēra sistēmas iesniegtā kvalitāti. Atsaukums (Recall) mēra kvalitātes koriģēto izpildi pret pieprasīto apjomu, aizpildot jebkuru trūkumu ar nullēm. F1 līdzsvaro abus. Mīkstie rīki sniedz daļējus kredītus nepilnīgiem dalībniekiem; cietie rīki skaita tikai tos dalībniekus, kuru pilnais pieprasītais pakārtotais koks ir pareizs. Diagnostikai WANDR ziņo arī par spriedumu, kas balstīts tikai uz izgūšanu, kurš uzprasa, vai ielādētā lapa apmierina uzdevumu pirms stingrāko pārbaužu pievienošanas par derīgumu un iesniegtajiem izgriezumiem.

Tas padara kļūmes interpretējamas un lokalizējamas. Augsta precizitāte ar zemu atsaukumu parasti nozīmē, ka sistēma atrada dažus labus dalībniekus, bet ne pietiekami daudz. Liels mīkstā pret cieto kritums nozīmē, ka tā sasniedza daļēju progresu, bet reti pabeidza katru zaru, kas nepieciešams pilnīgam kredītam. Rezultātu koks var lokalizēt zudumu atklāšanā, bagātināšanā, identitātes apstrādē, lapas kvalifikācijā vai pierādījumu ieguvē.

Izvērst

Ko mēs atklājām

Mēs salīdzinājām sešas ražošanas sistēmas: mitinātas uzdevumu un meklēšanas API, vispārējās tīmekļa aģenta API, padziļinātas izpētes produktu un mūsu programmatiskās meklēšanas orķestrēšanas sistēmu Search as Code (SaC). Katra tika ieplānota visos 500 uzdevumos ar piespraustu konfigurāciju, pēc tam izgāja cauri tam pašam ielādes, tiesneša, identitātes atrisināšanas un vērtēšanas konveijeram.

Perplexity Search as Code ir līderis ar 0,363 mīksto F1 un 0,133 cieto F1. Anthropic ir otrajā vietā ar 0,249 un 0,072; visas pārējās sistēmas sasniedz maksimumu pie 0,121 mīkstā F1 un 0,035 cietā F1. Neviena sistēma nedominē gan kvalitātē, gan efektivitātē. Perplexity atrodas izmaksu diapazona vidū ar 5,20 ASV dolāriem par uzdevumu, 14,9 minūšu mediānas atrisināšanas laiku un 3,82 miljoniem ziņoto marķieru (token) uzdevumā. OpenAI un Exa ir ātrāki un lētāki, bet to rezultāti ir daudz zemāki. Anthropic ir vistuvāk kvalitātes ziņā, taču izmanto ievērojami vairāk laika, naudas un marķieru.

Izvērst

Izvērst

Mēs novērtējām arī katru pieejamo piepūles iestatījumu uz tās pašas 45 uzdevumu apakškopas. Lielāka piepūle uzlabo Perplexity, Gemini un Exa katrā solī; Perplexity sasniedz 0,447 mīksto F1 un 0,224 cieto F1 pie xhigh. Tomēr lielāka piepūle nav vienmērīgi labāka: OpenAI sasniedz maksimumu pie high, un Parallel cietais F1 nedaudz samazinās starp ultra2x un ultra4x. Izmaksas aptver vairāk nekā četras lieluma kārtas — no 0,03 ASV dolāriem par uzdevumu Exa low līdz 324,83 ASV dolāriem Gemini max.

Izvērst

Izvērst

Izceļas četri atklājumi.

Daļējs progress ir izplatīts; pilnīgs pārklājums nav. Mīkstais atsaukums ir zemāks par mīksto precizitāti katrai sistēmai, kas nozīmē, ka veiktspēja samazinās, tiklīdz viss pieprasītais apjoms nonāk saucējā. Perplexity saglabā 0,357 atsaukumu no 0,389 precizitātes, kas ir mazākā starpība; Anthropic krītas no 0,354 līdz 0,222. Mīkstā pret cieto konversija ir vēl skarbāka. Perplexity nokrītas no 0,363 mīkstā F1 uz 0,133 cieto F1, un Anthropic no 0,249 līdz 0,072. Labākā cietā precizitāte ir 0,150 un labākais cietais atsaukums ir 0,134: pat līderis nopelna pilnu kredītu tikai par aptuveni vienu no septiņiem dalībniekiem, ko tas iesniedz, un vienu no septiņiem dalībniekiem, ko uzdevums prasa.

Mērogs sarežģī problēmu. No mazākās līdz lielākajai mērķa apjoma grupas binārajai vērtībai Perplexity cietā precizitāte krītas no 0,235 uz 0,096 un tās cietais atsaukums no 0,219 uz 0,079. Anthropic krītas no 0,205 uz 0,113 un no 0,127 uz 0,042; OpenAI krītas no 0,109 uz 0,034 un no 0,102 uz 0,016. Atsaukums parasti krītas ātrāk nekā precizitāte: sistēma var saglabāt nelielu pilnīgu dalībnieku kabatu, vienlaikus nosedzot arvien mazāku pieprasītās kopas daļu.

Dziļākas hierarhijas ir vēl skarbākas. Pārejot no nevienas starpatslēgas uz trim vai vairākām, Perplexity cietā precizitāte krītas no 0,392 uz 0,019 un cietais atsaukums no 0,378 uz 0,017; Anthropic krītas no 0,311 uz 0,049 un no 0,229 uz 0,022; OpenAI krītas no 0,136 uz 0,012 un no 0,120 uz 0,011. Katrs pievienotais zars rada vēl vienu vietu, kur dalībnieks var palaist garām visu vai neko cieto rezultātu. Izmaksas un latentums neseko kopīgam monotonam modelim.

Izvērst

Pat pirms kvalitātes vērtēšanas atklāšana ir pirmais strukturālais vājais punkts. Skatoties tikai uz neapstrādātiem, pirms sabrukuma skaitļiem, vidējā augstākā līmeņa atklāšanas pabeigšana svārstās no 0,611 līdz 0,951. Nosacītā bagātināšana ir spēcīgāka ar 0,767–0,967, un terminālo pierādījumu slotu pabeigšana sasniedz 0,979–0,994, tiklīdz pastāv dalībnieks un tā bagātināšanas ceļš. Perplexity ir līderis atklāšanā ar 0,951 un bagātināšanā ar 0,967, bet OpenAI ir nedaudz augstāks terminālo pierādījumu slotu ziņā ar 0,994 pret 0,991. Dublikātu sabrukums veido tikai 0,017–0,205 procentpunktus no skaita zuduma visos sešos pilnajos laidienos, tāpēc galvenais kopējais skaidrojums ir nepietiekama piegāde, nevis identitātes apvienošana. Lielākie neapstrādātie strukturālie zudumi rodas pirms galvenā URL pievienošanas.

Izvērst

Atrast lietojamu lapu parasti ir viegli; atrast pilnīgus pierādījumus ir grūti. Piecām sistēmām tikai 3,2%–8,9% iesniegto lapu nav lietojamas; OpenAI ir 23,1% izņēmums. Nederīgi vai nepareiza veida ieraksti ir arī salīdzinoši reti sastopami ar 4,2%–17,4%. Dominējošie zaudējumi rodas nākamajā posmā: 33,6%–68.3% iesniegto lapu neiziet vismaz vienu būtisku uzdevuma prasību, un 57,5%–86,6% iesniegto izgriezumu neizdodas pamatot visu, ko ieraksts apgalvo. Perplexity rādītāji ir 41,4% un 57,5%. Tās mīkstais F1 nokrītas no 0,531 saskaņā ar izgūšanas pārbaudi vien, kas prasa tikai to, vai lapa atbilst visām būtiskajām prasībām, līdz 0,363 saskaņā ar pilnu spriedumu, kas prasa arī universālās pārbaudes, uzdevumam specifisko derīgumu un pilnīgu izgriezumu atbalstu. Cietais F1 līdzīgi krītas no 0,245 līdz 0,133. Grūtā daļa nav tikai ticamas lapas sasniegšana; tā ir šīs lapas pārvēršana par pietiekamiem pierādījumiem visam apgalvojumam.

Izvērst

Search as Code labi atbilst šai uzdevuma formai. Modelis var izteikt izgūšanu, filtrēšanu, sadalīšanu (fan-out), renderēšanu, savienojumus, deduplikāciju un apturēšanas loģiku kā programmu, kamēr deterministiskā skaitļošana apstrādā atkārtotās darbības ārpus modeļa konteksta. Šis profils ir konsekvents ar Perplexity spēcīgāku platuma saglabāšanu un izgriezumu konstruēšanu, lai gan tas nav līderis katrā slānī: Anthropic ir zemākais lapas prasību kļūmju līmenis.

Kas tālāk

WANDR nodrošina vairāk nekā tikai vienu līderu saraksta rezultātu. Tās kopējā uzdevuma struktūra un pusautomātiskais konveijers atbalsta daudzveidīgu, liela apjoma uzdevumu ģenerēšanu, savukārt ierakstu spriedumi un hierarhijas līmeņa rezultāti parāda, kur izlaidums cieš neveiksmi: atklāšanā, bagātināšanā, identitātes apstrādē, semantiskajā kvalifikācijā vai pierādījumu konstruēšanā. Izlaistie uzdevumi, verificētājs un strukturālā diagnostika nodrošina pamatu visaptverošu meklēšanas sistēmu uzlabošanai un pārbaudei, vai šie ieguvumi saglabājas mērogā.

Tā pati struktūra var padarīt WANDR noderīgu arī pastiprinātajai apmācībai (reinforcement learning). Tā vietā, lai paļautos uz vienu retu terminālo atlīdzību, treneris var izmantot ieraksta un zara līmeņa spriedumus, piešķirt daļēju kredītu par atklāšanas un bagātināšanas progresu un izveidot mācību programmu, laika gaitā palīdzot prasītos skaitļus. Konveijers var ģenerēt izolētus radniecīgos uzdevumus dažādās domēnēs, hierarhijas formās, pierādījumu likumos un platuma-dziļuma iestatījumos, neuzskaitot zelta atbildes. Tas rada ceļu aģentu apmācīšanai ne tikai atrast pareizus faktus, bet arī plānot pārklājumu, noteikt trūkstošos zarus un atgūties pirms apstāšanās.

Etalona uzdevumi, novērtēšanas rīku kope un pilns tehniskais ziņojums ir pieejami GitHub.

Citāts

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}