Benchmark WANDR: Vyhodnotenie výskumných agentov, ktorí musia hľadať do šírky aj hĺbky

Dnes vydávame WANDR (Wide ANd Deep Research), otvorený benchmark a hodnotiaci nástroj vytvorený okolo 500 realistických a náročných úloh zberu údajov pre prácu s vedomosťami. WANDR je širokým súrodencom nášho benchmarku DRACO pre hĺbkový výskum. DRACO zisťuje, či agent dokáže vytvoriť presnú, úplnú a objektívnu rozsiahlu správu; WANDR sa pýta, či dokáže vytvoriť veľkú zbierku a podložiť každého člena konkrétnymi dôkazmi.

Toto sú typy úloh, ktoré ľudia už teraz zverujú výskumným agentom: konkurenčné mapovanie, hĺbková previerka (due diligence), rešerš literatúry, analýza trhu, porovnávanie produktov, získavanie talentov a ďalšie. Úlohy siahajú od desiatok až po tisíce nezávisle overiteľných záznamov. Dokonca aj pri nastavení vysokej námahy dosahuje najsilnejší systém v našom hodnotení len 0,363 mäkkého F1 a 0,133 tvrdého F1. Široký a hĺbkový výskum má do vyriešenia ešte veľmi ďaleko.

Zväčšiť

Prečo na širokom a hĺbkovom výskume záleží

Mnoho užitočných výskumných úloh sa nekončí, keď agent nájde jednu odpoveď. Analytik trhu môže potrebovať každého kvalifikovaného konkurenta s rovnakými dôkazmi pre každého z nich. Tím pre hĺbkovú previerku môže potrebovať desiatky spoločností, a potom vlastníctvo, manažérov, financovanie a regulačný štatút pre každú jednu z nich. To vytvára dve samostatné požiadavky:

Široký: objaviť veľkú a často otvorenú množinu kvalifikovaných entít.

Hĺbkový: preskúmať každú entitu dostatočne hlboko na to, aby bolo možné podložiť každé požadované tvrdenie dôkazmi.

Skombinovanie oboch prístupov mení problém. Hŕstka presvedčivých príkladov nestačí a rovnako nestačí ani vycibrený príbeh postavený na neúplnom výskume. Agent musí udržať široké vyhľadávanie bez obetovania kvality faktov od jedného záznamu k druhému.

WANDR zachytáva túto štruktúru pomocou flexibilnej a skladateľnej hierarchie kvalifikačných kľúčov. Úloha môže požadovať

company(n) → employee(m) → url(k)

To znamená nájsť n kvalifikovaných spoločností, m kvalifikovaných zamestnancov v každej spoločnosti a k podporných stránok pre každého zamestnanca. Každú úplnú cestu stromom možno nezávisle overiť. Rovnaká základná štruktúra môže reprezentovať plochý zoznam, vnorené vyhľadávanie, matricu alebo úlohu s viacerými vetvami dôkazov. Tieto vzory možno tiež kombinovať, čo umožňuje, aby jedna reprezentácia pokryla širokú škálu prípadov použitia v reálnom svete.

Zväčšiť

Jedna vydaná úloha ilustruje túto štruktúru v praxi.

ceo_cfo_appointments

Primárna úloha. Nájdite aspoň 70 spoločností so sídlom v USA s vymenovaním generálneho (CEO) alebo finančného riaditeľa (CFO), ktoré bolo prvýkrát oznámené medzi 1. marcom a 30. aprílom 2026. Pre každú spoločnosť poskytnite autoritatívnu stránku o vymenovaní, ktorá identifikuje spoločnosť a menovanú osobu, stanovuje úlohu a dátum oznámenia a pochádza od emitenta, podania, spravodajskej agentúry alebo priamo pripísanej žurnalistiky z prvej ruky.

Primárna hierarchia. company(70) → company_appointee(1) → url(1).

Podúloha zoznamu spoločností. Pre tie isté spoločnosti poskytnite uznávanú stránku úradu pre zoznamy, ktorá ukazuje buď kótovanie na národnej cenných papierov burze USA, alebo štatút vykazujúceho emitenta SEC Exchange Act so sídlom v USA.

Hierarchia podúlohy. company(70) → url(1).

Požadované záznamy. 140: 70 záznamov o vymenovaní plus 70 záznamov o kótovaní.

Každá cesta končí stránkou a úryvkami, ktoré môže hodnotiaci systém opätovne skontrolovať. Zdieľaný kľúč spoločnosti spája vetvy vymenovania a kótovania, takže vymenovanie bez samostatného dôkazu o štatúte kótovania stále ponecháva túto spoločnosť neúplnú.

Realistické úlohy generované vo veľkom meradle

WANDR vychádza zo vzorov zbavených identifikácie pozorovaných pri produkčnom používaní, a nie zo syntetických výziev. To udržiava benchmark blízko práce, ktorú ľudia skutočne delegujú: otvorené objavovanie, opakované obohacovanie, krížové kontroly zdrojov a štruktúrované porovnávania v profesionálnom meradle. Semi-automatizovaný pipeline premieňa tieto vzory na úlohy a vyhradzuje ľudské úsilie na kontrolu kvality namiesto vyčerpávajúceho anotovania odpovedí.

Pipeline má štyri fázy. Súsenie (Seeding) ťaží z anonymizovaných požiadaviek na produkty pre opakovane použiteľný vzor širokého výskumu. Tvorba (Authoring) spúšťa prekladanú slučku autor-kritik: agenti navrhnú a otestujú dizajn, napíšu špecifikáciu úlohy a posudzovateľ, vytoria vzorové záznamy a použijú mechanický linter na udržanie všetkého v súlade. Prijatie (Admission) kontroluje, či je cieľový objem dosiahnuteľný zlúčením 10 – 12 výstupov tvorby, audituje posudzovateľa špecifického pre úlohu a voliteľne pridáva ľudský podpis. Kurátorstvo (Curation) označuje prijaté úlohy a vyberá vyváženú konečnú množinu naprieč témami, rozsahom, topológiou a obtiažnosťou.

Zväčšiť

Mediánová úloha vyžaduje 50 členov, štyri záznamy na člena a celkovo 245 záznamov. Spoločne 500 úloh vyžaduje 170 495 záznamov podložených zdrojmi. Kalibrujeme obtiažnosť z historických výstupov fázy návrhu, potom rozdelíme úlohy podľa poradia na 167 príkladov s nižšou, 166 so strednou a 167 s vyššou obtiažnosťou. Graf nižšie ukazuje, že obtiažnosť nie je určená len rozsahom; závisí aj od práce požadovanej pre každý záznam.

Zväčšiť

Overovanie bez referencií overené dôkazmi

Pevný kľúč odpovedí sa pre otvorený výskum hodí slabo. Je drahý na vytvorenie, rýchlo zastaráva a zle reprezentuje otázky, ktorých odpovede sa časom menia. WANDR namiesto toho hodnotí každé predložené tvrdenie voči dôkazom, ktoré agent cituje.

Každý záznam obsahuje položku, URL, vybrané úryvky a odpoveď. Hodnotiaci systém opätovne načíta stránku a skontroluje, či je použiteľná, či je tvrdenie jasné a v rozsahu, či sa úryvky verne nachádzajú na stránke a či stránka aj úryvky podporujú každú požiadavku.

Tieto binárne verdikty záznamov sa premietajú do hierarchie. Presnosť (Precision) meria kvalitu toho, čo systém predložil. Úplnosť (Recall) meria dokončenie upravené o kvalitu voči požadovanému objemu, pričom prípadný výadok vyplní nulami. F1 vyvažuje oboje. Mäkké skóre udeľuje čiastočné kredity neúplným členom; tvrdé skóre počítajú iba členov, ktorých úplný požadovaný podstrom je správny. Na diagnózu WANDR hlási aj verdikt len na základe vyhľadávania, ktorý sa pýta, či načítaná stránka spĺňa úlohu pred pridaním prísnejších kontrol platnosti a predložených úryvkov.

Vďaka tomu sú zlyhania interpretovateľné a lokalizovateľné. Vysoká presnosť s nízkou úplnosťou zvyčajne znamená, že systém našiel niekoľkých dobrých členov, ale nie dosť. Veľký pokles z mäkkého na tvrdé znamená, že dosiahol čiastočný pokrok, ale zriedka dokončil každú vetvu potrebnú na plné kredity. Strom skóre môže lokalizovať stratu na objavovanie, obohacovanie, správu identít, kvalifikáciu stránok alebo extrakciu dôkazov.

Zväčšiť

Čo sme zistili

Porovnali sme šesť produkčných systémov: hostované úlohy a vyhľadávacie API, všeobecné API webových agentov, produkt pre hĺbkový výskum a náš programový systém orchesterácie vyhľadávania Search as Code (SaC). Každý z nich bol naplánovaný na všetkých 500 úloh v rámci fixnej konfigurácie a potom prešiel rovnakým pipelineom načítavania, posudzovania, riešenia identít a bodovania.

Perplexity Search as Code vedie s 0,363 mäkkého F1 a 0,133 tvrdého F1. Anthropic je druhý s 0,249 a 0,072; každý iný systém vrcholí na 0,121 mäkkého F1 a 0,035 tvrdého F1. Žiadny systém nedominoval v kvalite aj efektivite zároveň. Perplexity sa nachádza uprostred cenového rozpätia s 5,20 USD za úlohu, s mediánom času riešenia 14,9 minúty a 3,82 milióna vykázaných tokenov na úlohu. OpenAI a Exa sú rýchlejšie a lacnejšie, ale skórujú oveľa nižšie. Anthropic je najbližšie v kvalite, ale spotrebuje podstatne viac času, peňazí a tokenov.

Zväčšiť

Zväčšiť

Vyhodnotili sme aj každé dostupné nastavenie úsilia na rovnakej podskupine 45 úloh. Väčšie úsilie zlepšuje Perplexity, Gemini a Exa v každom kroku; Perplexity dosahuje 0,447 mäkkého F1 a 0,224 tvrdého F1 pri xhigh. Vyššie úsilie však nie je rovnomerne lepšie: OpenAI dosahuje vrchol pri high a tvrdé F1 systému Parallel mierne klesá medzi ultra2x a ultra4x. Náklady presahujú štyri rády, od 0,03 USD za úlohu pre Exa low po 324,83 USD pre Gemini max.

Zväčšiť

Zväčšiť

Vynikajú štyri zistenia.

Čiastočný pokrok je bežný; úplné pokrytie nie. Mäkká úplnosť je pod mäkkou presnosťou pre každý systém, čo znamená, že výkon klesá, akonáhle do menovateľa vstúpi celý požadovaný objem. Perplexity si zachováva úplnosť 0,357 z presnosti 0,389, čo je najmenšia medzera; Anthropic klesá z 0,354 na 0,222. Prechod z mäkkého na tvrdý je ešte prísnejší. Perplexity klesá z 0,363 mäkkého F1 na 0,133 tvrdého F1 a Anthropic z 0,249 na 0,072. Najlepšia tvrdá presnosť je 0,150 a najlepšia tvrdá úplnosť je 0,134: dokonca aj líder získava plné kredity len za približne jedného zo siedmich členov, ktorých predloží, a jedného zo siedmich členov, ktorých úloha požaduje.

Rozsiahlejšie meradlo komplikuje problém. Od najmenšieho po najväčší zásobník cieľového objemu klesá tvrdá presnosť Perplexity z 0,235 na 0,096 a jej tvrdá úplnosť z 0,219 na 0,079. Anthropic klesá z 0,205 na 0,113 a z 0,127 na 0,042; OpenAI klesá z 0,109 na 0,034 a z 0,102 na 0,016. Úplnosť zvyčajne klesá rýchlejšie ako presnosť: systém môže si udržať malú kapsu úplných členov, zatiaľ čo pokrýva čoraz menej z požadovanej množiny.

Hlbšie hierarchie sú ešte prísnejšie. Prechodom od žiadneho medzikľúča k trom alebo viacerým klesá tvrdá presnosť Perplexity z 0,392 na 0,019 a tvrdá úplnosť zo 0,378 na 0,017; Anthropic klesá z 0,311 na 0,049 a z 0,229 na 0,022; OpenAI klesá z 0,136 na 0,012 a z 0,120 na 0,011. Každá pridaná vetva vytvára ďalšie miesto, kde člen môže minúť všetko-alebo-nič tvrdé skóre. Náklady a latencia nenapodobňujú bežný monotónny vzor.

Zväčšiť

Ešte pred posúdením kvality je objavovanie prvým štrukturálnym úzkym hrdlom. Pri pohľade iba na surové počty pred kolapsom sa priemerné dokončenie objavovania na najvyššej úrovni pohybuje od 0,611 do 0,951. Podmienené obohacovanie je silnejšie na úrovni 0,767–0,967 a dokončenie terminálnych slotov dôkazov dosahuje 0,79–0,994, akonáhle existuje člen a jeho cesta obohacovania. Perplexity vedie v objavovaní s 0,951 a obohacovaní s 0,967, ale OpenAI je mierne vyššie na terminálnych slotoch dôkazov s 0,994 oproti 0,991. Kolaps duplikátov predstavuje len 0,017–0,205 percentuálnych bodov straty počtov naprieč šiestimi úplnými behmi, takže nedostatočné dodanie, a nie zlučovanie identit, je hlavným súhrnným vysvetlením. Najväčšie surové štrukturálne straty nastávajú pred pripojením konečnej URL.

Zväčšiť

Nájsť použiteľnú stránku je zvyčajne ľahké; nájsť úplné dôkazy je ťažké. Pre päť systémov je nepoužiteľných len 3,2 % – 8,9 % predložených stránok; OpenAI je odľahčená hodnota s 23,1 %. Neplatné záznamy alebo záznamy nesprávneho typu sú tiež relatívne zriedkavé na úrovni 4,2 % – 17,4 %. Hlavné straty prichádzajú ďalej: 33,6 % – 68,3 % predložených stránok zlyháva pri aspoň jednej vecnej požiadavke úlohy a 57,5 % – 86,6 % predložených úryvkov nepodporuje všetko, čo záznam tvrdí. Miera pre Perplexity je 41,4 % a 57,5 %. Jej mäkké F1 klesá z 0,531 pri kontrole iba na základe vyhľadávania, ktorá sa pýta len to, či stránka spĺňa každú vecnú požiadavku, na 0,363 pri úplnom verdikte, ktorý vyžaduje aj univerzálne kontroly, špecifickú platnosť úlohy a úplnú podporu úryvkov. Tvrdé F1 podobne klesá z 0,245 na 0,133. Ťažkou časťou nie je len dosiahnuť vierohodnú stránku; je to premenenie tejto stránky na dostatočný dôkaz pre celé tvrdenie.

Zväčšiť

Search as Code sa dobre hodí k tomuto tvaru úlohy. Model môže vyjadriť vyhľadávanie, filtrovanie, rozvetvenie, vykresľovanie, spájanie, deduplikáciu a logiku zastavenia ako program, zatiaľ čo deterministický výpočtový výkon spracúva opakované operácie mimo kontextu modelu. Tento profil je v súlade so silnejším zachovaním šírky a konštrukciou úryvkov Perplexity, hoci nevedie na každej vrstve: Anthropic má najnižšiu mieru zlyhania požiadaviek na stránku.

Čo bude nasledovať

WANDR poskytuje viac než len jedno skóre v rebríčku. Jeho bežná štruktúra úloh a poloautomatizovaný pipeline podporujú rôznorodé generovanie úloh s vysokým objemom, zatiaľ čo verdikty pre jednotlivé záznamy a skóre na úrovni hierarchie ukazujú, kde beh zlyháva: objavovanie, obohacovanie, správa identít, sémantická kvalifikácia alebo konštrukcia dôkazov. Vydané úlohy, overovateľ a štrukturálne diagnostiky poskytujú základ na zlepšenie komplexných vyhľadávacích systémov a testovanie, či sa tieto zisky udržia vo veľkom meradle.

Rovnaká štruktúra môže tiež urobiť WANDR užitočným pre učenie posilňovaním. Namiesto spoliehania sa na jedinú riedku terminálnu odmenu môže školiteľ použiť úsudky na úrovni záznamov a vetiev, priradiť čiastočné kredity za pokrok v objavovaní a obohacovaní a vytvoriť kurikulum zvyšovaním požadovaných počtov v priebehu času. Pipeline môže generovať oddelené sesterské úlohy naprieč doménami, tvarmi hierarchií, pravidlami dôkazov a nastaveniami šírky a hĺbky bez enumerácie zlatých odpovedí. To vytvára cestu k trénovaniu agentov nielen na hľadanie správnych faktov, ale aj na plánovanie pokrytia, detekciu chýbajúcich vetiev a zotavenie pred zastavením.

Benchmarkové úlohy, hodnotiaci nástroj a úplná technická správa sú dostupné na GitHube.

Citácia

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}