WANDR benchmark: Vyhodnocení výzkumných agentů, kteří musí vyhledávat naširoko i do hloubky

Dnes vydáváme WANDR (Wide ANd Deep Research), otevřený benchmark a testovací nástroj vytvořený kolem 500 realistických a náročných úkolů sběru dat pro znalostní práci. WANDR je širším sourozencem našeho benchmarku DRACO pro hloubkový výzkum. DRACO zjišťuje, zda agent dokáže vytvořit přesnou, úplnou a objektivní rozsáhlou zprávu; WANDR zjišťuje, zda dokáže sestavit velkou sbírku a podložit každého člena konkrétními důkazy.

Jedná se o typy úkolů, které lidé výzkumným agentům běžně zadávají: mapování konkurence, due diligence, rešerše literárních zdrojů, analýza trhu, srovnání produktů, vyhledávání talentů a další. Úkoly sahají od desítek po tisíce nezávisle ověřitelných záznamů. Dokonce i při nastavení vysokého úsilí dosahuje nejsilnější systém v našem hodnocení pouhých 0,363 soft F1 a 0,133 hard F1. Široký a hloubkový výzkum má k vyřešení ještě hodně daleko.

Zvětšit

Proč na širokém a hloubkovém výzkumu záleží

Mnoho užitečných výzkumných úkolů nekončí tím, že agent najde jednu odpověď. Tržní analytik může potřebovat každého kvalifikovaného konkurenta se stejnými důkazy pro každého z nich. Tým provádějící due diligence může potřebovat desítky společností a pro každou z nich pak vlastnictví, vedoucí pracovníky, financování a regulativní status. To vytváří dva samostatné požadavky:

Široký (Wide): objevit velkou a často otevřenou množinu kvalifikovaných subjektů.

Hloubkový (Deep): prozkoumat každý subjekt dostatečně hluboko na to, aby bylo možné podložit každé požadované tvrzení důkazy.

Kombinace obou přístupů mění podstatu problému. Hrstka přesvědčivých příkladů nestačí a to samé platí pro uhlazený narativ postavený na neúplném výzkumu. Agent musí udržet široké objevování, aniž by obětoval věcnou kvalitu při přechodu od jednoho záznamu k dalšímu.

WANDR zachycuje tuto strukturu pomocí flexibilní a skladebné hierarchie kvalifikačních klíčů. Úkol může požadovat

company(n) → employee(m) → url(k)

To znamená nalezení n kvalifikovaných společností, m kvalifikovaných zaměstnanců v každé společnosti a k podpůrných stránek pro každého zaměstnance. Každou úplnou cestu stromem lze ověřit nezávisle. Stejná základní struktura může představovat plochý seznam, vnořené vyhledávání, matici nebo úkol s několika důkazními větvemi. Tyto vzorce lze také kombinovat, což umožňuje jedné reprezentaci pokrýt širokou škálu případů použití v reálném světě.

Zvětšit

Jeden zveřejněný úkol ilustruje tuto strukturu v praxi.

ceo_cfo_appointments

Primární úkol. Najděte alespoň 70 společností se sídlem v USA, u nichž bylo jmenování generálního (CEO) nebo finančního ředitele (CFO) poprvé oznámeno mezi 1. březnem a 30. dubnem 2026. U každé společnosti uveďte autoritativní stránku s oznámením, která identifikuje společnost a jmenovanou osobu, stanovuje roli a datum oznámení a pochází od emitenta, podání úřadům (filing), tiskové agentury nebo přímo přisuzované primární podnikové žurnalistiky.

Primární hierarchie. company(70) → company_appointee(1) → url(1).

Podúkol pro výpis společností. Pro stejné společnosti poskytněte stránku uznávaného autoritativního seznamu, která prokazuje buď kótování na národní cenné papírové burze v USA, nebo status emitenta podléhajícího hlášení podle zákona SEC o burze cenných papírů (Exchange Act) se sídlem v USA.

Hierarchie podúkolu. company(70) → url(1).

Požadované záznamy. 140: 70 záznamů o jmenování plus 70 záznamů o kótování.

Každá cesta končí stránkou a úryvky, které může hodnotitel znovu zkontrolovat. Sdílený klíč společnosti propojuje větve jmenování a kótování, takže jmenování bez samostatného důkazu o stavu kótování stále zanechává tuto společnost neúplnou.

Realistické úkoly generované ve velkém měřítku

WANDR vychází z anonymizovaných vzorců pozorovaných při produkčním použití namísto syntetických promptů. To udržuje benchmark blízko práce, kterou lidé skutečně delegují: otevřené objevování, opakované obohacování, křížové kontroly zdrojů a strukturovaná srovnání v profesionálním měřítku. Poloautomatizovaný pipeline převádí tyto vzorce na úkoly a vyhrazuje lidské úsilí pro kontroly kvality namísto vyčerpávajícího anotování odpovědí.

Pipeline má čtyři fáze. Základní příprava (Seeding) vytěžuje anonymizované požadavky na produkty pro opakovaně použitelný vzorec širokého výzkumu. Tvorba (Authoring) spouští prokládanou smyčku autora a kritika: agenti navrhnou a otestují návrh pod zátěží, napíšou specifikaci úkolu a posuzovatel, vytvoří vzorové záznamy a pomocí mechanického linteru udržují vše v souladu. Přijetí (Admission) ověřuje, zda je cílový objem dosažitelný sloučením 10–12 autorských cyklů, provádí audit posuzovatele specifického pro daný úkol a volitelně přidává lidské schválení. Kurátorství (Curation) označuje přijaté úkoly a vybírá vyváženou konečnou sadu napříč tématy, měřítkem, topologií a obtížností.

Zvětšit

Mediánový úkol vyžaduje 50 členů, čtyři záznamy na člena a celkem 245 záznamů. Dohromady 500 úkolů vyžaduje 170 495 záznamů podložených zdroji. Kalibrujeme obtížnost z historických běhů ve fázi návrhu a poté rozdělujeme úkoly podle pořadí na 167 příkladů s nižší, 166 se střední a 167 s vyšší obtížností. Následující graf ukazuje, že obtížnost není určena pouze měřítkem; závisí také na práci požadované pro každý záznam.

Zvětšit

Hodnocení bez referencí ověřené důkazy

Pevný klíč odpovědí se pro otevřený výzkum příliš nehodí. Je drahý na sestavení, rychle zastarává a špatně reprezentuje otázky, jejichž odpovědi se časem mění. WANDR místo toho hodnotí každé předložené tvrzení na základě důkazů, které agent uvádí.

Každý záznam obsahuje položku, adresu URL, vybrané úryvky a odpověď. Hodnotitel stránku znovu načte a zkontroluje, zda je použitelná, zda je tvrzení jasné a spadá do rozsahu, zda úryvky věrně na stránce figurují a zda stránka i úryvky podporují každý požadavek.

Tato binární rozhodnutí o záznamech se promítají do hierarchie. Přesnost (Precision) měří kvalitu toho, co systém předložil. Úplnost (Recall) měří dokončení upravené o kvalitu vzhledem k požadovanému objemu, přičemž jakýkoliv deficit vyplní nulami. F1 vyvažuje obě hodnoty. Měkké skóre (soft) uděluje částečné kredity neúplným členům; tvrdé skóre (hard) počítá pouze členy, jejichž celý požadovaný podstrom je správný. Pro účely diagnostiky WANDR rovněž uvádí verdikt založený pouze na vyhledávání, který se ptá, zda stažená stránka splňuje úkol před přidáním přísnějších kontrol platnosti a předložených úryvků.

Díky tomu jsou selhání interpretovatelná a lokalizovatelná. Vysoká přesnost s nízkou úplností obvykle znamená, že systém našel některé dobré členy, ale ne dostatečné množství. Velký pokles mezi měkkým a tvrdým skóre znamená, že systém dosáhl částečného pokroku, ale zřídka dokončil každou větev potřebnou pro plný kredit. Strom skóre dokáže lokalizovat ztrátu na objevování, obohacování, zpracování identity, kvalifikaci stránek nebo extrakci důkazů.

Zvětšit

Co jsme zjistili

Porovnali jsme šest produkčních systémů: hostovaná rozhraní API pro úkoly a vyhledávání, obecná rozhraní API pro webové agenty, produkt pro hloubkový výzkum a náš programový systém pro orchestraci vyhledávání Search as Code (SaC). Každý z nich byl naplánován na všech 500 úkolů v rámci zafixované konfigurace a poté prošel stejným pipeline pro načítání, posuzování, řešení identit a skórování.

Perplexity Search as Code vede s 0,363 soft F1 a 0,133 hard F1. Anthropic je druhý s 0,249 a 0,072; všechny ostatní systémy dosahují stropu na 0,121 soft F1 a 0,035 hard F1. Žádný systém nedominuje jak v kvalitě, tak v efektivitě. Perplexity se nachází uprostřed cenového rozmezí s 5,20 USD za úkol, mediánovou dobou vyřešení 14,9 minuty a 3,82 miliony hlášených tokenů na úkol. OpenAI a Exa jsou rychlejší a levnější, ale dosahují mnohem nižších výsledků. Anthropic se nejvíce blíží v kvalitě, ale spotřebovává podstatně více času, peněz a tokenů.

Zvětšit

Zvětšit

Vyhodnotili jsme také všechna dostupná nastavení úsilí na stejném podsouboru 45 úkolů. Větší úsilí zlepšuje Perplexity, Gemini a Exa v každém kroku; Perplexity dosahuje 0,447 soft F1 a 0,224 hard F1 při nastavení xhigh. Vyšší úsilí však není univerzálně lepší: OpenAI dosahuje vrcholu při nastavení high a tvrdé F1 systému Parallel mírně klesá mezi ultra2x a ultra4x. Náklady pokrývají více než čtyři řády, od 0,03 USD za úkol pro Exa low až po 324,83 USD pro Gemini max.

Zvětšit

Zvětšit

Vynikají čtyři zjištění.

Částečný pokrok je běžný, úplné pokrytí nikoliv. Soft recall je nižší než soft precision pro každý systém, což znamená, že výkon klesá, jakmile do jmenovatele vstoupí celý požadovaný objem. Perplexity si zachovává recall 0,357 z precision 0,389, což představuje nejmenší mezeru; Anthropic klesá z 0,354 na 0,222. Převod z měkkého na tvrdé skóre je ještě přísnější. Perplexity klesá z 0,363 soft F1 na 0,133 hard F1 a Anthropic z 0,249 na 0,072. Nejlepší tvrdá přesnost je 0,150 a nejlepší tvrdá úplnost je 0,134: dokonce i lídr získává plný kredit pouze přibližně za každého sedmého člena, kterého odešle, a za každého sedmého člena, kterého úkol požaduje.

Měřítko problém ještě zhoršuje. Od přihrádky s nejmenším cílovým objemem po největší klesá tvrdá přesnost Perplexity z 0,235 na 0,096 a její tvrdá úplnost z 0,219 na 0,079. Anthropic klesá z 0,205 na 0,113 a z 0,127 na 0,042; OpenAI klesá z 0,109 na 0,034 a z 0,102 na 0,016. Úplnost obvykle klesá rychleji než přesnost: systém si může ponechat malou skupinu kompletních členů, zatímco pokrývá stále menší část požadované sady.

Hlubší hierarchie jsou ještě přísnější. Při přechodu od žádného intermediárního klíče ke třem nebo více klesá tvrdá přesnost Perplexity z 0,392 na 0,019 a tvrdá úplnost z 0,378 na 0,017; Anthropic klesá z 0,311 na 0,049 a z 0,229 na 0,022; OpenAI klesá z 0,136 na 0,012 a z 0,120 na 0,011. Každá přidaná větev vytváří další místo, kde člen může ztratit nárok na tvrdé skóre typu „všechno, nebo nic“. Náklady a latence se neřídí společným monotonním vzorcem.

Zvětšit

Ještě před posouzením kvality představuje objevování první strukturální úzké hrdlo. Při pohledu pouze na surové, předem nesbalené počty se průměrné dokončení objevování na nejvyšší úrovni pohybuje od 0,611 do 0,951. Podmíněné obohacování je silnější s hodnotami 0,767–0,967 a dokončení koncových slotů pro důkazy dosahuje 0,979–0,994, jakmile existuje člen a jeho cesta obohacení. Perplexity vede v objevování s 0,951 a v obohacování s 0,967, ale OpenAI je o něco lepší u koncových slotů pro důkazy s 0,994 oproti 0,991. Kolaps duplikátů představuje pouze 0,017–0,205 procentních bodů ztráty počtu napříč šesti úplnými běhy, takže hlavním souhrnným vysvětlením je nedostatečné dodání, nikoli slučování identit. K největším surovým strukturálním ztrátám dochází před připojením konečné adresy URL.

Zvětšit

Nalezení použitelné stránky je obvykle snadné; nalezení úplných důkazů je obtížné. U pěti systémů je nepoužitelných pouze 3,2 %–8,9 % odeslaných stránek; OpenAI představuje odlehlou hodnotu s 23,1 %. Neplatné záznamy nebo záznamy nesprávného typu jsou rovněž relativně vzácné (4,2 %–17,4 %). Hlavní ztráty přicházejí vzápětí: 33,6 %–68,3 % odeslaných stránek nesplňuje alespoň jeden věcný požadavek úkolu a 57,5 %–86,6 % odeslaných úryvků nedokládá vše, co záznam tvrdí. Míry pro Perplexity jsou 41,4 % a 57,5 %. Její soft F1 klesá z 0,531 při kontrole založené pouze na vyhledávání, která se ptá pouze na to, zda stránka splňuje každý podstatný požadavek, na 0,363 při úplném verdiktu, který vyžaduje také univerzální kontroly, platnost specifickou pro úkol a úplnou podporu úryvků. Hard F1 podobně klesá z 0,245 na 0,133. Těžkou částí není jen dosáhnout plauzibilní stránky; je to proměna této stránky v dostatečný důkaz pro celé tvrzení.

Zvětšit

Search as Code se dobře hodí pro tento tvar úkolu. Model může vyjádřit logiku vyhledávání, filtrování, rozvětvování (fan-out), vykreslování, spojování, deduplikace a ukončení jako program, zatímco deterministický výpočet zvládá opakované operace mimo kontext modelu. Tento profil odpovídá silnějšímu uchování šířky a konstrukci úryvků u Perplexity, ačkoliv nevede v každé vrstvě: Anthropic má nejnižší chybovost požadavků na stránky.

Co bude dál

WANDR poskytuje víc než jen jedno skóre v žebříčku. Jeho společná struktura úkolů a poloautomatizovaný pipeline podporují různorodé generování úkolů o velkém objemu, zatímco verdikty pro jednotlivé záznamy a skóre na úrovni hierarchie ukazují, kde běh selhává: objevování, obohacování, zpracování identit, sémantická kvalifikace nebo tvorba důkazů. Zveřejněné úkoly, ověřovatel a strukturální diagnostika poskytují základ pro zlepšení komplexních vyhledávacích systémů a testování, zda si tyto zisky uchovají hodnotu ve velkém měřítku.

Stejná struktura může učinit WANDR užitečným i pro posilované učení (reinforcement learning). Namísto spoléhání se na jedinou řídkou koncovou odměnu může školitel využívat posouzení na úrovni záznamů a větví, přidělovat dílčí kredity za pokrok v objevování a obohacování a sestavovat kurikulum postupným zvyšováním požadovaných počtů v čase. Pipeline může generovat oddělené sourozenecké úkoly napříč doménami, tvary hierarchie, pravidly pro důkazy a nastaveními šířky a hloubky bez nutnosti vyjmenovávat zlaté odpovědi. To vytváří cestu k trénování agentů nejen k nacházení správných faktů, ale také k plánování pokrytí, detekci chybějících větviček a zotavení se před zastavením.

Úkoly benchmarku, testovací nástroj a kompletní technická zpráva jsou k dispozici na GitHubu.

Citace

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}