WANDR benchmark: Széles és mély keresést igénylő kutatóügynökök értékelése

Benchmark nagy mennyiségű, bizonyítékalapú szellemi munkához.

SzerzőkPerplexity Research

Ma adtuk ki a WANDR-t (Wide ANd Deep Research), egy nyílt benchmarkot és értékelési keretrendszert, amely 500 reális, nagy kihívást jelentő, szellemi munkához kapcsolódó adatgyűjtési feladat köré épül. A WANDR a mélyreható kutatáshoz készült DRACO benchmarkunk szélesebb testvére. A DRACO azt vizsgálja, hogy egy ügynök képes-e pontos, teljes körű és objektív, hosszabb terjedelmű jelentést készíteni; a WANDR pedig azt, hogy képes-e nagy gyűjteményt összeállítani, és minden egyes elemet specifikus bizonyítékkal alátámasztani.

Ezek azok a feladatok, amelyeket az emberek már most is kutatóügynökökre bíznak: versenytárs-térképezés, átvilágítás, szakirodalmi áttekintés, piacelemzés, termékösszehasonlítás, tehetságkutatás és így tovább. A feladatok tucatnyi vagy akár ezer függetlenül ellenőrizhető rekordot is átölelnek. Még magas szintű erőfeszítésre beállítva is értékelésünk legerősebb rendszere mindössze 0,363-as soft F1-et és 0,133-as hard F1-et ér el. A széles körű és mélyreható kutatás még messze van a megoldottól.

WANDR benchmarkskála és az ebben az értékelésben közölt legjobb soft F1 és hard F1 pontszámok.

Miért fontos a széles körű és mélyreható kutatás

Számos hasznos kutatási feladat nem ér véget ott, amikor az ügynök talál egy választ. Előfordulhat, hogy egy piacelemzőnek minden megfelelő versenytársra szüksége van, mindegyikhez ugyanazokkal a bizonyítékokkal. Egy átvilágítási csapatnak tucatnyi cégre, majd mindegyikük esetében a tulajdonosi körre, a vezetőségre, a finanszírozásra és a szabályozási státuszra is szüksége lehet. Ez két különálló igényt teremt:

Szélesség: nagyszámú és gyakran nyitott végű megfelelő entitás felfedezése.

Mélység: minden entitás olyan mértékű vizsgálata, hogy minden egyes kért állítás bizonyítékkal legyen alátámasztva.

A kettő kombinálása megváltoztatja a problémát. Néhány meggyőző példa nem elegendő, és a hiányos kutatásra épülő, csiszolt narratíva sem az. Az ügynöknek anélkül kell fenntartania a széles körű felfedezést, hogy az egyes rekordok ténybeli minősége csorbát szenvedne.

A WANDR rugalmas, összetett minősítési kulcshierarchiával ragadja meg ezt a struktúrát. Egy feladat például a következőt kérheti:

company(n) → employee(m) → url(k)

Ez azt jelenti, hogy meg kell találni n megfelelő vállalatot, vállalatanként m megfelelő alkalmazottat, és minden egyes alkalmazotthoz k alátámasztó oldalt. A fán keresztülvezető minden egyes teljes útvonal függetlenül ellenőrizhető. Ugyanez az alapvető struktúra képes ábrázolni egy egysíkú listát, egy beágyazott keresést, egy mátrixot, vagy egy több bizonyítúsági ággal rendelkező feladatot. Ezek a minták kombinálhatók is, így egyetlen reprezentációval a valós felhasználási esetek széles köre fedhető le.

Hat gyakori hierarchiaminta. A kitöltött körök az entitások, a szaggatott körök a rögzített címkék, a négyzetek pedig az URL-levelek. A mátrixban az ismétlődő gyermekcímkék ugyanazokat a gyermekértékeket jelölik különböző szülők alatt.

Egy kiadott feladat a gyakorlatban is bemutatja ezt a struktúrát.

ceo_cfo_appointments

Elsődleges feladat. Keressen legalább 70 olyan egyesült államokbeli székhelyű vállalatot, amelynél először 2026. március 1. és április 30. között jelentettek be vezérigazgatói (CEO) vagy pénzügyi igazgatói (CFO) kinevezést. Minden vállalathoz biztosítson egy hiteles kinevezési oldalt, amely azonosítja a vállalatot és a kinevezettet, tisztázza a pozíciót és a bejelentés dátumát, és a kibocsátótól, egy bejelentéstől, egy hírügynökségtől vagy közvetlenül tulajdonított első kézből származó gazdasági újságírásból származik.

Elsődleges hierarchia. company(70) → company_appointee(1) → url(1).

Vállalatlistázási alfeladat. Ugyanezekhez a vállalatokhoz biztosítson egy elismert listázási hatósági oldalt, amely bemutatja az amerikai nemzeti értékpapírpiacon való jegyzést, vagy amerikai székhelyű SEC Exchange Act szerinti jelentéstevő kibocsátói státuszt.

Alfeladat-hierarchia. company(70) → url(1).

Szükséges rekordok. 140: 70 kinevezési rekord plusz 70 listázási rekord.

Minden útvonal egy olyan oldalon és kivonatokon ér véget, amelyeket az ellenőrző újra tud ellenőrizni. A közös vállalatkulcs összekapcsolja a kinevezési és a listázási ágakat, így a listázási státusz külön igazolása nélküli kinevezés továbbra is hiányosnak hagyja az adott vállalatot.

Reális feladatok, nagylléptékben generálva

A WANDR szintetikus promptok helyett a gyártási környezetben megfigyelt, azonosíthatóságától mentesített mintákból indul ki. Ezzel a benchmark közel marad az emberek által ténylegesen delegált munkához: nyílt végű felfedezés, ismételt dúsítás, forrásokon átívelő ellenőrzések és strukturált összehasonlítások professzionális léptékben. Egy félautomata folyamat alakítja át ezeket a mintákat feladatoká, a kimerítő válaszannotáció helyett emberi erőforrást tartva fenn a minőségellenőrzéshez.

A folyamat négy szakaszból áll. A Magvetés (Seeding) újrafelhasználható széles körű kutatási minta céljából bányássza az azonosítástól mentesített termékkéréseket. A Létrehozás (Authoring) egy egymásba ágyazott szerző–kritikus hurkot futtat: az ügynökök vázolják és stressztesztelik a terveket, megírják a feladatspecifikációt és a bírálót, rögzített rekordokat hoznak létre, és egy mechanikus linter segítségével mindent összhangban tartanak. A Befogadás (Admission) 10–12 létrehozási futtatás egyesítésével ellenőrzi, hogy a céltérfogat elérhető-e, auditálja a feladatspecifikus bírálót, és opcionálisan emberi jóváhagyást ad hozzá. A Kurálás (Curation) felcímkézi a befogadott feladatokat, és téma, lépték, topológia, valamint nehézség szerint kiválaszt egy kiegyensúlyozott végső készletet.

A feladatépítési folyamat négy szakaszból áll. A seedelés egy valószerű kérést azonosít; az authoring ezt önálló feladattá alakítja egy author–critic ciklus és mechanikus ellenőrzések révén; az admitálás vizsgálja a megvalósíthatóságot és a bírói minőséget; a kurálás pedig egy kiegyensúlyozott kiadást választ. A kimenet 500 nyilvános feladatcsomag.

A medián feladat 50 tagot, tagonként négy rekordot, összességében pedig 245 rekordot kér. Összességében az 500 feladat 170 495 forrásalapú rekordot igényel. A nehézséget a korábbi tervezési szakaszbeli futtatások alapján kalibráljuk, majd a feladatokat rangsor szerint 167 alacsonyabb, 166 közepes és 167 magasabb nehézségű példára osztjuk. Az alábbi diagram azt mutatja, hogy a nehézséget nem önmagában a lépték határozza meg; az az egyes rekordokhoz szükséges munkától is függ.

Teljes feladatnehézség a szélesség–mélység síkon (log–log; 500 benchmarkfeladat). A szélesség a szükséges tagok száma; a mélység a szükséges rekordok száma elosztva a tagok számával. A pontok színe az általános nehézségi címkét jelöli. A szaggatott útmutatók jelzik a medián szélességet (50 tag) és a medián mélységet (tagonként 4,00 rekord).

Referenciamentes, bizonyítékkal ellenőrzött értékelés

A rögzített válaszkulcs rosszul illeszkedik a nyílt végű kutatáshoz. Költséges a felépítése, gyorsan elavul, és rosszul reprezentálja az olyan kérdéseket, amelyek válaszai idővel változnak. Ehelyett a WANDR minden benyújtott állítást az ügynök által hivatkozott bizonyíték alapján értékel.

Minden rekord tartalmaz egy elemet, egy URL-t, kiválasztott kivonatokat és egy választ. Az értékelő újra lekéri az oldalt, és ellenőrzi, hogy használható-e, az állítás tiszta és a hatáskörbe tartozik-e, a kivonatok hűen szerepelnek-e az oldalon, valamint hogy mind az oldal, mind a kivonatok alátámasztják-e az összes követelményt.

Ezek a bináris rekordverdiktek a hierarchián keresztül haladnak felfelé. A precizitás (precision) a rendszer által benyújtott adatok minőségét méri. A visszahívás (recall) a minőség alapján korrigált teljességet méri a kért mennyiséghez képest, a hiányzó részeket nullákkal kitöltve. Az F1 egyensúlyt teremt a kettő között. A soft pontszámok részleges krediteket adnak a hiányos tagoknak; a hard pontszámok csak azokat a tagokat számolják, amelyek teljes szükséges részfája helyes. Diagnosztikai céllal a WANDR egy olyan, kizárólag lekérdezéses verdiktet is jelent, amely azt vizsgálja, hogy a lekért oldal eleget tesz-e a feladatnak, mielőtt hozzáadná az érvényességre és a benyújtott kivonatokra vonatkozó szigorúbb ellenőrzéseket.

Ezáltal a hibák értelmezhetővé és lokalizálhatóvá válnak. A magas precizitás alacsony visszahívással általában azt jelenti, hogy a rendszer talált néhány jó tagot, de nem elég sokat. A nagy soft-ról hard-ra történő esés azt jelenti, hogy részleges előrehaladást ért el, de ritkán teljesítette a teljes kreditértékhez szükséges összes ágat. A pontszámfa lokalizálni tudja a veszteséget a felfedezés, a dúsítás, az azonosítókezelés, az oldalminősítés vagy a bizonyíték-kivonatolás terén.

Az értékelési folyamat. A solve normalizálja az egyes rendszerek kimenetét; a fetch lekéri az egyes hivatkozott oldalakat, és böngészőben újra megpróbálja lekérni a hibásakat; a judge feloldja az azonosítókat és értékeli az egyes rekordokat; a score pedig feladat szintű precizitássá, visszahívássá és F1-gyé alakítja a verdikteket.

Mit találtunk

Hat gyártási rendszert hasonlítottunk össze: üzemeltetett feladat- és keresési API-kat, általános webesügynök-API-kat, mélyreható kutatási terméket, valamint programozott keresés-orkeszttrációs rendszerünket, a Search as Code (SaC)-ot. Mindegyik ütemezve volt mind az 500 feladatra egy rögzített konfiguráció alatt, majd átesett ugyanazon a lekérdezési, bírálói, azonosítófeloldási és pontozási folyamaton.

A Perplexity Search as Code vezet 0,363-as soft F1-gyel és 0,133-as hard F1-gyel. Az Anthropic a második 0,249-cel és 0,072-vel; az összes többi rendszer 0,121-es soft F1-nél és 0,035-ös hard F1-nél tetőzik. Egyetlen rendszer sem dominálja egyszerre a minőséget és a hatékonyságot. A Perplexity a költségtartomány közepén helyezkedik el feladatonkénti 5,20 dollárral, 14,9 perces medián megoldási idővel és feladatonkénti 3,82 millió jelentett tokennel. Az OpenAI és az Exa gyorsabb és olcsóbb, de sokkal alacsonyabb pontszámot ér el. Az Anthropic áll a legközelebb a minőséghez, de lényegesen több időt, pénzt és tokent használ fel.

Soft és hard precision és recall a költséggel, a medián késleltetéssel és a WANDR-en jelentett tokenhasználattal szemben.
Soft és hard precizitás és visszahívás (felül), valamint soft és hard F1 (alul) a költséggel, a medián megoldási késleltetéssel és a jelentett tokenfelhasználással szemben. A magasabb és balabbra lévő a jobb. Az Exa és a Parallel hiányzik a token-nézetekből, mivel nem teszik közzé a tokenszámokat.

Ugyanezen a 45 feladatból álló részhalmazon minden elérhető erőfeszítési beállítást is értékeltünk. A nagyobb erőfeszítés minden lépésnél javítja a Perplexityt, a Geminit és az Exát; a Perplexity xhigh szinten eléri a 0,447-es soft F1-et és a 0,224-es hard F1-et. A nagyobb erőfeszítés azonban nem egységesen jobb: az OpenAI a high szinten tetőzik, a Parallel hard F1 értéke pedig kissé visszaesik a ultra2x és az ultra4x között. A költségek több mint négy nagyságrendet fognak át, az Exa low beállításának feladatonkénti 0,03 dollárjától a Gemini max beállításának 324,83 dollárjáig.

Soft F1 a költséggel, a medián késleltetéssel és a jelentett tokenhasználattal szemben az erőfeszítési beállítások között a 45 feladatból álló WANDR részhalmazon.
Soft F1 (felül) és hard F1 (alul) az összes elérhető erőfeszítési beállításon az illeszkedő 45 feladatból álló részhalmazon. A sötétebb útvonalak nagyobb erőfeszítést jelölnek.

Négy megállapítás emelkedik ki.

A részleges előrehaladás gyakori; a teljes körű lefedettség nem az. A soft visszahívás minden rendszer esetében alacsonyabb, mint a soft precizitás, ami azt jelenti, hogy a teljesítmény csökken, amint a teljes kért mennyiség bekerül a nevezőbe. A Perplexity a 0,389-es precizitásból 0,357-es visszahívást tart meg, ami a legkisebb rés; az Anthropic 0,354-ről 0,224-re esik vissza. A soft-ról hard-ra történő átalakulás még szigorúbb. A Perplexity 0,363-as soft F1-ről 0,133-as hard F1-re esik vissza, az Anthropic pedig 0,249-ről 0,072-re. A legjobb hard precizitás 0,150, a legjobb hard visszahívás pedig 0,134: még a vezető is csak a benyújtott tagok mintegy 1/7-éért és a feladat által kért tagok mintegy 1/7-éért kap teljes kreditet.

A lépték tovább súlyosbítja a problémát. A legkisebb és a legnagyobb céltérfogatú kategória között a Perplexity hard precizitása 0,235-ről 0,096-ra, hard visszahívása pedig 0,219-ről 0,079-re esik vissza. Az Anthropic 0,205-ről 0,113-ra, illetve 0,127-ről 0,042-re esik vissza; az OpenAI 0,109-ről 0,034-re, illetve 0,102-ről 0,016-ra esik vissza. A visszahívás általában gyorsabban esik, mint a precizitás: előfordulhat, hogy egy rendszer megtartja a teljes tagok egy kis csoportját, miközben a kért halmaznak egyre kisebb részét fedezi le.

A mélyebb hierarchiák még szigorúbbak. Köztes kulcs nélküliről három vagy több köztes kulcsra áttérve a Perplexity hard precizitása 0,392-ről 0,019-re, a hard visszahívása pedig 0,378-ról 0,017-re esik vissza; az Anthropic 0,311-ről 0,049-re, illetve 0,229-ről 0,022-re esik vissza; az OpenAI 0,136-ról 0,012-re, illetve 0,120-ról 0,011-re esik vissza. Minden egyes hozzáadott ág létrehoz egy újabb pontot, ahol egy tag elveszítheti a mindent vagy semmit alapú hard pontszámot. A költség és a késleltetés nem követ közös monoton mintát.

Hard precizitás, hard visszahívás, medián megoldási késleltetés és átlagos költség a célobjektum rekordmennyisége (felül) és a köztes hierarchiamélység (alul) mentén. Minden egyes vonal egy rögzített fő futtatási konfigurációt jelöl. A vonalak az olvashatóság érdekében összekötik a feladatkategória-aggregátumokat, és nem jelzik a lépték vagy a struktúra ok-okozati hatását.

A felfedezés már a minőség bírálata előtt is az első strukturális szűk keresztmetszet. Csak a nyers, összeomlás előtti darabszámokat vizsgálva az átlagos legfelső szintű felfedezési teljesség 0,611 és 0,951 között mozog. A feltételes dúsítás erősebb 0,767–0,967 között, a terminális bizonyítékhelyek teljessége pedig eléri a 0,979–0,994-et, ha egy tag és annak dúsítási útvonala létezik. A Perplexity vezet a felfedezés terén 0,951-gyel és a dúsítás terén 0,967-tel, de a terminális bizonyítékhelyek terén az OpenAI valamivel magasabb, 0,994 a 0,991-gyel szemben. A duplikátumok összeomlása a hat teljes futtatás során a darabszám-veszteségnek mindössze 0,017–0,205 százalékpontját teszi ki, így az alulteljesítés, nem pedig az azonosítók összefésülése a fő összesített magyarázat. A legnagyobb nyers strukturális veszteségek a végső URL csatolása előtt történnek.

Átlagos feladatszintű nyers strukturális teljesség az ellenőrző fáktól. A felfedezés a legfelső kulcs, a dúsítás fedi le a köztes kulcsokat, a bizonyíték pedig a terminális kulcs. Az értékek az összeomlás előtt biztosított darabszámokat használják, így az ábra azt különíti el, hogy a be nem nyújtott mennyiség hol hiányzik a rekordminőség bírálata előtt.

Használható oldalt találni általában könnyű; teljes bizonyítékot találni nehéz. Öt rendszer esetében a benyújtott oldalaknak csak 3,2%–8,9%-a használhatatlan; az OpenAI a 23,1%-os kiugró érték. Az érvénytelen vagy rossz típusú rekordok szintén viszonylag ritkák 4,2%–17,4% között. A meghatározó veszteségek ezután következnek: a benyújtott oldalak 33,6%–68,3%-a nem felel meg legalább egy lényeges feladatspecifikus követelménynek, és a benyújtott kivonatok 57,5%–86,6%-a nem támasztja alá mindazt, amit a rekord állít. A Perplexity arányai 41,4% és 57,5%. Soft F1 értéke 0,531-ről esik vissza a kizárólag lekérdezéses ellenőrzés alatt – amely csak azt vizsgálja, hogy az oldal megfelel-e minden lényeges követelménynek –, 0,363-ra a teljes verdikt alatt, amely az univerzális ellenőrzéseket, a feladatspecifikus érvényességet és a teljes körű kivonatalátámasztást is megköveteli. A hard F1 hasonlóképpen esik vissza 0,245-ről 0,133-ra. A nehéz rész nem csupán egy hihető oldal elérése; hanem az, hogy az oldalt a teljes állításhoz elegendő bizonyítékká alakítsuk.

Mért rekord szintű hibavizsgálatok az elérhető ellenőrzőrészletekből, százalékban; az alacsonyabb a jobb. Az oldal- és kivonatakövetelményekkel kapcsolatos hibák lényegesen gyakrangbak, mint a használhatatlan oldalas vagy érvénytelen rekordos hibák. A Parallel 350 feladathoz rendelkezik diagnosztikai részletekkel, míg a többi sor 490–500 feladatot fed le.

A Search as Code jól illeszkedik ehhez a feladatformához. A modell programként tudja kifejezni a lekérdezést, a szűrést, a szétosztást, a renderelést, az összekapcsolást, a deduplikációt és a leállítási logikát, míg a determinisztikus számítás kezeli a modellkontextuson kívüli ismétlődő műveleteket. Ez a profil összhangban van a Perplexity erősebb szélességmegtartásával és kivonatkészítésével, bár nem vezet minden rétegben: az Anthropic rendelkezik a legalacsonyabb oldalkövetelmény-hibaaránnyal.

Hogyan tovább

A WANDR többet nyújt, mint egyetlen ranglistapontszám. Közös feladatszerkezete és félautomata folyamata támogatja a változatos, nagy mennyiségű feladatgenerálást, míg a rekordonkénti verditek és a hierarchiaszintű pontszámok megmutatják, hogy hol hiúsul meg egy futtatás: a felfedezésben, a dúsításban, az azonosítókezelésben, a szantikai minősítésben vagy a bizonyítékkészítésben. A kiadott feladatok, az ellenőrző és a strukturális diagnosztika alapot biztosítanak az átfogó keresőrendszerek fejlesztéséhez és annak teszteléséhez, hogy ezek a nyereségek megmaradnak-e nagy léptékben.

Ugyanez a struktúra a WANDR-t a megerősítéses tanulás (reinforcement learning) számára is hasznossá teheti. Ahelyett, hogy egyetlen ritka terminális jutalomra támaszkodna, a tréner használhat rekord- és ágszintű ítéleteket, részleges kreditet adhat a felfedezési és dúsítási előrehaladásért, és tantervet építhet ki a szükséges darabszámok időbeli növelésével. A folyamat képes tartományokon, hierarchiaformákon, bizonyítékszabályokon és szélesség-mélység beállításokon átívelő, kiemelt testvérfeladatokat generálni anélkül, hogy arany válaszokat sorolna fel. Ez utat nyit olyan ügynökök tanításához, amelyek nemcsak a helyes tények megtalálására képesek, hanem a lefedettség megtervezésére, a hiányzó ágak felismerésére és a leállás előtti helyreállításra is.

A benchmarkfeladatok, az értékelési keretrendszer és a teljes technikai jelentés elérhető a GitHubon.

Idézet

BibTeX
@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}