WANDR бенчмарк: Евалуација истраживачких асигената који морају широко и дубоко претраживати

Данас објављујемо WANDR (Wide ANd Deep Research), отворени бенчмарк и алат за евалуацију заснован на 500 реалних и захтјевних задатака прикупљања података за рад са знањем. WANDR је широки пандан нашег бенчмарка DRACO за дубински истраживање. DRACO поставља питање може ли асистент да произведе тачан, потпун и објективан опширан извештај; WANDR поставља питање може ли да изгради велику колекцију и поткрепи сваког члана специфичним доказима.

Ово су врсте послова које људи већ препуштају истраживачким асистентима: конкурентно мапирање, дубинска анализа (due diligence), преглед литературе, анализа тржишта, поређење производа, проналажење талената и још много тога. Задаци се крећу од десетина до хиљада независно верификованих записа. Чак и при поставкама високог напора, најснажнији систем у нашој евалуацији постиже само 0.363 меканог F1 и 0.133 тврдог F1. Широко и дубинско истраживање је још увијек далеко од рјешења.

Увећај

Зашто су широко и дубинско истраживање важни

Многи корисни истраживачки послови се не завршавају када асистент пронађе један одговор. Аналитичару тржишта можда ће бити потребан сваки конкурент који испуњава услове, уз исте доказе за сваког од њих. Тим за дубинску анализу можда ће тражити десетине компанија, а затим власништво, руководиоце, финансирање и регулаторни статус за сваку од њих. То ствара два одвојена захтјева:

Широко: откријте велики и често неограничени скуп ентитета који испуњавају услове.

Дубоко: истражите сваки ентитет довољно дубоко да подржите сваки захтијевани тврдњу доказима.

Комбиновање овог двоје мијења проблем. Шака убједљивих примјера није довољна, а ни упеглани наратив изграђен на непотпуном истраживању. Асистент мора да одржи широко откривање без жртвовања чињеничног квалитета од једног записа до сљедећег.

WANDR хвата ту структуру помоћу флексибилне, композибилне хијерархије кључева квалификације. Задатак може тражити

company(n) → employee(m) → url(k)

То значи проналажење n компанија које испуњавају услове, m запослених који испуњавају услове у свакој компанији и k пратећих страница за сваког запосленог. Свака комплетна путања кроз стабло може се независно валидирати. Иста основна структура може представљати равну листу, угнежђену претрагу, матрицу или задатак са више грана доказа. Ови обрасци се такође могу комбиновати, омогућавајући да једна репрезентација обухвати широк спектари случајева употребе у стварном свијету.

Увећај

Један објављени задатак илуструје ову структуру у пракси.

ceo_cfo_appointments

Примарни задатак. Пронађите најмање 70 компанија са сједиштем у САД са именовањем генералног директора (CEO) или финансијског директора (CFO) које је први пут објављено између 1. марта и 30. априла 2026. За сваку компанију обезбиједите мјеродавну страницу о именовању која идентификује компанију и именовано лице, утврђује улогу и датум објављивања, а потиче од издавача, поднесцима (filing), агенције за вијести или директно приписаног пословног новинарства из прве руке.

Примарна хијерархија. company(70) → company_appointee(1) → url(1).

Подзадатак листе компанија. За исте компаније обезбиједите признату страницу ауторитета за листу која приказује или листу на националној берзи хартија од вриједности у САД или статус извјештајног издавача Закона о берзи SEC са сједиштем у САД.

Хијерархија подзадатака. company(70) → url(1).

Потребни записи. 140: 70 записа о именовању плус 70 записа са листе.

Свака путања се завршава страницом и изводима које оцјењивач може поново провјерити. Заједнички кључ компаније усклађује гране именовања и листе, тако да именовање без посебног доказа о статусу на листи и даље оставља ту компанију непотпуном.

Реални задаци, генерисани у скали

WANDR почиње од деперсонализованих образаца примјећених у производној употреби, умјесто од синтетичких упита. Ово држи бенчмарк близу посла који људи заиста делегирају: отворено откривање, поновљено обогаћивање, провјере из више извора и структурирана поређења у професионалној скали. Полуаутоматизовани цјевовод претвара те обрасце у задатке, резервишући људски труд за контролу квалитета умјесто исцрпног аннотирања одговора.

Цјевовод има четири фазе. Сијање (Seeding) рудари деперсонализоване захтјеве за производима за поновно употребљив образац широког истраживања. Ауторство (Authoring) покреће преплетену петљу аутор-критичар: асистенти скицирају и тестују дизајн под стресом, пишу спецификацију задатка и судију, креирају записе за фикстуре и користе механички линтер да све држе усклађеним. Пријем (Admission) провјерава да ли је циљни обим досежан спајањем 10–12 испуштања ауторства, ревидира судију специфичног за задатак и опционо додаје људско одобрење. Кураторство (Curation) означи примљене задатке и бира уравнотежен коначни скуп кроз теме, скалу, топологију и тежину.

Увећај

Медијана задатка тражи 50 чланова, четири записа по члану и 245 записа укупно. Узето заједно, 500 задатака захтијева 170.495 записа подржаних изворима. Калибришемо тежину из историјских испуштања у фази дизајна, а затим дијелимо задатке према рангу на 167 примјера ниже, 166 средње и 167 веће тежине. Графикон испод показује да тежина није одређена само скалом; она такође зависи од посла који је потребан за сваки запис.

Увећај

Оцјењивање без референци, верификовано доказима

Фиксни кључ одговора лоше одговара отвореном истраживању. Скуп је за изградњу, брзо постаје застарио и лоше представља питања чији се одговори мијењају током времена. WANDR умјесто тога оцјењује сваку поднесену тврдњу према доказима које асистент наводи.

Сваки запис садржи ставку, URL, изабране изводе и одговор. Оцјењивач поново преузима страницу и провјерава да ли је употребљива, да ли је тврдња јасна и у оквиру опсега, да ли се изводи вјерно појављују на страници и да ли и страница и изводи подржавају сваки захтјев.

Ове бинарне пресуде записа се сакупљају кроз хијерархију. Прецизност мјери квалитет онога што је систем поднио. Опозив мјери довршеност прилагођену квалитету у односу на тражени обим, попуњавајући било који мањак нулама. F1 балансира ово двоје. Мекани резултати дају дјелимичне кредите непотпуним члановима; тврди резултати рачунају само чланове чије је пуно тражено подстабло тачно. За дијагностику, WANDR такође извјештава о пресуди само за преузимање која пита да ли преузета страница задовољава задатак прије додавања строжих провјера валидности и поднесених извода.

Ово чини неуспјехе тумачивим и локализабилним. Висока прецизност са ниским опозивом обично значи да је систем пронашао неке добре чланове, али не довољно њих. Велики пад са меканог на тврди значи да је остварио дјелимичан напредак, али ријетко довршио сваку грану потребну за пуне кредите. Стабло резултата може лоцирати губитак на откривање, обогаћивање, руковање идентитетом, квалификацију страница или екстракцију доказа.

Увећај

Шта смо пронашли

Упоредили смо шест продукцијских система: хостоване задатке и АПИ-је за претрагу, опште АПИ-је за веб-асистенте, производ за дубински истраживање и наш програмски систем за оркестрацију претраге, Search as Code (SaC). Сваки од њих је заказан за свих 500 задатака под закључаном конфигурацијом, а затим је прош кроз исти цјевовод преузимања, суђења, рјешавања идентитета и оцјењивања.

Perplexity Search as Code води са 0.363 меканог F1 и 0.133 тврдог F1. Anthropic је други са 0,249 и 0,072; сваки други систем достиже врх на 0,121 меканог F1 и 0,035 тврдог F1. Ниједан систем не доминира и квалитетом и ефикасношћу. Perplexity се налази у средини опсега трошкова са 5,20 долара по задатку, са медијаном времена рјешавања од 14,9 минута и 3,82 милиона пријављених токена по задатку. OpenAI и Exa су бржи и јефтинији, али постижу много мање резултате. Anthropic је најближи по квалитету, али користи знатно више времена, новца и токена.

Увећај

Увећај

Такође смо евалуирали сваку доступну поставку напора на истом подскупу од 45 задатака. Већи напор побољшава Perplexity, Gemini и Exa у сваком кораку; Perplexity достиже 0,447 меканог F1 и 0,224 тврдог F1 на xhigh. Међутим, већи напор није униформно бољи: OpenAI достиже врх на high, а тврди F1 за Parallel благо клизи између ultra2x и ultra4x. Трошкови обухватају више од четири реда величине, од 0,03 долара по задатку за Exa low до 324,83 долара за Gemini max.

Увећај

Увећај

Четири налаза се истичу.

Дјелимичан напредак је уобичајен; комплетна покривеност није. Мекани опозив је испод мекане прецизности за сваки систем, што значи да перформансе опадају када пун тражени обим уђе у именилац. Perplexity задржава 0,357 опозива од 0,389 прецизности, што је најмањи јаз; Anthropic пада са 0,354 на 0,222. Претварање из меканог у тврди је још оштрије. Perplexity пада са 0,363 меканог F1 на 0,133 тврдог F1, а Anthropic са 0,249 на 0,072. Најбоља тврда прецизност је 0,150, а најбољи тврди опозив је 0,134: чак и лидер зарађује пуне кредите за само око једног од седам чланова које поднесе и једног од седам чланова које задатак тражи.

Скала повећава проблем. Од најмањег до највећег бина циљног обима, тврда прецизност за Perplexity пада са 0,235 на 0,096, а његов тврди опозив са 0,219 на 0,079. Anthropic пада са 0,205 на 0,113 и са 0,127 на 0,042; OpenAI пада са 0,109 на 0,034 и са 0,102 на 0,016. Опозив обично пада брже од прецизности: систем може задржати мали џеп комплетних чланова док покрива све мање од траженог скупа.

Дубље хијерархије су још оштрије. Идећи од без посредног кључа до три или више, тврда прецизност за Perplexity пада са 0,392 на 0,019, а тврди опозив са 0,378 на 0,017; Anthropic пада са 0,311 на 0,049 и са 0,229 на 0,022; OpenAI пада са 0,136 на 0,012 и са 0,120 на 0,011. Свака додата грана ствара друго мјесто гдје члан може пропустити тврди резултат све-или-ништа. Трошкови и латентност не прате уобичајени монотона образац.

Увећај

Чак и прије оцјењивања квалитета, откривање је прво структурно грло. Гледајући само сирове бројеве прије колапса, средња довршеност откривања на највишем нивоу се креће од 0,611 до 0,951. Условни обогаћивање је јаче са 0,767–0,967, а терминална довршеност мјеста за доказе достиже 0,979–0,994 када постоје члан и његова путања обогаћивања. Perplexity предводи у откривању са 0,951 и обогаћивању са 0,967, али OpenAI је мало већи на терминалним мјестима за доказе са 0,994 у односу на 0,991. Колапс дупликата чини само 0,017–0,205 проценатних поена губитка броја кроз шест пуних покретања, тако да је недовољна испорука, а не спајање идентитета, главно агрегатно објашњење. Највећи сирови структурни губици се дешавају прије него што се коначни URL приложи.

Увећај

Проналажење употребљиве странице је обично лако; проналажење комплетних доказа је тешко. За пет система, само 3,2%–8,9% поднесених страница су неупотребљиве; OpenAI је одступање од 23,1%. Неважећи записи или записи погрешног типа су такође релативно ријетки са 4,2%–17,4%. Доминантни губици долазе сљедећи: 33,6%–68.3% поднесених страница не успијева на бар једном суштинском захтјеву задатка, а 57,5%–86,6% поднесених извода не успијева да подржи све што запис тврди. Стопе за Perplexity су 41,4% и 57,5%. Његов мекани F1 падо са 0,531 под провјером само за преузимање, која пита само да ли страница испуњава сваки суштински захтјев, на 0,363 под пуном пресудом, која такође захтијева универзалне провјере, валидност специфичну за задатак и комплетну подршку извода. Тврди F1 слично пада са 0,245 на 0,133. Тврди дио није само достигање вјероватне странице; то је претварање те странице у довољне доказе за цијелу тврдњу.

Увећај

Search as Code је добро усклађен са овим обличјем задатка. Модел може изразити претрагу, филтрирање, ширење, рендеровање, спајања, дедупликацију и логику заустављања као програм, док детерминистичко рачунање управља поновљеним операцијама изван контекста модела. тај профил је у складу са јачом ретенцијом ширине и конструкцијом извода за Perplexity, мада не води на сваком слоју: Anthropic има најнижу стопу неуспјеха захтјева за страницу.

Шта је сљедеће

WANDR пружа више од самог резултата на ранг-листи. Његова заједничка структура задатака и полуаутоматизовани цјевовод подржавају разноврсно генерисање задатака великог обима, док пресуде по записима и резултати на нивоу хијерархије показују гдје извршавање не успијева: откривање, обогаћивање, руковање идентитетом, семантичка квалификација или конструкција доказа. Објављени задаци, верификатор и структурна дијагностика пружају основу за побољшање свеобухватних система претраге и тестирање да ли се ти добици одржавају у скали.

Иста структура такође може учинити WANDR корисним за реинфорсмент учење (појачано учење). Умјесто ослањања на једну ријетку терминалну награду, тренер може користити процене на нивоу записа и грана, додијелити дјелимичне кредите за напредак откривања и обогаћивања и изградити наставни план повећањем захтијеваних бројева током времена. Цјевовод може генерисати издвојене сродне задатке кроз домене, обличја хијерархије, правила доказа и поставке ширина-дубина без набрајања златних одговора. Ово ствара пут ка обучавању асигената не само да пронађу тачне чињенице, већ и да планирају покривеност, открију недостајуће гране и опостану прије заустављања.

Бенчмарк задаци, алат за евалуацију и пун технички извјештај су доступни на GitHub-у.

Цитат

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}