WANDR бенчмарк: Оценка на изследователски агенти, които трябва да търсят широко и задълбочено

Бенчмарк за интелектуална работа с голям обем и тежки доказателства.

АвториPerplexity Research

Днес пускаме WANDR (Wide ANd Deep Research) – отворен бенчмарк и инструмент за оценка, изграден около 500 реалистични и предизвикателни задачи за събиране на данни за интелектуална работа. WANDR е широкото „сегаче“ на нашия бенчмарк DRACO за задълбочено проучване. DRACO задава въпроса дали даден агент може да изготви точен, пълен и обектен дългоформатен отчет; WANDR пита дали може да изгради голяма колекция и да подкрепи всеки елемент със специфични доказателства.

Това са видовете задачи, които хората вече възлагат на изследователските агенти: конкурентно мапиране, дю дилиджънс, преглед на литературата, пазарен анализ, сравнение на продукти, намиране на таланти и др. Задачите варират от десетки до хиляди независими за проверяване записи. Дори при настройка за висока степен на усилие най-силната система в нашата оценка достига едва 0.363 soft F1 и 0.133 hard F1. Широкото и задълбочено проучване все още е много далеч от решение.

Бенчмарк скалата на WANDR и най-добрите резултати по мек F1 и твърд F1, отчетени в тази оценка.

Защо широкото и задълбочено проучване е важно

Много полезни изследователски задачи не приключват, когато агентът намери един отговор. Пазарният аналитик може да се нуждае от всеки отговарящ на условията конкурент със същите доказателства за всеки от тях. Екипът за дю дилиджънс може да се нуждае от десетки компании, след това от собствеността, ръководителите, финансирането и регулаторния статус за всяка една от тях. Това създава две отделни изисквания:

Широко: откриване на голям и често неопределен набор от отговарящи на условията субекти.

Дълбоко: проучване на всеки субект достатъчно задълбочено, за да се подкрепи всяко заявено твърдение с доказателства.

Комбинирането на двете променя проблема. Шепа убедителни примери не са достатъчни, както и изгладен разказ, изграден върху непълно проучване. Агентът трябва да поддържа широко откриване, без да жертва фактическото качество от един запис към следващия.

WANDR улавя тази структура с гъвкава, композируема хиерархия на квалификационните ключове. Една задача може да изисква

company(n) → employee(m) → url(k)

Това означава намиране на n отговарящи на условията компании, m отговарящи на условията служители във всяка компания и k поддържащи страници за всеки служител. Всеки пълен път през дървото може да бъде валидиран независимо. Същата основна структура може да представи плосък списък, вложено търсене, матрица или задача с множество клонове за доказателства. Тези модели могат също да бъдат комбинирани, което позволява едно представяне да покрие широк спектър от реални случаи на употреба.

Шест общи йерархични модела. Запълнените кръгове са субекти, пунктираните кръгове са фиксирани етикети, а квадратите са URL листа. В матрицата повтарящите се дъщерни етикети обозначават едни и същи дъщерни стойности при различни родители.

Една пусната задача илюстрира тази структура на практика.

ceo_cfo_appointments

Основна задача. Намерете поне 70 базирани в САЩ компании с назначение на главен изпълнителен директор (CEO) или главен финансов директор (CFO), обявено за първи път между 1 март и 30 април 2026 г. За всяка компания предоставете авторитетна страница за назначаване, която идентифицира компанията и назначеното лице, установява ролята и датата на обявяване и идва от издателя, подадено заявление, новинарска агенция или директно приписана бизнес журналистика от първа ръка.

Основна хиерархия. company(70) → company_appointee(1) → url(1).

Подзадача за списък на компаниите. За същите компании предоставете призната страница на орган по листване, показваща или листване на национална борса за ценни книжа в САЩ, или статус на регистриран емитент по Закона за борсите на SEC, базиран в САЩ.

Хиерархия на подзадачите. company(70) → url(1).

Необходими записи. 140: 70 записа за назначения плюс 70 записа за листване.

Всеки път завършва в страница и откъси, които проверяващият може да провери отново. Споделеният ключов елемент на компанията подрежда клоновете за назначаване и листване, така че назначаване без отделно доказателство за статус на листване все пак оставя тази компания непълна.

Реалистични задачи, генерирани в мащаб

WANDR започва от деидентифицирани модели, наблюдавани при производствена употреба, вместо от синтетични подкани. Това поддържа бенчмарка близо до работата, която хората действително делегират: открито откриване, повтарящо се обогатяване, проверки от множество източници и структурирани сравнения в професионален мащаб. Полуавтоматичен тръбопровод превръща тези модели в задачи, като запазва човешкия труд за контрол на качеството вместо изчерпателно анотиране на отговори.

Тръбопроводът има четири етапа. Засяването извлича деидентифицирани продуктови заявки за многократно използваем модел за широко проучване. Създаването изпълнява междинен цикъл автор-критик: агентите скицират и тестват дизайна под напрежение, пишат спецификацията на задачата и съдията, създават помощни записи и използват механичен линтер, за да поддържат всичко съгласувано. Приемането проверява дали целевият обем е постижим чрез сливане на 10–12 пускания за създаване, одитира специфичния за задачата съдия и по желание добавя човешко одобрение. Кураторството етикетира приетите задачи и избира балансиран краен набор по теми, мащаб, топология и трудност.

Конвейерът за изграждане на задачите има четири етапа. Seeding идентифицира реалистична заявка; authoring я превръща в самостоятелна задача чрез цикъл author–critic и механични проверки; admission тества осъществимостта и качеството на оценяването; а curation подбира балансирано издание. Изходът е 500 публични пакета със задачи.

Средната задача изисква 50 членове, четири записа на член и 245 записа общо. Взети заедно, 500-те задачи изискват 170 495 записа, подкрепени от източници. Калибрираме трудността от исторически пускания на етапа на проектиране, след което разделяме задачите по ранг на 167 по-ниски, 166 средни и 167 по-високи примери за трудност. Графиката по-долу показва, че трудността не се определя само от мащаба; тя зависи и от работата, изисквана за всеки запис.

Обща трудност на задачата в равнината ширина-дълбочина (логаритмична скала; 500 бенчмарк задачи). Ширината е броят на задължителните членове; дълбочината е полученият брой записи, разделен на този брой членове. Цветът на точките обозначава общия етикет на трудност. Пунктираните водачи отбелязват медианната ширина (50 членове) и медианната дълбочина (4.00 записа на член).

Оценка без референции, верифицирана с доказателства

Фиксираният ключ за отговори е неподходящ за отворени изследвания. Той е скъп за изграждане, бързо остарява и представя зле въпроси, чиито отговори се променят с времето. Вместо това WANDR оценява всяко подадено твърдение спрямо доказателствата, които агентът цитира.

Всеки запис съдържа елемент, URL адрес, избрани откъси и отговор. Проверяващият извлича страницата отново и проверява дали тя е полезна, дали твърдението е ясно и в обхвата, дали откъсите се появяват в оригиналния си вид на страницата и дали както страницата, така и откъсите поддържат всяко изискване.

Тези двоични вердикти за записи се обобщават чрез хиерархията. Прецизността измерва качеството на това, което системата е подала. Пълнотата измерва коригираното спрямо качеството изпълнение спрямо заявения обем, запълвайки всяка липса с нули. F1 балансира двете. Меките резултати дават частични кредити на непълни членове; твърдите резултати отчитат само членове, чието пълно изисквано поддърво е правилно. За диагностика WANDR докладва и вердикт само за извличане, който пита дали изтеглената страница удовлетворява задачата, преди да добави по-строгите проверки за валидност и подадени откъси.

Това прави неизправностите подлежащи на тълкуване и локализиране. Високата прецизност с ниска пълнота обикновено означава, че системата е намерила някои добри членове, но не достатъчно от тях. Големият спад от мек към твърд резултат означава, че тя е постигнала частичен напредък, но рядко е завършила всеки клон, необходим за пълен кредит. Дървото на резултатите може да локализира загубата до откриване, обогатяване, обработка на самоличността, квалификация на страници или извличане на доказателства.

Тръбопроводът за оценка. Разрешаването нормализира изхода на всяка система; извличането извлича всяка цитирана страница и прави повторни опити за счупени извличания в браузър; съдията разрешава самоличностите и оценява всеки запис; а оценяването обединява вердиктите в прецизност, пълнота и F1 на ниво задача.

Какво открихме

Сравнихме шест производствени системи: хоствани API за задачи и търсене, общи API за уеб агенти, продукт за задълбочено проучване и нашата програматична система за оркестрация на търсене Search as Code (SaC). Всяка от тях беше планирана за всички 500 задачи при фиксирана конфигурация, след което премина през същия тръбопровод за извличане, съдийство, разрешаване на самоличност и оценяване.

Perplexity Search as Code води с 0.363 soft F1 и 0.133 hard F1. Anthropic е на второ място с 0.249 и 0.072; всяка друга система достига таван от 0.121 soft F1 и 0.035 hard F1. Нито една система не доминира едновременно по качество и ефективност. Perplexity се намира в средата на ценовия диапазон с 5,20 щ. д. на задача, с медианно време за решаване 14,9 минути и 3,82 милиона докладвани токена на задача. OpenAI и Exa са по-бързи и по-евтини, но получават много по-ниски оценки. Anthropic се доближава най-много по качество, но използва значително повече време, пари и токени.

Меката и твърдата прецизност и пълнота спрямо разход, медианна латентност и отчетено използване на токени върху WANDR.
Мека и твърда прецизност и пълнота (горе) и мек и твърд F1 (долу) спрямо разходи, медианна латентност на решаване и използване на докладвани токени. По-високо и по-наляво е по-добре. Exa и Parallel отсъстват от изгледите за токени, тъй като не разкриват брой токени.

Оценихме и всяка налична настройка за усилие върху същия подсет от 45 задачи. Повечето усилия подобряват Perplexity, Gemini и Exa на всяка стъпка; Perplexity достига 0.447 soft F1 и 0.224 hard F1 при xhigh. По-високото усилие обаче не е еднакво по-добро: OpenAI достига пик при high, а твърдият F1 на Parallel леко се отклонява между ultra2x и ultra4x. Цената обхваща повече от четири порядъка – от 0,03 щ. д. на задача за Exa low до 324,83 щ. д. за Gemini max.

Мек F1 спрямо разход, медианна латентност и отчетено използване на токени при различни нива на усилие върху поднабора WANDR от 45 задачи.
Мек F1 (горе) и твърд F1 (долу) във всички налични настройки за усилие върху съпоставения подсет от 45 задачи. По-тъмните пътеки обозначават по-голямо усилие.

Четири констатации изпъкват.

Частичният напредък е чест; пълното покритие – не. Меката пълнота е под меката прецизност за всяка система, което означава, че производителността пада, след като пълният заявен обем влезе в знаменателя. Perplexity запазва 0.357 пълнота от 0.389 прецизност, което е най-малката разлика; Anthropic падат от 0.354 на 0.222. Преобразуването от мек към твърд резултат е още по-сурово. Perplexity спада от 0.363 soft F1 до 0.133 hard F1, а Anthropic от 0.249 на 0.072. Най-добрата твърда прецизност е 0.150, а най-добрата твърда пълнота е 0.134: дори лидерът печели пълен кредит за едва около един от всеки седем подадени членове и един от всеки седем членове, изисквани от задачата.

Мащабът утежнява проблема. От най-малкия до най-големия кошер с целеви обем, твърдата прецизност на Perplexity спада от 0.235 на 0.096, а твърдата ѝ пълнота – от 0.219 на 0.079. Anthropic падат от 0.205 на 0.113 и от 0.127 на 0.042; OpenAI падат от 0.109 на 0.034 и от 0.102 на 0.016. Пълнотата обикновено спада по-бързо от прецизността: дадена система може да запази малък джоб от пълни членове, докато покрива все по-малка част от заявения набор.

По-дълбоките хиерархии са още по-сурови. Преминаването от липса на междинен ключ към три или повече води до спад на твърдата прецизност на Perplexity от 0.392 на 0.019 и на твърдата пълнота от 0.378 на 0.017; Anthropic падат от 0.311 на 0.049 и от 0.229 на 0.022; OpenAI падат от 0.136 на 0.012 и от 0.120 на 0.011. Всеки добавен клон създава друго място, където членът може да пропусне твърдия резултат тип „всичко или нищо“. Разходите и латентността не следват общ монотонен модел.

Твърда прецизност, твърда пълнота, медианна латентност на решаване и средна цена в зависимост от целевия обем на записите (горе) и дълбочината на междинната хиерархия (долу). Всяка линия представлява една фиксирана конфигурация при основното изпълнение. Линиите свързват агрегатите на кошовете задачи за по-добра четимост и не предполагат причинно-следствен ефект на мащаба или структурата.

Дори преди оценката на качеството, откриването е първото структурно тясно място. Ако се гледат само суровите, преди срива бройки, средното завършване на откриването на най-високо ниво варира от 0.611 до 0.951. Условното обогатяване е по-силно при 0.767–0.967, а завършването на крайните слотове за доказателства достига 0.979–0.994, след като съществуват член и неговият път на обогатяване. Perplexity води при откриването с 0.951 и обогатяването с 0.967, но OpenAI е малко по-напред при крайните слотове за доказателства с 0.994 срещу 0.991. Сривът на дубликатите представлява само 0.017–0.205 процентни пункта от загубата на бройки в шестте пълни пускания, така че недостатъчната доставка, а не сливането на самоличности, е основното обобщено обяснение. Най-големите сурови структурни загуби настъпват, преди да бъде прикачен крайният URL адрес.

Средно сурово структурно завършване на ниво задача от дърветата на верификатора. Откриването е най-горният ключ, обогатяването покрива междинните ключове, а доказателството е крайният ключ. Стойностите използват предоставени бройки преди срива, така че фигурата изолира къде липсва подаденият обем, преди качеството на записа да бъде оценено.

Намирането на полезна страница обикновено е лесно; намирането на пълни доказателства е трудно. За пет системи само 3,2%–8,9% от подадените страници са неизползваеми; OpenAI е изключението с 23,1%. Невалидните записи или записи с грешен тип също са относително редки – 4,2%–17,4%. Основните загуби идват след това: 33,6%–68,3% от подадените страници не успяват да отговорят на поне едно съществено изискване на задачата, а 57,5%–86,6% от подадените откъси не успяват да подкрепят всичко, което записът твърди. Процентите за Perplexity са 41,4% и 57,5%. Нейният мек F1 спада от 0.531 при проверката само за извличане, която пита само дали страницата отговаря на всяко съществено изискване, до 0.363 при пълния вердикт, който изисква и универсалните проверки, специфичната за задачата валидност и пълната поддръжка от откъси. Твърдият F1 също спада от 0.245 на 0.133. Трудната част не е просто достигането до правдоподобна страница; тя е превръщането на тази страница в достатъчно доказателство за цялото твърдение.

Измерени проби за неизправности на ниво запис от наличните детайли на верификатора, в проценти; по-ниското е по-добре. Неизправностите по изискванията за страници и откъси са съществено по-често срещани от неизправностите с неизползваеми страници или невалидни записи. Parallel разполага с диагностични детайли за 350 задачи, докато другите редове обхващат 490–500 задачи.

Search as Code е добре съобразена с тази форма на задачи. Моделът може да изрази логика за извличане, филтриране, разклоняване, рендиране, съединяване, дедупликация и спиране като програма, докато детерминистичните изчисления се справят с повтарящите се операции извън контекста на модела. Този профил е съвместим с по-силното задържане на ширина и изграждане на откъси на Perplexity, въпреки че тя не води на всяко ниво: Anthropic има най-ниския процент неизправности по изискванията за страници.

Какво предстои

WANDR предоставя нещо повече от един резултат в класацията. Неговата обща структура на задачите и полуавтоматичен тръбопровод поддържат разнотипово генериране на задачи с висок обем, докато вердиктите за всеки запис и резултатите на ниво хиерархия показват къде дадено изпълнение се проваля: откриване, обогатяване, обработка на самоличността, семантична квалификация или изграждане на доказателства. Пуснатите задачи, верификаторът и структурната диагностика предоставят основа за подобряване на системните за цялостно търсене и тестване дали тези печалби се запазват в мащаб.

Същата структура може също да направи WANDR полезен за машинно обучение с подкрепление. Вместо да разчита на едно единствено рядко крайно възнаграждение, треньорът може да използва преценки на ниво запис и клон, да задава частични кредити за напредъка по откриване и обогатяване и да изгради учебна програма чрез повишаване на изискваните бройки с течение на времето. Тръбопроводът може да генерира отделени задачи-близнаци в различни домейни, хиерархични форми, правила за доказателства и настройки за ширина-дълбочина без изброяване на златни отговори. Това създава път към обучение на агенти не само да намират верни факти, но и да планират за покритие, да откриват липсващи клонове и да се възстановяват преди спиране.

Бенчмарк задачите, инструментът за оценка и пълният технически отчет са достъпни в GitHub.

Цитат

BibTeX
@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}