Бенчмарк WANDR: Оцінювання дослідницьких агентів, які повинні виконувати широкий та глибокий пошук

Бенчмарк для масштабної інтелектуальної праці з високими вимогами до доказів.

АвториPerplexity Research

Сьогодні ми випускаємо WANDR (Wide ANd Deep Research) — відкритий бенчмарк та систему оцінювання, створену на основі 500 реалістичних, складних завдань зі збору даних для інтелектуальної праці. WANDR є «широким» побратимом нашого бенчмарка DRACO для проведення глибокого дослідження. DRACO запитує, чи може агент створити точний, повний та об'єктивний розгорнутий звіт; WANDR запитує, чи може він зібрати велику колекцію та підтвердити кожен елемент конкретними доказами.

Це типи завдань, які люди вже доручають дослідницьким агентам: конкурентне картування, ретельна перевірка (due diligence), огляд літератури, аналіз ринку, порівняння продуктів, пошук талановитих співробітників тощо. Завдання охоплюють від кількох десятків до тисяч незалежно перевірюваних записів. Навіть за високих налаштувань зусиль найсильніша система в нашій оцінці досягає лише 0,363 за м'яким показником F1 та 0,133 за жорстким показником F1. Проведення широкого і глибокого дослідження ще дуже далеке від вирішення.

Масштаб бенчмарку WANDR та найкращі значення soft F1 і hard F1, наведені в цій оцінці.

Чому проведення широкого і глибокого дослідження має значення

Багато корисних дослідницьких завдань не закінчуються тоді, коли агент знаходить одну відповідь. Аналітику ринку може знадобитися кожен конкурент, що відповідає критеріям, з однаковими доказами для кожного з них. Команді з перевірки надійності може знадобитися інформація про десятки компаній, а потім про право власності, керівництво, фінансування та регуляторний статус кожної з них. Це створює дві окремі вимоги:

Широта: виявити велику та часто відкриту множину суб'єктів, що відповідають критеріям.

Глибина: дослідити кожен суб'єкт настільки глибоко, щоб підтвердити кожну запитувану тезу доказами.

Поєднання цих двох факторів змінює саму проблему. Горстки переконливих прикладів недостатньо, як і витонченого опису, побудованого на неповній інформації. Агент повинен підтримувати широкий пошук, не жертвуючи якістю фактів при переході від одного запису до іншого.

WANDR фіксує цю структуру за допомогою гнучкої та компонованої ієрархії ключів кваліфікації. Завдання може вимагати

company(n) → employee(m) → url(k)

Це означає пошук n відповідних компаній, m відповідних співробітників у кожній компанії та k підтримуваних сторінок для кожного співробітника. Кожен повний шлях через дерево можна перевірити незалежно. Та сама базова структура може представляти плаский список, вкладений пошук, матрицю або завдання з кількома гілками доказів. Ці патерни також можна комбінувати, що дозволяє одному представленню охоплювати широкий спектр реальних сценаріїв використання.

Шість поширених патернів ієрархії. Заповнені кола — це суб'єкти, пунктирні кола — фіксовані мітки, а квадрати — кінцеві елементи URL. У матриці повторювані дочірні мітки позначають однакові дочірні значення для різних батьківських елементів.

Одне опубліковане завдання ілюструє цю структуру на практиці.

ceo_cfo_appointments

Основне завдання. Знайдіть принаймні 70 американських компаній із призначенням генерального директора (CEO) або фінансового директора (CFO), яке вперше було оголошено в період з 1 березня по 30 квітня 2026 року. Для кожної компанії надайте авторитетну сторінку призначення, яка ідентифікує компанію та призначену особу, встановлює посаду та дату оголошення, а також походить від емітента, офіційного подання (filing), інформаційного агентства або є безпосередньо атриб'юованою первинною діловою журналістикою.

Основна ієрархія. company(70) → company_appointee(1) → url(1).

Підзавдання зі списку компаній. Для тих самих компаній надайте визнану сторінку органу лістингу, що підтверджує лістинг на національній фондовій біржі США або статус американського емітента, який звітує згідно із Законом США про фондові біржі (SEC Exchange Act).

Ієрархія підзавдання. company(70) → url(1).

Необхідні записи. 140: 70 записів про призначення плюс 70 записів про лістинг.

Кожен шлях закінчується на сторінці та витягах, які перевіряльник може перевірити повторно. Спільний ключ компанії пов'язує гілки призначення та лістингу, тому призначення без окремого підтвердження статусу лістингу все одно залишає дані цієї компанії неповними.

Реалістичні завдання, згенеровані в масштабі

WANDR починається з деідентифікованих патернів, спостережуваних у реальному виробничому середовищі, а не із синтетичних промптів. Це наближає бенчмарк до роботи, яку люди зазвичай делегують: відкритий пошук, багаторазове збагачення, перехресна перевірка джерел і структуроване порівняння в професійному масштабі. Напівавтоматизований конвеєр перетворює ці патерни на завдання, резервуючи людські зусилля для контролю якості замість виснажливого анотування відповідей.

Конвеєр складається з чотирьох етапів. Сівінг (Seeding) виділяє деідентифіковані запити продукту для створення повторно використовуваного патерну широкого дослідження. Створення (Authoring) виконує чергування циклу автора й критика: агенти створюють ескізи та проводять стрес-тестування дизайну, пишуть специфікацію завдання та критерій оцінювання, створюють тестові записи та використовують машинний лінтер для забезпечення узгодженості. Прийом (Admission) перевіряє досяжність цільового обсягу шляхом об'єднання 10–12 результатів етапу створення, перевіряє специфічний для завдання критерій оцінювання та за бажанням додає підтвердження людиною. Кураторство (Curation) маркує прийняті завдання та вибирає збалансований кінцевий набір за темами, масштабом, топологією та складністю.

Пайплайн побудови завдань має чотири етапи. Seeding виявляє реалістичний запит; authoring перетворює його на самодостатнє завдання через цикл author–critic і механічні перевірки; admission тестує здійсненність і якість за оцінкою судді; а curation обирає збалансований реліз. Вихідний результат — 500 публічних пакетів завдань.

Медіанне завдання вимагає 50 елементів, чотири записи на елемент і 245 записів загалом. У сукупності 500 завдань вимагають 170 495 записів із посиланням на джерела. Ми калібруємо складність на основі історичних результатів на етапі проектування, після чого ділимо завдання за рангом на 167 прикладів нижчої, 166 середньої та 167 вищої складності. Наведений нижче графік показує, що складність визначається не лише масштабом; вона також залежить від обсягу роботи, необхідного для кожного запису.

Загальна складність завдання у площині ширина–глибина (логарифмічна шкала; 500 завдань бенчмарка). Ширина — це кількість необхідних елементів; глибина — необхідна кількість записів, поділена на кількість таких елементів. Колір точки позначає загальну мітку складності. Пунктирні лінії позначають медіанну ширину (50 елементів) та медіанну глибину (4,00 записи на елемент).

Оцінювання без еталонних відповідей, з перевіркою за доказами

Фіксований ключ відповідей погано підходить для досліджень відкритого типу. Його дорого створювати, він швидко застаріває і погано представляє питання, відповіді на які змінюються з часом. Натомість WANDR оцінює кожне подане твердження на основі доказів, на які посилається агент.

Кожен запис містить елемент, URL-адресу, вибрані уривки та відповідь. Система оцінювання повторно завантажує сторінку та перевіряє, чи вона є придатною для використання, чи є твердження чітким і відповідає сфері застосування, чи точно уривки присутні на сторінці, і чи підтримують як сторінка, так і уривки кожну вимогу.

Ці двійкові вердикти щодо записів агрегуються через ієрархію. Точність (Precision) вимірює якість того, що система подала. Повнота (Recall) вимірює завершеність із поправкою на якість відносно запитуваного обсягу, заповнюючи будь-який дефіцит нулями. F1 балансує обидва показники. М'які бали дають часткові кредити неповним елементам; жорсткі бали зараховують лише ті елементи, чиє повне необхідне піддерево є правильним. Для діагностики WANDR також надає вердикт лише за пошуком, який запитує, чи задовольняє отримана сторінка завдання, перш ніж додавати суворіші перевірки на валідність та подані уривки.

Це робить помилки інтерпретованими та локалізованими. Висока точність за низької повноти зазвичай означає, що система знайшла деякі хороші елементи, але недостатньо. Велике падіння від м'якого до жорсткого балу означає, що система досягла часткового прогресу, але рідко завершувала кожну гілку, необхідну для отримання повного кредиту. Дерево оцінок дозволяє локалізувати втрати до виявлення, збагачення, обробки ідентифікаторів, кваліфікації сторінок або вилучення доказів.

Конвеєр оцінювання. Вирішення нормалізує вихідні дані кожної системи; отримання завантажує кожну цитовану сторінку та повторює невдалі завантаження в браузері; оцінювання визначає ідентифікатори та оцінює кожен запис; а підрахунок балів зводить вердикти в точність, повноту та F1 на рівні завдання.

Що ми виявили

Ми порівняли шість виробничих систем: хостингові API завдань і пошуку, загальні API веб-агентів, продукт для глибокого дослідження та нашу програмовану систему оркестрування пошуку Search as Code (SaC). Кожна з них була запланована для всіх 500 завдань у фіксованій конфігурації, а потім пройшла через той самий конвеєр отримання, оцінювання, вирішення ідентифікаторів та підрахунку балів.

Perplexity Search as Code лідирує з показниками 0,363 за м'яким F1 та 0,133 за жорстким F1. Anthropic посідає друге місце з 0,249 та 0,072; кожна інша система досягає максимум 0,121 за м'яким F1 та 0,035 за жорстким F1. Жодна система не домінує водночас за якістю та ефективністю. Perplexity перебуває в середині діапазону вартості з показником $5,20 за завдання, медіанним часом виконання 14,9 хвилини та 3,82 мільйонами звітних токенів на завдання. OpenAI та Exa є швидшими й дешевшими, але набирають значно менше балів. Anthropic наближається до найкращих результатів за якістю, але використовує суттєво більше часу, грошей та токенів.

Soft і hard precision та recall залежно від вартості, медіанної затримки та задекларованого використання токенів на WANDR.
М'які та жорсткі точність і повнота (вгорі), а також м'які та жорсткі F1 (внизу) залежно від вартості, медіанної затримки виконання та заявленого використання токенів. Вищі та лівіші значення є кращими. Exa та Parallel відсутні на візуалізаціях токенів, оскільки вони не надають дані про кількість токенів.

Ми також оцінили всі доступні налаштування зусиль на тій самій підмножині з 45 завдань. Більші зусилля покращують результати Perplexity, Gemini та Exa на кожному кроці; Perplexity досягає 0,447 за м'яким F1 та 0,224 за жорстким F1 на рівні xhigh. Проте вищі зусилля не завжди дають лінійне покращення: OpenAI досягає піка на рівні high, а жорсткий F1 Parallel трохи знижується між рівнями ultra2x та ultra4x. Вартість охоплює понад чотири порядки: від $0,03 за завдання для Exa на рівні low до $324,83 для Gemini на рівні max.

Soft F1 залежно від вартості, медіанної затримки та задекларованого використання токенів для різних рівнів зусиль у підмножині WANDR із 45 завдань.
М'який F1 (вгорі) та жорсткий F1 (внизу) для всіх доступних налаштувань зусиль на відповідній підмножині з 45 завдань. Темніші лінії позначають вищі зусилля.

Виділяються чотири основні висновки.

Частковий прогрес є поширеним явищем; повне охоплення — ні. М'яка повнота нижча за м'яку точність для кожної системи, що означає падіння продуктивності, коли весь запитуваний обсяг потрапляє до знаменника. Perplexity зберігає повноту на рівні 0,357 при точності 0,389, що є найменшим розривом; Anthropic падає з 0,354 до 0,222. Перетворення м'якого показника на жорсткий є ще суворішим. Perplexity падає з 0,363 за м'яким F1 до 0,133 за жорстким F1, а Anthropic — з 0,249 до 0,072. Найкраща жорстка точність становить 0,150, а найкраща жорстка повнота — 0,134: навіть лідер отримує повний кредит лише приблизно для кожного сьомого поданого ним елемента та кожного сьомого елемента, запитаного у завданні.

Масштаб посилює проблему. Від найменшого до найбільшого кошика цільового обсягу жорстка точність Perplexity падає з 0,235 до 0,096, а її жорстка повнота — з 0,219 до 0,079. Anthropic падає з 0,205 до 0,113 та з 0,127 до 0,042; OpenAI падає з 0,109 до 0,034 та з 0,102 до 0,016. Повнота зазвичай падає швидше за точність: система може зберігати невелику кількість повністю правильних елементів, охоплюючи все меншу частину запитуваного набору.

Глибші ієрархії є ще суворішими. При переході від відсутності проміжного ключа до трьох чи більше, жорстка точність Perplexity падає з 0,392 до 0,019, а жорстка повнота — з 0,378 до 0,017; Anthropic падає з 0,311 до 0,049 та з 0,229 до 0,022; OpenAI падає з 0,136 до 0,012 та з 0,120 до 0,011. Кожна додаткова гілка створює ще одне місце, де елемент може не відповідати умовам жорсткого оцінювання за принципом «все або нічого». Вартість та затримка не слідують єдиній монотонній закономірності.

Жорстка точність, жорстка повнота, медіанна затримка виконання та середня вартість залежно від цільового обсягу записів (вгорі) та глибини проміжної ієрархії (внизу). Кожна лінія представляє одну фіксовану конфігурацію основного запуску. Лінії з'єднують сукупні дані кошиків завдань для зручності читання і не передбачають причинно-наслідкового зв'язку масштабу чи структури.

Навіть до оцінки якості, пошук є першою структурною вузькою місцем. Дивлячись лише на необроблені кількості до згортання, завершеність пошуку на верхньому рівні становить від 0,611 до 0,951. Умовне збагачення є сильнішим — 0,767–0,967, а завершеність кінцевих слотів доказів досягає 0,79–0,994 після появи елемента та його шляху збагачення. Perplexity лідирує в пошуку з показником 0,951 та збагаченні з показником 0,967, але OpenAI демонструє трохи вищий результат у кінцевих слотах доказів — 0,994 проти 0,991. Згортання дублікатів становить лише 0,017–0,205 відсотка втрат кількості у шести повних запусках, тому недовиконання, а не об'єднання ідентифікаторів, є головним сукупним поясненням. Найбільші необроблені структурні втрати відбуваються до того, як прикріплено кінцеву URL-адресу.

Середній рівень структурної завершеності завдань на основі дерев перевірки. Пошук — це головний ключ, збагачення охоплює проміжні ключі, а докази — кінцевий ключ. Значення використовують надані кількості до згортання, тому діаграма ілюструє, де саме втрачається поданий обсяг до оцінки якості записів.

Знайти придатну для використання сторінку зазвичай легко; знайти повні докази складно. Для п'яти систем лише 3,2%–8,9% поданих сторінок є непридатними для використання; OpenAI є винятком із показником 23,1%. Недійсні записи або записи неправильного типу також зустрічаються відносно рідко — 4,2%–17,4%. Далі йдуть основні втрати: 33,6%–68,3% поданих сторінок не проходять принаймні одну суттєву вимогу завдання, а 57,5%–86,6% поданих уривків не підтверджують усе, що стверджується в записі. Показники Perplexity становлять 41,4% та 57,5%. Її м'який F1 падає з 0,531 за перевіркою лише за пошуком, яка запитує лише те, чи відповідає сторінка кожній суттєвій вимозі, до 0,363 за повним вердиктом, який також вимагає універсальних перевірок, специфічної для завдання валідності та повної підтримки уривків. Жорсткий F1 аналогічно падає з 0,245 до 0,133. Складність полягає не лише в тому, щоб дістатися до правдоподібної сторінки; складно перетворити цю сторінку на достатній доказ для всього твердження.

Виміряні перевірки помилок на рівні записів з доступних деталей перевірки, у відсотках; менше значення є кращим. Помилки у вимогах до сторінок і уривків зустрічаються значно частіше, ніж помилки непридатності сторінок або недійсності записів. Parallel має діагностичні деталі для 350 завдань, тоді як інші рядки охоплюють 490–500 завдань.

Search as Code добре підходить для такої форми завдання. Модель може виражати пошук, фільтрацію, розгалуження, рендеринг, з'єднання, дедуплікацію та логіку зупинки як програму, тоді як детерміновлені обчислення опрацьовують повторювані операції поза контекстом моделі. Цей профіль узгоджується з кращим збереженням ширини та побудовою уривків у Perplexity, хоча вона й не лідирує на кожному рівні: Anthropic має найнижчий рівень помилок вимог до сторінок.

Що далі

WANDR надає більше, ніж просто один бал у таблиці лідерів. Його спільна структура завдань та напівавтоматизований конвеєр підтримують різноманітну генерацію завдань у великих обсягах, тоді як вердикти для кожного запису та бали на рівні ієрархії показують, де саме запуск зазнає невдачі: у пошуку, збагаченні, обробці ідентифікаторів, семантичній кваліфікації чи побудові доказів. Опубліковані завдання, перевіряльник та структурні діагностики створюють основу для вдосконалення комплексних пошукових систем і перевірки того, чи зберігаються ці здобутки в масштабі.

Така сама структура також може зробити WANDR корисним для навчання з підкріпленням. Замість покладання на єдину розріджену кінцеву винагороду, тренер може використовувати судження на рівні записів і гілок, призначати часткові кредити за прогрес пошуку та збагачення, а також будувати навчальну програму, збільшуючи необхідну кількість з часом. Конвеєр може генерувати приховані споріднені завдання в різних доменах, формах ієрархії, правилах доказів і налаштуваннях ширина–глибина без перерахування золотих відповідей. Це створює шлях до навчання агентів не лише знаходити правильні факти, а й планувати охоплення, виявляти відсутні гілки та відновлюватися перед зупинкою.

Завдання бенчмарка, система оцінювання та повний технічний звіт доступні на GitHub.

Цитування

BibTeX
@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}