Бенчмарк WANDR: оценка исследовательских агентов для широкого и глубокого поиска

Бенчмарк для высоконагруженной, насыщенной доказательствами работы.

АвторыPerplexity Research

Сегодня мы выпускаем WANDR (Wide ANd Deep Research) — открытый бенчмарк и инструмент для оценки, построенный на 500 реалистичных, сложных задачах по сбору данных для интеллектуальной работы. WANDR — это «широкий» аналог нашего бенчмарка DRACO для глубокого исследования. DRACO проверяет, может ли агент подготовить точный, полный и объективный развернутый отчет; WANDR проверяет, может ли он собрать большой массив данных и подтвердить каждый элемент конкретными доказательствами.

Именно такие задачи люди уже поручают исследовательским агентам: конкурентный анализ, комплексная проверка (due diligence), обзор литературы, анализ рынка, сравнение продуктов, подбор персонала и многое другое. Задачи варьируются от десятков до тысяч независимо проверяемых записей. Даже при высокой интенсивности усилий лучшая система в нашей оценке достигает лишь 0,363 по метрике soft F1 и 0,133 по метрике hard F1. «Широкое и глубокое исследование» пока еще далеко от своего окончательного решения.

Шкала бенчмарка WANDR и лучшие значения мягкого F1 и жесткого F1, полученные в этом исследовании.

Почему важно «широкое и глубокое исследование»

Многие полезные исследовательские задачи не заканчиваются, когда агент находит один ответ. Аналитику рынка может потребоваться найти всех соответствующих критериям конкурентов с одинаковым набором доказательств для каждого из них. Команде по комплексной проверке (due diligence) может потребоваться информация о десятках компаний, включая сведения об их владельцах, руководстве, финансировании и регуляторном статусе для каждой. Это порождает два отдельных требования:

Широкий охват: обнаружение большого и зачастую открытого набора соответствующих критериям объектов.

Глубокое исследование: изучение каждого объекта в достаточной мере для подтверждения каждого заявленного требования доказательствами.

Сочетание этих двух подходов меняет задачу. Недостаточно нескольких убедительных примеров, как не поможет и отполированное повествование, построенное на неполном исследовании. Агент должен поддерживать широкий охват поиска, не жертвуя фактологическим качеством при переходе от одной записи к другой.

WANDR отражает эту структуру с помощью гибкой, компонуемой иерархии ключей квалификации. Задача может требовать:

компания(n) → сотрудник(m) → url(k)

Это означает поиск n подходящих компаний, m подходящих сотрудников в каждой компании и k подтверждающих страниц для каждого сотрудника. Каждый полный путь по дереву может быть проверен независимо. Одна и та же базовая структура может представлять собой плоский список, вложенный поиск, матрицу или задачу с несколькими ветвями доказательств. Эти паттерны можно комбинировать, что позволяет использовать одно представление для широкого спектра реальных сценариев.

Шесть распространенных паттернов иерархии. Закрашенные круги — это объекты, пунктирные круги — фиксированные метки, а квадраты — конечные узлы с URL. В матрице повторяющиеся дочерние метки обозначают одни и те же дочерние значения для разных родителей.

Одна опубликованная задача иллюстрирует эту структуру на практике.

ceo_cfo_appointments

Основная задача. Найти не менее 70 компаний, базирующихся в США, в которых назначение генерального (CEO) или финансового (CFO) директора было впервые объявлено в период с 1 марта по 30 апреля 2026 года. Для каждой компании предоставить авторитетную страницу о назначении, которая идентифицирует компанию и назначенное лицо, подтверждает должность и дату объявления, а также исходит от эмитента, из официальной отчетности, ленты новостей или непосредственно от деловых СМИ с указанием первоисточника.

Основная иерархия. company(70) → company_appointee(1) → url(1).

Подзадача «список компаний». Для тех же компаний предоставить признанную страницу органа, ведущего реестр, подтверждающую листинг на национальной фондовой бирже США или статус отчетного эмитента, регулируемого Законом о фондовых биржах США.

Иерархия подзадачи. company(70) → url(1).

Требуемые записи. 140: 70 записей о назначении и 70 записей о листинге.

Каждый путь заканчивается страницей и выдержками, которые проверяющий может перепроверить. Общий ключ компании выстраивает в ряд ветви назначения и листинга, поэтому назначение без отдельного доказательства статуса листинга по-прежнему означает, что информация о компании является неполной.

Реалистичные задачи, созданные в масштабе

WANDR берет за основу деидентифицированные паттерны, наблюдаемые в реальной работе, а не синтетические подсказки. Это приближает бенчмарк к задачам, которые люди действительно делегируют: поиск с открытым концом, повторяющееся обогащение данных, перекрестные проверки источников и структурированные сравнения в профессиональном масштабе. Полуавтоматизированный конвейер преобразует эти паттерны в задачи, оставляя человеку контроль качества вместо исчерпывающей аннотации ответов.

Конвейер состоит из четырех этапов. Посев: извлечение деидентифицированных запросов для повторного использования паттерна «широкого исследования». Разработка: выполнение итеративного цикла «автор-критик», где агенты создают и тестируют проект, пишут спецификацию задачи и критерии оценки, создают тестовые записи и используют автоматический линтер для обеспечения согласованности. Приемка: проверка достижимости целевого объема путем объединения 10–12 запусков, аудит специфического для задачи алгоритма оценки и, при необходимости, человеческая проверка. Курирование: маркировка принятых задач и выбор сбалансированного финального набора по темам, масштабу, топологии и сложности.

Пайплайн создания заданий состоит из четырех этапов. На этапе seeding выявляется реалистичный запрос; на этапе authoring он превращается в самодостаточное задание через цикл author–critic и механические проверки; на этапе admission оцениваются выполнимость и качество для судей; а на этапе curation выбирается сбалансированный релиз. Выходной набор включает 500 общедоступных пакетов заданий.

Медианная задача требует 50 участников, четыре записи на участника и 245 записей в целом. В совокупности 500 задач требуют 170 495 записей, подтвержденных источниками. Мы калибруем сложность на основе исторических запусков на этапе проектирования, а затем делим задачи по рангу на 167 примеров низкой, 166 средней и 167 высокой сложности. Приведенный ниже график показывает, что сложность определяется не только масштабом; она также зависит от объема работы, требуемой для каждой записи.

Общая сложность задачи в плоскости широта–глубина (лог-лог; 500 задач бенчмарка). Широта — это количество требуемых участников; глубина — количество требуемых записей, деленное на количество участников. Цвет точки обозначает общую метку сложности. Пунктирные направляющие отмечают медианную широту (50 участников) и медианную глубину (4,00 записи на участника).

Оценка без эталонных ответов, с проверкой по доказательствам

Фиксированный ключ ответов плохо подходит для исследовательских задач с открытым концом. Его дорого создавать, он быстро устаревает и плохо отражает вопросы, ответы на которые меняются со временем. Вместо этого WANDR оценивает каждое представленное утверждение в сравнении с доказательствами, на которые ссылается агент.

Каждая запись содержит элемент, URL, выбранные выдержки и ответ. Проверяющий повторно запрашивает страницу и проверяет, является ли она пригодной, ясным ли и уместным ли является утверждение, действительно ли выдержки присутствуют на странице и поддерживают ли страница и выдержки каждое требование.

Эти бинарные вердикты по записям суммируются в иерархии. Точность (Precision) измеряет качество того, что представила система. Полнота (Recall) измеряет завершенность с поправкой на качество по отношению к запрошенному объему, заполняя любой дефицит нулями. F1 балансирует между ними. «Мягкие» (soft) баллы дают частичные кредиты за неполные элементы; «жесткие» (hard) баллы засчитывают только те элементы, полное требуемое поддерево которых верно. Для диагностики WANDR также предоставляет вердикт только по поиску (retrieval-only), который проверяет, удовлетворяет ли полученная страница задаче, прежде чем применять более строгие проверки валидности и представленных выдержек.

Это делает сбои интерпретируемыми и локализуемыми. Высокая точность при низкой полноте обычно означает, что система нашла несколько хороших элементов, но их недостаточно. Большой разрыв между «мягкими» и «жесткими» баллами означает, что система добилась частичного прогресса, но редко завершала все ветви, необходимые для получения полных кредитов. Дерево баллов позволяет локализовать потери на этапах обнаружения, обогащения, идентификации, квалификации страниц или извлечения доказательств.

Конвейер оценки. Solve нормализует вывод каждой системы; fetch извлекает каждую цитируемую страницу и повторяет неудачные попытки в браузере; judge разрешает идентичности и оценивает каждую запись; score объединяет вердикты в показатели точности, полноты и F1 на уровне задачи.

Что мы обнаружили

Мы сравнили шесть производственных систем: размещенные API задач и поиска, общие API веб-агентов, продукт для глубокого исследования и нашу программную систему оркестрации поиска Search as Code (SaC). Каждая была запланирована на выполнение всех 500 задач при фиксированной конфигурации, а затем прошла тот же конвейер получения, оценки, разрешения идентичности и подсчета баллов.

Система Perplexity Search as Code лидирует с показателями 0,363 soft F1 и 0,133 hard F1. Anthropic занимает второе место с 0,249 и 0,072; все остальные системы достигают максимума в 0,121 soft F1 и 0,035 hard F1. Ни одна система не доминирует одновременно в качестве и эффективности. Perplexity находится в середине ценового диапазона ($5,20 за задачу) с медианным временем решения 14,9 минут и 3,82 миллионами токенов на задачу. OpenAI и Exa быстрее и дешевле, но показывают гораздо более низкие результаты. Anthropic наиболее близок по качеству, но использует значительно больше времени, средств и токенов.

Мягкие и жесткие precision и recall в зависимости от стоимости, медианной задержки и заявленного использования токенов на WANDR.
«Мягкие» и «жесткие» точность и полнота (вверху), а также «мягкие» и «жесткие» F1 (внизу) в зависимости от стоимости, медианной задержки решения и использования токенов. Выше и левее — лучше. Exa и Parallel отсутствуют в представлениях токенов, так как они не раскрывают количество токенов.

Мы также оценили все доступные настройки усилий на том же подмножестве из 45 задач. Увеличение усилий улучшает показатели Perplexity, Gemini и Exa на каждом этапе; Perplexity достигает 0,447 soft F1 и 0,224 hard F1 при настройке xhigh. Однако более высокие усилия не всегда лучше: показатели OpenAI достигают пика на high, а показатели Parallel hard F1 немного снижаются между ultra2x и ultra4x. Стоимость варьируется более чем на четыре порядка: от $0,03 за задачу для Exa low до $324,83 для Gemini max.

Мягкий F1 в зависимости от стоимости, медианной задержки и заявленного использования токенов при разных уровнях усилий на подмножестве WANDR из 45 заданий.
Soft F1 (вверху) и hard F1 (внизу) по всем доступным настройкам усилий на сопоставленном подмножестве из 45 задач. Более темные линии обозначают большие усилия.

Выделяются четыре результата.

Частичный прогресс — обычное явление; полное покрытие — нет. «Мягкая» полнота ниже «мягкой» точности для каждой системы, что означает снижение производительности, как только полный запрошенный объем попадает в знаменатель. Perplexity сохраняет полноту 0,357 при точности 0,389 — это наименьший разрыв; показатели Anthropic падают с 0,354 до 0,222. Переход от «мягкого» к «жесткому» результату еще более суров. Perplexity падает с 0,363 soft F1 до 0,133 hard F1, а Anthropic — с 0,249 до 0,072. Лучшая «жесткая» точность составляет 0,150, а лучшая «жесткая» полнота — 0,134: даже лидер получает полные кредиты лишь примерно за одного из семи представленных им участников и одного из семи участников, требуемых задачей.

Масштаб усугубляет проблему. От наименьшего к наибольшему диапазону целевого объема, «жесткая» точность Perplexity падает с 0,235 до 0,096, а «жесткая» полнота — с 0,219 до 0,079. Показатели Anthropic падают с 0,205 до 0,113 и с 0,127 до 0,042; OpenAI — с 0,109 до 0,034 и с 0,102 до 0,016. Полнота обычно падает быстрее, чем точность: система может удерживать небольшой набор полных участников, охватывая все меньшую часть запрошенного множества.

Более глубокие иерархии еще более суровы. Переходя от отсутствия промежуточного ключа к трем и более, «жесткая» точность Perplexity падает с 0,392 до 0,019, а «жесткая» полнота — с 0,378 до 0,017; показатели Anthropic падают с 0,311 до 0,049 и с 0,229 до 0,022; OpenAI — с 0,136 до 0,012 и с 0,120 до 0,011. Каждая добавленная ветвь создает еще одно место, где участник может не пройти жесткую оценку «все или ничего». Стоимость и задержка не следуют общему монотонному паттерну.

«Жесткая» точность, «жесткая» полнота, медианная задержка решения и средняя стоимость по целевому объему записей (вверху) и глубине промежуточной иерархии (внизу). Каждая линия представляет одну фиксированную конфигурацию основного запуска. Линии соединяют совокупные показатели для удобства чтения и не подразумевают причинно-следственной связи масштаба или структуры.

Даже до оценки качества, обнаружение является первым структурным узким местом. Рассматривая только необработанные показатели, среднее завершение обнаружения на верхнем уровне варьируется от 0,611 до 0,951. Условное обогащение сильнее: 0,767–0,967, а завершение конечных слотов доказательств достигает 0,979–0,994, как только существуют участник и путь его обогащения. Perplexity лидирует в обнаружении (0,951) и обогащении (0,967), но OpenAI немного выше в конечных слотах доказательств (0,994 против 0,991). Схлопывание дубликатов составляет лишь 0,017–0,205 процентных пункта потери количества во всех шести полных запусках, поэтому основное объяснение совокупных потерь — недопоставка, а не слияние идентичностей. Наибольшие необработанные структурные потери происходят до того, как будет присоединен окончательный URL.

Среднее структурное завершение на уровне задачи по деревьям верификатора. Обнаружение — это верхний ключ, обогащение охватывает промежуточные ключи, а доказательства — конечный ключ. Значения используют предоставленные количества до схлопывания, поэтому график изолирует, где отсутствует представленный объем до того, как будет оценено качество записи.

Найти пригодную страницу обычно легко; найти полные доказательства — трудно. У пяти систем только 3,2%–8,9% представленных страниц непригодны; OpenAI — исключение с 23,1%. Неверные записи или записи неверного типа также относительно редки (4,2%–17,4%). Доминирующие потери возникают далее: 33,6%–68,3% представленных страниц не проходят хотя бы одно существенное требование задачи, а 57,5%–86,6% представленных выдержек не подтверждают все, что утверждает запись. Показатели Perplexity составляют 41,4% и 57,5%. Его soft F1 падает с 0,531 при проверке только по поиску (которая спрашивает только, соответствует ли страница каждому существенному требованию) до 0,363 при полном вердикте, который также требует универсальных проверок, специфической для задачи валидности и полной поддержки выдержками. Hard F1 аналогично падает с 0,245 до 0,133. Сложность заключается не просто в достижении правдоподобной страницы, а в превращении этой страницы в достаточное доказательство для всего утверждения.

Измеренные зонды сбоев на уровне записей из доступных деталей верификатора, в процентах; ниже — лучше. Сбои по требованиям к странице и выдержкам существенно более распространены, чем сбои из-за непригодности страницы или невалидной записи. Parallel имеет диагностические детали для 350 задач, в то время как другие строки охватывают 490–500 задач.

Search as Code хорошо подходит к этой форме задачи. Модель может выразить поиск, фильтрацию, разветвление, рендеринг, соединения, дедупликацию и логику остановки в виде программы, в то время как детерминированные вычисления обрабатывают повторяющиеся операции вне контекста модели. Этот профиль согласуется с лучшим сохранением широты и созданием выдержек у Perplexity, хотя она и не лидирует на каждом уровне: Anthropic имеет самый низкий уровень сбоев по требованиям к страницам.

Что дальше

WANDR предоставляет больше, чем просто результат в таблице лидеров. Его общая структура задачи и полуавтоматизированный конвейер поддерживают генерацию разнообразных задач с высоким объемом, а вердикты по записям и баллы на уровне иерархии показывают, где именно происходит сбой запуска: обнаружение, обогащение, работа с идентичностью, семантическая квалификация или построение доказательств. Опубликованные задачи, верификатор и структурная диагностика предоставляют основу для улучшения комплексных поисковых систем и тестирования того, сохраняются ли эти достижения в масштабе.

Та же структура может сделать WANDR полезным для обучения с подкреплением. Вместо того чтобы полагаться на единственный редкий терминальный вознаграждение, тренер может использовать суждения на уровне записей и ветвей, назначать частичные кредиты за прогресс в обнаружении и обогащении и выстраивать учебную программу, повышая требуемые количества с течением времени. Конвейер может генерировать отложенные родственные задачи по различным доменам, формам иерархии, правилам доказательств и настройкам широты–глубины без перечисления «золотых» ответов. Это создает путь к обучению агентов не только поиску правильных фактов, но и планированию охвата, обнаружению отсутствующих ветвей и восстановлению перед остановкой.

Задачи бенчмарка, инструмент оценки и полный технический отчет доступны на GitHub.

Цитирование

BibTeX
@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}