Оценка «Глубокого исследования» с бенчмарком DRACO

Сегодня мы выпускаем «Глубокое исследование: точность, полнота и объективность» (DRACO) — открытый бенчмарк для оценки агентов глубокого исследования, основанный на том, как пользователи действительно применяют ИИ для сложных исследовательских задач. Сделав DRACO открытым, мы стремимся помочь ИИ-сообществу создавать исследовательские инструменты, которые лучше отвечают реальным потребностям пользователей.

DRACO подчеркивает разрыв между решением синтетических задач и удовлетворением реальных исследовательских потребностей. Система оценки не зависит от конкретной модели: по мере появления более совершенных агентных LLM мы будем проводить повторные оценки и публиковать обновленные результаты. А по мере внесения улучшений в функцию «Глубокое исследование» на Perplexity.ai, пользователи увидят эти достижения как в производительности продукта, так и в результатах бенчмарка.

Функция «Глубокое исследование» от Perplexity демонстрирует передовые показатели в ведущих внешних бенчмарках, включая DeepSearchQA от Google DeepMind и ResearchRubrics от Scale AI.

Показатели системы глубокого исследования в бенчмарке DeepSearchQA от Google DeepMind.

Показатели системы глубокого исследования в бенчмарке ResearchRubrics от Scale AI.

Эти результаты стали следствием объединения лучших доступных моделей со специализированными агентными возможностями Perplexity: собственными инструментами поиска, браузерной инфраструктурой и средствами выполнения кода. Вместе они образуют систему, оптимизированную для поиска, синтеза и анализа информации из реального мира.

В процессе разработки этого продукта мы осознали, что внешние бенчмарки, хотя и полезны для сравнения моделей, часто не охватывают многогранные запросы и требования к синтезу, с которыми реальные пользователи сталкиваются ежедневно. Сегодня мы открываем исходный код бенчмарка DRACO — эталонного теста, основанного на реальных способах использования «Глубокого исследования», который был создан на основе миллионов производственных задач в десяти различных областях.

Общие показатели бенчмарка DRACO для четырёх систем глубокого исследования.

Существующие бенчмарки зачастую проверяют узкие навыки изолированно: извлечение одного факта, ответ на вопрос викторины или решение четко определенной задачи. Но реальные исследовательские запросы требуют синтеза данных из разных источников, глубокого анализа и практических рекомендаций, при этом необходимо сохранять фактическую точность и правильность цитирования.

Бенчмарк DRACO включает 100 тщательно отобранных задач из таких областей, как академические исследования, финансы, право, медицина, технологии, общие знания, дизайн UX, персональные помощники, сравнение товаров и поиск специфических данных (Needle in a Haystack). Каждая задача сопровождается экспертными критериями, содержащими в среднем около 40 показателей оценки.

Эти задачи основаны на реальных запросах пользователей Perplexity в рамках «Глубокого исследования». Они отобраны из миллионов производственных запросов, а затем систематически переформулированы, дополнены и отфильтрованы через пятиэтапный процесс: мы удаляем личную информацию, добавляем контекст и масштаб, фильтруем по принципам объективности и сложности, а также проводим финальную проверку профильными экспертами. В результате получается бенчмарк, отражающий реальные потребности пользователей, а не синтетические упражнения или искусственно созданные задачи.

Процесс разработки и проверки рубрики из четырёх этапов — от первоначального создания рубрики до окончательного контроля качества.

Каждая задача в рамках бенчмарка прошла процесс строгой разработки критериев оценки. Perplexity совместно с партнером по генерации данных, The LLM Data Company, разработала и протестировала критерии оценки для данного набора. Отраслевые эксперты подготовили первоначальные критерии с помощью инструментов LLM, после чего прошли этапы экспертной оценки и калибровки. Нечеткие и излишне мягкие критерии возвращались на доработку — около 45% всех критериев были уточнены как минимум один раз. В результате получены критерии оценки, которые действительно позволяют различить возможности систем.

Критерии оценивают четыре аспекта: фактическую точность (около половины всех показателей), широту и глубину анализа, качество оформления и цитирование первоисточников. Каждому критерию присваивается вес, отражающий его важность; некоторые критерии являются отрицательными, что предполагает снижение оценки за такие ошибки, как галлюцинации или необоснованные утверждения.

Ответы оцениваются с использованием протокола «LLM в роли судьи», где по каждому критерию выносится бинарный вердикт. Этот подход хорошо подходит для оценки фактической точности, поскольку критерии привязывают судью к реальным данным, полученным в результате поиска, превращая субъективную оценку в проверяемый факт. Мы подтвердили надежность этого метода на трех моделях-судьях и установили, что, хотя абсолютные баллы могут варьироваться, относительный рейтинг систем остается стабильным.

Фреймворк оценки DRACO: задачи и рубрики, агенты глубокого исследования, судьи LLM и результаты.

Бенчмарк предназначен для оценки агентов, имеющих доступ к полному набору исследовательских инструментов, включая песочницу для выполнения кода и возможности браузера.

Производительность по отраслям. Мы оценили четыре системы глубокого исследования в 10 предметных областях, измерив показатели успешности (процент выполненных критериев оценки). «Глубокое исследование» показало самые высокие результаты во всех областях, особенно в сферах права (89,4%) и академических исследований (82,4%).

Распределение задач бенчмарка DRACO по десяти областям.

Для пользователей это означает получение более надежных ответов при подготовке юридических заключений, проведении литературного обзора или сравнении вариантов медицинского лечения. Разрыв в производительности значительно увеличился в задачах на сложное рассуждение: в сценариях «Персональный помощник» и «Поиск специфических данных» Perplexity превзошла систему с наименьшим баллом более чем на 20 процентных пунктов. Эти области отражают реальные потребности пользователей, такие как персонализированные рекомендации и поиск конкретных фактов, скрытых в больших документах.

Процент прохождения критериев по областям для четырёх систем глубокого исследования.

Производительность по аспектам оценки. По четырем ключевым аспектам оценки «Глубокое исследование» лидировало в трех: фактическая точность, широта и глубина анализа, а также качество цитирования. Именно эти аспекты наиболее важны, когда вы доверяете результатам исследования при принятии реальных решений — будь то консультирование клиента, инвестирование или написание отчета под своим именем. Только одна другая система показала сопоставимую с «Глубоким исследованием» от Perplexity производительность в качестве оформления, что указывает на то, что главные трудности в глубоком исследовании заключаются не в форматировании, а в точности фактов и полноте анализа.

Процент прохождения критериев по аспектам оценки для четырёх систем глубокого исследования.

Качество и эффективность. Примечательно, что система с наилучшими показателями также достигла минимальной задержки (459,6 секунды против 592–1808 секунд у конкурентов). Для пользователей это означает отсутствие необходимости выбирать между тщательностью исследования и скоростью получения ответов. Это отражает преимущество вертикально интегрированной сквозной инфраструктуры: более эффективный поиск и интеграция с браузером в сочетании с оптимизированной средой выполнения напрямую обеспечивают более быстрое и точное исследование.

Система оценки «Глубокого исследования» от Perplexity не зависит от конкретной модели: по мере появления более совершенных агентных LLM мы будем проводить повторные оценки и публиковать обновленные результаты. По мере внесения улучшений в «Глубокое исследование» на Perplexity.ai, пользователи увидят эти достижения как в производительности продукта, так и в результатах бенчмарка.

В настоящее время бенчмарк оценивает только взаимодействие на английском языке в рамках одного шага в десяти областях. Будущие итерации расширят лингвистическое разнообразие, добавят многошаговую оценку и расширят охват областей.

Бенчмарк DRACO теперь полностью открыт. Любая команда, разрабатывающая системы глубокого исследования, может оценить свои модели на основе реальных исследовательских задач, а не синтетических академических головоломок. Мы публикуем полный бенчмарк, все критерии оценки и промпт для судьи.

Чтобы узнать больше о методологии и подробных результатах, ознакомьтесь с полным техническим отчетом: Бенчмарк DRACO, а также изучите набор данных на Hugging Face.

BibTeX

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}

Передовое «Глубокое исследование»

Почему важна оценка, основанная на реальных задачах

Как работает бенчмарк DRACO

Набор инструментов и среда оценки

Что мы обнаружили

Что дальше

Создавайте лучшие исследовательские агенты с бенчмарком DRACO

Цитирование