Оцінка продуктивності глибокого дослідження за допомогою DRACO

Сьогодні ми випускаємо бенчмарк DRACO (Deep Research Accuracy, Completeness, and Objectivity — точність, повнота й об'єктивність у Глибокому дослідженні), відкритий бенчмарк для оцінки агентів глибокого дослідження на основі того, як користувачі насправді використовують штучний інтелект для виконання складних дослідницьких завдань. Зробивши DRACO відкритим, ми прагнемо допомогти ширшій спільноті розробників штучного інтелекту створювати інструменти для досліджень, які краще відповідають реальним потребам користувачів.

DRACO підкреслює розрив між вирішенням штучних завдань і задоволенням справжніх дослідницьких потреб. Засіб оцінювання є незалежним від моделей: у міру появи потужніших агентних великих мовних моделей ми повторюватимемо оцінювання та публікуватимемо оновлені результати. І в міру того, як ми впроваджуємо вдосконалення функції «Глибоке дослідження» на Perplexity.ai, користувачі бачитимуть ці досягнення як у продуктивності продукту, так і в балах бенчмарку.

Функція «Глибоке дослідження» від Perplexity досягає найсучасніших результатів на провідних зовнішніх бенчмарках, зокрема DeepSearchQA від Google DeepMind та ResearchRubrics від Scale AI.

Показники систем глибокого дослідження на бенчмарку DeepSearchQA від Google DeepMind.

Показники систем глибокого дослідження на бенчмарку ResearchRubrics від Scale AI.

Ці результати є результатом поєднання найкращих доступних моделей із власними агентними можливостями Perplexity, створеними для спеціальних цілей: провідними пошуковими інструментами, інфраструктурою браузера та виконанням коду. Разом вони утворюють систему, оптимізовану від початку до кінця для пошуку, синтезу та обґрунтування інформації з реального світу.

Під час створення цього продукту ми зрозуміли, що зовнішні бенчмарки, хоч і корисні для порівняння моделей, часто не охоплюють багатогранні запити та вимоги до синтезу, які реальні користувачі ставлять щодня. Сьогодні ми відкриваємо вихідний код бенчмарку DRACO — бенчмарку, який базується на тому, як люди фактично використовують глибоке дослідження, на основі мільйонів виробничих завдань у десяти доменах.

Загальні показники бенчмарку DRACO для чотирьох систем глибокого дослідження.

Існуючі бенчмарки часто тестують окремі вузькі навички ізольовано: пошук одного факту, відповідь на запитання дрібниць або вирішення чітко визначеної проблеми. Але реальні дослідницькі запити вимагають синтезу з різних джерел, детального аналізу та практичних рекомендацій, зберігаючи при цьому фактичну точність і належне цитування.

Бенчмарк DRACO містить 100 ретельно відібраних завдань, що охоплюють академічну сферу, фінанси, право, медицину, технології, загальні знання, дизайн інтерфейсів (UX Design), персоналізованого помічника, покупки/порівняння продуктів та пошук голки в стозі сіна, кожне з яких супроводжується експертними критеріями оцінювання, що містять у середньому близько 40 критеріїв оцінювання.

Ці завдання походять від реальних запитів користувачів щодо функції «Глибоке дослідження» в Perplexity, вибраних із мільйонів виробничих запитів, а потім систематично переформульованих, доповнених і відфільтрованих за допомогою п'ятиетапного конвеєру: ми видаляємо особисту ідентифікаційну інформацію, додаємо контекст і сферу дії, фільтруємо за об'єктивністю та складністю, а також проводимо остаточну перевірку експертами у відповідних галузях. Результатом є бенчмарк, який відображає справжні потреби користувачів, а не штучні вправи чи завдання, відібрані експертами.

Дизайн і процес рецензування чотириступеневої рубрики — від початкового створення рубрики до остаточного контролю якості.

Кожне завдання в бенчмарку пройшло через суворий процес розробки критеріїв оцінювання. Perplexity співпрацювала з партнером з генерації даних, The LLM Data Company, щоб розробити та випробувати критерії оцінювання для цього набору. Експерти з предметної галузі склали початкові критерії за допомогою інструментів на базі великих мовних моделей, а потім пройшли ітерації через рецензування колегами та калібрування. Нечіткі та занадто поблажливі критерії поверталися на доопрацювання, причому приблизно 45% критеріїв були вдосконалені принаймні один раз у результаті цього процесу. У результаті створено критерії оцінювання, які справді розрізняють можливості системи.

Критерії оцінюють чотири виміри: фактичну точність (приблизно половина всіх критеріїв), поширеність і глибину аналізу, якість подачі матеріалу та цитування першоджерел. Кожен критерій отримує вагу, що відображає його важливість, а деякі критерії є негативними, караючи за такі помилки, як галюцинації чи непідтверджені твердження.

Відповіді оцінюються за протоколом «велика мовна модель як суддя», де кожен критерій отримує двійковий вердикт. Цей підхід добре підходить для оцінки фактичної точність, оскільки критерії ґрунтуються на даних реального світу, отриманих із результатів пошуку, перетворюючи суб'єктивну оцінку на перевірену перевірку фактів. Ми перевірили надійність за допомогою трьох моделей-суддів і виявили, що хоча абсолютні бали відрізняються, відносні рейтинги систем залишаються незмінними.

Фреймворк оцінювання DRACO: завдання й рубрики, агенти глибокого дослідження, судді LLM і результати.

Бенчмарк розроблено для оцінки агентів із доступом до повного набору дослідницьких інструментів, включаючи пісочницю для виконання коду та можливості браузера.

Продуктивність за доменом. Ми оцінили чотири системи глибокого дослідження в 10 доменах знань, вимірявши показники успішності (відсоток виконаних критеріїв оцінювання). Функція «Глибоке дослідження» досягла найвищих показників успішності в усіх доменах, при цьому особливо високі результати спостерігалися у сфері права (89,4%) та академічних дослідженнях (82,4%).

Розподіл завдань бенчмарку DRACO за десятьма доменами.

Для користувачів це означає більш надійні відповіді, незалежно від того, чи готуєте ви юридичний документ, проводите огляд літератури чи порівнюєте варіанти медичного лікування. Розрив у продуктивності значно збільшився у складних завданнях на міркування: у сценаріях персоналізованого помічника та пошуку голки в стозі сіна система Perplexity перевершила систему з найнижчим балом більш ніж на 20 процентних пунктів. Ці домени відображають реальні потреби користувачів, такі як персоналізовані рекомендації та пошук конкретних фактів, прихованих у великих документах.

Рівні проходження критеріїв за доменами для чотирьох систем глибокого дослідження.

Продуктивність за аспектом оцінювання. Серед чотирьох ключових вимірів оцінювання функція «Глибоке дослідження» лідирувала в трьох: фактична точність, глибина та поширеність аналізу, а також якість цитування. Це ті виміри, які мають найбільше значення, коли вам потрібно довіряти своєму дослідженню для прийняття реальних рішень, незалежно від того, чи консультуєте ви клієнта, здійснюєте інвестицію або пишете звіт під власним ім'ям. Лише одна інша система показала порівнянну з функцією «Глибоке дослідження» від Perplexity продуктивність за якістю подачі матеріалу, що вказує на те, що складні проблеми в глибокому дослідженні полягають не у форматуванні, а в отриманні правильних фактів і завершенні аналізу.

Рівні проходження критеріїв за аспектами оцінювання для чотирьох систем глибокого дослідження.

Якість та ефективність. Примітно, що система з найвищою продуктивністю також досягла найнижчої затримки (459,6 секунди порівняно з 592–1808 секундами у конкурентів). Для користувачів це означає, що вам не доведеться вибирати між ретельним дослідженням і швидким отриманням відповідей. Це відображає перевагу вертикально інтегрованої наскрізної інфраструктури: кращий пошук¹ [посилання на сноску до нашого пошукового API] та інтеграція з браузером з оптимізованими середовищами виконання безпосередньо призводять до швидших і точніших досліджень.

Засіб оцінювання «Глибоке дослідження» від Perplexity є незалежним від моделей: у міру появи потужніших агентних великих мовних моделей ми повторюватимемо оцінювання та публікуватимемо оновлені результати. І в міру того, як ми впроваджуємо вдосконалення функції «Глибоке дослідження» на Perplexity.ai, користувачі бачитимуть ці досягнення як у продуктивності продукту, так і в балах бенчмарку.

Наразі бенчмарк оцінює лише англійську мову, взаємодії з одним ходом у десяти доменах. Майбутні ітерації розширять мовне різноманіття, додадуть оцінювання кількох ходів та розширять охоплення доменів.

Бенчмарк DRACO тепер є повністю відкритим. Будь-яка команда, що створює системи глибокого дослідження, може оцінити свої моделі на основі реальних дослідницьких завдань, а не штучних академічних пазлів. Ми випускаємо повний бенчмарк, усі критерії та промпт судді.

Щоб дізнатися більше про методологію та детальні результати, прочитайте повний технічний звіт: бенчмарк DRACO та досліджуйте набір даних на Hugging Face.

BibTeX

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}

Сучасне Глибоке дослідження

Чому важлива оцінка на основі реальних виробничих даних

Як працює бенчмарк DRACO

Набір інструментів та середовище оцінювання

Що ми виявили

Що далі

Створюйте кращі дослідницькі агенти за допомогою бенчмарку DRACO

Цитування