Оценка на производителността на задълбоченото проучване с DRACO

Днес пускаме бенчмарка Deep Research Accuracy, Completeness, and Objectivity (DRACO) — отворен бенчмарк за оценка на агенти за задълбочено проучване, основан на това как потребителите действително използват AI за сложни задачи по проучване. Като отворим DRACO, целим да помогнем на по-широката AI общност да създава инструменти за проучване, които по-добре отговарят на реалните нужди на потребителите.

DRACO подчертава пропастта между решаването на синтетични задачи и посрещането на автентични изследователски нужди. Инструментът за оценка е независим от модела: с появата на по-силни езикови модели (LLM) с агентни възможности ще повтаряме оценките и ще публикуваме обновени резултати. И докато внедряваме подобрения на функцията Задълбочено проучване в Perplexity.ai, потребителите ще виждат тези постижения отразени както в производителността на продукта, така и в резултатите от бенчмарка.

Функцията Perplexity Задълбочено проучване постига водещи резултати в бранша при водещи външни бенчмаркове, включително DeepSearchQA на Google DeepMind и ResearchRubrics на Scale AI.

Система за задълбочено проучване постига резултати в бенчмарка DeepSearchQA на Google DeepMind.

Система за задълбочено проучване постига резултати в бенчмарка ResearchRubrics на Scale AI.

Тези резултати произтичат от съчетаването на най-добрите налични модели с целенасочените агентни възможности на Perplexity: собствени инструменти за търсене, браузърна инфраструктура и изпълнение на код. Заедно те образуват система, оптимизирана от край до край за извличане, синтезиране и логическо мислене върху реална информация.

В процеса на изграждане на този продукт осъзнахме, че външните бенчмаркове, макар и полезни за сравняване на модели, често не улавят многостранните заявки и изисквания за синтез, които реалните потребители отправят всеки ден. Днес пускаме с отворен код бенчмарка DRACO – бенчмарк, базиран на това как хората реално използват задълбоченото проучване, мотивиран от милиони производствени задачи в десет домейна.

Общи резултати в бенчмарка DRACO за четири системи за задълбочено проучване.

Съществуващите бенчмаркове често тестват тесни умения изолирано: извличане на един факт, отговаряне на въпрос с обща култура или решаване на добре дефиниран проблем. Но реалните изследователски заявки изискват синтез от различни източници, нюансиран анализ и практични насоки, като същевременно се поддържат фактическа точност и правилно цитиране.

Бенчмаркът DRACO се състои от 100 внимателно подбрани задачи, обхващащи академични изследвания, финанси, право, медицина, технологии, общи познания, потребителски дизайн, персонализиран асистент, сравнение на пазаруване/продукти и „игла в купа сено“, всяка от които е съчетана с експертно изработени критерии за оценка, средно около ~40 критерия за оценка.

Тези задачи произтичат от реални потребителски заявки към Perplexity Задълбочено проучване, извадки от милиони производствени заявки и след това систематично преформулирани, разширени и филтрирани чрез многоетапен конвейер: премахваме лична идентифицираща информация, добавяме контекст и обхват, филтрираме за обективност и трудност и провеждаме окончателен преглед от експерти в съответната област. Резултатът е бенчмарк, който отразява автентичните потребителски нужди, а не синтетични упражнения или експертно подбрани задачи.

Четириетапният дизайн на рубриката и процесът на преглед — от първоначалното създаване на рубриката до окончателното осигуряване на качеството.

Всяка задача в бенчмарка премина през строг процес на разработка на критерии за оценка. Perplexity работи с партньор за генериране на данни, The LLM Data Company, за да разработи и тества под напрежение критериите за оценка за набора. Експерти по темата изготвиха първоначални критерии с помощта на инструмент с езиков модел, след което ги преминали през партньорска проверка и калибриране. Неясно дефинираните и прекалено меки критерии бяха върнати за преразглеждане, като приблизително 45% от критериите бяха усъвършенствани поне веднъж чрез този процес. Резултатът са критерии за оценка, които наистина правят разлика между възможностите на системите.

Критериите за оценка оценяват четири измерения: фактическа точност (около половината от всички критерии), ширина и дълбочина на анализа, качество на представянето и цитиране на първични източници. Всеки критерий получава тежест, отразяваща неговото значение, а някои критерии са отрицателни, като наказват грешки като халюцинации или неподкрепени твърдения.

Отговорите се оценяват по протокол „езиков модел като съдия“, при който всеки критерий получава двоична оценка. Този подход е много подходящ за оценка на фактическата точност, тъй като критериите базират съдията на данни от реалния свят, извлечени от резултатите от търсенето, превръщайки субективната оценка в подлежаща на проверка проверка на факти. Валидирахме надеждността в три модела на съдии и установихме, че въпреки че абсолютните резултати варират, относителното класиране на системите остава последователно.

Рамката за оценка DRACO: задачи и рубрики, агенти за задълбочено проучване, съдии LLM и резултати.

Бенчмаркът е проектиран да оценява агенти с достъп до пълен изследователски инструментариум, включително пясъчна кутия (Sandbox) за изпълнение на код и възможности за сърфиране.

Производителност по домейн. Оценихме четири системи за задълбочено проучване в 10 области на знанието чрез измерване на успеваемостта (процент изпълнени критерии за оценка). Задълбочено проучване постигна най-висока успеваемост във всички домейни, с особено силни резултати в областта на правото (89,4%) и академичните среди (82,4%).

Разпределение на задачите от бенчмарка DRACO по десет домейна.

За потребителите това означава по-надеждни отговори, независимо дали подготвяте правен документ, извършвате преглед на литературни източници или сравнявате възможности за медицинско лечение. Пропастта в производителността се разшири значително при задачи със сложно логическо мислене: в сценариите „Персонализиран асистент“ и „Игла в купа сено“ Perplexity надмина системата с най-нисък резултат с над 20 процентни пункта. Тези домейни отразяват реални потребителски нужди като персонализирани препоръки и откриване на конкретни факти, скрити в големи документи.

Процент на успешно преминаване на критериите по домейн за четири системи за задълбочено проучване.

Производителност по аспект на оценка. В четири ключови измерения на оценката Задълбочено проучване зае водеща позиция в три: Фактическа точност, Ширина и дълбочина на анализа и Качество на цитирането. Това са измеренията, които имат най-голямо значение, когато трябва да се доверите на изследването си за реални решения, независимо дали съветвате клиент, правите инвестиция или пишете доклад с Вашето име на него. Само една друга система показа сравнима производителност с Perplexity Задълбочено проучване по отношение на качеството на представянето, което показва, че трудните проблеми при задълбоченото проучване не са свързани с форматирането, а с правилното установяване на фактите и завършването на анализа.

Процент на успешно преминаване на критериите по аспект на оценка за четири системи за задълбочено проучване.

Качество и ефективност. Забележително е, че системата с най-високи резултати постигна и най-ниска латентност (459,6 секунди спрямо 592 до 1808 секунди за конкурентите). За потребителите това означава, че не е нужно да избирате между задълбочено изследване и бързо получаване на отговори. Това отразява предимството на вертикално интегрираната инфраструктура от край до край: по-доброто търсене¹ [линк към бележка под линия към нашия API за търсене] и интеграцията с браузър с оптимизирани среди за изпълнение се превръщат директно в по-бързо и по-точно изследване.

Инструментът за задълбочено проучване на Perplexity е независим от модела: с появата на по-силни езикови модели с агентни възможности ще повтаряме оценките и ще публикуваме обновени резултати. И докато внедряваме подобрения на функцията Задълбочено проучване в Perplexity.ai, потребителите ще виждат тези постижения отразени както в производителността на продукта, така и в резултатите от бенчмарка.

В момента бенчмаркът оценява само взаимодействия на английски език с един кръг в десет домейна. Бъдещите итерации ще разширят езиковото разнообразие, ще добавят оценка с множество кръгове и ще разширят обхвата на домейните.

Бенчмаркът DRACO вече е с напълно отворен код. Всеки екип, който изгражда системи за задълбочено проучване, може да оценява своите модели спрямо изследователски задачи от реалния свят, а не спрямо синтетични академични пъзели. Пускаме пълния бенчмарк, всички критерии за оценка и подсказката на съдията.

За да научите повече за методологията и подробните резултати, прочетете пълния технически доклад: Бенчмарк DRACO и разгледайте набора от данни в Hugging Face.

BibTeX

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}

Усъвършенствано Задълбочено проучване

Защо оценката, базирана на реална работна среда, е от значение

Как работи бенчмаркът DRACO

Инструментариум и среда за оценка

Какво открихме

Какво предстои

Изградете по-добри изследователски агенти с бенчмарка DRACO

Цитат