DRACO бенчмаркы арқылы жабайы табиғаттағы терең зерттеу өнімділігін бағалау

Бүгін біз пайдаланушылардың күрделі зерттеу тапсырмалары үшін Жасанды Интеллектті нақты қалай пайдаланатынына негізделген терең зерттеу агенттерін бағалауға арналған ашық тест жүйесі — Deep Research Accuracy, Completeness, and Objectivity (DRACO) Бенчмаркын шығарамыз. DRACO-ны ашық кодты ету арқылы біз кеңірек ЖИ қауымдастығына нақты пайдаланушы қажеттіліктерін жақсырақ қанағаттандыратын зерттеу құралдарын жасауға көмектесуді мақсат етеміз.

DRACO синтетикалық тапсырмаларды шешу мен шынайы зерттеу қажеттіліктерін қамтамасыз ету арасындағы алшақтықты көрсетеді. Бағалау құралы модельге тәуелсіз: қуаттырақ агенттік ЖИ модельдері пайда болған сайын, біз бағалауларды қайталап, жаңартылған нәтижелерді жариялайтын боламыз. Perplexity.ai сайтындағы Терең зерттеу мүмкіндігіне жақсартулар енгізген сайын, пайдаланушылар бұл жетістіктердің өнім өнімділігінде де, бенчмарк көрсеткіштерінде де көрініс табатынын көреді.

Озық Терең зерттеу

Perplexity Терең зерттеуі Google DeepMind компаниясының DeepSearchQA және Scale AI компаниясының ResearchRubrics сияқты жетекші сыртқы бенчмарктарда озық өнімділікке қол жеткізеді.

Ұлғайту

Ұлғайту

Бұл нәтижелер ең жақсы қолжетімді модельдерді Perplexity-дің арнайы жасалған агенттік мүмкіндіктерімен: меншікті іздеу құралдарымен, браузер инфрақұрылымымен және кодты орындау ортасымен біріктіру арқылы алынды. Бұлар бірігіп, нақты әлемдегі ақпаратты іздеуге, жинақтауға және оған талдау жасауға барынша оңтайландырылған жүйені құрайды.

Бұл өнімді жасау барысында біз сыртқы бенчмарктар модельдерді салыстыру үшін пайдалы болғанымен, жиі нақты пайдаланушылардың күн сайын қоятын көп қырлы сұраулары мен синтез талаптарын қамти алмайтынын түсіндік. Бүгін біз он домендегі миллиондаған өндірістік тапсырмалардың негізінде жасалған, адамдардың терең зерттеуді нақты қалай қолданатынына негізделген DRACO Бенчмаркын ашық кодпен шығарып отырмыз.

Ұлғайту

Неліктен өндіріске негізделген бағалау маңызды

Қолданыстағы бенчмарктар жиі бір ғана дағдыны сынайды: бір фактіні табу, қызықты сұраққа жауап беру немесе анық шешілген мәселені шешу. Бірақ нақты зерттеу сұраулары нақтылық пен дұрыс сілтемені сақтай отырып, дереккөздерді біріктіруді, терең талдауды және әрекет етуге болатын нұсқауларды талап етеді.

DRACO Бенчмаркы академиялық сала, қаржы, құқық, медицина, технология, жалпы білім, UX дизайны, жеке көмекші, сауда/өнімді салыстыру және шөп арасынан ине табу сияқты салаларды қамтитын, орташа есеппен ~40 бағалау критерийінен тұратын сарапшылар құрастырған критерийлер жұбы бар 100 мұқият таңдалған тапсырманы қамтиды.

Бұл тапсырмалар Perplexity Терең зерттеуіндегі нақты пайдаланушы сұрауларынан алынған, миллиондаған өндірістік сұраулардан іріктеліп, содан кейін бес сатылы конвейер арқылы жүйелі түрде қайта өңделген, толықтырылған және сүзгіден өткізілген: біз жеке сәйкестендірілетін ақпаратты жоямыз, мәтінмәні мен ауқымын қосамыз, объективтілік пен күрделілік бойынша сүзгіден өткіземіз, және салалық сарапшылардың соңғы шолуын жүргіземіз. Нәтижесінде бұл синтетикалық жаттығулар немесе сарапшылар таңдаған тапсырмалар емес, шынайы пайдаланушы қажеттіліктерін көрсететін бенчмарк болып табылады.

DRACO Бенчмаркы қалай жұмыс істейді

Ұлғайту

Бенчмарктағы әрбір тапсырма критерийлерді әзірлеудің қатаң процесінен өтті. Perplexity деректерді өндіру серіктесі The LLM Data Company компаниясымен бірге жиынтыққа арналған бағалау критерийлерін әзірледі және сынақтан өткізді. Пәндік сарапшылар ЖИ құралдарының көмегімен бастапқы критерийлерді дайындады, содан кейін әріптестік тексеру мен калибрлеуден өткізді. Нақты көрсетілмеген және тым жұмсақ критерийлер қайта қарауға қайтарылды, бұл ретте критерийлердің шамамен 45%-ы осы процесс арқылы кем дегенде бір рет жетілдірілді. Нәтижесінде жүйе мүмкіндіктерін шынайы ажырата алатын бағалау критерийлері алынды.

Критерийлер төрт өлшемді бағалайды: нақты фактілер (барлық критерийлердің шамамен жартысы), талдаудың ауқымы мен тереңдігі, көрсету сапасы және бастапқы дереккөздерге сілтеме жасау. Әрбір критерий оның маңыздылығын көрсететін салмақ алады, ал кейбір критерийлер теріс болып табылады, мысалы, галлюцинациялар немесе негізсіз мәлімдемелер сияқты қателер үшін ұпай шегеріледі.

Жауаптар ЖИ-судья хаттамасы арқылы бағаланады, мұнда әрбір критерий бинарлы үкім алады. Бұл тәсіл фактінің дәлдігін бағалау үшін өте қолайлы, өйткені критерийлер судьяны іздеу нәтижелерінен алынған нақты деректерге негіздейді, бұл субъективті бағалауды тексерілетін фактілерді тексеруге айналдырады. Біз үш судья моделі бойынша сенімділікті тексердік және абсолютті ұпайлардың әр түрлі болатынымен, жүйелердің салыстырмалы рейтингтері тұрақты болып қалатынын анықтадық.

Ұлғайту

Құралдар жиынтығы және бағалау ортасы

Бенчмарк кодты орындау «песочницасын» (sandbox) және браузер мүмкіндіктерін қоса алғанда, толық зерттеу құралдар жиынтығына қол жеткізе алатын агенттерді бағалауға арналған.

Біз не анықтадық

Домен бойынша өнімділік. Біз өту көрсеткіштерін (орындалған бағалау критерийлерінің пайызы) өлшеу арқылы 10 білім домені бойынша төрт терең зерттеу жүйесін бағаладық. Терең зерттеу барлық домендер бойынша ең жоғары өту көрсеткіштеріне қол жеткізді, әсіресе Құқық (89,4%) және Академиялық сала (82,4%) бойынша өте жоғары өнімділік көрсетті.

Ұлғайту

Пайдаланушылар үшін бұл заңгерлік құжат дайындап жатсаңыз да, әдебиеттерге шолу жасасаңыз да немесе медициналық емдеу нұсқаларын салыстырып жатсаңыз да, сенімдірек жауаптар алатыныңызды білдіреді. Күрделі пайымдау тапсырмаларында өнімділік алшақтығы айтарлықтай өсті: Жеке көмекші және шөп арасынан ине табу сценарийлерінде Perplexity ең төмен ұпай жинаған жүйеден 20 пайыздық тармақтан астам озып кетті. Бұл домендер жеке ұсыныстар және үлкен құжаттардың ішінен жасырылған нақты фактілерді табу сияқты нақты пайдаланушы қажеттіліктерін көрсетеді.

Ұлғайту

Бағалау аспектісі бойынша өнімділік. Төрт негізгі бағалау өлшемі бойынша Терең зерттеу үшеуінде көш бастады: Фактілердің дәлдігі, Талдаудың ауқымы мен тереңдігі, және Сілтеме сапасы. Бұл — клиентке кеңес беріп жатсаңыз да, инвестиция жасап жатсаңыз да немесе өз атыңыз көрсетілген есеп жазып жатсаңыз да, нақты шешімдер қабылдау үшін зерттеуіңізге сену қажет болған кезде ең маңызды өлшемдер болып табылады. Презентация сапасы бойынша Perplexity Терең зерттеуімен салыстырмалы өнімділікті тек бір ғана басқа жүйе көрсетті, бұл терең зерттеудегі күрделі мәселелер пішімдеуге емес, фактілерді дұрыс анықтауға және талдауды толық жасауға қатысты екенін көрсетеді.

Ұлғайту

Сапа және тиімділік. Айта кетейік, ең жақсы нәтиже көрсеткен жүйе сондай-ақ ең төменгі кідіріске қол жеткізді (бәсекелестер үшін 592-ден 1808 секундқа дейін болса, бұл жүйеде 459,6 секунд). Пайдаланушылар үшін бұл мұқият зерттеу мен жауапты жылдам алу арасында таңдау жасаудың қажеті жоқ екенін білдіреді. Бұл тікелей біріктірілген, басынан аяғына дейінгі инфрақұрылымның артықшылығын көрсетеді: жақсырақ іздеу¹ [footnote link to our search api] және оңтайландырылған орындау орталары бар браузер интеграциясы жылдамырақ, дәлірек зерттеуге тікелей әкеледі.

Келесі не болады

Perplexity компаниясының Терең зерттеу құралы модельге тәуелсіз: қуаттырақ агенттік ЖИ модельдері пайда болған сайын, біз бағалауларды қайталап, жаңартылған нәтижелерді жариялайтын боламыз. Perplexity.ai сайтындағы Терең зерттеу мүмкіндігіне жақсартулар енгізген сайын, пайдаланушылар бұл жетістіктердің өнім өнімділігінде де, бенчмарк көрсеткіштерінде де көрініс табатынын көреді.

Бенчмарк қазіргі уақытта он домен бойынша тек ағылшын тіліндегі, бір айналымды өзара әрекеттесулерді бағалайды. Болашақ нұсқалар тілдік әртүрлілікті кеңейтіп, көп айналымды бағалауды қосады және домендік қамтуды арттырады.

DRACO Бенчмаркы арқылы жақсырақ зерттеу агенттерін жасаңыз

DRACO Бенчмаркы қазір толығымен ашық кодты. Терең зерттеу жүйелерін құратын кез келген команда синтетикалық академиялық жұмбақтарға емес, нақты әлемдегі зерттеу тапсырмаларына қарсы өз модельдерін бағалай алады. Біз толық бенчмаркты, барлық критерийлерді және судья нұсқауын шығарамыз.

Әдістеме және егжей-тегжейлі нәтижелер туралы көбірек білу үшін толық техникалық есепті оқыңыз: DRACO бенчмаркы және Hugging Face сайтынан деректер жиынтығын зерттеңіз.

Дәйексөз

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}