Оцјењивање перформанси дубинског истраживања у стварним условима са DRACO бенчмарком

Данас објављујемо DRACO Benchmark (Benchmark за тачност, потпуност и објективност дубинског истраживања), отворени бенчмарк за оцјењивање агента дубинског истраживања заснован на томе како корисници стварно користе вјештачку интелигенцију за сложене истраживачке задатке. Отвором извора за DRACO циљ нам је да помогнемо широм заједници вјештачке интелигенције да изгради алате за истраживање који боље служе стварним потребама корисника.

DRACO истиче јаз између рјешавања синтентичких задатака и испуњавања стварних истраживачких потреба. Систем за оцјењивање је независан од модела: како се буду појављивали снажнији агентички језички модели (LLM), поново ћемо покретати оцјене и објављивати ажуриране резултате. А како будем уводили побољшања за дубински истраживање на платформи Perplexity.ai, корисници ће видјети да се та побољшања одражавају и на перформансе производа и на резултате бенчмарка.

Најсавременије дубински истраживање

Perplexity Дубински истраживање остварује перформансе на нивоу најсавременијих технологија на водећим спољним бенчмарцима, укључујући DeepSearchQA од Google DeepMind-а и ResearchRubrics од Scale AI-ја.

Увећај

Увећај

Ови резултати произилазе из комбиновања најбољих доступних модела са Перплекситијевим наменски изграђеним агентичким могућностима: власничким алатима за претрагу, инфраструктуром прегледача и извршавањем кода. Заједно они чине систем оптимизован од краја до краја за преузимање, синтезу и расуђивање над информацијама из стварног свијета.

У процесу изградње овог производа схватили смо да спољни бенчмарци, иако корисни за поређење модела, често не обухватају вишестране упите и захтјеве за синтезу које стварни корисници постављају сваког дана. Данас отварамо изворни код за DRACO Benchmark, бенчмарк заснован на томе како људи стварно користе дубински истраживање, мотивисан милионима производних задатака у десет домена.

Увећај

Зашто је важно оцјењивање засновано на производњи

Постојећи бенчмарци често тестирају уске вјештине изоловано: преузимање једне чињенице, одговарање на тривијално питање или рјешавање добро дефинисаног проблема. Али стварни истраживачки упити захтијевају синтезу из више извора, нијансирану анализу и примјењиве смјернице, а све то уз одржавање чињеничне тачности и правилног цитирања.

DRACO Benchmark садржи 100 пажљиво одабраних задатака који обухватају академску област, финансије, право, медицину, технологију, опште знање, UX дизајн, персонализовани асистент, куповину / поређење производа и „иглу у пласту сијена“, а сваки је упарен са рубрикама које су израдили стручњаци и који у просјеку имају око 40 критеријума оцјењивања.

Ови задаци потичу од стварних захтјева корисника на Perplexity Дубински истраживање, узоркованих из милиона производних захтјева, а затим систематски реформисаних, проширених и филтрираних кроз петостепени цјевовод: уклањамо личне податке који могу да открију идентитет, додајемо контекст и обим, филтрирамо по објективности и тежини и вршимо коначну рецензију од стране стручњака за одређену област. Резултат је бенчмарк који рефлектује аутентичне потребе корисника, а не синтентичке вјежбе или задатке које су бирали стручњаци.

Како ради DRACO Benchmark

Увећај

Сваки задатак у бенчмарку прошао је кроз ригорозан процес развоја рубрике. Perplexity је сарађивао са партнером за генерисање података, компанијом The LLM Data Company, на развоју и тестирању рубрика за оцјењивање за овај скуп. Стручњаци за одређену област саставили су почетне рубрике уз помоћ алата за заснованих на језичким моделима (LLM), а затим су пробили кроз рецензију колега и калибрацију. Лоше дефинисане и превише благонаклоне рубрике враћене су на ревизију, при чему је отприлике 45% рубрика ревидирано бар једном кроз овај процес. Резултат су критеријуми оцјењивања који истински разликују могућности система.

Рубрике оцјењују четири димензије: чињеничну тачност (отприлике половина свих критеријума), ширину и дубину анализе, квалитет презентације и цитирање примарних извора. Сваки критеријум добија тежину која одражава његов значај, а неки критеријуми су негативни, кажњавајући грешке попут халуцинација или тврдњи које нису подржане.

Одговори се оцјењују коришћењем протокола у којем је језички модел судија (LLM-as-judge), гдје сваки критеријум добија бинарну пресуду. Овај приступ је веома погодн за оцјењивање чињеничне тачности јер рубрике утемељују судију на подацима из стварног свијета добијеним из резултата претраге, претварајући субјективну оцјену у провјерљиву провјеру чињеница. Валидирали смо поузданост на три модела судија и утврдили да, иако се апсолутни резултати разликују, релативне ранг-листе система остају доследне.

Увећај

Алат и окружење за оцјењивање

Бенчмарк је дизајниран за оцјењивање агената са приступом комплетном скупу алата за истраживање, укључујући сигурносно окружење (sandbox) за извршавање кода и могућности прегледача.

Шта смо пронашли

Перформансе по домену. Оцјењивали смо четири система дубинског истраживања у 10 домена знања мјерењем стопе успјешности (проценат испуњених критеријума оцјењивања). Дубински истраживање је остварило највеће стопе успјешности у свим доменама, уз посебно снажне перформансе у области права (89,4%) и академској области (82,4%).

Увећај

За кориснике то значи поузданије одговоре без обзира на то да ли припремате правни поднесак, вршите преглед литературе или поредите опције медицинског третмана. Јазови у перформансама су значајно порасли код задатака сложеног расуђивања: у сценаријима персонализованог асистента и „игле у пласту сијена“, Perplexity је надмашио систем са најнижим резултатом за преко 20 процентних поена. Ови домени рефлектују стварне потребе корисника као што су персонализоване препоруке и проналажење специфичних чињеница у затрпаним великим документима.

Увећај

Перформансе по аспект оцјењивања. У четири кључне димензије оцјењивања, Дубински истраживање је предњачило у три: чињеничној тачности, ширини и дубини анализе и квалитету цитирања. Ово су димензије које су најважније када треба да вјерујете свом истраживању за стварне одлуке, било да савјетујете клијента, доносите инвестицију или пишем извјештај са својим именом на њему. Само један други систем показао је упоредиве перформансе са Perplexity Дубински истраживање у погледу квалитета презентације, што указује на то да тешки проблеми у дубинском истраживању нису везани за форматирање, већ за тачно утврђивање чињеница и потпуност анализе.

Увећај

Квалитет и ефикасност. Примједбено је да је систем са најбољим перформансама такође постигао најнижу латенцију (459,6 секунди у поређењу са 592 до 1808 секунди за конкуренте). За кориснике то значи да не морате да бирате између темељног истраживања и брзог добијања одговора. Ово рефлектује предност вертикално интегрисане инфраструктуре од краја до краја: боља претрага¹ [веза до фусноте за наш API за претрагу] и интеграција прегледача са оптимизованим окружењима за извршавање директно се преводе у брже и тачније истраживање.

Шта је сљедеће

Систем за дубински истраживање компаније Perplexity је независан од модела: како се буду појављивали снажнији агентички језички модели, поново ћемо покретати оцјене и објављивати ажуриране резултате. А како будем уводили побољшања за дубински истраживање на платформи Perplexity.ai, корисници ће видјети да се та побољшања одражавају и на перформансе производа и на резултате бенчмарка.

Бенчмарк тренутно оцјењује само интеракције на енглеском језику, у једном кораку, у десет домена. Будуће итерације ће проширити језичку разноврсност, додати оцјењивање у више корака и проширити покривеност домена.

Изградите боље агенте за истраживање уз DRACO Benchmark

DRACO Benchmark је сада потпуно отвореног кода. Сваки тим који гради системе за дубински истраживање може да оцјењује своје моделе у односу на задатке истраживања из стварног свијета умјесто синтентичких академских загонетки. Објављујемо комплетан бенчмарк, све рубрике и упит за судију.

Да бисте сазнали више о методологији и детаљним резултатима, прочитајте комплетан технички извјештај: DRACO бенчмарк и истражите скуп података на платформи Hugging Face.

Цитирање

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}