Hodnotenie výkonu hĺbkového výskumu v reálnom prostredí pomocou benchmarku DRACO

Dnes zverejňujeme benchmark DRACO (Deep Research Accuracy, Completeness, and Objectivity), čo je otvorený benchmark na hodnotenie agentov pre hĺbkový výskum, ktorý vychádza z toho, ako používatelia reálne využívajú AI na komplexné výskumné úlohy. Sprístupnením benchmarku DRACO ako open-source chceme pomôcť širšej komunite okolo AI vytvárať výskumné nástroje, ktoré lepšie zodpovedajú skutočným potrebám používateľov.

DRACO poukazuje na priepasť medzi riešením syntetických úloh a uspokojovaním reálnych potrieb výskumu. Hodnotiaci rámec je nezávislý od modelu: s tým, ako sa budú objavovať výkonnejšie modelové agenty, budeme opakovane spúšťať hodnotenia a zverejňovať aktualizované výsledky. A keďže prinášame vylepšenia funkcie Hĺbkový výskum v službe Perplexity.ai, používatelia uvidia tieto prínosy premietnuté do výkonu produktu aj skóre v benchmarkoch.

Špičkový hĺbkový výskum

Funkcia Hĺbkový výskum od Perplexity dosahuje špičkové výsledky v popredných externých benchmarkoch vrátane DeepSearchQA od Google DeepMind a ResearchRubrics od Scale AI.

Zväčšiť

Zväčšiť

Tieto výsledky vyplývajú z kombinácie najlepších dostupných modelov a schopností agentov od Perplexity vytvorených na mieru: proprietárnych nástrojov na vyhľadávanie, prehliadačovej infraštruktúry a vykonávania kódu. Spoločne tvoria systém optimalizovaný end-to-end na vyhľadávanie, syntézu a uvažovanie nad reálnymi informáciami.

Pri vývoji tohto produktu sme si uvedomili, že externé benchmarky, hoci sú užitočné na porovnávanie modelov, často nezachytávajú mnohostranné dopyty a požiadavky na syntézu, ktoré reálni používatelia kladú každý deň. Dnes sprístupňujeme benchmark DRACO ako open-source. Ide o benchmark založený na tom, ako ľudia skutočne využívajú hĺbkový výskum, motivovaný miliónmi produkčných úloh v desiatich doménach.

Zväčšiť

Prečo záleží na hodnotení vychádzajúcom z produkčného prostredia

Existujúce benchmarky často testujú úzke schopnosti izolovane: vyhľadávanie jediného faktu, zodpovedanie otázky zo všeobecných vedomostí alebo riešenie jasne definovaného problému. Skutočné výskumné dopyty však vyžadujú syntézu naprieč zdrojmi, nuansovanú analýzu a použiteľné odporúčania, a to všetko pri zachovaní faktickej správnosti a správneho uvádzania zdrojov.

Benchmark DRACO zahŕňa 100 starostlivo vybraných úloh z oblastí akadémie, financií, práva, medicíny, technológií, všeobecných vedomostí, UX dizajnu, personalizovaného asistenta, nakupovania a porovnávania produktov, ako aj hľadania ihly v kope sena (Needle in a Haystack). Každá úloha je spárovaná s hodnotiacimi kritériami vytvorenými odborníkmi, pričom v priemere ich je ~40 na úlohu.

Tieto úlohy pochádzajú z reálnych požiadaviek používateľov v rámci funkcie Hĺbkový výskum od Perplexity, boli vybrané vzorkovaním z miliónov produkčných požiadaviek a následne systematicky preformulované, rozšírené a filtrované cez päťfázovú pipeline: odstránime osobné údaje, pridáme kontext a rozsah, filtrujeme podľa objektivity a obtiažnosti a vykonáme záverečné posúdenie odborníkmi na danú oblasť. Výsledkom je benchmark, ktorý odráža skutočné potreby používateľov namiesto syntetických cvičení alebo úloh vybraných odborníkmi.

Ako funguje benchmark DRACO

Zväčšiť

Každá úloha v benchmarku prešla prísnym procesom tvorby hodnotiacich kritérií. Perplexity spolupracovalo s partnerom na generovanie údajov, spoločnosťou The LLM Data Company, na vývoji a záťažovom testovaní hodnotiacich rubrík pre túto sadu. Odborníci na danú problematiku pripravili počiatočné rubriky za pomoci nástrojov s LLM a následne ich iterovali prostredníctvom recenzií kolegov a kalibrácie. Nejasne špecifikované a príliš mierne rubriky boli vrátené na revíziu, pričom približne 45 % rubrík prešlo týmto procesom a bolo upravených aspoň raz. Výsledkom sú hodnotiace kritériá, ktoré skutočne rozlišujú schopnosti systému.

Rubriky hodnotia štyri dimenzie: faktickú správnosť (približne polovica všetkých kritérií), šírku a hĺbku analýzy, kvalitu prezentácie a citáciu primárnych zdrojov. Každé kritérium má pridelenú váhu, ktorá odzrkadľuje jeho dôležitosť, pričom niektoré kritériá sú záporné a penalizujú chyby, ako sú halucinácie alebo nepodložené tvrdenia.

Odpovede sa hodnotia pomocou protokolu LLM-ako-rozhodca, kde každé kritérium dostane binárny verdikt. Tento prístup sa výborne hodí na hodnotenie faktickej správnosti, pretože rubriky ukotvujú rozhodcu v reálnych údajoch získaných z výsledkov vyhľadávania, čím sa subjektívne hodnotenie mení na overiteľnú kontrolu faktov. Spoľahlivosť sme overili naprieč tromi modelmi rozhodcov a zistili sme, že hoci absolútne skóre sa líšia, relatívne hodnotenia systémov zostávajú konzistentné.

Zväčšiť

Sada nástrojov a hodnotiace prostredie

Benchmark je navrhnutý na hodnotenie agentov s prístupom k úplnej sade výskumných nástrojov vrátane sandboxu na vykonávanie kódu a funkcií prehliadača.

Čo sme zistili

Výkon podľa domény. Vyhodnotili sme štyri systémy hĺbkového výskumu v 10 znalostných doménach meraním úspešnosti (percento splnených hodnotiacich kritérií). Hĺbkový výskum dosiahol najvyššiu úspešnosť vo všetkých doménach, pričom obzvlášť silné výsledky zaznamenal v oblasti práva (89,4 %) a akademickej sféry (82,4 %).

Zväčšiť

Pre používateľov to znamená spoľahlivejšie odpovede bez ohľadu na to, či pripravujete právne podanie, robíte rešerš literatúry alebo porovnávate možnosti liečby. Medzery vo výkone sa výrazne prejavili pri úlohách s komplexným uvažovaním: v scenároch personalizovaného asistenta a hľadania ihly v kope sena prekonal systém Perplexity ten najslabšie skórujúci systém o viac ako 20 percentuálnych bodov. Tieto domény odzrkadľujú skutočné potreby používateľov, ako sú personalizované odporúčania a vyhľadávanie špecifických faktov skrytých vo veľkých dokumentoch.

Zväčšiť

Výkon podľa hodnotiaceho aspektu. Naprieč štyrmi kľúčovými hodnotiacimi dimenziami viedol Hĺbkový výskum v troch: faktická správnosť, šírka a hĺbka analýzy a kvalita citácií. Toto sú dimenzie, na ktorých záleží najviac, keď sa potrebujete spoľahnúť na svoj výskum pri reálnych rozhodnutiach – či už radíte klientovi, robíte investíciu alebo píšete správu, pod ktorou je podpísané vaše meno. Len jeden ďalší systém prejavil porovnateľný výkon s funkciou Hĺbkový výskum od Perplexity v oblasti kvality prezentácie, čo naznačuje, že ťažké problémy v hĺbkovom výskume nespočívajú vo formátovaní, ale v správnom uchopení faktov a kompletnej analýze.

Zväčšiť

Kvalita a efektivita. Najvýkonnejší systém dosiahol aj najnižšiu latenciu (459,6 sekundy v porovnaní s 592 až 1808 sekundami u konkurencie). Pre používateľov to znamená, že si nemusia vyberať medzi dôkladným výskumom a rýchlym získaním odpovedí. To odráža výhodu vertikálne integroovanej end-to-end infraštruktúry: lepšie vyhľadávanie¹ [odkaz na poznámku pod čiarou k našému vyhľadávaciemu API] a integrácia prehliadača spolu s optimalizovaným prostredím na vykonávanie sa priamo premietajú do rýchlejšieho a presnejšieho výskumu.

Čo bude nasledovať

Hodnotiaci rámec pre Hĺbkový výskum od Perplexity je nezávislý od modelu: s tým, ako sa budú objavovať výkonnejšie modelové agenty, budeme opakovane spúšťať hodnotenia a zverejňovať aktualizované výsledky. A keďže prinášame vylepšenia funkcie Hĺbkový výskum v službe Perplexity.ai, používatelia uvidia tieto prínosy premietnuté do výkonu produktu aj skóre v benchmarkoch.

Benchmark v súčasnosti hodnotí iba interakcie v angličtine a v jednom kole v desiatich doménach. Budúce iterácie rozšíria jazykovú rozmanitosť, pridajú hodnotenie viacerých kôl a rozšíria pokrytie domén.

Vytvárajte lepších výskumných agentov pomocou benchmarku DRACO

Benchmark DRACO je teraz plne open-source. Každý tím, ktorý vytvára systémy hĺbkového výskumu, môže posúdiť svoje modely voči reálnym výskumným úlohám namiesto syntetických akademických hlavolamov. Zverejňujeme kompletný benchmark, všetky rubriky a výzvu pre rozhodcu.

Ak sa chcete dozvedieť viac o metodológii a podrobných výsledkoch, prečítajte si celú technickú správu: benchmark DRACO a preskúmajte dataset na platforme Hugging Face.

Citácia

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}