Hodnocení výkonu hloubkového výzkumu v reálném prostředí pomocí benchmarku DRACO

Dnes vydáváme benchmark DRACO (Deep Research Accuracy, Completeness, and Objectivity), což je otevřený benchmark pro hodnocení agentů hloubkového výzkumu založený na tom, jak uživatelé skutečně používají umělou inteligenci pro komplexní výzkumné úkoly. Zveřejněním benchmarku DRACO jako open-source chceme pomoci širší komunitě AI vytvářet výzkumné nástroje, které lépe odpovídají skutečným potřebám uživatelů.

DRACO poukazuje na propast mezi řešením syntetických úkolů a uspokojováním reálných výzkumných potřeb. Hodnoticí systém je nezávislý na modelu: s tím, jak se budou objevovat silnější agentické LLM, budeme hodnocení opakovat a zveřejňovat aktualizované výsledky. A jak budeme přinášet vylepšení hloubkového výzkumu na Perplexity.ai, uživatelé uvidí tyto přínosy promítnuté jak do výkonu produktu, tak do skóre v benchmarku.

Špičkový hloubkový výzkum

Hloubkový výzkum Perplexity dosahuje špičkového výkonu v předních externích bencmarkech, včetně DeepSearchQA od Google DeepMind a ResearchRubrics od Scale AI.

Zvětšit

Zvětšit

Tyto výsledky vycházejí z kombinace nejlepších dostupných modelů a agentických schopností vytvořených na míru pro Perplexity: proprietárních vyhledávacích nástrojů, infrastruktury prohlížeče a spouštění kódu. Společně tvoří systém optimalizovaný od začátku do konce pro vyhledávání, syntézu a uvažování nad reálnými informacemi.

Při vývoji tohoto produktu jsme si uvědomili, že externí benchmarky, ačkoliv jsou užitečné pro porovnávání modelů, často nezachycují mnohostranné dotazy a nároky na syntézu, které reální uživatelé denně kladou. Dnes uvádíme benchmark DRACO jako open-source. Jde o benchmark vycházející z toho, jak lidé reálně využívají hloubkový výzkum, a jehož vznik motivovaly miliony produkčních úkolů v deseti oblastech.

Zvětšit

Proč záleží na hodnocení vycházejícím z produkčního prostředí

Stávající benchmarky často testují úzké dovednosti izolovaně: vyhledání jednoho faktoru, zodpovězení triviální otázky nebo vyřešení jasně definovaného problému. Skutečné výzkumné dotazy však vyžadují syntézu napříč zdroji, nijak nezjednodušenou analýzu a akční doporučení, a to vše při zachování faktické správnosti a řádné citace.

Benchmark DRACO obsahuje 100 pečlivě vybraných úkolů pokrývajících oblasti akademické sféry, financí, práva, medicíny, technologií, všeobecných znalostí, UX designu, personalizovaného asistenta, nakupování/srovnávání produktů a hledání jehly v kupce sena. Každý z nich je spárován s hodnoticími kritérii (rubrikami) vytvořenými odborníky, která v průměru čítají cca 40 hodnoticích kritérií.

Tyto úkoly pocházejí z reálných uživatelských požadavků na hloubkovém výzkumu Perplexity, byly vzorkovány z miliónů produkčních požadavků a následně systematicky reformulovány, rozšířeny a filtrovány prostřednictvím pětistupňového kanálu: odstraňujeme osobně identifikovatelné informace, přidáváme kontext a rozsah, filtrujeme podle objektivity a obtížnosti a provádíme závěrečnou kontrolu oborovými experty. Výsledkem je benchmark, který odráží autentické potřeby uživatelů namísto syntetických cvičení nebo úkolů vybraných odborníky.

Jak benchmark DRACO funguje

Zvětšit

Každý úkol v benchmarku prošel přísným procesem tvorby hodnoticích kritérií. Perplexity spolupracovala s partnerem pro generování dat, společností The LLM Data Company, na vývoji a zátěžovém testování hodnoticích kritérií pro tuto sadu. Odborníci na danou problematiku vytvořili počáteční kritéria za pomoci nástrojů založených na LLM a poté je iterovali prostřednictvím vzájemného hodnocení (peer review) a kalibrace. Nejasně specifikovaná a příliš mírná kritéria byla vrácena k přepracování, přičemž zhruba 45 % kritérií bylo tímto procesem upraveno alespoň jednou. Výsledkem jsou hodnoticí kritéria, která skutečně rozlišují schopnosti systému.

Kritéria hodnotí čtyři dimenze: faktickou přesnost (zhruba polovina všech kritérií), šíři a hloubku analýzy, kvalitu prezentace a citaci primárních zdrojů. Každé kritérium obdrží váhu odrážející jeho důležitost a některá kritéria jsou negativní, přičemž penalizují chyby, jako jsou halucinace nebo nepodložená tvrzení.

Odpovědi jsou hodnoceny pomocí protokolu LLM-as-judge, kde každé kritérium získává binární verdikt. Tento přístup se skvěle hodí pro hodnocení faktické přesnosti, protože hodnoticí kritéria zasazují posuzovatele do reálných dat odvozených z výsledků vyhledávání, čímž mění subjektivní hodnocení v ověřitelné ověřování faktů. Spolehlivost jsme ověřili napříč třemi modely posuzovatelů a zjistili jsme, že přestože se absolutní skóre liší, relativní pořadí systémů zůstává konzistentní.

Zvětšit

Sada nástrojů a hodnoticí prostředí

Benchmark je navržen tak, aby hodnotil agenty s přístupem k úplné sadě výzkumných nástrojů, včetně sandboxu pro spouštění kódu a funkcí prohlížeče.

Co jsme zjistili

Výkon podle oblastí. Ohodnotili jsme čtyři systémy hloubkového výzkumu napříč 10 znalostními oblastmi měřením úspěšnosti (procento splněných hodnoticích kritérií). Hloubkový výzkum dosáhl nejvyšší úspěšnosti ve všech oblastech, přičemž obzvláště silného výkonu dosáhl v oblastech práva (89,4 %) a akademické sféry (82,4%).

Zvětšit

Pro uživatele to znamená spolehlivější odpovědi bez ohledu na to, zda připravujete právní rešerši, provádíte literární přehled nebo porovnáváte možnosti lékařské léčby. Výkonnostní rozdíly se výrazně prohloubily u komplexních úloh uvažování: ve scénářích personalizovaného asistenta a hledání jehly v kupce sena překonal systém Perplexity systém s nejnižším skóre o více než 20 procentních bodů. Tyto oblasti odrážejí reálné potřeby uživatelů, jako jsou personalizovaná doporučení a nalézání specifických faktů skrytých ve velkých dokumentech.

Zvětšit

Výkon podle hodnoticích aspektů. Napříč čtyřmi klíčovými hodnoticími dimenzemi vedl hloubkový výzkum ve třech: faktická přesnost, šíře a hloubka analýzy a kvalita citací. To jsou dimenze, na kterých záleží nejvíce, když se potřebujete spolehnout na svůj výzkum pro reálná rozhodnutí, ať už radíte klientovi, provádíte investici, nebo píšete zprávu podepsanou vaším jménem. Pouze jeden další systém vykázal srovnatelný výkon s hloubkovým výzkumem Perplexity v oblasti kvality prezentace, což naznačuje, že složité problémy v hloubkovém výzkumu nespočívají ve formátování, ale v tom, že jsou fakta správná a analýza úplná.

Zvětšit

Kvalita a efektivita. Je pozoruhodné, že nejlépe fungující systém dosáhl také nejnižší latence (459,6 sekundy oproti 592 až 1808 sekundám u konkurence). Pro uživatele to znamená, že nemusíte volit mezi důkladným výzkumem a rychlým získáním odpovědí. To odráží výhodu vertikálně integrované infrastruktury typu end-to-end: lepší vyhledávání¹ [odkaz v poznámce pod čarou na naše api vyhledávání] a integrace prohlížeče s optimalizovaným prostředím pro spouštění se přímo promítají do rychlejšího a přesnějšího výzkumu.

Co bude následovat

Systém hloubkového výzkumu od Perplexity je nezávislý na modelu: s tím, jak se budou objevovat silnější agentické LLM, budeme hodnocení opakovat a zveřejňovat aktualizované výsledky. A jak budeme přinášet vylepšení hloubkového výzkumu na Perplexity.ai, uživatelé uvidí tyto přínosy promítnuté jak do výkonu produktu, tak do skóre v benchmarku.

Benchmark aktuálně hodnotí pouze anglické interakce o jednom kole napříč deseti oblastmi. Budoucí iterace rozšíří jazykovou rozmanitost, přidají vyhodnocení více kol a rozšíří pokrytí oblastí.

Vytvářejte lepší výzkumné agenty pomocí benchmarku DRACO

Benchmark DRACO je nyní plně open source. Jakýkoliv tým vytvářející systémy hloubkového výzkumu může vyhodnotit své modely oproti reálným výzkumným úkolům namísto syntetických akademických hlavolamů. Zveřejňujeme kompletní benchmark, všechna hodnoticí kritéria a prompt pro posuzovatele.

Chcete-li se dozvědět více o metodice a podrobných výsledcích, přečtěte si celou technickou zprávu: benchmark DRACO a prozkoumat datovou sadu na Hugging Face.

Citace

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}