A Mélyreható kutatás teljesítményének értékelése a valóságban a DRACO benchmarkkal

Ma adtuk ki a Deep Research Accuracy, Completeness, and Objectivity (DRACO) Benchmarket, egy nyílt értékelőrendszert a mélyreható kutatást végző ügynökök tesztelésére, amely azon alapul, hogy a felhasználók hogyan használják valójában a mesterséges intelligenciát összetett kutatási feladatokhoz. A DRACO nyílt forráskódúvá tételével az a célunk, hogy segítsük a szélesebb MI-közösséget olyan kutatási eszközök fejlesztésében, amelyek jobban szolgálják a valós felhasználói igényeket.

A DRACO rávilágít a szintetikus feladatok megoldása és a valós kutatási igények kiszolgálása közötti szakadékra. Az értékelőkeret modellfüggetlen: ahogy egyre erősebb ügynökszerű (agentic) nyelvi modellek jelennek meg, megismételjük az értékeléseket, és közzétesszük a frissített eredményeket. És ahogy bevezetjük a Mélyreható kutatás fejlesztéseit a Perplexity.ai oldalon, a felhasználók láthatják majd ezen fejlesztések hatását a termék teljesítményében és a benchmark-pontszámokban is.

Csúcskategóriás Mélyreható kutatás

A Perplexity Mélyreható kutatás csúcskategóriás teljesítményt nyújt a vezető külső benchmarkokon, beleértve a Google DeepMind DeepSearchQA és a Scale AI ResearchRubrics rendszerét is.

Nagyítás

Nagyítás

Ezek az eredmények a legjobban elérhető modellek és a Perplexity kifejezetten erre a célra fejlesztett ügynökszerű képességeinek ötvözéséből származnak: ilyenek a saját tulajdonú keresőeszközök, a böngésző-infrastruktúra és a kódvégrehajtás. Ezek együtt egy olyan rendszert alkotnak, amely teljeskörűen a valós adatok lekérésére, szintetizálására és az azokon való logikai következtetésre van optimalizálva.

A termék építése során rájöttünk, hogy a külső benchmarkok – bár hasznosak a modellek összehasonlításához – gyakran nem ragadják meg azokat a sokrétű lekérdezéseket és szintetizálási igényeket, amelyekkel a valós felhasználók nap mint nap találkoznak. Ma nyílt forráskódúvá tesszük a DRACO Benchmarkot, amely arra épül, hogy az emberek a valóságban hogyan használják a mélyreható kutatást, tíz szakterület milliói gyártási feladatai alapján.

Nagyítás

Miért fontos a gyártási adatokon alapuló értékelés?

A meglévő benchmarkok gyakran szűk, elszigetelt készségeket tesztelnek: egyetlen tény lekérését, egy lexikális kérdés megválaszolását vagy egy jól definiált probléma megoldását. A valós kutatási lekérdezések azonban forrásokon átívelő szintézist, árnyalt elemzést és megvalósítható útmutatást igényelnek, miközben fenntartják a ténybeli pontosságot és a megfelelő hivatkozást.

A DRACO Benchmark 100 gondosan válogatott feladatot tartalmaz, amelyek az akadémiai szféra, a pénzügy, a jog, az orvostudomány, a technológia, az általános ismeretek, az UX-tervezés, a személyre szabott asszisztensek, a vásárlás és termékösszehasonlítás, valamint a „tű a szénakazalban” területeit ölelik fel; mindegyik feladathoz szakértők által készített értékelési szempontrendszer (rubric) tartozik, amelyek átlagosan ~40 értékelési kritériumot tartalmaznak.

Ezek a feladatok a Perplexity Mélyreható kutatás valós felhasználói kéréseiből származnak, milliói gyártási kérésből lettek mintavételezve, majd szisztematikusan átalakítva, kiegészítve és egy ötlépcsős folyamaton keresztül szűrve: eltávolítjuk a személyazonosításra alkalmas adatokat, kontextust és hatókört adunk hozzá, szűrünk az objektivitás és nehézség szerint, végül pedig szakterületi szakértőkkel végezzük el a végső felülvizsgálatot. Az eredmény egy olyan benchmark, amely a szintetikus gyakorlatok vagy a szakértők által összeállított feladatok helyett a valós felhasználói igényeket tükrözi.

Hogyan működik a DRACO Benchmark?

Nagyítás

A benchmark minden egyes feladata szigorú szempontrendszer-fejlesztési folyamaton ment keresztül. A Perplexity egy adatelőállítási partnerrel, a The LLM Data Companyvel együttműködve fejlesztette ki és tesztelte nyomás alatt az értékelési szempontrendszereket. A témakör szakértői nyelvi modell eszközök segítségével megírták a kezdeti szempontrendszereket, majd társkiértékelésen és kalibráláson keresztül csiszolták azokat. A rosszul meghatározott vagy túlzottan elnéző szempontrendszereket visszaküldték felülvizsgálatra; a szempontrendszerek nagyjából 45%-át legalább egyszer finomították e folyamat során. Az eredmény olyan értékelési kritériumrendszer, amely valóban megkülönbözteti a rendszerek képességeit.

A szempontrendszerek négy dimenziót értékelnek: ténybeli pontosság (az összes kritérium nagyjából a fele), az elemzés szélessége és mélysége, a prezentáció minősége, valamint az elsődleges források hivatkozása. Minden kritérium a fontosságát tükröző súlyt kap, és bizonyos kritériumok negatívak, azaz büntetik az olyan hibákat, mint a hallucinációk vagy nem alátámasztott állítások.

A válaszok osztályozása egy „LLM-mint-bíráló” protokoll szerint történik, ahol minden kritérium bináris értékelést kap. Ez a megközelítés kiválóan alkalmas a ténybeli pontosság értékelésére, mivel a szempontrendszerek a keresési eredményekből származó valós adatokra alapozzák a bírálatot, így a szubjektív értékelést ellenőrizhető tényellenőrzéssé alakítják. A megbízhatóságot három bíráló modellen keresztül validáltuk, és megállapítottuk, hogy bár az abszolút pontszámok eltérnek, a relatív rendszerrangsorok konzisztensek maradnak.

Nagyítás

Eszközkészlet és értékelési környezet

A benchmarkot úgy tervezték, hogy értékelje azokat az ügynököket, amelyek teljes körű kutatási eszközkészlettel rendelkeznek, beleértve a kódvégrehajtási homokozót (sandbox) és a böngésző-képességeket.

Mit találtunk

Teljesítmény szakterület szerint. Négy mélyreható kutatási rendszert értékeltünk 10 tudásterületen keresztül a sikeres arányok (a teljesített értékelési kritériumok százalékos aránya) mérésével. A Mélyreható kutatás érte el a legmagasabb sikeres arányt minden területen, különösen erős teljesítménnyel a jogi (89,4%) és az akadémiai (82,4%) területen.

Nagyítás

A felhasználók számára ez megbízhatóbb válaszokat jelent, függetlenül attól, hogy jogi összefoglalót készítenek, szakirodalmi áttekintést végeznek, vagy orvosi kezelési lehetőségeket hasonlítanak össze. A teljesítménybeli eltérések jelentősen nőttek az összetett logikai feladatokban: a személyre szabott asszisztens és a „tű a szénakazalban” forgatókönyvek esetében a Perplexity több mint 20 százalékponttal felülmúlta a legalacsonyabb pontszámot elérő rendszert. Ezek a területek tükrözik az olyan valós felhasználói igényeket, mint a személyre szabott ajánlások és a nagy dokumentumokba temetett specifikus tények megtalálása.

Nagyítás

Teljesítmény értékelési szempont szerint. Négy kulcsfontosságú értékelési dimenzió közül a Mélyreható kutatás háromban élen járt: Ténybeli pontosság, Az elemzés szélessége és mélysége, valamint Hivatkozási minőség. Ezek azok a dimenziók, amelyek a legfontosabbak, amikor a kutatására kell hagyatkoznia valós döntések meghozatalához, függetlenül attól, hogy ügyfélnek ad tanácsot, befektetést hajt végre, vagy saját nevével fémjelzett jelentést ír. Csak egy másik rendszer mutatott a Perplexity Mélyreható kutatással összehasonlítható teljesítményt a Prezentáció minősége terén, ami azt jelzi, hogy a mélyreható kutatás nehéz problémái nem a formázásról szólnak, hanem a tények helyességéről és az elemzés teljességéről.

Nagyítás

Minőség és hatékonyság. Érdekes módon a legjobban teljesítő rendszer érte el a legalacsonyabb válaszidőt is (459,6 másodperc a versenytársak 592–1808 másodpercével szemben). A felhasználók számára ez azt jelenti, hogy nem kell választaniuk az alapos kutatás és a gyors válaszadás között. Ez tükrözi a függőlegesen integrált, végpontokig tartó infrastruktúra előnyét: a jobb keresés¹ [lábjegyzet hivatkozás a keresési API-nkra] és a böngészőintegráció az optimalizált végrehajtási környezetekkel közvetlenül gyorsabb, pontosabb kutatássá alakul.

Mi a következő lépés

A Perplexity Mélyreható kutatás keretrendszere modellfüggetlen: ahogy egyre erősebb ügynökszerű nyelvi modellek jelennek meg, megismételjük az értékeléseket, és közzétesszük a frissített eredményeket. És ahogy bevezetjük a Mélyreható kutatás fejlesztéseit a Perplexity.ai oldalon, a felhasználók láthatják majd ezen fejlesztések hatását a termék teljesítményében és a benchmark-pontszámokban is.

A benchmark jelenleg csak angol nyelvű, egyfordulós interakciókat értékel tíz szakterületen. A jövőbeni iterációk kibővítik a nyelvi sokszínűséget, többfordulós értékelést adnak hozzá, és szélesítik a szakterületi lefedettséget.

Fejlesszen jobb kutatási ügynököket a DRACO Benchmark segítségével

A DRACO Benchmark mára teljesen nyílt forráskódúvá vált. Bármely mélyreható kutatási rendszereket építő csapat felmérheti modelljeit a szintetikus akadémiai rejtvények helyett valós kutatási feladatokhoz viszonyítva. Közzétesszük a teljes benchmarkot, az összes szempontrendszert és a bíráló promptját.

Ha többet szeretne megtudni a módszertanról és a részletes eredményekről, olvassa el a teljes technikai jelentést: DRACO benchmark, és fedezze fel az adatkészletet a Hugging Face felületén.

Idézet

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}