Süva-uuringute tulemuslikkuse hindamine reaalses keskkonnas DRACO võrdlusaluse abil

Täna avaldame süva-uuringute täpsuse, täielikkuse ja objektiivsuse võrdlusaluse (DRACO), mis on avatud võrdlusalus tehisintellekti agentide hindamiseks, mis põhineb sellel, kuidas kasutajad tegelikult tehisintellekti keerukate uurimisülesannete jaoks kasutavad. Avades DRACO lähtekoodi, on meie eesmärk aidata laiemal tehisintellekti kogukonnal luua uurimistööriistu, mis vastavad paremini tegelikele kasutajate vajadustele.

DRACO toob esile lõhe sünteetiliste ülesannete lahendamise ja autentsete uurimisvajaduste rahuldamise vahel. Hindamisvahend on mudeli suhtes agnostiline: võimsamate agentsete keelemudelite (LLM) ilmnedes teeme hindamised uuesti ja avaldame uuendatud tulemused. Ja kui me anname välja täiustused funktsioonile Põhjalik uuring saidil Perplexity.ai, näevad kasutajad neid eeliseid nii toote jõudluses kui ka võrdlusaluse tulemustes.

Perplexity Põhjalik uuring saavutab tipptasemel tulemused juhtivatel välistel võrdlusalustel, sealhulgas Google DeepMindi DeepSearchQA-l ja Scale AI ResearchRubricsil.

Põhjaliku uuringu süsteemi tulemused Google DeepMindi DeepSearchQA võrdlusalusel.

Põhjaliku uuringu süsteemi tulemused Scale AI ResearchRubricsi võrdlusalusel.

Need tulemused tulenevad parimate saadaolevate mudelite kombineerimisest Perplexity spetsiaalselt loodud agentsete võimalustega: patenteeritud otsingutööriistad, brauseri infrastruktuur ja koodi täitmine. Üheskoos moodustavad need süsteemi, mis on algusest lõpuni optimeeritud reaalse maailma teabe hankimiseks, sünteesimiseks ja selle üle arutlemiseks.

Selle toote ehitamise käigus mõistsime, et välised võrdlusalused, ehkki kasulikud mudelite võrdlemiseks, ei hõlma sageli mitmetahulisi päringuid ja sünteesinõudeid, mida päris kasutajad iga päev esitavad. Täna teeme DRACO võrdlusaluse avatud lähtekoodiga – võrdlusaluse, mis põhineb sellel, kuidas inimesed tegelikult põhjalikku uuringut kasutavad, ning mida motiveerivad miljonid tootmisülesanded kümnes valdkonnas.

DRACO võrdlusaluse üldskoorid nelja põhjaliku uuringu süsteemi jaoks.

Olemasolevad võrdlusalused testivad sageli kitsaid oskusi eraldatult: ühe fakti hankimist, tüölise küsimusele vastamist või hästi määratletud probleemi lahendamist. Kuid reaalsed uurimispäringud nõuavad allikateülest sünteesi, nüansseeritud analüüsi ja rakendatavaid juhiseid, säilitades samal ajal faktilise täpsuse ja nõuetekohase viitamise.

DRACO võrdlusalus hõlmab 100 hoolikalt kureeritud ülesannet, mis hõlmavad akadeemilist valdkonda, rahandust, õigusteadust, meditsiini, tehnoloogiat, üldteadmisi, kasutajakogemuse (UX) disaini, personaliseeritud assistenti, ostlemist / toodete võrdlemist ja nõela heinakuhjast leidmist. Igaüks neist on seotud ekspertide koostatud hindamistabelitega, millel on keskmiselt ~40 hindamiskriteeriumi.

Need ülesanded pärinevad Perplexity põhjaliku uuringu tegelikest kasutajapäringutest, mis on valitud miljonitest tootmispäringutest ning seejärel süstemaatiliselt ümber sõnastatud, täiendatud ja viieetapilise torujuhtme kaudu filtreeritud: eemaldame isikut tuvastava teabe, lisame konteksti ja ulatuse, filtreerime välja objektiivsuse ja raskusastme ning teostame valdkonnaekspertide lõpliku läbivaatuse. Tulemuseks on võrdlusalus, mis peegeldab autentseid kasutajate vajadusi, mitte sünteetilisi harjutusi või ekspertide kureeritud ülesandeid.

Neljaastmeline hindamisrubriigi kavandamise ja ülevaatamise protsess alates esialgse rubriigi loomisest kuni lõpliku kvaliteedikontrollini.

Iga võrdlusaluse ülesanne läbis range hindamistabeli väljatöötamise protsessi. Perplexity tegi koostööd andmete genereerimise partneriga The LLM Data Company, et töötada komplekti jaoks välja hindamistabelid ja neid survetestida. Valdkonnaeksperdid koostasid keelemudeli tööriistade abil esialgsed hindamistabelid, seejärel tegid läbi eksperthinnangu ja kalibreerimise. Halvasti täpsustatud ja liiga leebed hindamistabelid saadeti muutmiseks tagasi, kusjuures ligikaudu 45% hindamistabelitest täpsustati selle protsessi käigus vähemalt üks kord. Tulemuseks on hindamiskriteeriumid, mis eristavad tõeliselt süsteemi võimalusi.

Hindamistabelid hindavad nelja mõõdet: faktilist täpsust (ligikaudu pool kõigist kriteeriumidest), analüüsi ulatust ja sügavust, esitluse kvaliteeti ning esmaste allikate viitamist. Iga kriteerium saab kaalu, mis peegeldab selle tähtsust, ja mõned kriteeriumid on negatiivsed, karistades selliseid vigu nagu hallutsinatsioonid või põhjendamatud väited.

Vastuseid hinnatakse keelemudel-kui-kohtunik protokolli abil, kus iga kriteerium saab binaarse otsuse. See lähenemine sobib hästi faktilise täpsuse hindamiseks, kuna hindamistabelid seovad kohtuniku reaalsete andmetega, mis pärinevad otsingutulemustest, muutes subjektiivse hinnangu kontrollitavaks faktide kontrollimiseks. Kinnitasime usaldusväärsust kolme kohtuniku mudeli vahel ja leidsime, et kuigi absoluutsed skoorid on erinevad, jäävad suhtelised süsteemi edetabelid järjepidevaks.

DRACO hindamisraamistik: ülesanded ja rubriigid, põhjaliku uuringu agendid, LLM-hindajad ja tulemused.

Võrdlusalus on loodud selleks, et hinnata agente, kellel on juurdepääs täielikule uurimistööriistade komplektile, sealhulgas koodi täitmise liivakastile ja brauseri võimalustele.

Jõudlus valdkonniti. Hindasime nelja süva-uuringute süsteemi 10 teadmiste valdkonnas, mõõtes läbivuse määra (täidetud hindamiskriteeriumide protsenti). Põhjalik uuring saavutas kõrgeimad läbivuse määrad kõigis valdkondades, eriti tugeva jõudlusega õigusteaduses (89,4%) ja akadeemilises valdkonnas (82.4%).

DRACO võrdlusaluse ülesannete jaotus kümne valdkonna vahel.

Kasutajate jaoks tähendab see usaldusväärsemaid vastuseid, olenemata sellest, kas valmistate ette õigusalast lühikokkuvõtet, teete kirjanduse ülevaadet või võrdlete meditsiinilisi ravivõimalusi. Jõudluse lüngad suurenesid märkimisväärselt keerukate arutluskäikudega ülesannetes: personaliseeritud assistendi ja nõela heinakuhjast leidmise stsenaariumides edestas Perplexity madalaima tulemusega süsteemi enam kui 20 protsendipunkti võrra. Need valdkonnad peegeldavad reaalseid kasutajate vajadusi, nagu isikupärastatud soovitused ja suurtesse dokumentidesse peidetud konkreetsete faktide leidmine.

Kriteeriumide läbimismäärad valdkonniti nelja põhjaliku uuringu süsteemi puhul.

Jõudlus hindamisaspekti järgi. Neljast peamisest hindamismõõtmest juhtis Põhjalik uuring kolmes: faktiline täpsus, analüüsi ulatus ja sügavus ning viitamise kvaliteet. Need on mõõtmed, mis on kõige olulisemad, kui peate oma uuringut reaalsete otsuste tegemisel usaldama, olenemata sellest, kas nõustate klienti, teete investeeringut või kirjutate aruannet, millel on teie nimi. Ainult üks teine süsteem näitas võrreldavat jõudlust Perplexity põhjaliku uuringuga esitluse kvaliteedi osas, mis näitab, et süva-uuringute keerulised probleemid ei ole seotud vormindamisega, vaid faktide õigsuse ja analüüsi täielikkusega.

Kriteeriumide läbimismäärad hindamisaspektide kaupa nelja põhjaliku uuringu süsteemi puhul.

Kvaliteet ja tõhusus. Märkimisväärselt saavutas parima jõudlusega süsteem ka madalaima latentsusaja (459,6 sekundit võrreldes konkurentide 592 kuni 1808 sekundiga). Kasutajate jaoks tähendab see, et te ei pea valima põhjaliku uuringu ja kiirete vastuste saamise vahel. See peegeldab vertikaalselt integreeritud, algusest lõpuni infrastruktuuri eelist: parem otsing¹ [footnote link to our search api] ja brauseri integreerimine optimeeritud täitmiskeskkondadega tõlgenduvad otseselt kiiremaks ja täpsemaks uuringuks.

Perplexity süva-uuringute vahend on mudeli suhtes agnostiline: võimsamate agentsete keelemudelite ilmnedes teeme hindamised uuesti ja avaldame uuendatud tulemused. Ja kui me anname välja täiustused funktsioonile Põhjalik uuring saidil Perplexity.ai, näevad kasutajad neid eeliseid nii toote jõudluses kui ka võrdlusaluse tulemustes.

Võrdlusalus hindab praegu ainult ingliskeelseid, üheetapilisi interaktsioone kümnes valdkonnas. Tulevased iteratsioonid laiendavad keelelist mitmekesisust, lisavad mitmeetapilise hindamise ja laiendavad valdkonna ulatust.

DRACO võrdlusalus on nüüd täielikult avatud lähtekoodiga. Iga meeskond, kes ehitab süva-uuringute süsteeme, saab hinnata oma mudeleid reaalsete uurimisülesannete vastu, mitte sünteetiliste akadeemiliste mõistatuste vastu. Anname välja täieliku võrdlusaluse, kõik hindamistabelid ja kohtuniku viiba.

Metoodika ja üksikasjalike tulemuste kohta lisateabe saamiseks lugege täielikku tehnilist aruannet: DRACO võrdlusalus ja tutvuge andmestikuga saidil Hugging Face.

BibTeX

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}

Tipptasemel Põhjalik uuring

Miks on tootmistulemustel põhinev hindamine oluline?

Kuidas DRACO võrdlusalus toimib

Tööriistakomplekt ja hindamiskeskkond

Mida me leidsime

Mis saab edasi

Looge DRACO võrdlusaluse abil paremaid uurimisagente

Viide