Padziļinātas izpētes veiktspējas novērtēšana reālos apstākļos, izmantojot DRACO etalonu

Šodien mēs izlaižam Deep Research Accuracy, Completeness, and Objectivity (DRACO) Benchmark — atvērtu etalonu, kas paredzēts tādu padziļināta izpēte aģentu novērtēšanai, kuri balstās uz to, kā lietotāji reāli izmanto AI sarežģītiem pētniecības uzdevumiem. Padarot DRACO par atvērtā koda projektu, mūsu mērķis ir palīdzēt plašākai AI kopienai izstrādāt pētniecības rīkus, kas labāk apmierina reālās lietotāju vajadzības.

DRACO izceļ plaisu starp sintētisku uzdevumu risināšanu un autentisku pētniecības vajadzību apmierināšanu. Novērtēšanas rīks nav piesaistīts konkrētam modelim: parādoties jaudīgākiem aģentu LLM, mēs atkārtoti veiksim novērtējumus un publicēsim atjauninātos rezultātus. Un, ieviešot uzlabojumus funkcijai Padziļināta izpēte pakalpojumā Perplexity.ai, lietotāji redzēs šos ieguvumus gan produkta veiktspējā, gan etalona rezultātos.

Uzlabota Padziļināta izpēte

Perplexity Padziļināta izpēte sasniedz izcilu veiktspeni vadošajos ārējos etalonos, tostarp Google DeepMind DeepSearchQA un Scale AI ResearchRubrics.

Izvērst

Izvērst

Šie rezultāti ir panākti, apvienojot labākos pieejamos modeļus ar Perplexity īpaši izstrādātajām aģenta iespējām: patentētiem meklēšanas rīkiem, pārlūkprogrammas infrastruktūru un koda izpildi. Kopā tie veido sistēmu, kas ir pilnībā optimizēta reāllaika informācijas izgūšanai, sintetizēšanai un argumentācijai.

Šī produkta izstrādes procesā mēs sapratām, ka ārējie etaloni, lai arī noderīgi modeļu salīdzināšanai, bieži vien neatspoguļo daudzpusīgos vaicājumus un sintēzes prasības, ko reāli lietotāji uzstāda katru dienu. Šodien mēs padarām DRACO Benchmark par atvērtā koda projektu — tas ir etalons, kura pamatā ir tas, kā cilvēki faktiski izmanto padziļināta izpēte, un ko motivē miljoniem ražošanas uzdevumu desmit domēnos.

Izvērst

Kāpēc ražošanas vidē balstīts novērtējums ir svarīgs

Esošie etaloni bieži pārbauda šauras prasmes izolēti: viena fakta izgūšanu, atbildēšanu uz nieka jautājumu vai labi definētas problēmas risināšanu. Taču reāli pētniecības vaicājumi prasa sintēzi starp avotiem, niansētu analīzi un praktiskus ieteikumus, vienlaikus saglabājot faktoloģisko precizitāti un pareizu citēšanu.

DRACO Benchmark ietver 100 rūpīgi atlasītus uzdevumus, kas aptver akadēmisko jomu, finanses, tiesību zinātni, medicīnu, tehnoloģijas, vispārējās zināšanas, lietotāju pieredzes (UX) dizainu, personalizēto asistenti, iepirkšanos/produktu salīdzināšanu un adatu siena kaudzē (Needle in a Haystack). Katrs uzdevums ir savienots pārī ar ekspertu izstrādātiem kritērijiem, vidēji veidojot ~40 novērtēšanas kritērijus.

Šie uzdevumi ir radušies no faktiskajiem lietotāju pieprasījumiem pakalpojumā Perplexity Padziļināta izpēte, kas atlasīti no miljoniem ražošanas pieprasījumu un pēc tam sistemātiski pārformulēti, papildināti un filtrēti, izmantojot piecu posmu cauruļvadu: mēs noņemam personu identificējošu informāciju, pievienojam kontekstu un apjomu, filtrējam pēc objektivitātes un sarežģītības, kā arī veicam galīgo pārskatīšanu ar jomas ekspertu palīdzību. Rezultāts ir etalons, kas atspoguļo autentiskas lietotāju vajadzības, nevis sintētiskus vingrinājumus vai ekspertu atlasītus uzdevumus.

Kā darbojas DRACO Benchmark

Izvērst

Katrs etalona uzdevums izgāja cauri stingram kritēriju izstrādes procesam. Perplexity sadarbojās ar datu ģenerēšanas partneri The LLM Data Company, lai izstrādātu un testētu novērtēšanas kritērijus komplektam. Priekšmetu jomas eksperti sagatavoja sākotnējos kritērijus ar LLM rīku palīdzību, pēc tam veica iterācijas, izmantojot salīdzinošo pārskatīšanu un kalibrēšanu. Slikti definēti un pārmērīgi iecietīgi kritēriji tika nosūtīti atpakaļ pārskatīšanai, un aptuveni 45% kritēriju tika precizēti vismaz vienu reizi šī procesa laikā. Rezultāts ir novērtēšanas kritēriji, kas patiesi atšķir sistēmas iespējas.

Kritēriji novērtē četras dimensijas: faktoloģisko precizitāti (aptuveni puse no visiem kritērijiem), analīzes plašumu un dziļumu, prezentācijas kvalitāti un primāro avotu citēšanu. Katrs kritērijs saņem svaru, kas atspoguļo tā nozīmīgumu, un daži kritēriji ir negatīvi, sodot par tādām kļūdām kā halucinācijas vai nepamatoti apgalvojumi.

Atbildes tiek novērtētas, izmantojot LLM-kā-tiesneša protokolu, kur katrs kritērijs saņem bināru spriedumu. Šī lägums ir labi piemērots faktoloģiskās precizitātes novērtēšanai, jo kritēriji pamato tiesnesi reālās pasaules datos, kas iegūti no meklēšanas rezultātiem, pārvēršot subjektīvo novērtējumu pārbaudāmā faktu pārbaudē. Mēs apstiprinājām uzticamību trīs tiesnešu modeļos un atklājām, ka, lai gan absolūtie rādītāji atšķiras, relatīvās sistēmas vietas paliek nemainīgas.

Izvērst

Rīku kopa un novērtēšanas vide

Etalons ir izstrādāts, lai novērtētu aģentus ar piekļuvi pilnai pētniecības rīku kopai, tostarp koda izpildes smilšu kaste un pārlūkprogrammas iespējām.

Ko mēs atklājām

Veiktspēja pa domēniem. Mēs novērtējām četras padziļinātas izpētes sistēmas 10 zināšanu domēnos, mērot sekmīgo izpildes rādītāju (sasniegto novērtēšanas kritēriju procentuālo daļu). Padziļināta izpēte sasniedza augstākos sekmīgās izpildes rādītājus visos domēnos, ar īpaši spēcīgu sniegumu tiesību zinātnē (89,4%) un akadēmiskajā jomā (82,4%).

Izvērst

Lietotājiem tas nozīmē uzticamākas atbildes neatkarīgi no tā, vai gatavojat juridisku kopsavilkumu, veicat literatūras apskatu vai salīdzināt medicīniskās ārstēšanas iespējas. Veiktspējas atšķirības ievērojami palielinājās sarežģītos argumentācijas uzdevumos: personalizētā asistenta un adatas siena kaudzē scenārijos Perplexity pārspēja viszemāko rezultātu uzrādījušo sistēmu par vairāk nekā 20 procentu punktiem. Šie domēni atspoguļo reālas lietotāju vajadzības, piemēram, personalizētus ieteikumus un konkrētu faktu atrašanu, kas paslēpti lielos dokumentos.

Izvērst

Veiktspēja pēc novērtēšanas aspekta. Četrās galvenajās novērtēšanas dimensijās Padziļināta izpēte ieņēma vadošo pozīciju trīs: faktoloģiskā precizitāte, analīzes plašums un dziļums, kā arī citēšanas kvalitāte. Šīs ir dimensijas, kas ir vissvarīgākās, kad jums ir jāuzticas savam pētījumam reālu lēmumu pieņemšanā, neatkarīgi no tā, vai konsultējat klientu, veicat ieguldījumu vai rakstāt ziņojumu ar savu vārdu. Tikai viena cita sistēma uzrādīja līdzvērtīgu sniegumu ar Perplexity Padziļināta izpēte prezentācijas kvalitātes ziņā, kas norāda, ka sarežģītās problēmas padziļinātajā izpētē nav saistītas ar formatēšanu, bet gan ar faktiem un pilnīgu analīzi.

Izvērst

Kvalitāte un efektivitāte. Jāatzīmē, ka vislabāko sniegumu uzrādījusī sistēma sasniedza arī zemāko latentumu (459,6 sekundes pret 592 līdz 1808 sekundēm konkurentiem). Lietotājiem tas nozīmē, ka nav jāizvēlas starp rūpīgu pētījumu un ātru atbilžu saņemšanu. Tas atspoguļo vertikāli integrētas, no sākuma līdz galam izstrādātas infrastruktūras priekšrocības: labāka meklēšana¹ [atsauces saite uz mūsu meklēšanas API] un pārlūkprogrammas integrācija ar optimizētām izpildes vidēm tieši pārvēršas par ātrāku un precīzāku pētniecību.

Kas notiks tālāk

Perplexity Padziļināta izpēte rīks nav piesaistīts konkrētam modelim: parādoties jaudīgākiem aģentu LLM, mēs atkārtoti veiksim novērtējumus un publicēsim atjauninātos rezultātus. Un, ieviešot uzlabojumus funkcijai Padziļināta izpēte pakalpojumā Perplexity.ai, lietotāji redzēs šos ieguvumus gan produkta veiktspējā, gan etalona rezultātos.

Šobrīd etalons novērtē tikai angļu valodu, viena pagrieziena mijiedarbības desmit domēnos. Nākamās iterācijas paplašinās lingvistisko daudzveidību, pievienos vairāku pagriezienu novērtējumu un paplašinās domēna pārklājumu.

Izveidojiet labākus pētniecības aģentus ar DRACO Benchmark

DRACO Benchmark tagad ir pilnībā atvērtā koda. Jebkura komanda, kas izstrādā padziļinātas izpētes sistēmas, var novērtēt savus modeļus, balstoties uz reālās pasaules pētniecības uzdevumiem, nevis sintētiskām akadēmiskām mīklām. Mēs publicējam pilnu etalonu, visus kritērijus un tiesneša uzvedni.

Lai uzzinātu vairāk par metodoloģiju un detalizētiem rezultātiem, izlasiet pilnu tehnisko ziņojumu: DRACO benchmark un izpētiet datu kopu vietnē Hugging Face.

Citāts

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}