Giluminio tyrimo našumo vertinimas realioje aplinkoje naudojant „DRACO“ etaloną

Šiandien pristatome „Deep Research Accuracy, Completeness, and Objectivity (DRACO) Benchmark“ – atvirą etaloninį vertinimą, skirtą giluminiams tyrimų agentams vertinti, atsižvelgiant į tai, kaip vartotojai iš tikrųjų naudoja dirbtinį intelektą sudėtingiems tyrimų uždaviniams. Paviešindami „DRACO“, siekiame padėti platesnei dirbtinio intelekto bendruomenei kurti tyrimų įrankius, kurie geriau atitiktų realius vartotojų poreikius.

DRACO išryškina atotrūkį tarp sintetinių užduočių sprendimo ir tikrų tyrimų poreikių tenkinimo. Vertinimo harness yra nepriklausomas nuo modelio: atsiradus galingesniems agentiniams LLM, mes iš naujo vykdysime vertinimus ir skelbsime atnaujintus rezultatus. O kai diegsime patobulinimus Deep Research svetainėje Perplexity.ai, naudotojai matys, kad tie laimėjimai atsispindi ir produkto veikime, ir etaloniniuose rodikliuose.

Pažangiausias giluminis tyrimas

„Perplexity“ giluminis tyrimas pasiekia pažangiausius rezultatus pirmaujančiuose išoriniuose etaloniniuose vertinimuose, įskaitant „Google DeepMind“ „DeepSearchQA“ ir „Scale AI“ „ResearchRubrics“.

Padidinti

Padidinti

Šie rezultatai pasiekti sujungus geriausius turimus modelius su specialiai „Perplexity“ pritaikytomis agentinėmis galimybėmis: nuosavais paieškos įrankiais, naršyklės infrastruktūra ir kodo vykdymu. Kartu jie sudaro sistemą, kuri yra visiškai optimizuota realaus pasaulio informacijos paieškai, sintezei ir loginiam mąstymui.

Kurį šį produktą supratome, kad išoriniai etaloniniai vertinimai, nors ir naudingi lyginant modelius, dažnai neapima daugiakampių užklausų ir sintezės poreikių, su kuriais realūs vartotojai susiduria kasdien. Šiandien atveriame „DRACO Benchmark“ – etaloną, pagrįstą tuo, kaip žmonės iš tikrųjų naudoja giluminis tyrimas, motyvuotą milijonų gamybinių uždavinių dešimtyje sričių.

Padidinti

Kodėl svarbus gamybiniais duomenimis pagrįstas vertinimas

Esami etaloniniai vertinimai dažnai tikrina siaurus įgūdžius atskirai: atgauna vieną faktą, atsako į smulkmenos klausimą arba išsprendžia gerai apibrėžtą problemą. Tačiau realios tyrimų užklausos reikalauja informacijos sintezės iš kelių šaltinių, niuansuotos analizės ir veiksmingų rekomendacijų, išlaikant faktinį tikslumą ir tinkamą citavimą.

„DRACO Benchmark“ apima 100 kruopščiai atrinktų užduočių, apimančių akademines sritis, finansus, teisę, mediciną, technologijas, bendrąsias žinias, Vartotojo patirties (UX) dizainą, asmeninį asistentą, apsipirkimą / produktų palyginimą ir „adata kupetoje“ paiešką. Kiekviena užduotis susieta su ekspertų sukurtomis vertinimo skalėmis, kurių vidurkį sudaro ~40 vertinimo kriterijų.

Šios užduotys kyla iš realių vartotojų užklausų „Perplexity Deep Research“, atrinktų iš milijonų gamybinių užklausų, o vėliau sistemingai performuluotų, išplėstų ir filtruotų per penkių etapų konvejerį: pašaliname asmens tapatybės informaciją, pridedame kontekstą ir apimtį, filtruojame pagal objektyvumą ir sudėtingumą bei atliekame galutinį domenų ekspertų peržiūrą. Rezultatas – etaloninis vertinimas, atspindintis tikrus vartotojų poreikius, o ne sintetinius pratimus ar ekspertų atrinktas užduotis.

Kaip veikia „DRACO Benchmark“

Padidinti

Kiekviena etaloninio vertinimo užduotis praėjo griežtą vertinimo skalių kūrimo procesą. „Perplexity“ bendradarbiavo su duomenų generavimo partneriu „The LLM Data Company“, kad sukurtų ir išbandytų vertinimo skales šiam rinkiniui. Dalykinės srities ekspertai parengė pradines skales naudodamiesi LLM įrankiais, o vėliau tobulino jas per kolegų peržiūrą ir kalibravimą. Neteisingai apibrėžtos ir pernelyg švelnios skalės buvo grąžintos peržiūrai, o maždaug 45 % skalių buvo patobulintos bent kartą per šį procesą. Rezultatas – vertinimo kriterijai, kurie iš tiesų atskiria sistemų galimybes.

Skalės vertina keturis matmenis: faktinį tikslumą (maždaug pusė visų kriterijų), analizės plotį ir gylį, pateikimo kokybę ir pirminių šaltinių citavimą. Kiekvienas kriterijus gauna svorį, atspindintį jo svarbą, o kai kurie kriterijus yra neigiami, baudžiantys už klaidas, tokias kaip haliucinacijos ar nepagrįsti teiginiai.

Atsakymai vertinami naudojant LLM kaip teisėjo protokolą, kuriame kiekvienas kriterijus gauna dvejetainį verdiktą. Šis požiūris puikiai tinka faktiniam tikslumui vertinti, nes skalės pagrindžia teisėją realiais duomenimis, gautais iš paieškos rezultatų, paverčiant subjektyvų vertinimą patikrinamu faktų tikrinimu. Patvirtinome patikimumą trijuose teisėjų modeliuose ir nustatėme, kad nors absoliutūs balai skiriasi, santykiniai sistemų reitingai išlieka nuoseklūs.

Padidinti

Įrankių rinkinys ir vertinimo aplinka

Etaloninis vertinimas skirtas agentams, turintiems prieigą prie viso tyrimų įrankių rinkinio, įskaitant kodo vykdymo „Sandbox“ ir naršyklės galimybes, vertinti.

Ką mes nustatėme

Našumas pagal sritis. Įvertinome keturias giluminių tyrimų sistemas dešimtyje žinių sričių, išmatuodami išlaikymo rodiklius (atitiktų vertinimo kriterijų procentą). Giluminis tyrimas pasiekė aukščiausius išlaikymo rodiklius visose srityse, o ypač gerus rezultatus – teisės (89,4 %) ir akademinėje (82,4 %) srityse.

Padidinti

Vartotojams tai reiškia patikimesnius atsakymus, nesvarbu, ar rengiate teisinį dokumentą, atliekate literatūros apžvalgą, ar lyginate medicininio gydymo galimybes. Našumo skirtumai smarkiai išaugo atliekant sudėtingas loginio mąstymo užduotis: asmeninio asistento ir „adata kupetoje“ scenarijuose „Perplexity“ aplenkė prasčiausiai pasirodžiusią sistemą daugiau nei 20 procentinių punktų. Šios sritys atspindi realius vartotojų poreikius, tokius kaip asmeninės rekomendacijos ir specifinių faktų, paslėptų dideliuose dokumentuose, paieška.

Padidinti

Našumas pagal vertinimo aspektą. Per keturis pagrindinius vertinimo matmenis giluminis tyrimas pirmavo trijose: faktinio tikslumo, analizės pločio ir gylio bei citavimo kokybės. Tai matmenys, kurie yra svarbiausi, kai turite pasitikėti savo tyrimu priimdami realius sprendimus, nesvarbu, ar konsultuojate klientą, darote investiciją, ar rašote ataskaitą, po kuria pasirašote. Tik viena kita sistema parodė panašų į „Perplexity“ giluminis tyrimas našumą pateikimo kokybės srityje, o tai rodo, kad sunkios problemos giluminiuose tyrimuose susiję ne su formatavimu, o su faktų teisingumu ir pilna analize.

Padidinti

Kokybė ir efektyvumas. Pažymėtina, kad geriausiai pasirodžiusi sistema taip pat pasiekė mažiausią delsimą (459,6 sekundės, palyginti su 592–1808 sekundėmis konkurentų). Vartotojams tai reiškia, kad nereikia rinktis tarp išsamaus tyrimo ir greito atsakymų gavimo. Tai atspindi vertikaliai integruotos, nuo pradžios iki pabaigos pritaikytos infrastruktūros pranašumą: geresnė paieška¹ [nuoroda į mūsų paieškos API] ir naršyklės integracija su optimizuotomis vykdymo aplinkomis tiesiogiai lemia greitesnį ir tikslesnį tyrimą.

Kas toliau

„Perplexity“ giluminis tyrimas vertinimo rinkinys yra nepriklausomas nuo modelio: atsirandant galingesniems agentiniams LLM, mes iš naujo atliksime vertinimus ir skelbsime atnaujintus rezultatus. Ir siųsdami patobulinimus į giluminis tyrimas platformoje Perplexity.ai, vartotojai matys šiuos pasiekimus tiek produkto našumo, tiek etaloninio vertinimo baluose.

Etaloninis vertinimas šiuo metu vertina tik anglų kalbą, vieno žingsnio sąveikas dešimtyje sričių. Būsimi leidimai išplės kalbinę įvairovę, pridės kelių žingsnių vertinimą ir išplečia sričių aprėptį.

Kurkite geresnius tyrimų agentus su „DRACO Benchmark“

„DRACO Benchmark“ dabar yra visiškai atvirojo kodo. Bet kuri komandos, kurianti giluminių tyrimų sistemas, gali įvertinti savo modelius pagal realaus pasaulio tyrimų užduotis, o ne sintetinius akademinius galvosūkius. Išleidžiame visą etaloninį vertinimą, visas skales ir teisėjo raginimą.

Norėdami sužinoti daugiau apie metodiką ir išsamius rezultatus, perskaitykite visą techninę ataskaitą: DRACO benchmark ir tyrinėkite duomenų rinkinį „Hugging Face“.

Citata

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}