Ocjenjivanje performansi dubinskog istraživanja u stvarnom okruženju pomoću referentnog testa DRACO

Danas objavljujemo referentni test DRACO (Deep Research Accuracy, Completeness, and Objectivity), otvoren referentni test za ocjenjivanje agenata za dubinsko istraživanje temeljen na tome kako korisnici stvarno koriste umjetnu inteligenciju za složene istraživačke zadatke. Omogućivanjem otvorenog koda za DRACO, želimo pomoći široj zajednici umjetne inteligencije u izgradnji istraživačkih alata koji bolje služe stvarnim potrebama korisnika.

DRACO naglašava jaz između rješavanja sintetičkih zadataka i zadovoljavanja autentičnih istraživačkih potreba. Sustav za ocjenjivanje ne ovisi o modelima: kako se budu pojavljivali snažniji agentni jezični modeli, ponovno ćemo provoditi ocjenjivanja i objavljivati ažurirane rezultate. A kako budemo isporučivali poboljšanja za značajku Dubinsko istraživanje na platformi Perplexity.ai, korisnici će vidjeti ta poboljšanja odražena kako u performansama proizvoda, tako i u rezultatima referentnog testa.

Vrhunsko Dubinsko istraživanje

Perplexity Dubinsko istraživanje postiže vrhunske performanse na vodećim vanjskim referentnim testovima, uključujući DeepSearchQA tvrtke Google DeepMind i ResearchRubrics tvrtke Scale AI.

Povećaj

Povećaj

Ovi rezultati proizlaze iz kombiniranja najbolje dostupnih modela s Perplexityjevim prilagođenim agentnim mogućnostima: vlasničkim alatima za pretraživanje, infrastrukturom preglednika i izvršavanjem koda. Zajedno oni čine sustav optimiziran od kraja do kraja za pronalaženje, sintetiziranje i zaključivanje na temelju informacija iz stvarnog svijeta.

Tijekom izgradnje ovog proizvoda shvatili smo da vanjski referentni testovi, iako korisni za usporedbu modela, često ne obuhvaćaju višestrane upite i zahtjeve za sintezom s kojima se stvarni korisnici susreću svaki dan. Danas nudimo DRACO Benchmark kao otvoreni kod, referentni test utemeljen na tome kako ljudi stvarno koriste dubinsko istraživanje, potaknut milijunima proizvodnih zadataka u deset domena.

Povećaj

Zašto je važno ocjenjivanje utemeljeno na proizvodnji

Postojeći referentni testovi često testiraju uske vještine izolirano: pronalaženje jedne činjenice, odgovaranje na trivijalno pitanje ili rješavanje dobro definiranog problema. No stvarni istraživački upiti zahtijevaju sintezu iz više izvora, nijansiranu analizu i primjenjive smjernice, a sve uz održavanje činjenične točnosti i ispravnog citiranja.

DRACO Benchmark obuhvaća 100 pomno odabranih zadataka koji se protežu kroz akademsku zajednicu, financije, pravo, medicinu, tehnologiju, opće znanje, UX dizajn, personaliziranog asistenta, usporedbu kupovine/proizvoda i pronalaženje igle u plastu sijena, od kojih je svaki uparen s rubrikama koje su izradili stručnavi i koje u prosjeku imaju oko 40 kriterija ocjenjivanja.

Ovi zadaci potječu iz stvarnih korisničkih zahtjeva na platformi Perplexity Dubinsko istraživanje, uzorkovanih iz milijuna proizvodnih zahtjeva, a zatim sustavno preoblikovanih, proširenih i filtriranih kroz cjevovod u pet faza: uklanjamo osobno prepoznatljive podatke, dodajemo kontekst i opseg, filtriramo prema objektivnosti i težini te provodimo konačnu recenziju od strane stručnjaka za pojedinu domenu. Rezultat je referentni test koji odražava autentične potrebe korisnika umjesto sintetičkih vježbi ili zadataka koje su odabrali stručnjaci.

Kako radi DRACO Benchmark

Povećaj

Svaki je zadatak u referentnom testu prošao kroz rigorozan proces razvoja rubrika. Perplexity je surađivao s partnerom za generiranje podataka, The LLM Data Company, na razvoju i testiranju otpornosti rubrika za ocjenjivanje za ovaj skup. Stručnjaci za pojedino područje izradili su početne rubrike uz pomoć alata temeljenih na jezičnim modelima, a zatim su ih provodili kroz recenziju kolega i kalibraciju. Nedovoljno precizne i previše blage rubrike vraćene su na reviziju, pri čemu je otprilike 45% rubrika prerađeno barem jednom kroz taj proces. Rezultat su kriteriji ocjenjivanja koji istinski razlikuju mogućnosti sustava.

Rubrike ocjenjuju četiri dimenzije: činjeničnu točnost (otprilike polovica svih kriterija), širinu i dubinu analize, kvalitetu prezentacije i citiranje primarnih izvora. Svaki kriterij dobiva težinu koja odražava njegovu važnost, a neki su kriteriji negativni te kažnjavaju pogreške poput halucinacija ili neutemeljenih tvrdnji.

Odgovori se ocjenjuju pomoću protokola u kojem je jezični model u ulozi suca, pri čemu svaki kriterij dobiva binarnu presudu. Ovaj je pristup prikladan za ocjenjivanje činjenične točnosti jer rubrike temelje ocjenu suca na podacima iz stvarnog svijeta dobivenim iz rezultata pretraživanja, čime se subjektivna procjena pretvara u provjerljivu provjeru činjenica. Potvrdili smo pouzdanost na tri modela sudaca i otkrili da, iako apsolutni rezultati variraju, relativni poredak sustava ostaje dosljedan.

Povećaj

Skup alata i okruženje za ocjenjivanje

Referentni test osmišljen je za ocjenjivanje agenata koji imaju pristup potpunom istraživačkom skupu alata, uključujući sigurnosno okruženje (sandbox) za izvršavanje koda i mogućnosti preglednika.

Što smo otkrili

Performanse po domeni. Ocijenili smo četiri sustava dubinskog istraživanja u 10 domena znanja mjerenjem stopa prolaznosti (postotak zadovoljenih kriterija ocjenjivanja). Dubinsko istraživanje postiglo je najviše stope prolaznosti u svim domenama, s posebno snažnim performansama u pravu (89,4%) i akademskoj zajednici (82,4%).

Povećaj

Za korisnike to znači pouzdanije odgovore bez obzira pripremate li pravni podnesak, provodite li pregled literature ili uspoređujete mogućnosti medicinskog liječenja. Jaz u performansama značajno se povećao u složenim zadacima zaključivanja: u scenarijima personaliziranog asistenta i pronalaženja igle u plastu sijena, Perplexity je nadmašio sustav s najnižim rezultatom za više od 20 postotnih bodova. Ove domene odražavaju stvarne potrebe korisnika poput personaliziranih preporuka i pronalaženja određenih činjenica skrivenih u velikim dokumentima.

Povećaj

Performanse prema aspektu ocjenjivanja. U četiri ključne dimenzije ocjenjivanja, Dubinsko istraživanje vodilo je u tri: činjenična točnost, širina i dubina analize te kvaliteta citiranja. To su dimenzije koje su najvažnije kada trebate vjerovati svom istraživanju za donošenje stvarnih odluka, bilo da savjetujete klijenta, sklapate investiciju ili pišete izvješće s vašim imenom na njemu. Samo je jedan drugi sustav pokazao usporedive performanse s Perplexity Dubinskim istraživanjem u kvaliteti prezentacije, što pokazuje da teški problemi u dubinskom istraživanju nisu u oblikovanju, već u ispravnom postavljanju činjenica i potpunosti analize.

Povećaj

Kvaliteta i učinkovitost. Značajno je da je najbolje ocijenjeni sustav također postigao najnižu latenciju (459,6 sekundi u odnosu na 592 do 1808 sekundi za konkurente). Za korisnike to znači da ne morate birati između temeljitog istraživanja i brzog dobivanja odgovora. To odražava prednost okomito integrirane infrastrukture od kraja do kraja: bolje pretraživanje¹ [poveznica na podnožje naše API-ja za pretraživanje] i integracija preglednika s optimiziranim okruženjima za izvršavanje izravno se prevode u brže i točnije istraživanje.

Što je sljedeće

Sustav za dubinsko istraživanje tvrtke Perplexity ne ovisi o modelima: kako se budu pojavljivali snažniji agentni jezični modeli, ponovno ćemo provoditi ocjenjivanja i objavljivati ažurirane rezultate. A kako budemo isporučivali poboljšanja za Dubinsko istraživanje na platformi Perplexity.ai, korisnici će vidjeti ta poboljšanja odražena kako u performansama proizvoda, tako i u rezultatima referentnog testa.

Referentni test trenutno ocjenjuje samo interakcije na engleskom jeziku u jednom koraku kroz deset domena. Buduće iteracije proširit će jezičnu raznolikost, dodati ocjenjivanje u više koraka i proširiti pokrivenost domena.

Izgradite bolje istraživačke agente uz DRACO Benchmark

DRACO Benchmark je sada u potpunosti otvoreni kod. Svaki tim koji gradi sustave dubinskog istraživanja može ocijeniti svoje modele u odnosu na zadatke istraživanja u stvarnom svijetu umjesto na sintetičke akademske zagonetke. Objavljujemo kompletan referentni test, sve rubrike i upit za suca.

Da biste saznali više o metodologiji i detaljnim rezultatima, pročitajte cjelovito tehničko izvješće: DRACO benchmark i istražite skup podataka na platformi Hugging Face.

Citiranje

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}