Evaluacija performansi dubokog istraživanja u divljini pomoću DRACO referentnog sistema

Danas predstavljamo DRACO (Deep Research Accuracy, Completeness, and Objectivity) referentni sistem, otvoreni referentni sistem za evaluaciju agenata za duboko istraživanje zasnovan na tome kako korisnici zapravo koriste veštačku inteligenciju za kompleksne istraživačke zadatקים. Otvaranjem izvornog koda sistema DRACO želimo da pomognemo široj zajednici veštačke inteligencije da izgradi istraživačke alate koji bolje služe stvarnim potrebama korisnika.

DRACO ističe jaz između rešavanja sintetičkih zadataka i zadovoljavanja autentičnih istraživačkih potreba. Sistem evaluacije je agnostičan u pogledu modela: kako se pojavljuju snažniji agencijskiJezički modeli, ponovo ćemo pokretati evaluacije i objavljivati ažurirane rezultate. A kako budemo uvodili poboljšanja za duboko istraživanje na platformi Perplexity.ai, korisnici će videti ta poboljšanja koja se odnose i na performanse proizvoda i na rezultate referentnog sistema.

Vrhunsko duboko istraživanje

Perplexity duboko istraživanje ostvaruje performanse na nivou savremenih rešenja na vodećim eksternim referentnim sistemima, uključujući Google DeepMind DeepSearchQA i Scale AI ResearchRubrics.

Uvećaj

Uvećaj

Ovi rezultati proističu iz kombinovanja najboljih dostupnih modela sa Perplexity namenski izgrađenim agencijskim mogućnostima: vlasničkim alatima za pretragu, infrastrukturom pretraživača i izvršavanjem koda. Zajedno, oni formiraju sistem optimizovan od kraja do kraja za pronalaženje, sintezu i zaključivanje o informacijama iz stvarnog sveta.

U procesu izgradnje ovog proizvoda shvatili smo da eksterni referentni sistemi, iako korisni za poređenje modela, često ne obuhvataju višestrane upite i zahteve za sintezom koje stvarni korisnici postavljaju svakog dana. Danas objavljujemo otvoreni izvorni kod za DRACO referentni sistem, referentni sistem zasnovan na tome kako ljudi zapravo koriste duboko istraživanje, motivisan milionima proizvodnih zadataka u deset domena.

Uvećaj

Zašto je važna evaluacija zasnovana na proizvodnji

Postojeći referentni sistemi često testiraju uske veštine izolovano: pronalaženje jedne činjenice, odgovaranje na trivijalno pitanje ili rešavanje dobro definisanog problema. Ali stvarni istraživački upiti zahtevaju sintezu iz više izvora, nijansiranu analizu i primenljiva usmerenja, uz održavanje činjenične tačnosti i pravilnog citiranja.

DRACO referentni sistem obuhvata 100 pažljivo odabranih zadataka koji obuhvataju akademiju, finansije, pravo, medicinu, tehnologiju, opšte znanje, UX dizajn, personalizovani asistent, kupovinu/poređenje proizvoda i pronalaženje igle u plastu sena, od kojih je svaki uparen sa rubrikama koje su izradili stručnjaci sa prosečno ~40 kriterijuma evaluacije. Ovi zadaci potiču iz stvarnih zahteva korisnika na Perplexity duboko istraživanje, uzorkovani su iz miliona proizvodnih zahteva, a zatim sistematski reformulisani, prošireni i filtrirani kroz petofaznu propusnu cev: uklanjamo lično prepoznatljive informacije, dodajemo kontekst i obim, filtriramo po objektivnosti i težini, i vršimo konačnu recenziju od strane stručnjaka za dati domen. Rezultat je referentni sistem koji odražava autentične potrebe korisnika, umesto sintetičkih vežbi ili zadataka koje su odabrali stručnjaci.

Kako funkcioniše DRACO referentni sistem

Uvećaj

Svaki zadatak u referentnom sistemu prošao je kroz rigorozan proces izrade rubrike. Perplexity je sarađivao sa partnerom za generisanje podataka, The LLM Data Company, kako bi razvio i testirao rubrike evaluacije za dati skup. Stručnjaci za tu oblast su nacrtali početne rubrike uz pomoć alata jezičkih modela, a zatim su ih iterativno prolazili kroz recenziju kolega i kalibraciju. Loše precizirane i previše blage rubrike vraćene su na reviziju, pri čemu je otprilike 45% rubrika rafinirano najmanje jednom kroz ovaj proces. Rezultat su kriterijumi evaluacije koji istinski razlikuju sposobnosti sistema.

Rubrike procenjuju četiri dimenzije: činjeničnu tačnost (otprilike polovinu svih kriterijuma), širinu i dubinu analize, kvalitet prezentacije i citiranje primarnih izvora. Svaki kriterijum dobija težinu koja odražava njegov značaj, a neki kriterijumi su negativni, kažnjavajući greške poput halucinacija ili nepodržanih tvrdnji.

Odgovori se ocenjuju korišćenjem protokola jezičkog modela kao sudije, gde svaki kriterijum dobija binarnu presudu. Ovaj pristup je veoma pogodan za evaluaciju činjenične tačnosti jer rubrike utemeljuju sudiju u podacima iz stvarnog sveta izvedenim iz rezultata pretrage, pretvarajući subjektivnu procenu u proverljivu proveru činjenica. Potvrdili smo pouzdanost u tri modela sudija i otkrili da, iako apsolutni rezultati variraju, relativna rangiranja sistema ostaju dosledna.

Uvećaj

Skup alata i okruženje za evaluaciju

Referentni sistem je dizajniran da proceni agente sa pristupom kompletnom istraživačkom skupu alata, uključujući okruženje za izvršavanje koda (sandbox) i mogućnosti pretraživača.

Šta smo otkrili

Performanse po domenu. Procenili smo četiri sistema za duboko istraživanje u 10 domena znanja merenjem stopa prolaznosti (procenat ispunjenih kriterijuma evaluacije). Duboko istraživanje je postiglo najviše stope prolaznosti u svim domenima, sa posebno jakim performansama u pravu (89,4%) i akademiji (82,4%).

Uvećaj

Za korisnike, ovo znači pouzdanije odgovore bilo da pripremate pravni podnesak, vršite pregled literature ili upoređujete opcije medicinskog lečenja. Jaz u performansama se značajno povećao u složenim zadacima zaključivanja: u scenario personalizovanog asistenta i pronalaženja igle u plastu sena, Perplexity je nadmašio sistem sa najnižim rezultatom za preko 20 procentnih poena. Ovi domeni odražavaju stvarne potrebe korisnika kao što su personalizovane preporuke i pronalaženje specifičnih činjenica sakrivenih u velikim dokumentima.

Uvećaj

Performanse po aspektu evaluacije. Kroz četiri ključne dimenzije evaluacije, Duboko istraživanje je vodilo u tri: činjenična tačnost, širina i dubina analize, i kvalitet citiranja. Ovo su dimenzije koje su najvažnije kada treba da verujete svom istraživanju za stvarne odluke, bilo da savetujete klijenta, pravite investiciju ili pišete izveštaj sa svojim imenom na njemu. Samo još jedan sistem je pokazao uporedive performanse sa Perplexity dubokim istraživanjem u pogledu kvaliteta prezentacije, što ukazuje na to da teški problemi u dubokom istraživanju nisu u formatiranju već u tačnom utvrđivanju činjenica i potpunosti analize.

Uvećaj

Kvalitet i efikasnost. Značajno je da je sistem sa najboljim performansama takođe postigao najnižu latenciju (459,6 sekundi u odnosu na 592 do 1808 sekundi za konkurente). Za korisnike, to znači da ne morate da birate između temeljne brze pretrage i brzog dobijanja odgovora. Ovo odražava prednost vertikalno integrisane infrastrukture od kraja do kraja: bolja pretraga¹ [link fusnote do našeg API-ja za pretragu] i integracija pretraživača sa optimizovanim okruženjima za izvršavanje direktno se pretvaraju u brže i preciznije istraživanje.

Šta je sledeće

Perplexity okruženje za duboko istraživanje je agnostično u pogledu modela: kako se pojavljuju snažniji agencijskiJezički modeli, ponovo ćemo pokretati evaluacije i objavljivati ažurirane rezultate. A kako budemo isporučivali poboljšanja za duboko istraživanje na Perplexity.ai, korisnici će videti ta poboljšanja koja se ogledaju i u performansama proizvoda i u rezultatima referentnog sistema.

Referentni sistem trenutno procenjuje samo interakcije na engleskom jeziku, u jednoj turi, u deset domena. Buduće iteracije će proširiti jezičku raznovrsnost, dodati evaluaciju u više okreta i proširiti pokrivenost domena.

Izgradite bolje istraživačke agente sa DRACO referentnim sistemom

DRACO referentni sistem je sada potpuno otvorenog koda. Svaki tim koji gradi sisteme za duboko istraživanje može da proceni svoje modele u odnosu na istraživačke zadatke iz stvarnog sveta umesto sintetičkih akademskih zagonetki. Objavljujemo kompletan referentni sistem, sve rubrike i upitnik za sudiju.

Da biste saznali više o metodologiji i detaljnim rezultatima, pročitajte kompletan tehnički izveštaj: DRACO referentni sistem i istražite skup podataka na Hugging Face.

Citiranje

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}