Evaluering av ytelse for dypgående forskning i praksis med DRACO-standarden

I dag lanserer vi DRACO-standarden (Deep Research Accuracy, Completeness, and Objectivity Benchmark), en åpen standard for evaluering av agenter for dypgående forskning basert på hvordan brukere faktisk bruker KI til komplekse forskningsoppgaver. Ved å gjøre DRACO åpen kildekode ønsker vi å hjelpe det bredere KI-fellesskapet med å bygge forskningsverktøy som dekker reelle brukerbehov på en bedre måte.

DRACO belyser gapet mellom å løse syntetiske oppgaver og å dekke reelle forskningsbehov. Evalueringsrammeverket er uavhengig av modell: etter hvert som det dukker opp sterkere agentbaserte språkmodeller (LLM-er), vil vi kjøre evalueringer på nytt og publisere oppdaterte resultater. Og i takt med at vi lanserer forbedringer av dypgående forskning på Perplexity.ai, vil brukerne se at disse forbedringene gjenspeiles i både produktets ytelse og standardens poengsummer.

Toppmoderne dypgående forskning

Perplexity Dypgående forskning oppnår toppmoderne ytelse på ledende eksterne standarder, inkludert Google DeepMinds DeepSearchQA og Scale AIs ResearchRubrics.

Forstørr

Forstørr

Disse resultatene stammer fra en kombinasjon av de best tilgjengelige modellene og Perplexitys formålstilpassede agentfunksjoner: egne søkeverktøy, nettleserinfrastruktur og kodekjøring. Sammen utgjør disse et system som er optimalisert fra ende til annen for å hente inn, syntetisere og resonnere over virkelige data.

Under arbeidet med å bygge dette produktet innså vi at eksterne standarder, selv om de er nyttige for å sammenligne modeller, ofte ikke fanger opp de mangeartetede spørringene og syntesekravene som virkelige brukere stiller hver eneste dag. I dag gjør vi DRACO-standarden åpen kildekode – en standard basert på hvordan folk faktisk bruker dypgående forskning, motivert av millioner av produksjonsoppgaver på tvers av ti domener.

Forstørr

Hvorfor produksjonsbasert evaluering er viktig

Eksisterende standarder tester ofte smale ferdigheter isolert sett: å hente ut en enkelt faktaopplysning, svare på et trivia-spørsmål eller løse et godt definert problem. Men virkelige forskningsspørringer krever syntese på tvers av kilder, nyansert analyse og handlingsrettet veiledning, samtidig som faktanøyaktighet og riktig kildehenvisning opprettholdes.

DRACO-standarden består av 100 nøye utvalgte oppgaver som spenner over akademia, finans, jus, medisin, teknologi, allmennkunnskap, UX-design, personlig assistent, shopping/produktsammenligning og «nåla i høystakken». Hver oppgave er paret med ekspertdesignede vurderingskriterier som i snitt har rundt 40 evalueringskriterier.

Disse oppgavene stammer fra faktiske brukerforespørsler på Perplexity Dypgående forskning, samplet fra millioner av produksjonsforespørsler og deretter systematisk omformulert, utvidet og filtrert gjennom en femtrinns rørledning: vi fjerner personlig identifiserbar informasjon, legger til kontekst og omfang, filtrerer med tanke på objektivitet og vanskelighetsgrad, og gjennomfører en endelig gjennomgang av domeneeksperter. Resultatet er en standard som gjenspeiler ekte brukerbehov snarere enn syntetiske øvelser eller ekspertkuraterte oppgaver.

Slik fungerer DRACO-standarden

Forstørr

Hver oppgave i standarden har gjennomgått en grundig prosess for utvikling av vurderingskriterier. Perplexity samarbeidet med en datagenereringspartner, The LLM Data Company, for å utvikle og testkjøre evalueringskriterier for settet. Fageksperter utarbeidet innledende kriterier ved hjelp av språkmodellverktøy, og itererte deretter gjennom fagfellevurdering og kalibrering. Dårlig spesifiserte og altfor ettergivende kriterier ble sendt tilbake for revidering, og rundt 45 % av kriteriene ble finpusset minst én gang gjennom denne prosessen. Resultatet er evalueringskriterier som reelt skiller systemers kapasitet fra hverandre.

Kriteriene vurderer fire dimensjoner: faktanøyaktighet (rundt halvparten av alle kriterier), analysebredde og -dybde, presentasjonskvalitet og henvisning til primærkilder. Hvert kriterium tildeles en vekt som gjenspeiler dets viktighet, og noen kriterier er negative, noe som gir straff for feil som hallusineringer eller ubekreftede påstander.

Svarene graderes ved hjelp av en «LLM-som-dommer»-protokoll, der hvert kriterium mottar en binær dom. Denne tilnærmingen egner seg godt til evaluering av faktanøyaktighet fordi kriteriene forankrer dommeren i virkelige data hentet fra søkeresultater, noe som forvandler subjektiv vurdering til verifiserbar faktasjekking. Vi validerte påliteligheten på tvers av tre dommermodeller og fant at selv om de absolutt poengsummene varierer, forblir de relative systemrangeringene konsekvente.

Forstørr

Verktøysett og evalueringsmiljø

Standarden er utformet for å evaluere agenter med tilgang til et fullstendig forskningsverktøy, inkludert en sandkasse for kodekjøring og nettleserfunksjoner.

Hva vi fant

Ytelse etter domene. Vi evaluerte fire systemer for dypgående forskning på tvers av 10 kunnskapsdomener ved å måle beståttandeler (prosentandel oppfylte evalueringskriterier). Dypgående forskning oppnådde de høyeste beståttandelene på tvers av alle domener, med spesielt sterk ytelse innen jus (89,4 %) og akademia (82,4 %).

Forstørr

For brukere betyr dette mer pålitelige svar enten du forbereder et juridisk skriv, utfører en litteraturstudie eller sammenligner medisinske behandlingsalternativer. Ytelsesgapene utvidet seg betydelig i komplekse resonneringsoppgaver: i scenarier med personlig assistent og «nåla i høystakken» presterte Perplexity over 20 prosentpoeng bedre enn systemet med lavest poengsum. Disse domenene gjenspeiler reelle brukerbehov som personlige anbefalinger og det å finne spesifikke fakta som er gjemt i store dokumenter.

Forstørr

Ytelse etter evalueringsaspekt. På tvers av fire nøye utvalgte evalueringsdimensjoner ledet Dypgående forskning i tre: faktanøyaktighet, analysebredde og -dybde, og kildehenvisningskvalitet. Dette er dimensjonene som betyr mest når du må stole på forskningen din i forbindelse med virkelige beslutninger, enten du rådgiver en klient, foretar en investering eller skriver en rapport med navnet ditt på. Kun ett annet system viste sammenlignbar ytelse med Perplexity Dypgående forskning på presentasjonskvalitet, noe som tyder på at de vanskelige problemene innen dypgående forskning ikke handler om formatering, men om å få faktaene riktige og analysen fullstendig.

Forstørr

Kvalitet og effektivitet. Det er verdt å merke seg at systemet som presterte best, også oppnådde lavest ventetid (459,6 sekunder mot 592 til 1808 sekunder for konkurrenter). For brukere betyr dette at du slipper å velge mellom grundig forskning og raske svar. Dette gjenspeiler fordelen med vertikalt integrert infrastruktur fra ende til annen: bedre søk¹ [fotnotelink til vår søke-api] og nettleserintegrasjon med optimaliserte kjøringsmiljøer gir direkte utslag i raskere og mer nøyaktig forskning.

Hva er det neste

Perplexitys rammeverk for dypgående forskning er uavhengig av modell: etter hvert som det dukker opp sterkere agentbaserte språkmodeller (LLM-er), vil vi kjøre evalueringer på nytt og publisere oppdaterte resultater. Og i takt med at vi lanserer forbedringer av dypgående forskning på Perplexity.ai, vil brukerne se at disse forbedringene gjenspeiles i både produktets ytelse og standardens poengsummer.

Standarden evaluerer foreløpig kun engelske interaksjoner med én tur på tvers av ti domener. Framtidige versjoner vil utvide det språklige mangfoldet, legge til evaluering med flere turer og utvide domegaveren.

Bygg bedre forskningsagenter med DRACO-standarden

DRACO-standarden er nå fullstendig åpen kildekode. Alle team som bygger systemer for dypgående forskning, kan vurdere modellene sine opp mot virkelige forskningsoppgaver i stedet for syntetiske akademiske oppgaver. Vi frigir hele standarden, alle kriterier og dommerledeteksten.

Vil du vite mer om metodikk og detaljerte resultater, kan du lese hele den tekniske rapporten: DRACO-standarden og utforske datasettet på Hugging Face.

Sitat

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}