Evaluering af ydeevne inden for dybtgående forskning i naturen med DRACO-benchmarken

I dag udgiver vi DRACO Benchmark (Deep Research Accuracy, Completeness, and Objectivity), et åbent benchmark til evaluering af agenter til dybtgående forskning, baseret på hvordan brugere faktisk bruger AI til komplekse forskningsopgaver. Ved at gøre DRACO open source ønsker vi at hjælpe resten af AI-fællesskabet med at bygge forskningsværktøjer, der bedre dækker reelle brugerbehov.

DRACO fremhæver kløften mellem at løse syntetiske opgaver og at opfylde reelle forskningsbehov. Evalueringsrammen er model-agnostisk: efterhånden som stærkere agentbaserede LLM'er dukker op, kører vi evalueringerne igen og udgiver opdaterede resultater. Og efterhånden som vi udsender forbedringer til Dybtgående forskning på Perplexity.ai, vil brugerne se disse gevinster afspejlet i både produktets ydeevne og benchmark-resultater.

Avanceret Dybtgående forskning

Perplexity Dybtgående forskning opnår topmoderne ydeevne på førende eksterne benchmarks, herunder Google DeepMinds DeepSearchQA og Scale AI's ResearchRubrics.

Udvid

Udvid

Disse resultater stammer fra at kombinere de bedst tilgængelige modeller med Perplexitys skræddersyede agentkapaciteter: proprietære søgeværktøjer, browserinfrastruktur og kodeudførelse. Tilsammen danner disse et system, der er optimeret fra ende til anden til at hente, syntetisere og ræsonnere over virkelige informationer.

Undervejs i udviklingen af dette produkt indså vi, at eksterne benchmarks, selvom de er nyttige til at sammenligne modeller, ofte ikke indfanger de mangefacetterede forespørgsler og syntesekrav, som reelle brugere stiller hver eneste dag. I dag frigiver vi DRACO Benchmark som open source – et benchmark baseret på, hvordan folk rent faktisk bruger dybtgående forskning, motiveret af millioner af produktionsopgaver på tværs af ti domæner.

Udvid

Hvorfor produktionsbaseret evaluering er vigtig

Eksisterende benchmarks tester ofte smalle færdigheder isoleret set: hentning af en enkelt faktuel oplysning, besvarelse af et triviaspørgsmål eller løsning af et veldefinerede problem. Men virkelige forskningsforespørgsler kræver syntese på tværs af kilder, nuanceret analyse og handlekraftig vejledning, alt imens faktabasering og korrekt kildehenvisning opretholdes.

DRACO Benchmark omfatter 100 omhyggeligt udvalgte opgaver inden for akademisk forskning, finans, jura, medicin, teknologi, generel viden, UX-design, personlig assistent, shopping/produktsammenligning og nålen i høstakken, hver parret med ekspertdesignede rubrikker med i gennemsnit ca. 40 evalueringskriterier.

Disse opgaver stammer fra faktiske brugerforespørgsler på Perplexity Dybtgående forskning, udvalgt fra millioner af produktionsforespørgsler og derefter systematisk omformuleret, beriget og filtreret gennem en femtrins-pipeline: vi fjerner personhenførbare oplysninger, tilføjer kontekst og omfang, filtrerer for objektivitet og sværhedsgrad og foretager en endelig gennemgang af domæneeksperter. Resultatet er et benchmark, der afspejler reelle brugerbehov i stedet for syntetiske øvelser eller ekstragrupper af ekspertkuraterede opgaver.

Hvordan DRACO Benchmark fungerer

Udvid

Hver opgave i benchmarken gennemgik en stringent udviklingsproces for rubrikker. Perplexity arbejdede sammen med en datagenereringspartner, The LLM Data Company, om at udvikle og testkøre evalueringsrubrikker for sættet. Fageksperter udkastede indledende rubrikker ved hjælp af LLM-værktøjer og itererede derefter gennem fagfællebedømmelse og kalibrering. Dårligt specificerede og alt for eftergivende rubrikker blev sendt tilbage til revision, idet cirka 45 % af rubrikkerne blev finpudset mindst én gang gennem denne proces. Resultatet er evalueringskriterier, der reelt adskiller systemernes formåen.

Rubrikkerne vurderer fire dimensioner: faktuel nøjagtighed (ca. halvdelen af alle kriterier), analysens bredde og dybde, præsentationskvalitet og kildehenvisning til primære kilder. Hvert kriterium modtager en vægt, der afspejler dets vigtighed, og nogle kriterier er negative og straffer fejl som hallucinationer eller udokumenterede påstande.

Svarene bedømmes ved hjælp af en LLM-som-dommer-protokol, hvor hvert kriterium modtager en binær dom. Denne tilgang egner sig godt til evaluering af faktuel nøjagtighed, fordi rubrikkerne forankrer dommeren i virkelige data afledt af søgeresultater, hvilket omdanner subjektiv vurdering til verificerbar faktatjekning. Vi validerede pålideligheden på tværs af tre dommermodeller og fandt, at selvom de absolutte scores varierer, forbliver de relative systemrangeringer konsekvente.

Udvid

Værktøjskasse og evalueringsmiljø

Benchmarken er designet til at evaluere agenter med adgang til en komplet forskningsværktøjskasse, herunder en sandkasse til kodeudførelse og browseregenskaber.

Hvad vi fandt ud af

Ydeevne efter domæne. Vi evaluerede fire systemer til dybtgående forskning på tværs af 10 vidensdomæner ved at måle beståelsesrater (procentdel af opfyldte evalueringskriterier). Dybtgående forskning opnåede de højeste beståelsesrater på tværs af alle domæner med særligt stærk ydeevne inden for jura (89,4 %) og akademisk forskning (82,4 %).

Udvid

For brugerne betyder det mere pålidelige svar, uanset om du udarbejder et juridisk notat, foretager et litteraturstudie eller sammenligner medicinske behandlingsmuligheder. Præstationskløfterne blev markant større i komplekse ræsonnementsopgaver: i scenarier med personlig assistent og nålen i høstakken præsterede Perplexity over 20 procentpoint bedre end det dårligst scorende system. Disse domæner afspejler reelle brugerbehov som personlige anbefalinger og fund af specifikke fakta gemt i store dokumenter.

Udvid

Ydeevne efter evalueringsaspekt. På tværs af fire nøgleevalueringsdimensioner førte Dybtgående forskning i tre: Faktuel nøjagtighed, Analysens bredde og dybde samt Kildekvalitet. Dette er de dimensioner, der betyder mest, når du har brug for at kunne stole på din forskning til reelle beslutninger, uanset om du rådgiver en klient, foretager en investering eller skriver en rapport med dit navn på. Kun ét andet system viste sammenlignelig ydeevne med Perplexity Dybtgående forskning på præsentationskvalitet, hvilket indikerer, at de svære problemer i dybtgående forskning ikke handler om formatering, men om at få fakta på plads og analysen fuldstændig.

Udvid

Kvalitet og effektivitet. Det er værd at bemærke, at det bedst præsterende system også opnåede den laveste svartid (459,6 sekunder mod 592 til 1808 sekunder for konkurrenterne). For brugerne betyder det, at du ikke behøver at vælge mellem grundig forskning og hurtige svar. Dette afspejler fordelen ved lodret integreret, ende-til-ende-infrastruktur: bedre søgning¹ [fodnotelink til vores søge-API] og browserintegration med optimerede eksekveringsmiljøer oversættes direkte til hurtigere og mere præcis forskning.

Hvad der sker nu

Perplexitys ramme for Dybtgående forskning er model-agnostisk: efterhånden som stærkere agentbaserede LLM'er dukker op, kører vi evalueringerne igen og udgiver opdaterede resultater. Og efterhånden som vi udsender forbedringer til Dybtgående forskning på Perplexity.ai, vil brugerne se disse gevinster afspejlet i både produktets ydeevne og benchmark-resultater.

Benchmarken evaluerer i øjeblikket kun engelsk og enkeltstående interaktioner på tværs af ti domæner. Fremtidige iterationer vil udvide den sproglige mangfoldighed, tilføje evaluering af flere omgange og udvide dækningen af domæner.

Byg bedre forskningsagenter med DRACO Benchmark

DRACO Benchmark er nu fuldstændig open source. Ethvert team, der bygger systemer til dybtgående forskning, kan vurdere deres modeller op mod virkelige forskningsopgaver i stedet for syntetiske akademiske gåder. Vi frigiver det fulde benchmark, alle rubrikker og dommerens prompt.

For at lære mere om metoden og detaljerede resultater kan du læse den fulde tekniske rapport: DRACO-benchmark og udforske datasættet på Hugging Face.

Citering

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}