Utvärdering av prestanda för djupgående forskning i praktiken med DRACO-riktmärket

Idag lanserar vi Deep Research Accuracy, Completeness, and Objectivity (DRACO) Benchmark, ett öppet riktmärke för att utvärdera agenter för djupgående forskning baserat på hur användare faktiskt använder AI för komplexa forskningsuppgifter. Genom att göra DRACO med öppen källkod vill vi hjälpa den bredare AI-gemenskapen att bygga forskningsverktyg som bättre tillgodoser verkliga användarbehov.

DRACO belyser klyftan mellan att lösa syntetiska uppgifter och att tillgodose autentiska forskningsbehov. Utvärderingsmiljön är modellagnostisk: i takt med att starkare agentbaserade språkmodeller dyker upp kommer vi att köra om utvärderingar och publicera uppdaterade resultat. Och i takt med att vi levererar förbättringar av Djupgående forskning på Perplexity.ai kommer användarna att se dessa vinster återspeglas i såväl produktprestanda som riktmärkesresultat.

Toppmodern Djupgående forskning

Perplexity Djupgående forskning uppnår toppmodern prestanda i ledande externa riktmärken, inklusive Google DeepMinds DeepSearchQA och Scale AI:s ResearchRubrics.

Förstora

Förstora

Dessa resultat kommer av att kombinera de bästa tillgängliga modellerna med Perplexituds skräddarsydda agentkapacitet: proprietära sökverktyg, webbläsarinfrastruktur och kodkörning. Tillsammans bildar dessa ett system som är helhetsoptimerat för att hämta, syntetisera och resonera kring information från den verkliga världen.

När vi byggde den här produkten insåg vi att externa riktmärke, även om de är användbara för att jämföra modeller, ofta inte fångar de mångfacetterade frågor och synteskrav som verkliga användare ställer varje dag. Idag lanserar vi DRACO Benchmark med öppen källkod, ett riktmärke baserat på hur människor faktiskt använder djupgående forskning, motiverat av miljoner produktionsuppgifter inom tio domäner.

Förstora

Varför produktionsbaserad utvärdering är viktig

Befintliga riktmärken testar ofta smala färdigheter isolerat: att hämta ett enskilt faktum, svara på en triviafråga eller lösa ett väl definierat problem. Men verkliga forskningsfrågor kräver syntes över källor, nyanserad analys och handlingsbar vägledning, samtidigt som faktisk korrekthet och korrekt citering upprätthålls.

DRACO Benchmark omfattar 100 noggrant utvalda uppgifter som spänner över akademiska ämnen, finans, juridik, medicin, teknik, allmänbildning, UX-design, personlig assistent, shopping/produktjämförelse och nålen i höstacken, var och en i par med expertutvecklade bedömningsmatriser som i genomsnitt har ~40 utvärderingskriterier.

Dessa uppgifter kommer från faktiska användarförfrågningar om Perplexity Djupgående forskning, samplade från miljoner produktionsförfrågningar och sedan systematiskt omformulerade, utökade och filtrerade genom en femstegspipeline: vi tar bort personligt identifierbar information, lägger till kontext och omfattning, filtrerar efter objektivitet och svårighetsgrad och utför slutlig granskning av domänexperter. Resultatet är ett riktmärke som återspeglar autentiska användarbehov snarare än syntetiska övningar eller expertutvalda uppgifter.

Hur DRACO Benchmark fungerar

Förstora

Varje uppgift i riktmärket genomgick en rigorös process för utveckling av bedömningsmatriser. Perplexity arbetade med en datagenereringspartner, The LLM Data Company, för att utveckla och trycktesta utvärderingsmatriser för uppsättningen. Ämnesexperter utarbetade initiala matriser med hjälp av språkmodelleringsverktyg och itererade sedan genom peer review och kalibrering. Dåligt specificerade och alltför eftergivna matriser skickades tillbaka för revidering, där ungefär 45 % av matriserna förfinades minst en gång genom denna process. Resultatet är utvärderingskriterier som genuint urskiljer systemets kapacitet.

Bedömningsmatriserna utvärderar fyra dimensioner: faktisk noggrannhet (cirka hälften av alla kriterier), bredd och djup i analysen, presentationskvalitet och citering av primärkällor. Varje kriterium tilldelas en vikt som återspeglar dess betydelse och vissa kriterier är negativa och straffar fel som hallucinationer eller orelaterade påståenden.

Svaren betygsätts med ett LLM-as-judge-protokoll, där varje kriterium får ett binärt utlåtande. Detta tillvägagångssätt lämpar sig väl för utvärdering av faktisk noggrannhet eftersom matriserna grundar domaren i verklig data som härrör från sökresultat, vilket förvandlar subjektiv bedömning till verifierbar faktagranskning. Vi validerade tillförlitligheten över tre domarmodeller och fann att även om de absoluta poängen varierar, förblir de relativa systemrankningarna konsekventa.

Förstora

Verktygsuppsättning och utvärderingsmiljö

Riktmärket är utformat för att utvärdera agenter med tillgång till en komplett forskningsverktygsuppsättning, inklusive en sandlåda för kodkörning och webbläsarfunktioner.

Vad vi fann

Prestanda per domän. Vi utvärderade fyra djupgående forskningssystem över 10 kunskapsdomäner genom att mäta godkänd frekvens (procentandel uppfyllda utvärderingskriterier). Djupgående forskning uppnådde de högsta godkända frekvenserna inom alla domäner, med särskilt stark prestanda inom juridik (89,4 %) och akademiska ämnen (82,4 %).

Förstora

För användare innebär detta mer tillförlitliga svar oavsett om du förbereder en juridisk inlaga, utför en litteraturöversikt eller jämför medicinska behandlingsalternativ. Prestandaklyftorna vidgades avsevärt i komplexa resonemangsuppgifter: i scenarier med personlig assistent och nålen i höstacken presterade Perplexity bättre än det system som fick lägst poäng med över 20 procentenheter. Dessa domäner återspeglar verkliga användarbehov som personliga rekommendationer och att hitta specifika fakta begravda i stora dokument.

Förstora

Prestanda per utvärderingsaspekt. Över fyra nyckelutvärderingsdimensioner ledde Djupgående forskning i tre: Factual Accuracy, Breadth and Depth of Analysis och Citation Quality. Detta är de dimensioner som betyder mest när du behöver lita på din forskning för verkliga beslut, oavsett om du rådgivare en klient, gör en investering eller skriver en rapport med ditt namn på den. Endast ett annat system visade jämförbar prestanda med Perplexity Djupgående forskning om presentationskvalitet, vilket indikerar att de svåra problemen inom djupgående forskning inte handlar om formatering utan om att få fakta rätt och analysen komplett.

Förstora

Kvalitet och effektivitet. Det är värt att notera att det bäst presterande systemet också uppnådde lägst latens (459,6 sekunder jämfört med 592 till 1808 sekunder för konkurrenter). För användare innebär detta att du inte behöver välja mellan grundlig forskning och att få svar snabbt. Detta återspeglar fördelen med vertikalt integrerad helhetsinfrastruktur: bättre sök¹ [fotnotlänk till vårt sök-API] och webbläsarintegrering med optimerade körningsmiljöer översätts direkt till snabbare och mer exakt forskning.

Vad som händer härnäst

Perplexituds miljö för djupgående forskning är modellagnostisk: i takt med att starkare agentbaserade språkmodeller dyker upp kommer vi att köra om utvärderingar och publicera uppdaterade resultat. Och i takt med att vi levererar förbättringar av Djupgående forskning på Perplexity.ai kommer användarna att se dessa vinster återspeglas i såväl produktprestanda som riktmärkesresultat.

Riktmärket utvärderar för närvarande endast engelska, enskilda interaktioner över tio domäner. Framtida iterationer kommer att utöka språklig mångfald, lägga till utvärdering i flera vändor och bredda domäntäckningen.

Bygg bättre forskningsagenter med DRACO Benchmark

DRACO Benchmark är nu helt med öppen källkod. Alla team som bygger system för djupgående forskning kan utvärdera sina modeller mot verkliga forskningsuppgifter snarare än syntetiska akademiska pussel. Vi släpper det kompletta riktmärket, alla matriser och domarprompten.

För att lära dig mer om metodologi och detaljerade resultat, läs hela tekniska rapporten: DRACO benchmark och utforska datasetet på Hugging Face.

Citering

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}