Prestaties van diepgaand onderzoek evalueren met de DRACO-benchmark

Vandaag introduceren we de Deep Research Accuracy, Completeness, and Objectivity (DRACO) Benchmark, een open benchmark voor het evalueren van diepgaand onderzoek-agents, gebaseerd op de manier waarop gebruikers AI daadwerkelijk gebruiken voor complexe onderzoekstaken. Door DRACO open source te maken, beogen we de bredere AI-gemeenschap te helpen bij het bouwen van onderzoekstools die beter voldoen aan de behoeften van echte gebruikers.

DRACO belicht de kloof tussen het oplossen van synthetische taken en het voorzien in authentieke onderzoeksbehoeften. Het evaluatiekader is modelonafhankelijk: naarmate er krachtigere agentische LLM's verschijnen, zullen we evaluaties opnieuw uitvoeren en bijgewerkte resultaten publiceren. En naarmate we verbeteringen doorvoeren aan Diepgaand onderzoek op Perplexity.ai, zullen gebruikers die winst terugzien in zowel productprestaties als benchmarkscores.

State-of-the-art Diepgaand onderzoek

Perplexity Diepgaand onderzoek behaalt toonaangevende prestaties op belangrijke externe benchmarks, waaronder Google DeepMind's DeepSearchQA en Scale AI's ResearchRubrics.

Vergroten

Vergroten

Deze resultaten vloeien voort uit het combineren van de best beschikbare modellen met de speciaal gebouwde agentische capaciteiten van Perplexity: eigen zoektools, browserinfrastructuur en code-uitvoering. Samen vormen deze een systeem dat end-to-end is geoptimaliseerd voor het ophalen, synthetiseren en redeneren over real-world informatie.

Tijdens het bouwen van dit product realiseerden we ons dat externe benchmarks, hoewel nuttig voor het vergelijken van modellen, vaak niet de veelzijdige vragen en synthese-eisen vastleggen die echte gebruikers dagelijks stellen. Vandaag maken we de DRACO Benchmark open source, een benchmark gebaseerd op hoe mensen daadwerkelijk diepgaand onderzoek gebruiken, gemotiveerd door miljoenen productietaken in tien domeinen.

Vergroten

Waarom evaluatie op basis van productieomgevingen van belang is

Bestaande benchmarks testen vaak beperkte vaardigheden in isolatie: het ophalen van een enkel feit, het beantwoorden van een triviale vraag of het oplossen van een welomschreven probleem. Maar echte onderzoeksvragen vereisen synthese over bronnen heen, genuanceerde analyse en bruikbare richtlijnen, dit alles met behoud van feitelijke nauwkeurigheid en correcte bronvermelding.

DRACO Benchmark omvat 100 zorgvuldig samengestelde taken op het gebied van Academisch onderzoek, Financiën, Recht, Geneeskunde, Technologie, Algemene Kennis, UX-ontwerp, Persoonlijke assistent, Winkelen/Productvergelijking en 'Naald in een hooiberg', elk gekoppeld aan door experts opgestelde rubrieken met gemiddeld ~40 evaluatiecriteria.

Deze taken zijn afkomstig van daadwerkelijke gebruikersverzoeken op Perplexity Diepgaand onderzoek, gesampled uit miljoenen productieverzoeken en vervolgens systematisch geherformuleerd, aangevuld en gefilterd via een vijffasig proces: we verwijderen persoonlijk identificeerbare informatie, voegen context en reikwijdte toe, filteren op objectiviteit en moeilijkheidsgraad, en voeren een definitieve toetsing uit door domeinexperts. Het resultaat is een benchmark die authentieke gebruikersbehoeften weerspiegelt in plaats van synthetische oefeningen of door experts samengestelde taken.

Hoe de DRACO Benchmark werkt

Vergroten

Elke taak in de benchmark doorliep een rigoureus proces voor het ontwikkelen van rubrieken. Perplexity werkte samen met een partner voor gegevensgeneratie, The LLM Data Company, om evaluatierubrieken voor de set te ontwikkelen en te toetsen. Onderwerpexperts stelden initiële rubrieken op met behulp van LLM-tools, en doorliepen daarna peer review en kalibratie. Onduidelijk geformuleerde en te soepele rubrieken werden ter herziening teruggestuurd, waarbij ongeveer 45% van de rubrieken minstens één keer in dit proces werd verfijnd. Het resultaat zijn evaluatiecriteria die oprecht onderscheid maken tussen systeemcapaciteiten.

Rubrieken beoordelen vier dimensies: feitelijke nauwkeurigheid (ongeveer de helft van alle criteria), breedte en diepgang van de analyse, presentatiekwaliteit en bronvermelding van primaire bronnen. Elk criterium krijgt een gewicht dat het belang ervan weerspiegelt en sommige criteria zijn negatief, waarbij fouten zoals hallucinaties of niet-ondersteunde beweringen worden bestraft.

Reacties worden beoordeeld met behulp van een LLM-als-rechter-protocol, waarbij elk criterium een binair oordeel krijgt. Deze aanpak is zeer geschikt voor de evaluatie van feitelijke nauwkeurigheid omdat rubrieken de beoordelaar baseren op real-world gegevens afgeleid van zoekresultaten, waardoor subjectieve beoordeling wordt omgezet in verifieerbare feitencontrole. We hebben de betrouwbaarheid gevalideerd over drie beoordelaarmodellen en ontdekten dat, hoewel absolute scores variëren, de relatieve systeemsrangschikkingen consistent blijven.

Vergroten

Toolset en evaluatieomgeving

De benchmark is ontworpen om agents te evalueren die toegang hebben tot een volledige onderzoekstoolset, inclusief een sandbox voor code-uitvoering en browserfunctionaliteiten.

Wat we hebben gevonden

Prestaties per domein. We hebben vier systemen voor diepgaand onderzoek geëvalueerd over 10 kennisdomeinen door het meten van slaagpercentages (percentage van de behaalde evaluatiecriteria). Diepgaand onderzoek behaalde de hoogste slaagpercentages in alle domeinen, met bijzonder sterke prestaties in Recht (89,4%) en Academisch (82,4%).

Vergroten

Voor gebruikers betekent dit betrouwbaardere antwoorden, of je nu een juridisch dossier voorbereidt, een literatuuronderzoek uitvoert of medische behandelingsopties vergelijkt. Prestatieverschillen namen aanzienlijk toe bij complexe redeneertaken: in scenario's voor de Persoonlijke assistent en Naald in een hooiberg presteerde Perplexity meer dan 20 procentpunten beter dan het systeem met de laagste score. Deze domeinen weerspiegelen echte gebruikersbehoeften, zoals gepersonaliseerde aanbevelingen en het vinden van specifieke feiten die verborgen zijn in grote documenten.

Vergroten

Prestaties per evaluatieaspect. Over vier belangrijke evaluatiedimensies heen leidde Diepgaand onderzoek in drie: feitelijke nauwkeurigheid, breedte en diepgang van de analyse, en kwaliteit van bronvermelding. Dit zijn de dimensies die het belangrijkst zijn wanneer je je onderzoek moet kunnen vertrouwen voor echte beslissingen, of je nu een cliënt adviseert, een investering doet of een rapport schrijft met je naam erop. Slechts één ander systeem toonde vergelijkbare prestaties als Perplexity Diepgaand onderzoek op het gebied van presentatiekwaliteit, wat aangeeft dat de harde problemen in diepgaand onderzoek niet gaan over opmaak, maar over het correct krijgen van de feiten en het compleet maken van de analyse.

Vergroten

Kwaliteit en efficiëntie. Opvallend is dat het best presterende systeem ook de laagste latentie behaalde (459,6 seconden vs. 592 tot 1808 seconden voor concurrenten). Voor gebruikers betekent dit dat je niet hoeft te kiezen tussen grondig onderzoek en snel antwoorden krijgen. Dit weerspiegelt het voordeel van verticaal geïntegreerde, end-to-end infrastructuur: betere zoekopdrachten¹ [voetnootlink naar onze zoek-API] en browserintegratie met geoptimaliseerde uitvoeringsomgevingen vertalen zich direct naar sneller, nauwkeuriger onderzoek.

Wat volgt

Perplexity's Diepgaand onderzoek-kader is modelonafhankelijk: naarmate er krachtigere agentische LLM's verschijnen, zullen we evaluaties opnieuw uitvoeren en bijgewerkte resultaten publiceren. En naarmate we verbeteringen doorvoeren aan Diepgaand onderzoek op Perplexity.ai, zullen gebruikers die winst terugzien in zowel productprestaties als benchmarkscores.

De benchmark evalueert momenteel alleen Engelstalige, single-turn interacties over tien domeinen. Toekomstige iteraties zullen de linguïstische diversiteit uitbreiden, multi-turn evaluatie toevoegen en de domeindekking verbreden.

Bouw betere onderzoek-agents met de DRACO Benchmark

DRACO Benchmark is nu volledig open source. Elk team dat systemen voor diepgaand onderzoek bouwt, kan hun modellen toetsen aan praktijkonderzoekstaken in plaats van synthetische academische puzzels. We brengen de volledige benchmark, alle rubrieken en de prompt voor de beoordelaar uit.

Voor meer informatie over de methodologie en gedetailleerde resultaten, lees het volledige technische rapport: DRACO benchmark en verken de dataset op Hugging Face.

Citaat

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}