Bewertung der Leistung von vertiefter Recherche in der Praxis mit dem DRACO-Benchmark

Heute veröffentlichen wir das Deep Research Accuracy, Completeness, and Objectivity (DRACO) Benchmark, ein offenes Benchmark zur Bewertung von Agenten für vertiefte Recherche, das darauf basiert, wie Benutzer KI tatsächlich für komplexe Rechercheaufgaben einsetzen. Mit der Open-Source-Bereitstellung von DRACO möchten wir der breiteren KI-Community dabei helfen, Recherchewerkzeuge zu entwickeln, die den tatsächlichen Bedürfnissen der Nutzer besser gerecht werden.

DRACO verdeutlicht die Lücke zwischen der Lösung synthetischer Aufgaben und der Erfüllung authentischer Recherchebedürfnisse. Das Bewertungstool ist modellunabhängig: Wenn leistungsfähigere agentische LLMs auf den Markt kommen, werden wir die Bewertungen erneut durchführen und aktualisierte Ergebnisse veröffentlichen. Und während wir Verbesserungen an der vertieften Recherche auf Perplexity.ai ausrollen, werden die Nutzer diese Fortschritte sowohl bei der Produktleistung als auch bei den Benchmark-Werten sehen.

Vertiefte Recherche auf dem neuesten Stand

Perplexity Vertiefte Recherche erzielt eine erstklassige Leistung bei führenden externen Benchmarks, einschließlich Google DeepMinds DeepSearchQA und Scale AIs ResearchRubrics.

Vergrößern

Vergrößern

Diese Ergebnisse resultieren aus der Kombination der besten verfügbaren Modelle mit den speziell entwickelten agentischen Funktionen von Perplexity: proprietären Suchwerkzeugen, Browser-Infrastruktur und Code-Ausführung. Zusammen bilden diese ein System, das durchgehend für das Abrufen, Synthetisieren und logische Schlussfolgern von Informationen aus der realen Welt optimiert ist.

Während der Entwicklung dieses Produkts erkannten wir, dass externe Benchmarks zwar zum Vergleich von Modellen nützlich sind, jedoch oft nicht die facettenreichen Anfragen und Syntheseanforderungen erfassen, die echte Benutzer täglich stellen. Heute veröffentlichen wir das DRACO Benchmark als Open Source – ein Benchmark, das darauf basiert, wie Menschen tatsächlich vertiefte Recherche betreiben, motiviert durch Millionen von produktiven Aufgaben in zehn Bereichen.

Vergrößern

Warum eine produktionsbasierte Bewertung wichtig ist

Bestehende Benchmarks testen oft isolierte, eng gefasste Skills: das Abrufen einer einzelnen Tatsache, die Beantwortung einer Wissensfrage oder das Lösen eines klar definierten Problems. Echte Rechercheanfragen erfordern jedoch eine quellenübergreifende Synthese, eine differenzierte Analyse und handlungsorientierte Beratung, während gleichzeitig faktische Genauigkeit und korrekte Zitierweise gewahrt bleiben müssen.

Das DRACO Benchmark umfasst 100 sorgfältig kuratierte Aufgaben aus den Bereichen Akademisches Wissen, Finanzen, Recht, Medizin, Technologie, Allgemeinwissen, UX-Design, Personalisierter Assistent, Einkaufen/Produktvergleich sowie Needle in a Haystack, jeweils gepaart mit von Experten erstellten Rubriken, die im Durchschnitt ~40 Bewertungskriterien umfassen.

Diese Aufgaben stammen aus tatsächlichen Benutzeranfragen an Perplexity Vertiefte Recherche, wurden aus Millionen produktiver Anfragen entnommen und dann systematisch reformuliert, erweitert und durch eine fünfstufige Pipeline gefiltert: Wir entfernen persönlich identifizierbare Informationen, fügen Kontext und Umfang hinzu, filtern nach Objektivität und Schwierigkeitsgrad und führen eine abschließende Überprüfung durch Fachexperten durch. Das Ergebnis ist ein Benchmark, das authentische Benutzerbedürfnisse widerspiegelt statt synthetischer Übungen oder von Experten kuratierter Aufgaben.

Wie das DRACO Benchmark funktioniert

Vergrößern

Jede Aufgabe im Benchmark durchlief einen strengen Prozess zur Entwicklung der Bewertungsrubriken. Perplexity arbeitete mit einem Datenpartner, The LLM Data Company, zusammen, um Bewertungsrubriken für das Set zu entwickeln und zu testen. Fachexperten entwarfen erste Rubriken mithilfe von LLM-Tools und durchliefen dann eine Peer-Review- und Kalibrierungsphase. Unpräzise oder zu nachsichtige Rubriken wurden zur Überarbeitung zurückgegeben; etwa 45 % der Rubriken wurden in diesem Prozess mindestens einmal verfeinert. Das Ergebnis sind Bewertungskriterien, die Systemfähigkeiten tatsächlich differenzieren können.

Die Rubriken bewerten vier Dimensionen: faktische Genauigkeit (etwa die Hälfte aller Kriterien), Breite und Tiefe der Analyse, Präsentationsqualität und Zitation von Primärquellen. Jedes Kriterium erhält eine Gewichtung, die seine Bedeutung widerspiegelt, und einige Kriterien sind negativ, um Fehler wie Halluzinationen oder nicht belegte Behauptungen zu bestrafen.

Die Antworten werden mithilfe eines „LLM-as-a-Judge“-Protokolls bewertet, bei dem jedes Kriterium ein binäres Urteil erhält. Dieser Ansatz eignet sich gut für die Bewertung der faktischen Genauigkeit, da die Rubriken den Richter auf realen Daten basieren, die aus Suchergebnissen abgeleitet wurden, und so eine subjektive Bewertung in eine überprüfbare Faktenprüfung verwandeln. Wir haben die Zuverlässigkeit über drei Richter-Modelle hinweg validiert und festgestellt, dass die relativen Systemrankings konsistent bleiben, auch wenn absolute Werte variieren.

Vergrößern

Werkzeugkasten und Bewertungsumgebung

Das Benchmark ist darauf ausgelegt, Agenten mit Zugriff auf einen vollständigen Werkzeugkasten für die Recherche zu bewerten, einschließlich einer Sandbox zur Code-Ausführung und Browser-Funktionen.

Was wir herausgefunden haben

Leistung nach Bereich. Wir haben vier Systeme für vertiefte Recherche in 10 Wissensbereichen bewertet, indem wir die Erfolgsquoten (Prozentsatz der erfüllten Bewertungskriterien) gemessen haben. Vertiefte Recherche erzielte in allen Bereichen die höchsten Erfolgsquoten, mit besonders starker Leistung in Recht (89,4 %) und Akademischem Wissen (82,4 %).

Vergrößern

Für Nutzer bedeutet dies zuverlässigere Antworten, egal ob Sie ein juristisches Dokument vorbereiten, eine Literaturrecherche durchführen oder medizinische Behandlungsoptionen vergleichen. Bei komplexen logischen Aufgaben klafften die Leistungslücken deutlich auseinander: In Szenarien für Personalisierte Assistenten und Needle in a Haystack übertraf Perplexity das am schlechtesten bewertete System um über 20 Prozentpunkte. Diese Bereiche spiegeln reale Benutzerbedürfnisse wie personalisierte Empfehlungen und das Auffinden spezifischer Fakten in großen Dokumenten wider.

Vergrößern

Leistung nach Bewertungsaspekt. Über vier zentrale Bewertungsdimensionen hinweg führte Vertiefte Recherche in dreien: Faktische Genauigkeit, Breite und Tiefe der Analyse sowie Zitationsqualität. Dies sind die Dimensionen, auf die es am meisten ankommt, wenn Sie sich bei echten Entscheidungen auf Ihre Recherche verlassen müssen, sei es bei der Beratung eines Mandanten, bei Investitionen oder beim Verfassen eines Berichts unter Ihrem Namen. Nur ein weiteres System zeigte eine vergleichbare Leistung wie Perplexity Vertiefte Recherche bei der Präsentationsqualität, was darauf hindeutet, dass die schwierigen Probleme bei der vertieften Recherche nicht in der Formatierung liegen, sondern darin, die Fakten korrekt darzustellen und die Analyse zu vervollständigen.

Vergrößern

Qualität und Effizienz. Bemerkenswert ist, dass das leistungsstärkste System auch die geringste Latenz erreichte (459,6 Sekunden gegenüber 592 bis 1808 Sekunden bei Wettbewerbern). Für Benutzer bedeutet dies, dass Sie nicht zwischen einer gründlichen Recherche und schnellen Antworten wählen müssen. Dies spiegelt den Vorteil einer vertikal integrierten, durchgängigen Infrastruktur wider: bessere Suche und Browser-Integration mit optimierten Ausführungsumgebungen führen direkt zu einer schnelleren und genaueren Recherche.

Was kommt als Nächstes

Perplexity’s System für vertiefte Recherche ist modellunabhängig: Wenn leistungsfähigere agentische LLMs auf den Markt kommen, werden wir die Bewertungen erneut durchführen und aktualisierte Ergebnisse veröffentlichen. Und während wir Verbesserungen an der vertieften Recherche auf Perplexity.ai ausrollen, werden die Nutzer diese Fortschritte sowohl bei der Produktleistung als auch bei den Benchmark-Werten sehen.

Das Benchmark bewertet derzeit nur englischsprachige Interaktionen mit einer einzelnen Abfrage über zehn Bereiche hinweg. Zukünftige Iterationen werden die sprachliche Vielfalt erweitern, eine Bewertung von mehrstufigen Interaktionen hinzufügen und die Abdeckung der Bereiche verbreitern.

Bessere Recherche-Agenten entwickeln mit dem DRACO Benchmark

DRACO Benchmark ist jetzt vollständig Open Source. Jedes Team, das Systeme für vertiefte Recherche entwickelt, kann seine Modelle anhand realer Rechercheaufgaben bewerten, anstatt anhand synthetischer akademischer Rätsel. Wir veröffentlichen das vollständige Benchmark, alle Rubriken und den Prompt für den Richter.

Um mehr über die Methodik und detaillierte Ergebnisse zu erfahren, lesen Sie den vollständigen technischen Bericht: DRACO Benchmark und erkunden Sie den Datensatz auf Hugging Face.

Zitieren

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}