WANDR Benchmark: Recherche-Agenten umfassend bewerten

Heute veröffentlichen wir WANDR (Wide ANd Deep Research), ein offenes Benchmark- und Evaluations-Framework, das auf 500 realistischen und anspruchsvollen Datenerfassungsaufgaben für Wissensarbeit basiert. WANDR ist das „breite“ Gegenstück zu unserem DRACO-Benchmark für vertiefte Recherche. Während DRACO prüft, ob ein Agent einen genauen, vollständigen und objektiven Langform-Bericht erstellen kann, untersucht WANDR, ob er eine große Sammlung aufbauen und jedes Element mit spezifischen Nachweisen belegen kann.

Dies sind die Arten von Aufträgen, die Menschen bereits an Recherche-Agenten vergeben: Wettbewerbsanalyse, Due-Diligence-Prüfungen, Literaturrecherchen, Marktanalysen, Produktvergleiche, Talentsuche und mehr. Die Aufgaben umfassen Dutzende bis Tausende unabhängig überprüfbarer Datensätze. Selbst bei hohem Aufwand erreicht das leistungsfähigste System in unserer Evaluierung nur 0,363 Soft-F1 und 0,133 Hard-F1. Die vertiefte Recherche ist noch lange nicht gelöst.

Vergrößern

Warum vertiefte Recherche wichtig ist

Viele nützliche Rechercheaufträge enden nicht, wenn ein Agent eine Antwort findet. Ein Marktanalyst benötigt möglicherweise jeden qualifizierten Wettbewerber mit entsprechenden Nachweisen für jeden einzelnen. Ein Due-Diligence-Team benötigt möglicherweise Informationen zu Dutzenden von Unternehmen sowie Angaben zu Eigentümerstruktur, Führungskräften, Finanzierung und regulatorischem Status für jedes dieser Unternehmen. Daraus ergeben sich zwei separate Anforderungen:

Breite: Entdeckung einer großen und oft ergebnisoffenen Menge qualifizierender Entitäten.

Tiefe: Untersuchung jeder Entität in ausreichendem Maße, um jeden geforderten Anspruch mit Beweisen zu stützen.

Die Kombination beider Aspekte verändert das Problem. Eine Handvoll überzeugender Beispiele reicht nicht aus, ebenso wenig wie ein ausgefeiltes Narrativ, das auf unvollständiger Recherche basiert. Der Agent muss eine breite Entdeckung gewährleisten, ohne dabei die faktische Qualität von einem Datensatz zum nächsten zu opfern.

WANDR erfasst diese Struktur mit einer flexiblen, kombinierbaren Qualifikationsschlüssel-Hierarchie. Eine Aufgabe könnte beispielsweise Folgendes erfordern:

Unternehmen(n) → Mitarbeiter(m) → URL(k)

Dies bedeutet, n qualifizierende Unternehmen zu finden, m qualifizierende Mitarbeiter bei jedem Unternehmen sowie k unterstützende Seiten für jeden Mitarbeiter. Jeder vollständige Pfad durch den Baum kann unabhängig validiert werden. Die gleiche Grundstruktur kann eine flache Liste, eine verschachtelte Suche, eine Matrix oder eine Aufgabe mit mehreren Beweiszweigen darstellen. Diese Muster können auch kombiniert werden, sodass eine einzige Darstellung eine breite Palette an realen Anwendungsfällen abdeckt.

Vergrößern

Eine veröffentlichte Aufgabe veranschaulicht diese Struktur in der Praxis.

ceo_cfo_appointments

Primäre Aufgabe. Finden Sie mindestens 70 in den USA ansässige Unternehmen mit einer Ernennung eines CEO oder CFO, die erstmals zwischen dem 1. März und dem 30. April 2026 bekannt gegeben wurde. Stellen Sie für jedes Unternehmen eine maßgebliche Ernennungsseite bereit, die das Unternehmen und die ernannte Person identifiziert, die Rolle und das Ankündigungsdatum belegt und vom Emittenten, einem offiziellen Dokument, einem Nachrichtendienst oder direkt zugeschriebener, erstklassiger Wirtschaftsberichterstattung stammt.

Primäre Hierarchie. Unternehmen(70) → ernannte_Person(1) → URL(1).

Unteraufgabe zur Unternehmensauflistung. Stellen Sie für dieselben Unternehmen eine anerkannte Seite der Auflistungsbehörde bereit, die entweder eine Notierung an einer US-amerikanischen nationalen Wertpapierbörse oder den Status als berichtender Emittent nach dem US SEC Exchange Act belegt.

Unteraufgaben-Hierarchie. Unternehmen(70) → URL(1).

Erforderliche Datensätze. 140: 70 Ernennungsdatensätze plus 70 Auflistungsdatensätze.

Jeder Pfad endet in einer Seite und Auszügen, die der Bewerter erneut prüfen kann. Der gemeinsame Unternehmensschlüssel ordnet die Ernennungs- und Auflistungszweige zu, sodass eine Ernennung ohne separaten Nachweis des Auflistungsstatus dazu führt, dass das Unternehmen als unvollständig bewertet wird.

Realistische Aufgaben, in großem Maßstab generiert

WANDR geht von de-identifizierten Mustern aus, die in der Produktionsnutzung beobachtet wurden, statt von synthetischen Prompts. Dies hält das Benchmark nah an der Arbeit, die Menschen tatsächlich delegieren: offene Entdeckung, wiederholte Anreicherung, quellenübergreifende Prüfungen und strukturierte Vergleiche auf professioneller Ebene. Eine halbautomatisierte Pipeline wandelt diese Muster in Aufgaben um und reserviert den menschlichen Aufwand für die Qualitätskontrolle statt für eine erschöpfende Antwortannotation.

Die Pipeline besteht aus vier Phasen. Seeding extrahiert de-identifizierte Produktanfragen für ein wiederverwendbares Muster zur Recherche. Authoring führt eine verschachtelte Autor-Kritiker-Schleife durch: Die Agenten skizzieren und testen das Design, schreiben die Aufgabenspezifikation und den Beurteiler, erstellen Beispieldatensätze und verwenden einen mechanischen Linter, um alles aufeinander abzustimmen. Admission prüft, ob das Zielvolumen durch Zusammenführung von 10–12 Authoring-Rollouts erreichbar ist, prüft den aufgabenspezifischen Beurteiler und fügt optional eine menschliche Freigabe hinzu. Curation kennzeichnet die zugelassenen Aufgaben und wählt einen ausgewogenen endgültigen Satz über Themen, Skalierung, Topologie und Schwierigkeit hinweg aus.

Vergrößern

Die mittlere Aufgabe erfordert 50 Mitglieder, vier Datensätze pro Mitglied und insgesamt 245 Datensätze. Zusammengenommen erfordern die 500 Aufgaben 170.495 quellengestützte Datensätze. Wir kalibrieren den Schwierigkeitsgrad anhand historischer Rollouts in der Designphase und unterteilen die Aufgaben dann nach Rang in 167 Beispiele mit niedrigem, 166 mit mittlerem und 167 mit höherem Schwierigkeitsgrad. Das Diagramm unten zeigt, dass der Schwierigkeitsgrad nicht allein durch den Umfang bestimmt wird; er hängt auch von der für jeden Datensatz erforderlichen Arbeit ab.

Vergrößern

Referenzfreie, beweisgestützte Bewertung

Ein fester Antwortschlüssel ist für offene Recherchen ungeeignet. Er ist kostspielig in der Erstellung, veraltet schnell und bildet Fragen, deren Antworten sich im Laufe der Zeit ändern, nur unzureichend ab. WANDR bewertet stattdessen jeden eingereichten Anspruch anhand der Beweise, die der Agent zitiert.

Jeder Datensatz enthält ein Element, eine URL, ausgewählte Auszüge und eine Antwort. Der Bewerter ruft die Seite erneut ab und prüft, ob sie verwendbar ist, ob der Anspruch klar und im Rahmen liegt, ob die Auszüge getreu auf der Seite erscheinen und ob sowohl die Seite als auch die Auszüge jede Anforderung stützen.

Diese binären Datensatzurteile summieren sich durch die Hierarchie. Präzision misst die Qualität dessen, was das System eingereicht hat. Recall misst die qualitätsbereinigte Fertigstellung im Vergleich zum angeforderten Volumen und füllt jeden Fehlbetrag mit Nullen. F1 gleicht beides aus. Soft-Scores gewähren Teil-Credits für unvollständige Mitglieder; Hard-Scores zählen nur Mitglieder, deren vollständiger erforderlicher Unterbaum korrekt ist. Zur Diagnose berichtet WANDR auch ein Urteil nur für die Abfrage, das fragt, ob die abgerufene Seite die Aufgabe erfüllt, bevor die strengeren Prüfungen auf Gültigkeit und eingereichte Auszüge hinzugefügt werden.

Dies macht Fehler interpretierbar und lokalisierbar. Hohe Präzision bei geringem Recall bedeutet normalerweise, dass das System einige gute Mitglieder gefunden, aber nicht genug davon hatte. Ein großer Abfall von Soft- zu Hard-Scores bedeutet, dass es teilweise Fortschritte gemacht hat, aber selten jeden Zweig vervollständigt hat, der für volle Credits benötigt wird. Der Score-Baum kann den Verlust auf Entdeckung, Anreicherung, Identitätsbehandlung, Seitenqualifikation oder Beweisextraktion lokalisieren.

Vergrößern

Was wir herausgefunden haben

Wir haben sechs Produktionssysteme verglichen: gehostete Aufgaben- und Such-APIs, allgemeine Web-Agent-APIs, ein Produkt für vertiefte Recherche und unser programmatisches Suchorchestrierungssystem, Search as Code (SaC). Jedes wurde für alle 500 Aufgaben unter einer fixierten Konfiguration geplant und durchlief dann dieselbe Pipeline aus Abruf, Bewertung, Identitätsauflösung und Scoring.

Perplexity Search as Code führt mit 0,363 Soft-F1 und 0,133 Hard-F1. Anthropic liegt mit 0,249 und 0,072 an zweiter Stelle; jedes andere System erreicht maximal 0,121 Soft-F1 und 0,035 Hard-F1. Kein System dominiert sowohl Qualität als auch Effizienz. Perplexity liegt mit 5,20 $ pro Aufgabe im mittleren Kostenbereich, bei einer mittleren Lösungszeit von 14,9 Minuten und 3,82 Millionen berichteten Token pro Aufgabe. OpenAI und Exa sind schneller und billiger, erzielen aber deutlich niedrigere Punktzahlen. Anthropic kommt bei der Qualität am nächsten, benötigt aber wesentlich mehr Zeit, Geld und Token.

Vergrößern

Vergrößern

Wir haben auch jede verfügbare Aufwandeinstellung auf demselben 45-Aufgaben-Teilsatz evaluiert. Mehr Aufwand verbessert Perplexity, Gemini und Exa bei jedem Schritt; Perplexity erreicht xhigh 0,447 Soft-F1 und 0,224 Hard-F1. Höherer Aufwand ist jedoch nicht einheitlich besser: OpenAI erreicht seinen Höhepunkt bei high, und der Hard-F1 von Parallel sinkt leicht zwischen ultra2x und ultra4x. Die Kosten erstrecken sich über mehr als vier Größenordnungen, von 0,03 $ pro Aufgabe für Exa low bis zu 324,83 $ für Gemini max.

Vergrößern

Vergrößern

Vier Erkenntnisse stechen hervor.

Teilweise Fortschritte sind häufig; vollständige Abdeckung ist es nicht. Der Soft-Recall liegt bei jedem System unter der Soft-Präzision, was bedeutet, dass die Leistung sinkt, sobald das volle angeforderte Volumen in den Nenner eingeht. Perplexity behält 0,357 Recall bei 0,389 Präzision, die kleinste Lücke; Anthropic fällt von 0,354 auf 0,222. Die Umwandlung von Soft zu Hard ist noch härter. Perplexity fällt von 0,363 Soft-F1 auf 0,133 Hard-F1 und Anthropic von 0,249 auf 0,072. Die beste Hard-Präzision liegt bei 0,150 und der beste Hard-Recall bei 0,134: Selbst der Spitzenreiter erhält nur für etwa jedes siebte Mitglied, das er einreicht, und jedes siebte Mitglied, das die Aufgabe verlangt, volle Credits.

Skalierung erschwert das Problem. Vom kleinsten zum größten Zielvolumen-Bin fällt die Hard-Präzision von Perplexity von 0,235 auf 0,096 und der Hard-Recall von 0,219 auf 0,079. Anthropic fällt von 0,205 auf 0,113 und von 0,127 auf 0,042; OpenAI fällt von 0,109 auf 0,034 und von 0,102 auf 0,016. Der Recall fällt normalerweise schneller als die Präzision: Ein System kann eine kleine Gruppe vollständiger Mitglieder behalten, während es immer weniger von der angeforderten Menge abdeckt.

Tiefere Hierarchien sind noch härter. Beim Übergang von keinem Zwischenschlüssel zu drei oder mehr fällt die Hard-Präzision von Perplexity von 0,392 auf 0,019 und der Hard-Recall von 0,378 auf 0,017; Anthropic fällt von 0,311 auf 0,049 und von 0,229 auf 0,022; OpenAI fällt von 0,136 auf 0,012 und von 0,120 auf 0,011. Jeder hinzugefügte Zweig schafft eine weitere Stelle, an der ein Mitglied den Alles-oder-Nichts-Hard-Score verpassen kann. Kosten und Latenz folgen keinem gemeinsamen monotonen Muster.

Vergrößern

Selbst vor der Qualitätsprüfung ist die Entdeckung der erste strukturelle Engpass. Betrachtet man nur die rohen Zählungen vor der Zusammenführung, reicht die durchschnittliche Entdeckungsabschlussrate auf oberster Ebene von 0,611 bis 0,951. Die bedingte Anreicherung ist mit 0,767–0,967 stärker, und der Abschluss der endgültigen Beweis-Slots erreicht 0,979–0,994, sobald ein Mitglied und sein Anreicherungspfad existieren. Perplexity führt bei der Entdeckung mit 0,951 und bei der Anreicherung mit 0,967, aber OpenAI liegt bei den endgültigen Beweis-Slots mit 0,994 gegenüber 0,991 etwas höher. Die Zusammenführung von Duplikaten macht nur 0,017–0,205 Prozentpunkte des Zählverlusts über die sechs vollständigen Läufe aus, sodass eine Unterlieferung, nicht die Identitätszusammenführung, die Haupterklärung für die Gesamtzahlen ist. Die größten strukturellen Verluste treten auf, bevor die endgültige URL angehängt wird.

Vergrößern

Eine verwendbare Seite zu finden ist meist einfach; vollständige Beweise zu finden ist schwierig. Bei fünf Systemen sind nur 3,2 %–8,9 % der eingereichten Seiten unbrauchbar; OpenAI ist mit 23,1 % ein Ausreißer. Ungültige oder falsch typisierte Datensätze sind mit 4,2 %–17,4 % ebenfalls relativ selten. Die dominierenden Verluste folgen danach: 33,6 %–68,3 % der eingereichten Seiten scheitern an mindestens einer wesentlichen Aufgabenanforderung, und 57,5 %–86,6 % der eingereichten Auszüge stützen nicht alles, was der Datensatz behauptet. Die Raten von Perplexity liegen bei 41,4 % und 57,5 %. Sein Soft-F1 fällt von 0,531 bei der reinen Abfrageprüfung, die nur fragt, ob die Seite jede wesentliche Anforderung erfüllt, auf 0,363 beim vollständigen Urteil, das auch die universellen Prüfungen, die aufgabenspezifische Gültigkeit und die vollständige Auszugsunterstützung erfordert. Der Hard-F1 fällt ähnlich von 0,245 auf 0,133. Das Schwierige ist nicht nur, eine plausible Seite zu erreichen; es ist, diese Seite in ausreichende Beweise für den gesamten Anspruch zu verwandeln.

Vergrößern

Search as Code passt gut zu dieser Aufgabenform. Ein Modell kann Abruf, Filterung, Fan-out, Rendering, Joins, Deduplizierung und Stopplogik als Programm ausdrücken, während deterministische Berechnung wiederholte Vorgänge außerhalb des Modellkontexts abwickelt. Dieses Profil stimmt mit Perplexity's stärkerem Erhalt der Breite und der Auszugserstellung überein, obwohl es nicht auf jeder Ebene führend ist: Anthropic hat die niedrigste Fehlerrate bei den Seitenanforderungen.

Was kommt als Nächstes

WANDR bietet mehr als eine einzige Leaderboard-Punktzahl. Seine gemeinsame Aufgabenstruktur und die halbautomatisierte Pipeline unterstützen eine vielfältige, hochvolumige Aufgabengenerierung, während Urteile pro Datensatz und Scores auf Hierarchieebene zeigen, wo ein Lauf scheitert: Entdeckung, Anreicherung, Identitätsbehandlung, semantische Qualifikation oder Beweiskonstruktion. Die veröffentlichten Aufgaben, der Verifizierer und die strukturellen Diagnosen bilden eine Grundlage für die Verbesserung umfassender Suchsysteme und das Testen, ob diese Gewinne bei Skalierung bestehen bleiben.

Die gleiche Struktur könnte WANDR auch für Reinforcement Learning nützlich machen. Anstatt sich auf eine einzelne, spärliche Endbelohnung zu verlassen, kann ein Trainer Urteile auf Datensatz- und Zweigebene verwenden, Teil-Credits für Fortschritte bei der Entdeckung und Anreicherung zuweisen und einen Lehrplan erstellen, indem er die erforderlichen Zählungen im Laufe der Zeit erhöht. Die Pipeline kann held-out-Geschwisteraufgaben über Domänen, Hierarchieformen, Beweisregeln und Einstellungen für Breite und Tiefe hinweg generieren, ohne Gold-Antworten aufzulisten. Dies schafft einen Weg, Agenten nicht nur darauf zu trainieren, korrekte Fakten zu finden, sondern auch die Abdeckung zu planen, fehlende Zweige zu erkennen und sich vor dem Stoppen zu erholen.

Die Benchmark-Aufgaben, das Evaluations-Framework und der vollständige technische Bericht sind auf GitHub verfügbar.

Zitieren

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}