Q2D-Web: Evaluierung von First-Stage-Retrievern im Maßstab

Heute stellen wir Q2D-Web (Query2Doc-Web) vor, einen privaten Benchmark und ein öffentliches Leaderboard zur Evaluierung des Retrievals in agentischen RAG-Systemen. Q2D-Web erweitert unseren ursprünglichen Q2D-Benchmark auf ein Korpus im großen Maßstab, einen größeren Abfragesatz und tiefere Urteilsannotationen.

Q2D-Web wurde entwickelt, um Embedding-Modelle bei der Websuche im großen Maßstab zu evaluieren. Es besteht aus 190 Millionen Webdokumenten und 69.721 vom Agenten umformulierten Abfragen in zehn Sprachen, die über einen Zeitraum von neun Monaten aus PII-freiem Produktionssuchverkehr erfasst wurden.

In diesem Maßstab ist das Relevanzsignal auf Abfrage-Dokument-Ebene unweigerlich spärlich. Anstatt eine Quelle als Ground Truth zu behandeln, stellen wir drei Relevanzurteilssets zur Verfügung, die aus Agenten-Zitationsdaten, Web-Rankings aus der Produktion und zusätzlichen LLM-Urteilen für zuvor unbewertete Paare abgeleitet wurden. Mehrere Quellen begrenzen Verzerrungen durch eine einzelne Kennzeichnungspipeline, während eine tiefere Annotation falsch negative Ergebnisse reduziert.

Unser Leaderboard berichtet über Ergebnisse für öffentlich veröffentlichte Retrieval-Modelle, die direkt anhand des Benchmarks unter Verwendung einer konsistenten Indexierungs-, Retrieval- und Scoring-Pipeline evaluiert wurden. Eine Evaluierung kann über unser Anfrageformular eingereicht werden.

Die Herausforderung einer realistischen Retrieval-Evaluierung

Für jede Abfrage durchsucht ein Retrieval-System im Produktionsmaßstab ein Korpus von Milliarden von Webseiten und gibt Tausende von Kandidatendokumenten zurück. Diese Kandidaten bestimmen, welche Quellen nachgeschaltete Systeme sehen können, wodurch die dem Agenten zur Verfügung stehenden Beweise direkt mitgestaltet werden.

Eine realistische Evaluierung dieser ersten Stufe erfordert daher Benchmarks, die entlang von drei Dimensionen skalieren: der Anzahl der Dokumente im Korpus, der Anzahl der bewerteten Abfragen und der Anzahl der Relevanzurteile pro Abfrage.

Größere Korpora können einen Benchmark diskriminierender machen, indem sie harte Negativbeispiele einühren – Dokumente, die semantisch ähnlich zu einer Abfrage sind, aber die angeforderte Information nicht bereitstellen. Retriever müssen diese plausiblen Treffer von relevanten Dokumenten unterscheiden. Das Verkleinern des Korpus unter Beibehaltung bekannter relevanter Dokumente kann diese Distraktoren entfernen und den Recall aufblähen, wie unsere Subsampling-Experimente unten zeigen.

Mehr bewertete Abfragen machen Leistungsschätzungen zuverlässiger. Bei einem kleinen Abfragesatz hängen die Benchmark-Ergebnisse stark davon ab, welche Abfragen abgetastet wurden, was es schwieriger macht, die Leistung jedes Modells präzise zu schätzen und Modelle sicher voneinander zu unterscheiden.

Tiefere Urteile reduzieren falsch negative Ergebnisse bei der Evaluierung. Bei spärlichen Labels kann ein Retriever relevante Dokumente aufdecken, die unbewertet und daher fälschlicherweise als nicht relevant gezählt wurden. Dies macht die Evaluierung weniger zuverlässig. MS MARCO ist der wichtigste große offene Datensatz im Information Retrieval und hat die Entwicklung neuronaler Retrieval-Modelle geprägt. Dort waren 70 % der manuell inspizierten, oben abgerufenen, aber unkatalogisierten Passagen tatsächlich relevant.

Bestehende Benchmarks neigen dazu, nur in einer oder zwei dieser Dimensionen zu skalieren: Web-Scale-Sammlungen verfügen oft über relativ wenige bewertete Abfragen, während Benchmarks mit vielen Abfragen im Allgemeinen viel kleinere Korpora und spärliche Labels verwenden. Darüber hinaus verwenden die meisten Benchmarks von Menschen verfasste Abfragen, während agentische RAG-Systeme mit vom Agenten umformulierten Abfragen suchen, die sich in Formulierung, Struktur und Spezifität unterscheiden können.

Q2D-Web skaliert über alle drei Dimensionen hinweg. Es enthält 190 Millionen Webdokumente, 69.721 vom Agenten umformulierte Abfragen und durchschnittlich 99,6 positive Relevanzurteile pro Abfrage in seinem kombinierten Urteilsset. Der nächstgelegene öffentliche Vergleich ist MS MARCO Web Search, die Web-Scale-Version von MS MARCO. Sie verfügt über 100,9 Millionen Dokumente, 9.374 Testabfragen und ein aus Klicks abgeleitetes positives Label pro Abfrage.

Wie wir Q2D-Web erstellt haben

Vergrößern

Abfragen

Q2D-Web basiert auf 23.000 PII-freien Produktionssuchen in zehn Sprachen und Dutzenden von Domains, die über einen Zeitraum von neun Monaten gesammelt wurden.

Eine Suche besteht aus allen Websuch-Tool-Aufrufen, die ein Agent als Reaktion auf eine Nutzerrichtlinie ausführt. Jeder Tool-Aufruf enthält eine oder mehrere Abfragen. Jede Abfrage wird aus der Nutzeranfrage, dem vorherigen Gespräch und gegebenenfalls zuvor abgerufenen Dokumenten in derselben Suche umformuliert. Jede Produktionssuche enthält eine primäre Abfrage, die das Informationsbedürfnis des Nutzers wiedergibt, sowie null oder mehr Unterstützungsabfragen, die alternative Formulierungen, Hintergrundinformationen oder verwandte Entitäten untersuchen. Obwohl sie sich auf dieselbe breitere Anfrage beziehen, können sie unterschiedliche Dokumente erfordern, weshalb Q2D-Web jede Abfrage unabhängig mit eigenen Relevanzurteilen bewertet.

Vergrößern

Vergrößern

Wir wenden strenge Datenschutzfilter für alle einbezogenen Abfragen an. Abfragen müssen von Nutzern stammen, die der Verwendung ihrer Daten zugestimmt haben, und die PII-Erkennung über perplexity-ai/pplx-pii-masking schließt Abfragen aus, die persönliche Informationen enthalten. Wir entfernen zudem exakte Duplikate, sehr kurze Abfragen und Abfragen mit Suchoperatoren wie site: oder Phrasen in Anführungszeichen.

Der Benchmark deckt zehn Sprachen ab. Englisch macht 65,8 % der Abfragen aus, gefolgt von Spanisch, Russisch, Deutsch, Französisch, Portugiesisch, Italienisch, Koreanisch, Japanisch und Chinesisch. Die Abfrageverteilung umfasst zudem eine breite Mischung von Domains, darunter Konsumgüter, Programmierung, Recht, Gesundheit, Wirtschaft, Wissenschaft, Bildung, Technologie, Finanzen, Reisen, Unterhaltung, Politik, lokale Informationen und Nachrichten.

Korpus

Für jede Abfrage rufen wir die 5.000 besten Dokumente mit einem Produktions-Retrieval-System ab und bilden die Vereinigungsmenge dieser Ergebnismengen. Anschließend deduplizieren wir das Korpus mithilfe von MinHash–LSH und clustern Dokumente, deren Token-5-Gramm-Mengen eine Jaccard-Ähnlichkeit von mindestens 0,975 aufweisen.

Die Sammlung ist absichtlich keine zufällige Webstichprobe. Jedes Dokument wurde für mindestens eine Benchmark-Abfrage als plausibles Ergebnis angesehen. Dadurch entsteht eine dichte Menge schwieriger Distraktoren: Seiten, die zum Thema oder zur Sprache einer Abfrage passen, bei denen jedoch möglicherweise ein erforderliches Datum, eine Entität, eine Version, eine Menge oder ein Aspekt fehlen.

Vergrößern

Urteile

Relevanz-Labels sind im großen Maßstab naturgemäß unvollständig. Das Kennzeichnen jedes möglichen Abfrage-Dokument-Paares ist nicht machbar, und jede Urteilsquelle weist eine andere Verzerrung auf.

Q2D-Web verwendet drei Relevanzsets, anstatt eine Quelle als Ground Truth zu behandeln, um die Annotationstiefe zu erhöhen, ohne unter einer einseitigen Verzerrung zu leiden.

Zitation kennzeichnet ein Dokument als relevant, wenn ein Agent es in einer Antwort zitiert hat. Dies ist das Signal, das der nachgeschalteten Verwendung am nächsten kommt: Der Agent hat das Dokument als Beleg für eine Behauptung ausgewählt. Zitation ist jedoch konstruktionsbedingt auf hohe Präzision und niedrigen Recall ausgelegt. Sobald ein Agent über genügend Unterstützung verfügt, hat er wenig Grund, jede andere relevante Seite zu zitieren.

Web-Ranking besteht aus bis zu 50 Dokumenten pro Abfrage (im Durchschnitt 43,1), die in der ersten Stufe durch einen internen Retrieval-Stack unter Verwendung von BM25 und Dense Retrieval ermittelt werden, gefolgt von einem Cross-Encoder-Reranking. Dies erfasst Dokumente, die nützlich, aber nicht zitiert sind.

Kombiniert + LLM-bewertet bildet die Vereinigungsmenge aus Zitation und Web-Ranking und fügt dann LLM-Urteile für zuvor unbewertete Kandidaten hinzu, mit dem Ziel, die Anzahl falsch negativer Ergebnisse zu reduzieren. Wir pûlen Ergebnisse aus BM25, ColBERTv2 und sieben vor dem 1. Januar 2025 veröffentlichten Dense Retrievern, führen deren Rankings mithilfe von Reciprocal Rank Fusion (RRF) zusammen, wählen die 500 besten unbewerteten Dokumente aus und wenden einen strengen binären Relevanzbewerter unter Verwendung von DeepSeek-V4-Flash an.

Die drei Sets ermöglichen uns zu untersuchen, ob die Modellleistungen davon abhängen, wie Relevanz definiert ist. Sie verringern zudem die Abhängigkeit von einem einzelnen Labeling-Stack, der andernfalls Retriever bevorteilen könnte, die dem zur Kennzeichnung verwendeten System ähneln.

Vergrößern

Subsampling: Effiziente Evaluierung im großen Maßstab

Die Evaluierung des vollständigen Korpus ist teuer und langsam. Eine einzige Evaluierung auf Q2D-Web mit pplx-embed-v1-4b erfordert 4.608 H200-GPU-Stunden, während selbst ein kleines Modell wie EmbeddingGemma-300M nahezu 200 H200-GPU-Stunden erfordert.

Um die Evaluierung praktikabel zu halten, erstellen wir eine Subsampling-Version des Korpus.

Wir haben eine umfangreiche Ablation über verschiedene Stichprobenstrategien hinweg durchgeführt, um ein kleineres Subkorpus zu erstellen, das das Verhalten des vollständigen Korpus widerspiegelt. Jede Strategie behält alle positiv bewerteten Dokumente bei und variiert lediglich in der Art und Weise, wie unbewertete Distraktoren ausgewählt werden. Die Distraktoren, die von Bedeutung sind, sind diejenigen, die ein Retriever wahrscheinlich über einem relevanten Dokument platziert, da diese den Score eines Modells und seine Position im Ranking verändern.

Wir verglichen einheitliche Zufallsstichproben, das Pooling auf eine feste Tiefe über die Konstruktions-Retriever hinweg sowie abfragebasierte RRF über verschiedene Tiefen hinweg. Das RRF-basierte Sampling verwendet nur 31,7 % der Dokumente im gesamten Korpus. Es bewahrt das Modell-Ranking des vollständigen Korpus unter den kombinierten Bewertungen, bleibt gleichzeitig nahe an den absoluten Werten und erhöht den mittleren Recall@1000 um 5,2 Punkte gegenüber 12,8 Punkten beim Zufalls-Sampling derselben Größe.

Vergrößern

Dies reduziert die Evaluierungskosten auf etwa ein Drittel der Kosten des vollständigen Korpus. Bei Verwendung des RRF-basierten Subkorpus benötigt pplx-embed-v1-4b rund 1.500 H200-GPU-Stunden und EmbeddingGemma-300M weniger als 70.

Jede Einreichung wird zuerst für die abgetastete Subkorpus-Version evaluiert. Die Einreichungen werden nach Gesamtzahl der Parameter in zwei Gruppen unterteilt: bis zu 1B und über 1B. Ein Modell, das die Top Ten seiner Gruppe im abgetasteten Subkorpus erreicht, wird anschließend auf dem vollständigen Korpus evaluiert. Modelle, die außerhalb der Top 10 ihrer Gruppe platziert sind, werden nur auf dem Subkorpus-Leaderboard veröffentlicht.

Evaluierungsergebnisse

Über die evaluierten Modelle hinweg bietet Q2D-Web eine konsistente Sicht auf die Retrieval-Leistung im Web-Maßstab über seine 3 verschiedenen Relevanzsets hinweg. Das Leaderboard stellt diese sich ergänzenden Sichten Seite an Seite zur Verfügung, sodass Benutzer überprüfen können, wie Modelle unter engeren zitationsbasierten Labels und breiteren Relevanzurteilen abschneiden.

Wir konzentrieren uns auf Recall@1000 als unsere primäre Metrik, da ein First-Stage-Retriever relevante Dokumente lediglich im Kandidatenpool platzieren muss, während ein anschließendes Reranking deren endgültige Reihenfolge festlegt.

Vergrößern

Tabelle 1. Recall@1000 und nDCG@10 des vollständigen Korpus für dreizehn Retriever über Zitations-, Web-Ranking- und kombinierte Relevanzsätze hinweg. Höhere Werte sind besser.

pplx-embed-v1-4b hat den höchsten Recall@1000 bei allen drei Bewertungssätzen: Zitation (85,03), Web-Ranking (65,73) und Kombiniert (70,00). Beim kombinierten Recall@100 und nDCG@10 erzielt Nemotron-3-Embed-8B (30,32 und 45,65) höhere Werte als pplx-embed-v1-4b (30,17 und 44,12).

Innerhalb einer Modellfamilie erzielen größere Modelle höhere Werte beim kombinierten Recall@1000. Qwen3-Embedding steigt von 58,68 (0,6B) auf 65,32 (8B), Nemotron-3-Embed von 62,44 (1B) auf 69,33 (8B) und pplx-embed-v1 von 67,91 (0,6B) auf 70,00 (4B).

Perplexity-Modelle werden über dieselbe Pipeline wie alle anderen eingereichten Modelle evaluiert. Da Q2D-Web jedoch aus dem Produktionsdatenverkehr von Perplexity stammt, profitieren diese Modelle möglicherweise von einem In-Distribution-Vorteil. Auch wenn die Evaluierungsabfragen und das Korpus des Benchmarks vom Modelltraining ausgeschlossen wurden, sollten die Ergebnisse unter Berücksichtigung dieses potenziellen Vorteils interpretiert werden.

So reichen Sie einen Beitrag für das Leaderboard ein

Um eine Evaluierung anzufordern, reichen Sie ein öffentlich verfügbares Hugging Face-Modell über unser Evaluierungsanfrageformular ein.

Wir folgen der Model Card im eingereichten Repository für modellspezifische Inferenz-Einstellungen, einschließlich empfohlener Abfrage- und Dokumentanweisungen oder -präfixe, Pooling, Normalisierung und Ähnlichkeitsfunktion. Alle Abfragen und Dokumente werden mit dem modelleigenen Tokenizer einschließlich Anweisungen, Präfixen und Sonderzeichen auf 512 Token gekürzt, sodass ein längerer unterstützter Kontext keinen Vorteil bringt. Bitte stellen Sie sicher, dass die Model Card vollständige, eindeutige Anweisungen zur Reproduktion des beabsichtigten Retrieval-Setups enthält.

Berechtigte Modelle müssen über Standard-APIs für transformers oder sentence-transformers geladen werden können. Modelle, die nicht mit trust_remote_code=False laufen, erfordern vor der Evaluierung eine manuelle Überprüfung des benutzerdefinierten Codes und des Einreichenden, was erheblich länger dauert. Private oder gatelockierte Repositories sind nicht berechtigt.

Lesen Sie unseren technischen Bericht, um mehr über die Methodik und die Ergebnisse zu erfahren.

Zitieren

@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}