Q2D-Web: Eerste-fase retrievers evalueren op schaal

Vandaag introduceren we Q2D-Web (Query2Doc-Web), een privébenchmark en openbaar leaderboard voor het evalueren van ophalen in agentische RAG-systemen. Q2D-Web breidt onze originele Q2D-benchmark uit naar een corpus op webschaal, een grotere set zoekopdrachten en diepere oordeelsannotaties.

Q2D-Web is gebouwd om embeddingmodellen te evalueren op webzoekopdrachten op grote schaal. Het bestaat uit 190 miljoen webdocumenten en 69.721 door agents geherformuleerde zoekopdrachten in tien talen, verzameld over negen maanden aan PII-vrij productiezoekverkeer.

Op deze schaal is het relevantiesignaal op het niveau van zoekopdracht en document onvermijdelijk schaars. In plaats van één bron als grondwaarheid te behandelen, bieden we drie sets van relevantieoordelen, afgeleid van citaten van agenten, webrankings voor productie en extra LLM-oordelen voor eerder niet-beoordeelde paren. Meerdere bronnen beperken de vertekening van één enkele pipeline voor labels, terwijl diepere annotatie valse negatieven vermindert.

Ons leaderboard toont resultaten voor openbaar vrijgegeven ophaalmodellen, direct geëvalueerd tegen de benchmark met behulp van een consistente pipeline voor indexering, ophalen en scoren. Een evaluatie kan worden ingediend via ons aanvraagformulier.

De uitdaging van realistische evaluatie van ophalen

Voor elke zoekopdracht doorzoekt een ophaalsysteem op productschaal een corpus van miljarden webpagina's en retourneert duizenden kandidaatdocumenten. Deze kandidaten bepalen welke bronnen downstream-systemen kunnen zien, en geven direct vorm aan het bewijsmateriaal dat beschikbaar is voor de agent.

Een realistische evaluatie van deze eerste fase vereist daarom benchmarks die schalen langs drie dimensies: het aantal documenten in het corpus, het aantal beoordeelde zoekopdrachten en het aantal relevantieoordelen per zoekopdracht.

Grotere corpora kunnen een benchmark meer onderscheidend maken door harde negatieven te introduceren: documenten die semantisch vergelijkbaar zijn met een zoekopdracht maar niet de gevraagde informatie verschaffen. Retrievers moeten deze aannemelijke overeenkomsten onderscheiden van relevante documenten. Het inkrimpen van het corpus met behoud van bekende relevante documenten kan deze afleiders verwijderen en de recall opblazen, zoals onze subsampling-experimenten hieronder aantonen.

Meer beoordeelde zoekopdrachten maken prestatieschattingen betrouwbaarder. Bij een kleine set zoekopdrachten hangen de benchmarkresultaten sterk af van welke zoekopdrachten zijn geselecteerd, waardoor het moeilijker wordt om de prestaties van elk model nauwkeurig te schatten en vol vertrouwen onderscheid te maken tussen modellen.

Diepere oordelen verminderen valse negatieven bij de evaluatie. Met schaarse labels kan een retriever relevante documenten naar boven halen die niet zijn beoordeeld en daarom ten onrechte als niet-relevant worden geteld. Dit maakt de evaluatie minder betrouwbaar. MS MARCO is de belangrijkste grootschalige open dataset bij informatie-ophaling en heeft de ontwikkeling van neurale ophaalmodellen vormgegeven. Daar bleek 70% van de handmatige geïnspecteerde, bovenaan opgehaalde maar niet-gelabelde passages in feite relevant te zijn.

Bestaande benchmarks hebben de neiging om slechts in één of twee van deze dimensies te schalen: verzamelingen op webschaal hebben vaak relatief weinig beoordeelde zoekopdrachten, terwijl benchmarks met veel zoekopdrachten over het algemeen veel kleinere corpora en schaarse labels gebruiken. Bovendien gebruiken de meeste benchmarks door mensen geschreven zoekopdrachten, terwijl agentische RAG-systemen zoeken met door agents geherformuleerde zoekopdrachten die kunnen verschillen in wording, structuur en specificiteit.

Q2D-Web schaalt over alle drie de dimensies. Het bevat 190 miljoen webdocumenten, 69.721 door agents geherformuleerde zoekopdrachten en gemiddeld 99,6 positieve relevantieoordelen per zoekopdracht in de gecombineerde oordeelset. De dichtstbijzijnde openbare vergelijking is MS MARCO Web Search, de versie op webschaal van MS MARCO. Deze heeft 100,9 miljoen documenten, 9.374 testzoekopdrachten en één uit klikken afgeleid positief label per zoekopdracht.

Hoe we Q2D-Web hebben gecreëerd

Vergroten

Zoekopdrachten

Q2D-Web is gebouwd op basis van 23.000 PII-vrije productiezoekopdrachten in tien talen en tientallen domeinen, verzameld gedurende een periode van negen maanden.

Een zoekopdracht bestaat uit alle webzoekopdrachtaanroepen die een agent uitvoert als reactie op een gebruikersbericht. Elke aanroep van een hulpprogramma bevat een of meer zoekopdrachten. Elke zoekopdracht wordt opnieuw geformuleerd op basis van het gebruikersverzoek, het eerdere gesprek en, waar van toepassing, eerder opgehaalde documenten in dezelfde zoekopdracht. Elke productiezoekopdracht bevat één primaire zoekopdracht, die de informatiebehoefte van de gebruiker herformuleert, en nul of meer ondersteunende zoekopdrachten, die alternatieve verwoordingen, achtergrondinformatie of gerelateerde entiteiten verkennen. Hoewel ze betrekking hebben op hetzelfde bredere verzoek, kunnen ze verschillende documenten vereisen, dus evalueert Q2D-Web elke zoekopdracht onafhankelijk met eigen relevantieoordelen.

Vergroten

Vergroten

We passen strikte privacyfiltering toe voor alle opgenomen zoekopdrachten. Zoekopdrachten moeten afkomstig zijn van gebruikers die toestemming hebben gegeven om hun gegevens te gebruiken, en PII-detectie met behulp van perplexity-ai/pplx-pii-masking sluit zoekopdrachten uit die persoonlijke informatie bevatten. We verwijderen ook exacte duplicaten, zeer korte zoekopdrachten en zoekopdrachten met zoekoperatoren zoals site: of zinnen tussen aanhalingstekens.

De benchmark bestrijkt tien talen. Engels is goed voor 65,8% van de zoekopdrachten, gevolgd door Spaans, Russisch, Duits, Frans, Portugees, Italiaans, Koreaans, Japans en Chinees. De verdeling van de zoekopdrachten omvat ook een brede mix van domeinen, waaronder consumptiegoederen, programmeren, recht, gezondheid, bedrijfskunde, wetenschap, onderwijs, technologie, financiën, reizen, entertainment, politiek, lokale informatie en nieuws.

Corpus

Voor elke zoekopdracht halen we de top 5.000 documenten op met een productie-ophaalsysteem en nemen we de unie van deze resultaatsets. Vervolgens ontdubbelen we het corpus met behulp van MinHash–LSH, waarbij we documenten clusteren waarvan de token-5-gram-sets een Jaccard-overeenkomst hebben van ten minste 0,975.

De verzameling is opzettelijk geen willekeurige websteekproef. Elk document werd beschouwd als een aannemelijk resultaat voor ten minste één benchmarkzoekopdracht. Dit creëert een dichte set van moeilijke afleiders: pagina's die overeenkomen met het onderwerp of de taal van een zoekopdracht, maar mogelijk een vereiste datum, entiteit, versie, hoeveelheid of aspect missen.

Vergroten

Oordelen

Relevantielabels zijn op grote schaal uit aard onvolledig. Het labelen van elk mogelijk paar van zoekopdracht en document is onhaalbaar, en elke bron van oordelen brengt een andere vertekening met zich mee.

Q2D-Web gebruikt drie relevantiesets in plaats van één bron als grondwaarheid te behandelen, om de annotatiediepte te vergroten zonder te lijden onder een enkele vertekening.

Citaat bestempelt een document als relevant wanneer een agent dit heeft geciteerd in een antwoord. Dit is het signaal dat het dichtst bij downstream gebruik ligt: de agent selecteerde het document als bewijs voor een bewering. Maar citatie is per constructie van hoge precisie en lage recall. Zodra een agent voldoende ondersteuning heeft, heeft hij weinig reden om elke andere relevante pagina te citeren.

Webranking bestaat uit maximaal 50 documenten per zoekopdracht (gemiddeld 43,1), geïdentificeerd door een interne ophaalstack met BM25 en dense retrieval in de eerste fase, gevolgd door herordening met cross-encoders. Dit legt documenten vast die nuttig zijn maar niet worden geciteerd.

Gecombineerd + LLM-beoordeeld neemt de unie van Citaat en Webranking, voegt vervolgens LLM-oordelen toe voor eerder niet-beoordeelde kandidaten, met als doel het aantal valse negatieven te verminderen. We bundelen resultaten van BM25, ColBERTv2 en zeven dense retrievers die zijn vrijgegeven vóór 1 januari 2025, voegen hun rankings samen met behulp van reciprocal rank fusion (RRF), selecteren de top 500 niet-beoordeelde documenten en passen een strikt binair relevantieoordeel toe met DeepSeek-V4-Flash.

Dankzij de drie sets kunnen we nagaan of de prestaties van het model afhangen van hoe relevantie wordt gedefinieerd. Ze verminderen ook de afhankelijkheid van één enkele labelstack, wat anders retrievers zou kunnen bevorderen die lijken op het systeem dat is gebruikt om labels te genereren.

Vergroten

Subsampling: efficiënte evaluatie op grote schaal

Evaluatie van het volledige corpus is duur en traag. Een enkele evaluatie op Q2D-Web met pplx-embed-v1-4b vereist 4.608 H200-gpu-uren, terwijl zelfs een klein model zoals EmbeddingGemma-300M bijna 200 H200-gpu-uren vereist.

Om de evaluatie praktisch te houden, bouwen we een gesampled versie van het corpus.

We hebben een uitgebreide ablatie uitgevoerd over samplingsstrategieën om een kleiner subcorpus te bouwen dat het gedrag van het volledige corpus weerspiegelt. Elke strategie behoudt alle positief beoordeelde documenten en varieert alleen in hoe niet-beoordeelde afleiders worden geselecteerd. De afleiders die ertoe doen, zijn degene die een retriever waarschijnlijk hoger rangschikt dan een relevant document, omdat deze de score van een model en zijn positie in de ranking veranderen.

We vergeleken uniforme willekeurige steekproeven, pooling tot een vaste diepte over de constructieretrievers, en per-query RRF over verschillende dieptes. Op RRF gebaseerde steekproeven gebruiken slechts 31,7% van de documenten in het volledige corpus. Het behoudt de modelrangschikking van het volledige corpus onder de Combined-beoordelingen, terwijl het dicht bij de absolute scores blijft en de gemiddelde Recall@1000 met 5,2 punten verhoogt versus 12,8 punten voor willekeurige steekproeven van dezelfde omvang.

Vergroten

Dit verlaagt de evaluatiekosten tot ongeveer een derde van de kosten voor het volledige corpus. Met behulp van het op RRF gebaseerde subcorpus vereist pplx-embed-v1-4b ongeveer 1.500 H200-gpu-uren en EmbeddingGemma-300M minder dan 70.

Elke inzending wordt eerst geëvalueerd op de gesampled subcorpusversie. Inzendingen worden opgesplitst in twee groepen op basis van het totale aantal parameters: maximaal 1B en boven 1B. Een model dat de top tien van zijn groep bereikt op het gesampled subcorpus, wordt vervolgens geëvalueerd op het volledige corpus. Modellen die buiten de top 10 van hun groep vallen, worden alleen gepubliceerd op het leaderboard van het gesampled subcorpus.

Evaluatieresultaten

Over de geëvalueerde modellen heen biedt Q2D-Web een consistente weergave van de ophaalprestaties op webschaal via de 3 verschillende relevantiesets. Het leaderboard maakt deze complementaire weergaven zij aan zij beschikbaar, zodat gebruikers kunnen inspecteren hoe modellen presteren onder engere op citaten gebaseerde labels en brede relevantieoordelen.

We richten ons op Recall@1000 als onze primaire metriek omdat een retriever in de eerste fase alleen relevante documenten in de kandidaatpool hoeft te plaatsen, terwijl daaropvolgende herordening de definitieve volgorde bepaalt.

Vergroten

Tabel 1. Recall@1000 en nDCG@10 van het volledige corpus voor dertien retrievers over de Citation-, Web Ranking- en Combined-relevantiesets. Hogere scores zijn beter.

pplx-embed-v1-4b heeft de hoogste Recall@1000 op alle drie de beoordelingssets: Citation (85,03), Web Ranking (65,73) en Combined (70,00). Op Combined Recall@100 en nDCG@10 scoort Nemotron-3-Embed-8B (30,32 en 45,65) hoger dan pplx-embed-v1-4b (30,17 en 44,12).

Binnen een familie scoren grotere modellen hoger op Combined Recall@1000. Qwen3-Embedding stijgt van 58,68 (0,6B) naar 65,32 (8B), Nemotron-3-Embed van 62,44 (1B) naar 69,33 (8B), en pplx-embed-v1 van 67,91 (0,6B) naar 70,00 (4B).

Perplexity-modellen worden geëvalueerd met dezelfde pipeline als alle andere ingediende modellen. Omdat Q2D-Web echter is afgeleid van het productieverkeer van Perplexity, kunnen deze modellen profiteren van een voordeel binnen de distributie. Hoewel de evaluatiezoekopdrachten en het corpus van de benchmark zijn uitgesloten van modeltraining, moeten de resultaten met dit potentiële voordeel in gedachten worden geïnterpreteerd.

Hoe in te dienen voor het leaderboard

Om een evaluatie aan te vragen, dient u een openbaar beschikbaar Hugging Face-model in via ons aanvraagformulier voor evaluatie.

We volgen de modelkaart in de ingediende repository voor modelspecifieke inferentie-instellingen, inclusief aanbevolen instructies of voorvoegsels voor zoekopdrachten en documenten, pooling, normalisatie en gelijkenisfunctie. Alle zoekopdrachten en documenten worden ingekort tot 512 tokens met de eigen tokenizer van het model, inclusief instructies, voorvoegsels en speciale tokens, zodat een langere ondersteunde context geen voordeel oplevert. Zorg ervoor dat de modelkaart volledige, ondubbelzinnige instructies biedt voor het reproduceren van de beoogde ophaalsetup.

In aanmerking komende modellen moeten worden geladen via standaard transformers- of sentence-transformers-API's. Modellen die niet worden uitgevoerd met trust_remote_code=False vereisen voorafgaand aan de evaluatie een handmatige beoordeling van de aangepaste code en de indiener, wat aanzienlijk langer duurt. Private of afgeschermde repositories komen niet in aanmerking.

Lees ons technische rapport voor meer informatie over de methodologie en bevindingen.

Citaat

@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}