Q2D-Web: Evaluering af første-fase-hentetjenester i skala

I dag introducerer vi Q2D-Web (Query2Doc-Web), et privat benchmark og en offentlig rangliste til evaluering af hentning i agentiske RAG-systemer. Q2D-Web udvider vores oprindelige Q2D-benchmark til et storskala korpus, et større forespørgselssæt og dybere bedømmelsesannoteringer.

Q2D-Web er bygget til at evaluere embedding-modeller på storskala websøgning. Det består af 190 millioner webdokumenter og 69.721 agent-reformulerede forespørgsler på ti sprog, samplet over ni måneders PII-fri produktionstrafik.

I denne skala er relevanssignaler på forespørgsel-dokument-niveau uundgåeligt sparsomme. I stedet for at behandle én kilde som sandhedskilde, leverer vi tre relevansbedømmelsessæt, afledt af agentcitater, produktionswebrangeringer og yderligere LLM-bedømmelser for tidligere ubedømte par. Flere kilder begrænser bias fra en enkelt mærkningspipeline, mens dybere annotering reducerer falske negativer.

Vores rangliste rapporterer resultater for offentligt udgivne hentningsmodeller, evalueret direkte mod benchmarket ved hjælp af en konsekvent indekserings-, hentnings- og scoringspipeline. En evaluering kan indsendes via vores anmodningsformular.

Udfordringen ved realistisk hentningsevaluering

For hver forespørgsel søger et produktionsskala hentningssystem i et korpus på milliarder af websider og returnerer tusindvis af kandidatdokumenter. Disse kandidater bestemmer, hvilke kilder downstream-systemer kan se, og former direkte den evidens, der er til rådighed for agenten.

Realistisk evaluering af denne første fase kræver derfor benchmarks, der skalerer langs tre dimensioner: antallet af dokumenter i korpusset, antallet af bedømte forespørgsler og antallet af relevansbedømmelser pr. forespørgsel.

Større korpusa kan gøre et benchmark mere diskriminerende ved at indføre hårde negativer – dokumenter, der er semantisk lignende en forespørgsel, men ikke leverer den anmodede information. Hentetjenester skal skelne disse plausible matches fra relevante dokumenter. Formindskelse af korpusset, mens kendte relevante dokumenter bibeholdes, kan fjerne disse distraherende elementer og oppuste recall, som vores undersampling-eksperimenter nedenfor viser.

Flere bedømte forespørgsler gør ydeevneestimater mere pålidelige. Med et lille forespørgselssæt afhænger benchmarkresultater stærkt af, hvilke forespørgsler der blev samplet, hvilket gør det sværere at estimere hver models ydeevne præcist og trygt skelne mellem modeller.

Dybere bedømmelser reducerer falske negativer i evaluering. Med sparsomme mærker kan en hentetjeneste overfladebehandle relevante dokumenter, der er ubedømte og derfor fejlagtigt tælles som ikke-relevante. Dette gør evalueringen mindre pålidelig. MS MARCO er det vigtigste storskala åbne datasæt inden for informationstjenestehentning og formede udviklingen af neurale hentningsmodeller. Der var 70% af manuelt inspicerede top-hentede men umærkede passager faktisk relevante.

Eksisterende benchmarks har en tendens til at skalere i kun en eller to af disse dimensioner: web-skala samlinger har ofte relativt få bedømte forespørgsler, mens benchmarks med mange forespørgsler generelt bruger meget mindre korpusa og sparsomme mærker. Desuden bruger de fleste benchmarks menneskeskrevne forespørgsler, hvorimod agentiske RAG-systemer søger med agent-reformulerede forespørgsler, der kan adskille sig i ordlyd, struktur og specificitet.

Q2D-Web skalerer på tværs af alle tre dimensioner. Det indeholder 190 millioner webdokumenter, 69.721 agent-reformulerede forespørgsler og et gennemsnit på 99,6 positive relevansbedømmelser pr. forespørgsel i sit kombinerede bedømmelsessæt. Den tætteste offentlige sammenligning er MS MARCO Web Search, den web-skala version af MS MARCO. Den har 100,9 millioner dokumenter, 9.374 testforespørgsler og ét klik-afledt positivt mærke pr. forespørgsel.

Hvordan vi skabte Q2D-Web

Udvid

Forespørgsler

Q2D-Web er bygget på 23.000 PII-frie produktionssøgninger på ti sprog og dusinvis af domæner indsamlet over en periode på ni måneder.

En søgning består af alle de websøgningsværktøjskald, som en agent udfører som svar på en brugerbesked. Hvert værktøjskald indeholder en eller flere forespørgsler. Hver forespørgsel reformuleres på baggrund af brugeranmodningen, den tidligere samtale og, hvor det er relevant, dokumenter, der blev hentet tidligere i den samme søgning. Hver produktionssøgning indeholder én primær forespørgsel, som gentager brugerens informationsbehov, og nul eller flere støtteforespørgsler, som udforsker alternative formuleringer, baggrundsinformation eller relaterede enheder. Selvom de adresserer den samme bredere anmodning, kan de kræve forskellige dokumenter, så Q2D-Web evaluerer hver forespørgsel uafhængigt med sine egne relevansbedømmelser.

Udvid

Udvid

Vi anvender streng privatlivsfiltrering for alle inkluderede forespørgsler. Forespørgsler skal komme fra brugere, der tillod, at deres data blev brugt, og PII-detektion ved hjælp af perplexity-ai/pplx-pii-masking udelukker forespørgsler, der indeholder personlige oplysninger. Vi fjerner også nøjagtige duplikater, meget korte forespørgsler og forespørgsler, der indeholder søgeoperatorer som site: eller citerede sætninger.

Benchmarket dækker ti sprog. Engelsk står for 65,8% af forespørgslerne, efterfulgt af spansk, russisk, tysk, fransk, portugisisk, italiensk, koreansk, japansk og kinesisk. Forespørgselsfordelingen spænder også over en bred blanding af domæner, herunder forbrugsgoder, programmering, jura, sundhed, business, videnskab, uddannelse, teknologi, finans, rejser, underholdning, politik, lokal information og nyheder.

Korpus

For hver forespørgsel henter vi de øverste 5.000 dokumenter med et produktionshentningssystem og tager foreningsmængden af disse resultatsæt. Derefter deduplicerer vi korpusset ved hjælp af MinHash–LSH og klynger dokumenter, hvis token 5-gram-sæt har en Jaccard-lighed på mindst 0,975.

Samlingen er bevidst ikke et tilfældigt websample. Hvert dokument blev betragtet som et plausibelt resultat for mindst én benchmarkforespørgsel. Dette skaber et tæt sæt af svære distraherende elementer: sider, der matcher en forespørgsels emne eller sprog, men som måske mangler en krævet dato, enhed, version, mængde eller aspekt.

Udvid

Bedømmelser

Relevansmærker er ufuldstændige af natur i stor skala. Mærkning af alle mulige forespørgsel-dokument-par er umuligt, og hver kilde til bedømmelser bærer en forskellig bias.

Q2D-Web bruger tre relevanssæt i stedet for at behandle én kilde som sandhedskilde for at øge annoteringsdybden uden at lide under en enkelt bias.

Citat mærker et dokument som relevant, når en agent citerede det i et svar. Dette er det signal, der er tættest på downstream-brug: agenten valgte dokumentet som evidens for en påstand. Men citation er konstruktionsmæssigt høj præcision og lav recall. Når en agent har tilstrækkelig støtte, har den ringe årsag til at citere alle andre relevante sider.

Webrangering består af op til 50 dokumenter pr. forespørgsel (43,1 i gennemsnit), identificeret af en intern hentningsstak ved hjælp af BM25 og tæt hentning i den første fase, efterfulgt af cross-encoder-omrangering. Dette indfanger dokumenter, der er nyttige, men ikke citeret.

Kombineret + LLM-bedømt tager foreningsmængden af Citat og Webrangering, tilføjer derefter LLM-bedømmelser for tidligere ubedømte kandidater med det formål at reducere antallet af falske negativer. Vi pooler resultater fra BM25, ColBERTv2 og syv tætte hentetjenester udgivet før den 1. januar 2025, fletter deres rangeringer ved hjælp af reciprocal rank fusion (RRF), vælger de øverste 500 ubedømte dokumenter og anvender en streng binær relevansbedømmer ved hjælp af DeepSeek-V4-Flash.

De tre sæt gør det muligt for os at undersøge, om modelydelser afhænger af, hvordan relevans defineres. De reducerer også afhængigheden af en enkelt mærkningsstak, som ellers kunne favoriserehentetjenester, der ligner det system, der blev bruget til at generere mærker.

Udvid

Undersampling: effektiv evaluering i stor skala

Fuld-korpus-evaluering er dyrt og langsomt. En enkelt evaluering på Q2D-Web med pplx-embed-v1-4b kræver 4.608 H200 GPU-timer, mens selv en lille model som EmbeddingGemma-300M kræver næsten 200 H200 GPU-timer.

For at holde evalueringen praktisk opretter vi en undersamplet version af korpusset.

Vi kørte en omfattende ablation på tværs af samplingstrategier for at bygge et mindre subkorpus, der afspejler fuld-korpus-adfærd. Enhver strategi bevarer alle positivt bedømte dokumenter og varierer kun i, hvordan ubedømte distraherende elementer vælges. De distraherende elementer, der betyder noget, er dem, som en hentetjeneste sandsynligvis vil rangere over et relevant dokument, fordi disse ændrer en models score og dens position i rangordningen.

Vi sammenlignede ensartet tilfældig udvælgelse (uniform random sampling), pooling til en fast dybde på tværs af konstruktionsretrievers og per-query RRF over forskellige dybder. RRF-baseret udvælgelse bruger kun 31,7% af dokumenterne i det fulde korpus. Det bevarer modelrangeringen for det fulde korpus under Combined-vurderingerne, samtidig med at det forbliver tæt på absolutte scores og øger gennemsnitlig Recall@1000 med 5,2 point mod 12,8 point for tilfældig udvælgelse ved samme størrelse.

Udvid

Dette reducerer evalueringsomkostningerne til omkring en tredjedel af fuld-korpus-omkostningerne. Ved hjælp af det RRF-baserede subkorpus kræver pplx-embed-v1-4b ca. 1.500 H200 GPU-timer, og EmbeddingGemma-300M kræver under 70.

Hver indsendelse evalueres først på den samplede subkorpusversion. Indsendelser opdeles i to grupper efter samlet parametertælling: op til 1B og over 1B. En model, der når top ti i sin gruppe på det samplede subkorpus, evalueres derefter på det fulde korpus. Modeller rangeret uden for top 10 i deres gruppe vil kun blive udgivet på ranglisten for det samplede subkorpus.

Evalueringsresultater

På tværs af de evaluerede modeller giver Q2D-Web et konsekvent overblik over hentningsydelse i web-skala på tværs af de 3 forskellige relevanssæt. Ranglisten gør disse komplementære visninger tilgængelige side om side, hvilket giver brugerne mulighed for at inspicere, hvordan modeller præsterer under smalere citatbaserede mærker og bredere relevansbedømmelser.

Vi fokuserer på Recall@1000 som vores primære metrik, fordi en første-fase-hentetjeneste kun behøver at placere relevante dokumenter i kandidatpuljen, mens efterfølgende omrangering bestemmer deres endelige rækkefølge.

Udvid

Tabel 1. Recall@1000 og nDCG@10 for det fulde korpus for tretten retrievers på tværs af relevans-sættene Citation, Web Ranking og Combined. Højere scores er bedre.

pplx-embed-v1-4b har den højeste Recall@1000 på alle tre vurderingssæt: Citation (85,03), Web Ranking (65,73) og Combined (70,00). På Combined Recall@100 og nDCG@10 scorer Nemotron-3-Embed-8B (30,32 og 45,65) over pplx-embed-v1-4b (30,17 og 44,12).

Inden for en familie scorer større modeller højere på Combined Recall@1000. Qwen3-Embedding stiger fra 58,68 (0,6B) til 65,32 (8B), Nemotron-3-Embed fra 62,44 (1B) til 69,33 (8B), og pplx-embed-v1 fra 67,91 (0,6B) til 70,00 (4B).

Perplexity-modeller evalueres ved hjælp af den samme pipeline som alle andre indsendte modeller. Men da Q2D-Web er afledt af Perplexity-produktionstrafik, kan disse modeller drage fordel af en fordel ved in-distribution. Selvom benchmarkets evalueringsforespørgsler og korpus blev udelukket fra modeltræning, bør resultaterne fortolkes med denne potentielle fordel i tankerne.

Sådan indsendes til ranglisten

For at anmode om en evaluering skal du indsende en offentligt tilgængelig Hugging Face-model via vores evalueringsanmodningsformular.

Vi følger modelkortet i det indsendte lager for modelspecifikke inferensindstillinger, herunder anbefalede forespørgsels- og dokumentinstruktioner eller præfider, pooling, normalisering og lighedsfunktion. Alle forespørgsler og dokumenter afkortes til 512 tokens med modellens egen tokenizer, herunder instruktioner, præfider og specielle tokens, så en længere understøttet kontekst giver ingen fordel. Sørg venligst for, at modelkortet giver fuldstændige, utvetydige instruktioner til reproduktion af det tilsigtede hentningsopsæt.

Berettigede modeller skal indlæses via standard transformers- eller sentence-transformers-API'er. Modeller, der ikke kører med trust_remote_code=False, kræver en manuel gennemgang af den tilpassede kode og af indsenderen før evaluering, hvilket tager betydeligt længere tid. Private eller lukkede lagre er ikke berettigede.

Læs vores tekniske rapport for at få mere at vide om metoden og resultaterne.

Citation

@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}