Q2D-Web: Evaluering av første-fase-innhentingsverktøy i skala

I dag introduserer vi Q2D-Web (Query2Doc-Web), en privat referansemåling og offentlig poengtavle for evaluering av innhenting i agentbaserte RAG-systemer. Q2D-Web utvider vår opprinnelige Q2D-referansemåling til et storskala korpus, et større forespørselssett og dypere bedømmelsesannoteringer.

Q2D-Web er bygget for å evaluere innbyggingsmodeller på vebsøk i stor skala. Den består av 190 millioner vebdokumenter og 69 721 agentomformulerte forespørsler på ti språk, samplet over ni måneder med PII-fri produksjonssøktrafikk.

I denne skalaen er relevanssignalet på forespørsel-dokument-nivå uunngåelig sparsomt. I stedet for å behandle én kilde som fasit, tilbyr vi tre relevansbedømmelsessett, avledet fra agentens siteringer, produksjonsvebrangeringer og ekstra LLM-bedømmelser for tidligere ubedømte par. Flere kilder begrenser skjevhet fra en enkelt merkepipeline, mens dypere annotering reduserer falske negative.

Poengtavlen vår rapporterer resultater for offentlig utgitte innhentingsmodeller, evaluert direkte mot referansemålingen ved hjelp av en konsistent indekserings-, innhentings- og poengsumpipeline. En evaluering kan sendes inn via forespørselsskjemaet vårt.

Utfordringen med realistisk innhentingsevaluering

For hver forespørsel søker et innhentingssystem i produksjonsskala gjennom et korpus på milliarder av vebsider og returnerer tusenvis av kandidatdokumenter. Disse kandidatene avgjør hvilke kilder nedstrømssystemer kan se, og former direkte bevismaterialet som er tilgjengelig for agenten.

Realistisk evaluering av denne første fasen krever derfor referansemålinger som skalerer langs tre dimensjoner: antallet dokumenter i korpuset, antallet bedømte forespørsler og antallet relevansbedømmelser per forespørsel.

Større korpuser kan gjøre en referansemåling mer diskriminerende ved å introdusere harde negative – dokumenter som er semantisk lik en forespørsel, men som ikke gir informasjonen det ble spurt om. Innhentingsverktøy må skille disse plausible treffene fra relevante dokumenter. Å skrumpe inn korpuset samtidig som man beholder kjente relevante dokumenter, kan fjerne disse distraksjonene og blåse opp gjenfinningen, slik våre delsamlingsexperimenter nedenfor viser.

Flere bedømte forespørsler gjør ytelsesestimatene mer pålitelige. Med et lite forespørselssett avhenger resultatene fra referansemålingen i stor grad av hvilke forespørsler som ble samplet, noe som gjør det vanskeligere å anslå hver modells ytelse nøyaktig og skille trygt mellom modeller.

Dypere bedømmelser reduserer falske negative i evaluering. Med sparsomme merker kan et innhentingsverktøy hente fram relevante dokumenter som er ubedømte og derfor feilaktig telles som ikke-relevante. Dette gjør evalueringen mindre pålitelig. MS MARCO er det største storskala åpne datasettet innen informasjonsinnhenting og formet utviklingen av neurale innhentingsmodeller. Der var 70 % av manuelt inspiserte toppinnhentede, men umerkede avsnitt faktisk relevante.

Eksisterende referansemålinger har en tendens til å skalere i bare én eller to av disse dimensjonene: vebskala-samlinger har ofte relativt få bedømte forespørsler, mens referansemålinger med mange forespørsler generelt bruker mye mindre korpuser og sparsomme merker. Dessuten bruker de fleste referansemålinger menneskeskrevne forespørsler, i likhet med at agentbaserte RAG-systemer søker med agentomformulerte forespørsler som kan avvike i ordlyd, struktur og spesifisitet.

Q2D-Web skalerer på tvers av alle tre dimensjoner. Det inneholder 190 millioner vebdokumenter, 69 721 agentomformulerte forespørsler og et gjennomsnitt på 99,6 positive relevansbedømmelser per forespørsel i det kombinerte bedømmelsessettet. Den nærmeste offentlige sammenligningen er MS MARCO Web Search, vebskalaversjonen av MS MARCO. Den har 100,9 millioner dokumenter, 9 374 testforespørsler og én klikk-avledet positiv merkelapp per forespørsel.

Slik laget vi Q2D-Web

Forstørr

Forespørsler

Q2D-Web er bygget på 23 000 PII-frie produksjonssøk på ti språk og dussinvis av domener samlet inn over en periode på ni måneder.

Et søk består av alle verktøyspørringer for vebsøk som en agent utfører som svar på en brukermelding. Hver verktøyspørring inneholder én eller flere forespørsler. Hver forespørsel omformuleres fra brukerforespørselen, tidligere samtale og, der det er aktuelt, dokumenter som ble hentet tidligere i det samme søket. Hvert produksjonssøk inneholder én primær forespørsel, som gjentar brukerens informasjonsbehov, og null eller flere støtteforespørsler, som utforsker alternative formuleringer, bakgrunnsinformasjon eller relaterte enheter. Selv om de retter seg mot den samme bredere forespørselen, kan de kreve ulike dokumenter, slik at Q2D-Web evaluerer hver forespørsel uavhengig med sine egne relevansbedømmelser.

Forstørr

Forstørr

Vi bruker streng personvernfiltrering for alle inkluderte forespørsler. Forespørsler må komme fra brukere som tillot at dataene deres ble brukt, og PII-deteksjon ved hjelp av perplexity-ai/pplx-pii-masking utelukker forespørsler som inneholder personopplysninger. Vi fjerner også eksakte duplikater, svært korte forespørsler og forespørsler som inneholder søkeoperatorer som site: eller siterte fraser.

Referansemålingen dekker ti språk. Engelsk utgjør 65,8 % av forespørslene, etterfulgt av spansk, russisk, tysk, fransk, portugisisk, italiensk, koreansk, japansk og kinesisk. Forespørselsfordelingen spenner også over en bred miks av domener, inkludert forbrukerinvarer, programmering, juss, helse, business, vitenskap, utdanning, teknologi, finans, reise, underholdning, politikk, lokalinformasjon og nyheter.

Korpus

For hver forespørsel henter vi de øverste 5 000 dokumentene med et innhentingssystem i produksjonsskala og tar unionen av disse resultatsettene. Deretter dedupliserer vi korpuset ved hjelp av MinHash–LSH, og klynger sammen dokumenter hvis token-5-gram-sett har en Jaccard-likhet på minst 0,975.

Samlingen er bevisst ikke et tilfeldig vebutvalg. Hvert dokument ble ansett som et plausibelt resultat for minst én referansemålingsforespørsel. Dette skaper et tett sett med vanskelige distraksjoner: sider som samsvarer med en forespørsels emne eller språk, men som kanskje mangler en obligatorisk dato, enhet, versjon, kvantitet eller aspekt.

Forstørr

Bedømmelser

Relevansmerker er ufullstendige av natur i stor skala. Det er ikke gjennomførbart å merke hvert eneste mulige forespørsel-dokument-par, og hver kilde til bedømmelser bærer med seg en ulik skjevhet.

Q2D-Web bruker tre relevanssett i stedet for å behandle én kilde som fasit, for å øke annoteringsdybden uten å lide under en enkel skjevhet.

Sitering merker et dokument som relevant når en agent siterte det i et svar. Dette er det signalet som ligger nærmest nedstrømsbruk: agenten valgte dokumentet som bevis for en påstand. Men sitering er per konstruksjon høy presisjon og lav gjenfinning. Når en agent først har tilstrekkelig med støtte, har den liten grunn til å sitere hver eneste andre relevante side.

Vebrangering består av opptil 50 dokumenter per forespørsel (43,1 i gjennomsnitt), identifisert av en intern innhentingsstabel ved hjelp av BM25 og tett innhenting i første fase, etterfulgt av omrangering med kryssekoder. Dette fanger opp dokumenter som er nyttige, men ikke sitert.

Kombinert + LLM-bedømt tar unionen av sitering og vebrangering, legger til LLM-bedømmelser for tidligere ubedømte kandidater, med det mål å redusere antall falske negative. Vi samler resultater fra BM25, ColBERTv2 og sju tette innhentingsverktøy som ble utgitt før 1. januar 2025, fletter rangeringene deres ved hjelp av reciprocal rank fusion (RRF), velger ut de 500 øverste ubedømte dokumentene og bruker en streng binær relevansdommer ved hjelp av DeepSeek-V4-Flash.

De tre settene lar oss spørre om modellytelser avhenger av hvordan relevans defineres. De reduserer også avhengigheten av en enkelt merkingsstabel, som ellers kunne ha favorisert innhentingsverktøy som ligner på systemet som ble brukt til å generere merker.

Forstørr

Delsampling: effektiv evaluering i stor skala

Fullkorpusevaluering er dyrt og treigt. En enkelt evaluering på Q2D-Web med pplx-embed-v1-4b krever 4 608 H200 GPU-timer, mens selv en liten modell som EmbeddingGemma-300M krever nesten 200 H200 GPU-timer.

For å holde evalueringen praktisk bygger vi en delsamplet versjon av korpuset.

Vi kjørte en omfattende ablasjon på tvers av samplingsstrategier for å bygge et mindre delkorpus som gjenspeiler oppførselen til hele korpuset. Hver strategi beholder alle positivt bedømte dokumenter og varierer bare i hvordan ubedømte distraksjoner velges ut. Distraksjonene som betyr noe, er de som et innhentingsverktøy sannsynligvis vil rangere over et relevant dokument, fordi disse endrer en modells poengsum og dens posisjon i rangeringen.

Vi sammenlignede ensartet tilfeldig utvalg, samling til en fast dybde på tvers av konstruksjonsinnhentingene, og per-spørring RRF over ulike dybder. RRF-basert utvalg bruker bare 31,7 % av dokumentene i hele korpuset. Det bevarer modellrangeringen for hele korpuset under de kombinerte bedømmelsene, samtidig som det holder seg nær absolutte skårer, og øker gjennomsnittlig Recall@1000 med 5,2 poeng mot 12,8 poeng for tilfeldig utvalg i samme størrelse.

Forstørr

Dette reduserer evalueringskostnadene til omtrent en tredjedel av kostnaden for hele korpuset. Ved å bruke det RRF-baserte delkorpuset krever pplx-embed-v1-4b omtrent 1 500 H200 GPU-timer, og EmbeddingGemma-300M krever under 70.

Hver innsending evalueres først på den utvalgte delkorpusversjonen. Innsendinger deles inn i to grupper etter totalt antall parametere: opptil 1B og over 1B. En modell som når topp ti i gruppen sin på det utvalgte delkorpuset, blir deretter evaluert på hele korpuset. Modeller som rangeres utenfor topp 10 i gruppen sin, vil kun bli publisert på poengtavlen for delkorpuset.

Evalueringsresultater

På tvers av de evaluerte modellene gir Q2D-Web et konsistent bilde av innhentingsytelse i vebskala på tvers av sine 3 forskjellige relevanssett. Poengtavlen gjør disse utfyllende visningene tilgjengelige side om side, slik at brukere kan undersøke hvordan modeller presterer under smalere siteringsbaserte merker og bredere relevansbedømmelser.

Vi fokuserer på Recall@1000 som vår primære metrikk fordi et første-fase-innhentingsverktøy bare trenger å plassere relevante dokumenter i kandidatbassenget, mens påfølgende omrangering avgjør deres endelige rekkefølge.

Forstørr

Tabell 1. Recall@1000 og nDCG@10 for hele korpuset for tretten innhentere på tvers av relevanssettene Sitering, Webrangering og Kombinert. Høyere skårer er bedre.

pplx-embed-v1-4b har høyest Recall@1000 på alle de tre dommesettene: Sitering (85,03), Webrangering (65,73) og Kombinert (70,00). På Kombinert Recall@100 og nDCG@10 scorer Nemotron-3-Embed-8B (30,32 og 45,65) over pplx-embed-v1-4b (30,17 og 44,12).

Innenfor en familie scorer større modeller høyere på Kombinert Recall@1000. Qwen3-Embedding stiger fra 58,68 (0,6B) til 65,32 (8B), Nemotron-3-Embed fra 62,44 (1B) til 69,33 (8B), og pplx-embed-v1 fra 67,91 (0,6B) til 70,00 (4B).

Perplexity-modeller evalueres ved hjelp av den samme pipelinen som alle andre innsendte modeller. Men fordi Q2D-Web er avledet fra Perplexity-produksjonstrafikk, kan disse modellene ha fordel av å være innenfor distribusjonen. Selv om referansemålingens evalueringsforespørsler og korpus ble utelukket fra modelltreningen, bør resultatene tolkes med denne potensielle fordelen i mente.

Slik sender du inn til poengtavlen

For å be om en evaluering kan du sende inn en offentlig tilgjengelig Hugging Face-modell via skjemaet for evalueringsforespørsel vårt.

Vi følger modellkortet i det innsendte depotet for modellspesifikke inferensinnstillinger, inkludert anbefalte forespørsels- og dokumentinstruksjoner eller -prefikser, pooling, normalisering og likhetsfunksjon. Alle forespørsler og dokumenter trunkeres til 512 tokens med modellens egen tokeniserer, inkludert instruksjoner, prefikser og spesielle tokens, slik at en lengre støttet kontekst ikke gir noen fordel. Sørg for at modellkortet gir fullstendige, entydige instruksjoner for gjenskaping av det tiltenkte innhentingsoppsettet.

Kvalifiserte modeller må lastes inn via standard transformers- eller sentence-transformers-API-er. Modeller som ikke kjører med trust_remote_code=False, krever en manuell gjennomgang av den egendefinerte koden og av innsenderen før evaluering, noe som tar betydelig lengre tid. Private eller beskyttede depoter er ikke kvalifisert.

Les vår tekniske rapport for å lære mer om metoden og funnene.

Sitat

@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}