Q2D-Web: Utvärdering av hämtare i första steget i skala

Idag lanserar vi Q2D-Web (Query2Doc-Web), ett privat riktmärke och en offentlig topplista för utvärdering av hämtning i agentbaserade RAG-system. Q2D-Web utökar vårt ursprungliga Q2D-riktmärke till en storskalig korpus, en större frågeuppsättning och djupare bedömningsanteckningar.

Q2D-Web är byggd för att utvärdera inbäddningsmodeller på storskalig webbsökning. Den består av 190 miljoner webbdokument och 69 721 agentomformulerade frågor på tio språk, samplade över nio månader av PII-fri produktionstrafik för sökning.

I denna skala är relevanssignalen på fråge- och dokumentnivå oundvikligen gles. Istället för att behandla en källa som sanning tillhandahåller vi tre uppsättningar relevansbedömningar, härledda från agentcitat, webbrangeringar i produktion och ytterligare LLM-bedömningar för tidigare obedömda par. Flera källor begränsar bias från en enskild märkningspipeline, samtidigt som djupare annotering minskar falska negativa.

Vår topplista rapporterar resultat för offentligt släppta hämtningsmodeller, utvärderade direkt mot riktmärket med en konsekvent pipeline för indeksering, hämtning och poängsättning. En utvärdering kan skickas in via vårt formulär för förfrågningar.

Utmaningen med realistisk utvärdering av hämtning

För varje fråga söker ett produktionsskaligt hämtningssystem igenom en korpus med miljarder webbsidor och returnerar tusentals kandidatdokument. Dessa kandidater avgör vilka källor nedströmsystem kan se, vilket direkt formar det bevismaterial som finns tillgängligt för agenten.

En realistisk utvärdering av detta första steg kräver därför riktmärken som skalas längs tre dimensioner: antalet dokument i korpusen, antalet bedömda frågor och antalet relevansbedömningar per fråga.

Större korpusar kan göra ett riktmärke mer diskriminerande genom att introducera svåra negativa exempel – dokument som är semantiskt liknande en fråga men som inte tillhandahåller den efterfrågade informationen. Hämtare måste skilja dessa rimliga matchningar från relevanta dokument. Att krympa korpusen samtidigt som man behåller kända relevanta dokument kan ta bort dessa distraktorer och driva upp återkallandet (recall), vilket våra delsamlingsexperiment nedan visar.

Fler bedömda frågor gör prestandauppskattningarna mer tillförlitliga. Med en liten frågeuppsättning beror riktmärkesresultaten i hög grad på vilka frågor som samplades, vilket gör det svårare att uppskatta varje modells prestanda exakt och säkert skilja mellan modeller.

Djupare bedömningar minskar falska negativa vid utvärdering. Med glesa etiketter kan en hämtare få fram relevanta dokument som är obedömda och därför felaktigt räknas som ej relevanta. Detta gör utvärderingen mindre tillförlitlig. MS MARCO är det största storskaliga öppna datasetet inom informationssökning och har format utvecklingen av neurala hämtningsmodeller. Där var 70 % av de manuellt granskade topphämtade men omärkta styckena faktiskt relevanta.

Befintliga riktmärken tenderar att skalas i endast en eller två av dessa dimensioner: webbskaliga samlingar har ofta relativt få bedömda frågor, medan riktmärken med många frågor i allmänhet använder mycket mindre korpusar och glesa etiketter. Dessutom använder de flesta riktmärken människoskrivna frågor, medan agentbaserade RAG-system söker med agentomformulerade frågor som kan skilja sig åt i ordalydelse, struktur och specificitet.

Q2D-Web skalas över alla tre dimensioner. Den innehåller 190 miljoner webbdokument, 69 721 agentomformulerade frågor och i genomsnitt 99,6 positiva relevansbedömningar per fråga i sin kombinerade bedömningsuppsättning. Den närmaste offentliga jämförelsen är MS MARCO Web Search, den webbskaliga versionen av MS MARCO. Den har 100,9 miljoner dokument, 9 374 testfrågor och en klickhärledd positiv etikett per fråga.

Hur vi skapade Q2D-Web

Förstora

Frågor

Q2D-Web bygger på 23 000 PII-fria produktionssökningar på tio språk och ett dussin domäner som samlats in under en nio månader lång period.

En sökning består av alla sökverktygsanrop som en agent utför som svar på ett användarmeddelande. Varje verktygsanrop innehåller en eller flera frågor. Varje fråga omformuleras från användarförfrågan, tidigare konversation och, i förekommande fall, dokument som hämtats tidigare i samma sökning. Varje produktionssökning innehåller en primär fråga, som återspeglar användarens informationsbehov, och noll eller flera stödfrågor, som utforskar alternativa formuleringar, bakgrundsinformation eller relaterade entiteter. Även om de adresserar samma bredare förfrågan kan de kräva olika dokument, så Q2D-Web utvärderar varje fråga oberoende med sina egna relevansbedömningar.

Förstora

Förstora

Vi tillämpar strikt integritetsfiltrering för alla inkluderade frågor. Frågor måste komma från användare som tillät att deras data används, och PII-detektering med perplexity-ai/pplx-pii-masking utesluter frågor som innehåller personlig information. Vi tar också bort exakta dubbletter, mycket korta frågor och frågor som innehåller sökoperatorer som site: eller citerade fraser.

Riktmärket täcker tio språk. Engelska står för 65,8 % av frågorna, följt av spanska, ryska, tyska, franska, portugisiska, italienska, koreanska, japanska och kinesiska. Frågefördelningen spänner också över en bred mix av domäner, inklusive konsumentvaror, programmering, juridik, hälsa, affärer, vetenskap, utbildning, teknik, finans, resor, underhållning, politik, lokal information och nyheter.

Korpus

För varje fråga hämtar vi de översta 5 000 dokumenten med ett produktionshämtningssystem och tar unionen av dessa resultatuppsättningar. Vi deduplicerar sedan korpusen med MinHash–LSH, och klusterställer dokument vars 5-grams-tokenuppsättningar har en Jaccard-likhet på minst 0,975.

Samlingen är avsiktligt inte ett slumpmässigt webbprov. Varje dokument ansågs vara ett rimligt resultat för minst en riktmärkesfråga. Detta skapar en tät uppsättning svåra distraktorer: sidor som matchar en frågas ämne eller språk men som kan sakna ett obligatoriskt datum, entitet, version, kvantitet eller aspekt.

Förstora

Bedömningar

Relevansetiketter är till sin natur ofullständiga i stor skala. Att märka varje möjligt fråge- och dokumentpar är opraktiskt, och varje källa till bedömningar medför en egen bias.

Q2D-Web använder tre relevansuppsättningar istället för att behandla en källa som sanning, för att öka annoteringsdjupet utan att drabbas av en enskild bias.

Citat märker ett dokument som relevant när en agent citerade det i ett svar. Detta är den signal som ligger närmast nedströmsanvändning: agenten valde dokumentet som bevis för ett påstående. Men citat har till sin konstruktion hög precision och låg återkallelse. När en agent väl har tillräckligt med stöd har den liten anledning att citera varje annan relevant sida.

Webbrangering består av upp till 50 dokument per fråga (43,1 i genomsnitt), identifierade av en intern hämtningsstack med BM25 och tät hämtning i det första steget, följt av omrangordning med korsencoder. Detta fångar upp dokument som är användbara men inte citerade.

Kombinerat + LLM-bedömt tar unionen av Citat och Webbrangering, och lägger sedan till LLM-bedömningar för tidigare obedömda kandidater, i syfte att minska antalet falska negativa. Vi samlar resultat från BM25, ColBERTv2 och sju täta hämtare som släpptes före den 1 januari 2025, sammanfogar deras rangordningar med reciprocal rank fusion (RRF), väljer ut de 500 bästa obedömda dokumenten och tillämpar en strikt binär relevansbedömare med DeepSeek-V4-Flash.

De tre uppsättningarna låter oss undersöka om modellernas prestanda beror på hur relevans definieras. De minskar också beroendet av en enda märkningsstack, som annars skulle kunna gynna sökare som liknar det system som användes för att generera etiketterna.

Förstora

Delsampling: effektiv utvärdering i stor skala

Utvärdering av hela korpusen är dyrt och långsamt. En enda utvärdering på Q2D-Web med pplx-embed-v1-4b kräver 4 608 H200 GPU-timmar, medan även en liten modell som EmbeddingGemma-300M kräver nästan 200 H200 GPU-timmar.

För att hålla utvärderingen praktisk bygger vi en subsamplead version av korpusen.

Vi körde en omfattande ablation över samplingsstrategier för att bygga en mindre subkorpus som speglar beteendet hos hela korpusen. Varje strategi behåller alla positivt bedömda dokument och varierar endast i hur obedömda distraktorer väljs ut. De distraktorer som spelar roll är de som en hämtare sannolikt kommer att ranka högre än ett relevant dokument, eftersom de ändrar en modells poäng och dess position i rankningen.

Vi jämförde enhetligt slumpmässigt urval, poolning till ett fast djup över konstruktionshämtarna och per-fråga-RRF över olika djup. RRF-baserat urval använder endast 31,7 % av dokumenten i hela korpuset. Det bevarar modellrankningen för hela korpuset under de kombinerade bedömningarna, samtidigt som det ligger nära absoluta poäng, vilket ökar genomsnittlig Recall@1000 med 5,2 punkter jämfört med 12,8 punkter för slumpmässigt urval av samma storlek.

Förstora

Detta reducerar utvärderingskostnaderna till ungefär en tredjedel av kostnaden för hela korpusen. Med den RRF-baserade subkorpusen kräver pplx-embed-v1-4b ungefär 1 500 H200 GPU-timmar och EmbeddingGemma-300M kräver under 70.

Varje inlämning utvärderas först på den samplade subkorpusversionen. Inlämningar delas upp i två grupper efter det totala antalet parametrar: upp till 1B och över 1B. En modell som når topp tio i sin grupp på den samplade subkorpusen utvärderas sedan på hela korpusen. Modeller som rankas utanför topp 10 i sin grupp kommer endast att publiceras på topplistan för den samplade subkorpusen.

Utvärderingsresultat

Över de utvärderade modellerna ger Q2D-Web en konsekvent bild av hämtningsprestanda i webbskala över dess 3 olika relevansuppsättningar. Topplistan gör dessa kompletterande vyer tillgängliga sida vid sida, så att användare kan granska hur modellerna presterar under snävare citatbaserade etiketter och bredare relevansbedömningar.

Vi fokuserar på Recall@1000 som vårt primära mått eftersom en hämtare i första steget bara behöver placera relevanta dokument i kandidatpoolen, medan efterföljande omrangordning avgör deras slutgiltiga ordning.

Förstora

Tabell 1. Recall@1000 och nDCG@10 för hela korpuset för tretton hämtare över relevansuppsättningarna Citation, Web Ranking och Combined. Högre poäng är bättre.

pplx-embed-v1-4b har högst Recall@1000 på alla tre bedömningsuppsättningar: Citation (85,03), Web Ranking (65,73) och Combined (70,00). På Combined Recall@100 och nDCG@10 presterar Nemotron-3-Embed-8B (30,32 och 45,65) bättre än pplx-embed-v1-4b (30,17 och 44,12).

Inom en modellfamilj presterar större modeller högre på Combined Recall@1000. Qwen3-Embedding stiger från 58,68 (0,6B) till 65,32 (8B), Nemotron-3-Embed från 62,44 (1B) till 69,33 (8B) och pplx-embed-v1 från 67,91 (0,6B) till 70,00 (4B).

Perplexity-modeller utvärderas med samma pipeline som alla andra inlämnade modeller. Men eftersom Q2D-Web har härletts från Perplexitys produktionstrafik kan dessa modeller ha fördel av att ligga inom samma distribution. Även om riktmärkets utvärderingsfrågor och korpus uteslöts från modellträningen bör resultaten tolkas med denna potentiella fördel i åtanke.

Så här skickar du in till topplistan

För att begära en utvärdering, skicka in en offentligt tillgänglig Hugging Face-modell via vårt utvärderingsformulär.

Vi följer modellkortet i det inlämnade förrådet för modellspecifika härledningsinställningar, inklusive rekommenderade fråge- och dokumentinstruktioner eller prefix, poolning, normalisering och likhetsfunktion. Alla frågor och dokument trunkeras till 512 token med modellens egen tokeniserare, inklusive instruktioner, prefix och specialtoken, vilket innebär att en längre kontext som stöds inte ger någon fördel. Se till att modellkortet ger fullständiga och otvetydiga instruktioner för att reproducera den avsedda hämtningskonfigurationen.

Godkända modeller måste läsas in via standard-API:er för transformers eller sentence-transformers. Modeller som inte körs med trust_remote_code=False kräver en manuell granskning av den anpassade koden och av avsändaren före utvärdering, vilket tar betydligt längre tid. Privata eller skyddade (gated) arkiv är inte berättigade.

Läs vår tekniska rapport för att lära dig mer om metoden och resultaten.

Citering

@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}