Q2D-Web: Valutazione dei retriever di primo stadio su scala

Oggi introduciamo Q2D-Web (Query2Doc-Web), un benchmark privato e una classifica pubblica per la valutazione del recupero nei sistemi RAG agentici. Q2D-Web estende il nostro benchmark Q2D originale a un corpus su larga scala, un set di query più ampio e annotazioni di giudizio più approfondite.

Q2D-Web è progettato per valutare i modelli di embedding sulla ricerca web su larga scala. Consiste in 190 milioni di documenti web e 69.721 query riformulate da agenti in dieci lingue, campionate su nove mesi di traffico di ricerca di produzione privo di PII.

A questa scala, il segnale di pertinenza a livello di query-documento è inevitabilmente scarso. Piuttosto che trattare una sola fonte come verità fondamentale, forniamo tre set di giudizi di pertinenza, derivati da citazioni di agenti, classifiche web di produzione e ulteriori giudizi di LLM per coppie precedentemente non giudicate. Fonti multiple limitano il bias di qualsiasi singola pipeline di etichettatura, mentre un'annotazione più approfondita riduce i falsi negativi.

La nostra classifica riporta i risultati per i modelli di recupero rilasciati pubblicamente, valutati direttamente rispetto al benchmark utilizzando una pipeline di indicizzazione, recupero e punteggio coerente. Una valutazione può essere inviata tramite il nostro modulo di richiesta.

La sfida di una valutazione di recupero realistica

Per ciascuna query, un sistema di recupero su scala di produzione cerca in un corpus di miliardi di pagine web e restituisce migliaia di documenti candidati. Questi candidati determinano quali fonti i sistemi a valle possono visualizzare, plasmando direttamente le prove disponibili per l'agente.

Una valutazione realistica di questo primo stadio richiede quindi benchmark che scalino lungo tre dimensioni: il numero di documenti nel corpus, il numero di query giudicate e il numero di giudizi di pertinenza per query.

Corpus più grandi possono rendere un benchmark più discriminante introducendo hard negative: documenti semanticamente simili a una query ma che non forniscono le informazioni richieste. I retriever devono distinguere queste corrispondenze plausibili dai documenti pertinenti. Ridurre il corpus pur mantenendo i documenti pertinenti noti può rimuovere questi distrattori e gonfiare la recall, come mostrano i nostri esperimenti di sottocampionamento di seguito.

Query giudicate più numerose rendono le stime delle prestazioni più affidabili. Con un set di query ridotto, i risultati del benchmark dipendono fortemente da quali query sono state campionate, rendendo più difficile stimare con precisione le prestazioni di ciascun modello e distinguere con sicurezza tra i modelli.

Giudizi più approfonditi riducono i falsi negativi nella valutazione. Con etichette sparse, un retriever può far emergere documenti pertinenti che non sono giudicati e che vengono quindi conteggiati erroneamente come non pertinenti. Ciò rende la valutazione meno affidabile. MS MARCO è il principale set di dati aperto su larga scala nel recupero delle informazioni e ha plasmato lo sviluppo dei modelli di recupero neurale. In quel contesto, il 70% dei passaggi ispezionati manualmente ma non etichettati recuperati tra i primi era in realtà pertinente.

I benchmark esistenti tendono a scalare in una o due di queste dimensioni: le raccolte su scala web hanno spesso relativamente poche query giudicate, mentre i benchmark con molte query utilizzano in genere corpus molto più piccoli ed etichette sparse. Inoltre, la maggior parte dei benchmark utilizza query scritte da umani, mentre i sistemi RAG agentici effettuano ricerche con query riformulate da agenti che possono differire per formulazione, struttura e specificità.

Q2D-Web scala su tutte e tre le dimensioni. Contiene 190 milioni di documenti web, 69.721 query riformulate da agenti e una media di 99,6 giudizi di pertinenza positivi per query nel suo set di giudizi combinato. Il confronto pubblico più simile è MS MARCO Web Search, la versione su scala web di MS MARCO. Ha 100,9 milioni di documenti, 9.374 query di test e un'etichetta positiva derivata da clic per query.

Come abbiamo creato Q2D-Web

Espandi

Query

Q2D-Web si basa su 23.000 ricerche di produzione prive di PII in dieci lingue e decine di domini raccolte in un periodo di nove mesi.

Una ricerca consiste in tutte le chiamate agli strumenti di ricerca web effettuate da un agente in risposta a un messaggio dell'utente. Ciascuna chiamata agli strumento contiene una o più query. Ogni query viene riformulata a partire dalla richiesta dell'utente, dalla conversazione precedente e, ove applicabile, dai documenti recuperati in precedenza nella stessa ricerca. Ciascuna ricerca di produzione contiene una query principale, che ribadisce l'esigenza informativa dell'utente, e zero o più query di supporto, che esplorano formulazioni alternative, informazioni di background o entità correlate. Sebbene affrontino la stessa richiesta più ampia, possono richiedere documenti diversi; pertanto, Q2D-Web valuta ciascuna query in modo indipendente con i propri giudizi di pertinenza.

Espandi

Espandi

Applichiamo un rigoroso filtraggio della privacy per tutte le query incluse. Le query devono provenire da utenti che hanno acconsentito all'utilizzo dei propri dati e il rilevamento PII tramite perplexity-ai/pplx-pii-masking esclude le query contenenti informazioni personali. Rimuoviamo anche i duplicati esatti, le query molto brevi e le query contenenti operatori di ricerca come site: o frasi tra virgolette.

Il benchmark copre dieci lingue. L'inglese rappresenta il 65,8% delle query, seguito da spagnolo, russo, tedesco, francese, portoghese, italiano, coreano, giapponese e cinese. La distribuzione delle query copre anche un'ampia gamma di domini, inclusi beni di consumo, programmazione, diritto, salute, economia, scienza, istruzione, tecnologia, finanza, viaggi, intrattenimento, politica, informazioni locali e notizie.

Corpus

Per ogni query, recuperiamo i primi 5.000 documenti con un sistema di recupero di produzione e prendiamo l'unione di questi set di risultati. Quindi deduplichiamo il corpus utilizzando MinHash–LSH, raggruppando i documenti i cui set di 5-grammi di token hanno una somiglianza di Jaccard di almeno 0,975.

La raccolta è intenzionalmente non un campione web casuale. Ciascun documento è stato considerato un risultato plausibile per almeno una query di benchmark. Ciò crea un insieme denso di distrattori difficili: pagine che corrispondono al argomento o alla lingua di una query ma che potrebbero tralasciare una data, un'entità, una versione, una quantità o un aspetto richiesti.

Espandi

Giudizi

Le etichette di pertinenza sono incomplete per loro natura su larga scala. Etichettare ogni possibile coppia query-documento è infeattibile e ogni fonte di giudizi comporta un bias diverso.

Q2D-Web utilizza tre set di pertinenza anziché trattare una singola fonte come verità fondamentale, per aumentare la profondità dell'annotazione senza soffrire di un singolo bias.

Citazione etichetta un documento come pertinente quando un agente lo ha citato in una risposta. Questo è il segnale più vicino all'uso a valle: l'agente ha selezionato il documento come prova per un'affermazione. Ma la citazione è per costruzione ad alta precisione e bassa recall. Una volta che un agente ha un supporto sufficiente, ha pochi motivi di citare ogni altra pagina pertinente.

La Classifica Web consiste in un massimo di 50 documenti per query (43,1 in media), identificati da uno stack di recupero interno che utilizza BM25 e recupero denso nel primo stadio, seguito da un reranking con cross-encoder. Ciò cattura documenti utili ma non citati.

Combinato + Giudicato da LLM prende l'unione di Citazione e Classifica Web, quindi aggiunge giudizi di LLM per candidati precedentemente non giudicati, con l'obiettivo di ridurre il numero di falsi negativi. Raggruppiamo i risultati da BM25, ColBERTv2 e sette retriever densi rilasciati prima del 1° gennaio 2025, uniamo le loro classifiche utilizzando la reciprocal rank fusion (RRF), selezioniamo i primi 500 documenti non giudicati e applichiamo un rigoroso giudice di pertinenza binaria utilizzando DeepSeek-V4-Flash.

I tre set consentono di verificare se le prestazioni del modello dipendono da come viene definita la pertinenza. Riducono inoltre la dipendenza da un singolo sistema di etichettatura, che altrimenti potrebbe favorire i retriever simili al sistema utilizzato per generare le etichette.

Espandi

Sottocampionamento: valutazione efficiente su larga scala

La valutazione del corpus completo è costosa e lenta. Una singola valutazione su Q2D-Web con pplx-embed-v1-4b richiede 4.608 ore GPU H200, mentre anche un modello piccolo come EmbeddingGemma-300M richiede quasi 200 ore GPU H200.

Per mantenere pratica la valutazione, creiamo una versione sottocampionata del corpus.

Abbiamo eseguito un'ampia ablazione sulle strategie di campionamento per costruire un subcorpus più piccolo che rifletta il comportamento del corpus completo. Ogni strategia conserva tutti i documenti giudicati positivamente e varia solo nel modo in cui vengono selezionati i distrattori non giudicati. I distrattori importanti sono quelli che un retriever probabilmente classificherà sopra un documento pertinente, poiché modificano il punteggio di un modello e la sua posizione nella classifica.

Abbiamo confrontato il campionamento casuale uniforme, il pooling a una profondità fissa tra i retriever di costruzione e l'RRF per query su diverse profondità. Il campionamento basato su RRF utilizza solo il 31.7% dei documenti nel corpus completo. Esso preserva il ranking dei modelli sull'intero corpus secondo i giudizi Combined, rimanendo vicino ai punteggi assoluti e gonfiando il valore medio di Recall@1000 di 5.2 punti rispetto ai 12.8 punti del campionamento casuale a parità di dimensioni.

Espandi

Ciò riduce i costi di valutazione a circa un terzo del costo del corpus completo. Utilizzando il subcorpus basato su RRF, pplx-embed-v1-4b richiede circa 1.500 ore GPU H200 e EmbeddingGemma-300M richiede meno di 70.

Ogni invio viene valutato prima sulla versione del subcorpus campionato. Gli invii sono divisi in due gruppi in base al conteggio totale dei parametri: fino a 1B e superiore a 1B. Un modello che raggiunge i primi dieci del suo gruppo sul subcorpus campionato viene quindi valutato sul corpus completo. I modelli classificati al di fuori della top 10 nel loro gruppo saranno pubblicati solo sulla classifica del subcorpus campionato.

Risultati della valutazione

Tra i modelli valutati, Q2D-Web fornisce una visione coerente delle prestazioni di recupero su scala web attraverso i suoi 3 diversi set di pertinenza. La classifica rende queste viste complementari disponibili fianco a fianco, consentendo agli utenti di esaminare le prestazioni dei modelli con etichette basate sulle citazioni più ristrette e giudizi di pertinenza più ampi.

Ci concentriamo su Recall@1000 come metrica principale perché un retriever di primo stadio deve solo posizionare i documenti pertinenti nel pool di candidati, mentre il reranking successivo determina il loro ordine finale.

Espandi

Tabella 1. Valori di Recall@1000 e nDCG@10 sull'intero corpus per tredici retriever in base ai set di pertinenza Citation, Web Ranking e Combined. Punteggi più alti indicano risultati migliori.

pplx-embed-v1-4b ha il valore di Recall@1000 più alto su tutti e tre i set di giudizio: Citation (85.03), Web Ranking (65.73) e Combined (70.00). Su Combined Recall@100 e nDCG@10, Nemotron-3-Embed-8B (30.32 e 45.65) ottiene un punteggio superiore a pplx-embed-v1-4b (30.17 e 44.12).

All'interno di una stessa famiglia, i modelli più grandi ottengono punteggi più alti su Combined Recall@1000. Qwen3-Embedding passa da 58.68 (0.6B) a 65.32 (8B), Nemotron-3-Embed da 62.44 (1B) a 69.33 (8B) e pplx-embed-v1 da 67.91 (0.6B) a 70.00 (4B).

I modelli Perplexity vengono valutati utilizzando la stessa pipeline di tutti gli altri modelli inviati. Tuttavia, poiché Q2D-Web deriva dal traffico di produzione di Perplexity, questi modelli potrebbero beneficiare di un vantaggio in-distribution. Nonostante le query di valutazione e il corpus del benchmark siano stati esclusi dall'addestramento del modello, i risultati dovrebbero essere interpretati tenendo a mente questo potenziale vantaggio.

Come inviare al Leaderboard

Per richiedere una valutazione, invia un modello Hugging Face pubblicamente disponibile tramite il nostro modulo di richiesta di valutazione.

Seguiamo la model card nel repository inviato per le impostazioni di inferenza specifiche del modello, incluse le istruzioni o i prefissi raccomandati per query e documenti, pooling, normalizzazione e funzione di somiglianza. Tutte le query e i documenti vengono troncati a 512 token con il tokenizer proprietario del modello, comprese istruzioni, prefissi e token speciali, quindi un contesto supportato più lungo non conferisce alcun vantaggio. Assicurati che la model card fornisca istruzioni complete e non ambigue per riprodurre la configurazione di recupero prevista.

I modelli idonei devono caricarsi tramite le API standard di transformers o sentence-transformers. I modelli che non vengono eseguiti con trust_remote_code=False richiedono una revisione manuale del codice personalizzato e del mittente prima della valutazione, il che richiede notevolmente più tempo. I repository privati o con accesso limitato non sono idonei.

Leggi il nostro rapporto tecnico per saperne di più sulla metodologia e sui risultati.

Citazione

@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}