Q2D-Web : Évaluation des récupérateurs de premier étage à grande échelle

Aujourd'hui, nous présentons Q2D-Web (Query2Doc-Web), un benchmark privé et un classement public pour l'évaluation de la récupération dans les systèmes RAG agentiques. Q2D-Web étend notre benchmark Q2D initial à un corpus à grande échelle, un ensemble de requêtes plus vaste et des annotations de jugement plus approfondies.

Q2D-Web est conçu pour évaluer les modèles d'incorporation sur la recherche web à grande échelle. Il se compose de 190 millions de documents web et de 69 721 requêtes reformulées par des agents dans dix langues, échantillonnées sur neuf mois de trafic de recherche de production sans PII.

À cette échelle, le signal de pertinence au niveau de la requête et du document est inévitablement creux. Plutôt que de traiter une source comme la vérité terrain, nous fournissons trois ensembles de jugements de pertinence, dérivés des citations d'agents, des classements web de production et de jugements LLM supplémentaires pour des paires non jugées auparavant. Des sources multiples limitent les biais de n'importe quel pipeline d'étiquetage unique, tandis qu'une annotation plus approfondie réduit les faux négatifs.

Notre classement présente les résultats des modèles de récupération publiés publiquement, évalués directement par rapport au benchmark à l'aide d'un pipeline d'indexation, de récupération et de notation cohérent. Une évaluation peut être soumise via notre formulaire de demande.

Le défi d'une évaluation réaliste de la récupération

Pour chaque requête, un système de récupération à l'échelle de la production recherche dans un corpus de milliards de pages web et renvoie des milliers de documents candidats. Ces candidats déterminent quelles sources les systèmes en aval peuvent voir, façonnant directement les données probantes mises à la disposition de l'agent.

Une évaluation réaliste de ce premier étage nécessite donc des benchmarks qui s'échelonnent selon trois dimensions : le nombre de documents dans le corpus, le nombre de requêtes jugées et le nombre de jugements de pertinence par requête.

Des corpus plus grands peuvent rendre un benchmark plus discriminant en introduisant des négatifs durs — des documents qui sont sémantiquement similaires à une requête mais ne fournissent pas l'information demandée. Les récupérateurs doivent distinguer ces correspondances plausibles des documents pertinents. Réduire le corpus tout en conservant les documents pertinents connus peut éliminer ces distracteurs et gonfler le rappel, comme le montrent nos expériences de sous-échantillonnage ci-dessous.

Davantage de requêtes jugées rendent les estimations de performance plus fiables. Avec un petit ensemble de requêtes, les résultats du benchmark dépendent fortement des requêtes échantillonnées, ce qui rend plus difficile l'estimation précise des performances de chaque modèle et la distinction en toute confiance entre les modèles.

Des jugements plus approfondis réduisent les faux négatifs lors de l'évaluation. Avec des étiquettes éparses, un récupérateur peut faire surface des documents pertinents qui ne sont pas jugés et qui sont donc comptabilisés à tort comme non pertinents. Cela rend l'évaluation moins fiable. MS MARCO est le principal jeu de données ouvert à grande échelle dans la recherche d'information et a façonné le développement de modèles de récupération neuronaux. Là-bas, 70 % des passages les plus récupérés mais non étiquetés et inspectés manuellement étaient en fait pertinents.

Les benchmarks existants ont tendance à évoluer dans une ou deux de ces dimensions seulement : les collections à l'échelle du web ont souvent relativement peu de requêtes jugées, tandis que les benchmarks comportant de nombreuses requêtes utilisent généralement des corpus beaucoup plus petits et des étiquettes éparses. De plus, la plupart des benchmarks utilisent des requêtes rédigées par des humains, alors que les systèmes RAG agentiques recherchent avec des requêtes reformulées par des agents qui peuvent différer par leur formulation, leur structure et leur spécificité.

Q2D-Web s'adapte à toutes les dimensions. Il contient 190 millions de documents web, 69 721 requêtes reformulées par des agents et une moyenne de 99,6 jugements de pertinence positifs par requête dans son ensemble de jugements combiné. La comparaison publique la plus proche est MS MARCO Web Search, la version à l'échelle du web de MS MARCO. Elle comporte 100,9 millions de documents, 9 374 requêtes de test et une étiquette positive dérivée des clics par requête.

Comment nous avons créé Q2D-Web

Agrandir

Requêtes

Q2D-Web s'appuie sur 23 000 recherches de production sans PII dans dix langues et des dizaines de domaines collectées sur une période de neuf mois.

Une recherche correspond à l'ensemble des appels aux outils de recherche web effectués par un agent en réponse au message d'un utilisateur. Chaque appel d'outil contient une ou plusieurs requêtes. Chaque requête est reformulée à partir de la demande de l'utilisateur, de la conversation précédente et, le cas échéant, des documents récupérés plus tôt dans la même recherche. Chaque recherche de production contient une requête principale, qui reformule le besoin d'information de l'utilisateur, et zéro ou plusieurs requêtes de support, qui explorent des formulations alternatives, des informations contextuelles ou des entités associées. Bien qu'elles répondent à la même demande générale, elles peuvent nécessiter des documents différents. Q2D-Web évalue donc chaque requête de manière indépendante avec ses propres jugements de pertinence.

Agrandir

Agrandir

Nous appliquons un filtrage strict de la confidentialité pour toutes les requêtes incluses. Les requêtes doivent provenir d'utilisateurs ayant autorisé l'utilisation de leurs données, et la détection des PII à l'aide de perplexity-ai/pplx-pii-masking exclut les requêtes contenant des informations personnelles. Nous supprimons également les doublons exacts, les requêtes très courtes et les requêtes contenant des opérateurs de recherche tels que site: ou des expressions entre guillemets.

Le benchmark couvre dix langues. L'anglais représente 65,8 % des requêtes, suivi par l'espagnol, le russe, l'allemand, le français, le portugais, l'italien, le coréen, le japonais et le chinois. La distribution des requêtes couvre également un large éventail de domaines, notamment les biens de consommation, la programmation, le droit, la santé, les affaires, la science, l'éducation, la technologie, la finance, les voyages, le divertissement, la politique, l'information locale et l'actualité.

Corpus

Pour chaque requête, nous récupérons les 5 000 premiers documents avec un système de récupération de production et prenons l'union de ces ensembles de résultats. Nous dédupliquons ensuite le corpus en utilisant MinHash-LSH, en regroupant les documents dont les ensembles de 5-grammes de jetons ont une similarité de Jaccard d'au moins 0,975.

La collection n'est délibérément pas un échantillon aléatoire du web. Chaque document a été considéré comme un résultat plausible pour au moins une requête de benchmark. Cela crée un ensemble dense de distracteurs difficiles : des pages qui correspondent au sujet ou à la langue d'une requête, mais qui peuvent omettre une date, une entité, une version, une quantité ou un aspect requis.

Agrandir

Jugements

Les étiquettes de pertinence sont par nature incomplètes à grande échelle. L'étiquetage de chaque paire requête-document possible est infaisable, et chaque source de jugements comporte un biais différent.

Q2D-Web utilise trois ensembles de pertinence au lieu de traiter une source comme la vérité terrain, afin d'augmenter la profondeur d'annotation sans souffrir d'un biais unique.

La Citation étiquette un document comme pertinent lorsqu'un agent l'a cité dans une réponse. C'est le signal le plus proche de l'utilisation en aval : l'agent a sélectionné le document comme preuve d'une affirmation. Mais la citation présente par construction une précision élevée et un rappel faible. Une fois qu'un agent dispose d'un soutien suffisant, il a peu de raisons de citer chaque autre page pertinente.

Le Classement web comprend jusqu'à 50 documents par requête (43,1 en moyenne), identifiés par une pile de récupération interne utilisant BM25 et une récupération dense au premier étage, suivis d'un réordonnancement par encodeur croisé. Cela permet de capturer des documents qui sont utiles mais non cités.

L'ensemble Combiné + Jugé par LLM prend l'union de Citation et de Classement web, puis ajoute des jugements LLM pour les candidats non jugés précédemment, dans le but de réduire le nombre de faux négatifs. Nous regroupons les résultats de BM25, ColBERTv2 et sept récupérateurs denses publiés avant le 1er janvier 2025, fusionnons leurs classements à l'aide de la fusion de rangs réciproques (RRF), sélectionnons les 500 premiers documents non jugés et appliquons un juge de pertinence binaire strict utilisant DeepSeek-V4-Flash.

Ces trois ensembles permettent de déterminer si les performances du modèle dépendent de la manière dont la pertinence est définie. Ils réduisent également la dépendance à l'égard d'une seule pile d'étiquetage, qui pourrait autrement favoriser des récupérateurs similaires au système utilisé pour générer les étiquettes.

Agrandir

Sous-échantillonnage : évaluation efficace à grande échelle

L'évaluation sur corpus complet est coûteuse et lente. Une seule évaluation sur Q2D-Web avec pplx-embed-v1-4b nécessite 4 608 heures-GPU H200, tandis qu'un petit modèle comme EmbeddingGemma-300M nécessite près de 200 heures-GPU H200.

Pour que l'évaluation reste pratique, nous construisons une version sous-échantillonnée du corpus.

Nous avons réalisé une ablation approfondie des stratégies d'échantillonnage pour construire un sous-corpus plus petit qui reflète le comportement du corpus complet. Chaque stratégie conserve tous les documents jugés positivement et ne varie que dans la manière dont les distracteurs non jugés sont sélectionnés. Les distracteurs qui comptent sont ceux qu'un récupérateur est susceptible de classer au-dessus d'un document pertinent, car ils modifient le score d'un modèle et sa position dans le classement.

Nous avons comparé l'échantillonnage aléatoire uniforme, la constitution de bassins (pooling) à une profondeur fixe pour tous les récupérateurs, et le RRF par requête à différentes profondeurs. L'échantillonnage basé sur le RRF n'utilise que 31,7 % des documents du corpus complet. Il préserve le classement des modèles sur l'ensemble du corpus selon les jugements combinés, tout en restant proche des scores absolus, et augmente le Recall@1000 moyen de 5,2 points contre 12,8 points pour l'échantillonnage aléatoire de même taille.

Agrandir

Cela réduit les coûts d'évaluation à environ un tiers du coût d'un corpus complet. En utilisant le sous-corpus basé sur RRF, pplx-embed-v1-4b nécessite environ 1 500 heures-GPU H200 et EmbeddingGemma-300M en nécessite moins de 70.

Chaque soumission est évaluée d'abord sur la version du sous-corpus échantillonné. Les soumissions sont divisées en deux groupes par nombre total de paramètres : jusqu'à 1B et au-dessus de 1B. Un modèle qui atteint le top dix de son groupe sur le sous-corpus échantillonné est ensuite évalué sur le corpus complet. Les modèles classés en dehors du top 10 de leur groupe ne seront publiés que sur le classement du sous-corpus échantillonné.

Résultats de l'évaluation

À travers les modèles évalués, Q2D-Web offre une vue cohérente des performances de récupération à l'échelle du web sur ses 3 différents ensembles de pertinence. Le classement permet d'examiner ces vues complémentaires côte à côte, ce qui permet aux utilisateurs d'observer les performances des modèles sous des étiquettes basées sur les citations, plus strictes, et des jugements de pertinence plus larges.

Nous privilégions Recall@1000 comme mesure principale, car un récupérateur de premier étage doit simplement placer les documents pertinents dans le pool de candidats, tandis que le réordonnancement ultérieur détermine leur ordre final.

Agrandir

Tableau 1. Recall@1000 et nDCG@10 sur l'ensemble du corpus pour treize récupérateurs sur les ensembles de pertinence Citation, Web Ranking et Combiné. Des scores plus élevés indiquent de meilleures performances.

pplx-embed-v1-4b obtient le score Recall@1000 le plus élevé sur les trois ensembles de jugements : Citation (85,03), Web Ranking (65,73) et Combiné (70,00). Sur Combined Recall@100 et nDCG@10, Nemotron-3-Embed-8B (30,32 et 45,65) dépasse pplx-embed-v1-4b (30,17 et 44,12).

Au sein d'une même famille, les modèles plus grands obtiennent de meilleurs scores sur Combined Recall@1000. Qwen3-Embedding passe de 58,68 (0,6B) à 65,32 (8B), Nemotron-3-Embed de 62,44 (1B) à 69,33 (8B), et pplx-embed-v1 de 67,91 (0,6B) à 70,00 (4B).

Les modèles Perplexity sont évalués en utilisant le même pipeline que tous les autres modèles soumis. Cependant, étant donné que Q2D-Web est dérivé du trafic de production de Perplexity, ces modèles peuvent bénéficier d'un avantage lié à la distribution. Même si les requêtes d'évaluation et le corpus du benchmark ont été exclus de l'entraînement du modèle, les résultats doivent être interprétés en gardant à l'esprit cet avantage potentiel.

Comment soumettre au classement

Pour demander une évaluation, soumettez un modèle Hugging Face disponible publiquement via notre formulaire de demande d'évaluation.

Nous suivons la fiche du modèle dans le dépôt soumis pour les paramètres d'inférence spécifiques au modèle, y compris les instructions ou préfixes recommandés pour les requêtes et les documents, le regroupement, la normalisation et la fonction de similarité. Toutes les requêtes et tous les documents sont tronqués à 512 jetons avec le propre tokeniseur du modèle, y compris les instructions, les préfixes et les jetons spéciaux, de sorte qu'un contexte pris en charge plus long ne confère aucun avantage. Veuillez vous assurer que la fiche du modèle fournit des instructions complètes et non ambiguës pour reproduire la configuration de récupération prévue.

Les modèles éligibles doivent se charger via les API standard transformers ou sentence-transformers. Les modèles qui ne s'exécutent pas avec trust_remote_code=False nécessitent un examen manuel du code personnalisé et de la part de l'auteur de la soumission avant l'évaluation, ce qui prend considérablement plus de temps. Les dépôts privés ou protégés ne sont pas éligibles.

Lisez notre rapport technique pour en savoir plus sur la méthodologie et les conclusions.

Citation

@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}