Q2D-Web : Évaluation des récupérateurs de premier étage à grande échelle

Aujourd'hui, nous présentons Q2D-Web (Query2Doc-Web), un benchmark privé et un classement public pour l'évaluation de la recherche dans les systèmes RAG agentiques. Q2D-Web étend notre benchmark Q2D d'origine à un corpus à grande échelle, à un ensemble de requêtes plus vaste et à des annotations de jugements plus approfondies.

Q2D-Web est conçu pour évaluer les modèles d'incorporation (embedding) sur la recherche Web à grande échelle. Il se compose de 190 millions de documents Web et de 69 721 requêtes reformulées par des agents dans dix langues, échantillonnées sur neuf mois de trafic de recherche de production sans PII.

À cette échelle, le signal de pertinence au niveau de la requête et du document est inévitablement clairsemé. Plutôt que de traiter une source comme une vérité absolue, nous fournissons trois ensembles de jugements de pertinence, dérivés des citations d'agents, des classements Web de production et de jugements LLM supplémentaires pour des paires non jugées auparavant. De multiples sources limitent les biais de n'importe quel pipeline d'étiquetage unique, tandis qu'une annotation plus approfondie réduit les faux négatifs.

Notre classement présente les résultats des modèles de recherche publiés publiquement, évalués directement par rapport au benchmark à l'aide d'un pipeline d'indexation, de recherche et de notation cohérent. Une évaluation peut être soumise via notre formulaire de demande.

Le défi de l'évaluation réaliste de la recherche

Pour chaque requête, un système de recherche à l'échelle de la production parcourt un corpus de milliards de pages Web et renvoie des milliers de documents candidats. Ces candidats déterminent quelles sources les systèmes en aval peuvent voir, façonnant directement les données probantes accessibles à l'agent.

L'évaluation réaliste de ce premier étage nécessite donc des benchmarks qui s'étendent sur trois dimensions : le nombre de documents dans le corpus, le nombre de requêtes jugées et le nombre de jugements de pertinence par requête.

Des corpus plus vastes peuvent rendre un benchmark plus discriminant en introduisant des négatifs durs — des documents sémantiquement similaires à une requête mais ne fournissant pas l'information demandée. Les récupérateurs doivent distinguer ces correspondances plausibles des documents pertinents. Réduire le corpus tout en conservant les documents pertinents connus peut éliminer ces distracteurs et gonfler le rappel, comme le montrent nos expériences de sous-échantillonnage ci-dessous.

Un plus grand nombre de requêtes jugées rend les estimations de performance plus fiables. Avec un petit ensemble de requêtes, les résultats du benchmark dépendent fortement des requêtes échantillonnées, ce qui rend plus difficile l'estimation précise des performances de chaque modèle et la distinction en toute confiance entre les modèles.

Des jugements plus approfondis réduisent les faux négatifs lors de l'évaluation. Avec des étiquettes clairsemées, un récupérateur peut faire remonter des documents pertinents qui ne sont pas jugés et qui sont donc comptés à tort comme non pertinents. Cela rend l'évaluation moins fiable. MS MARCO est le principal jeu de données ouvert à grande échelle en recherche d'information et a façonné le développement de modèles de recherche neuronaux. Dans ce jeu de données, 70 % des passages principaux récupérés mais non étiquetés et examinés manuellement étaient en fait pertinents.

Les benchmarks existants ont tendance à évoluer dans une ou deux de ces dimensions seulement : les collections à l'échelle du Web ont souvent relativement peu de requêtes jugées, tandis que les benchmarks comportant de nombreuses requêtes utilisent généralement des corpus beaucoup plus petits et des étiquettes clairsemées. De plus, la plupart des benchmarks utilisent des requêtes rédigées par des humains, alors que les systèmes RAG agentiques effectuent des recherches avec des requêtes reformulées par des agents qui peuvent différer par leur formulation, leur structure et leur spécificité.

Q2D-Web s'adapte à toutes les dimensions. Il contient 190 millions de documents Web, 69 721 requêtes reformulées par des agents et une moyenne de 99,6 jugements de pertinence positifs par requête dans son ensemble de jugements combiné. La comparaison publique la plus proche est MS MARCO Web Search, la version à l'échelle du Web de MS MARCO. Elle comporte 100,9 millions de documents, 9 374 requêtes de test et une étiquette positive dérivée des clics par requête.

Comment nous avons créé Q2D-Web

Agrandir

Requêtes

Q2D-Web s'appuie sur 23 000 recherches de production sans PII dans dix langues et des dizaines de domaines collectées sur une période de neuf mois.

Une recherche correspond à tous les appels d'outils de recherche Web qu'un agent effectue en réponse au message d'un utilisateur. Chaque appel d'outil contient une ou plusieurs requêtes. Chaque requête est reformulée à partir de la demande de l'utilisateur, de la conversation précédente et, le cas échéant, des documents récupérés plus tôt dans la même recherche. Chaque recherche de production contient une requête principale, qui reformule le besoin d'information de l'utilisateur, et zéro ou plusieurs requêtes de support, qui explorent des formulations alternatives, des informations contextuelles ou des entités associées. Bien qu'elles répondent à la même demande générale, elles peuvent nécessiter des documents différents. Q2D-Web évalue donc chaque requête de manière indépendante avec ses propres jugements de pertinence.

Agrandir

Agrandir

Nous appliquons un filtrage strict de la confidentialité pour toutes les requêtes incluses. Les requêtes doivent provenir d'utilisateurs qui ont autorisé l'utilisation de leurs données, et la détection des PII à l'aide de perplexity-ai/pplx-pii-masking exclut les requêtes contenant des renseignements personnels. Nous supprimons également les doublons exacts, les requêtes très courtes et les requêtes contenant des opérateurs de recherche tels que site: ou des expressions entre guillemets.

Le benchmark couvre dix langues. L'anglais représente 65,8 % des requêtes, suivi par l'espagnol, le russe, l'allemand, le français, le portugais, l'italien, le coréen, le japonais et le chinois. La distribution des requêtes couvre également un large éventail de domaines, notamment les biens de consommation, la programmation, le droit, la santé, les affaires, la science, l'éducation, la technologie, la finance, le voyage, le divertissement, la politique, l'information locale et l'actualité.

Corpus

Pour chaque requête, nous récupérons les 5 000 premiers documents à l'aide d'un système de recherche de production et faisons l'union de ces ensembles de résultats. Nous dédupliquons ensuite le corpus en utilisant MinHash–LSH, en regroupant les documents dont les ensembles de 5-grammes de jetons ont une similarité de Jaccard d'au moins 0,975.

La collection n'est intentionnellement pas un échantillon Web aléatoire. Chaque document a été considéré comme un résultat plausible pour au moins une requête de référence. Cela crée un ensemble dense de distracteurs difficiles : des pages qui correspondent au sujet ou à la langue d'une requête mais qui peuvent omettre une date, une entité, une version, une quantité ou un aspect requis.

Agrandir

Jugements

Les étiquettes de pertinence sont incomplètes par nature à grande échelle. L'étiquetage de chaque paire requête-document possible est infaisable, et chaque source de jugements comporte un biais différent.

Q2D-Web utilise trois ensembles de pertinence plutôt que de traiter une seule source comme une vérité absolue, afin d'accroître la profondeur des annotations sans souffrir d'un biais unique.

La Citation qualifie un document de pertinent lorsqu'un agent le cite dans une réponse. C'est le signal le plus proche de l'utilisation en aval : l'agent a sélectionné le document comme preuve pour étayer une affirmation. Mais la citation a une précision élevée et un faible rappel par conception. Une fois qu'un agent dispose d'un soutien suffisant, il a peu de raisons de citer chaque autre page pertinente.

Le Classement Web consiste en un maximum de 50 documents par requête (43,1 en moyenne), identifiés par une pile de recherche interne utilisant BM25 et la recherche dense au premier étage, suivis d'un reclassement par encodeur croisé (cross-encoder). Cela permet de capturer des documents qui sont utiles mais non cités.

Combiné + Jugé par LLM prend l'union de Citation et de Classement Web, puis ajoute des jugements par LLM pour les candidats non jugés auparavant, dans le but de réduire le nombre de faux négatifs. Nous regroupons les résultats de BM25, de ColBERTv2 et de sept récupérateurs denses publiés avant le 1er janvier 2025, fusionnons leurs classements à l'aide de la fusion des classements réciproques (RRF), sélectionnons les 500 principaux documents non jugés et appliquons un jugement de pertinence binaire strict à l'aide de DeepSeek-V4-Flash.

Ces trois ensembles permettent de déterminer si les performances du modèle dépendent de la définition de la pertinence. Ils réduisent également la dépendance à l'égard d'une seule pile d'étiquetage, ce qui pourrait autrement favoriser des récupérateurs similaires au système utilisé pour générer les étiquettes.

Agrandir

Sous-échantillonnage : évaluation efficace à grande échelle

L'évaluation sur le corpus complet est coûteuse et lente. Une seule évaluation sur Q2D-Web avec pplx-embed-v1-4b nécessite 4 608 heures de GPU H200, tandis qu'un modèle même de petite taille comme EmbeddingGemma-300M requiert près de 200 heures de GPU H200.

Pour que l'évaluation reste pratique, nous construisons une version sous-échantillonnée du corpus.

Nous avons réalisé une étude d'ablation approfondie sur les stratégies d'échantillonnage afin de concevoir un sous-corpus plus petit qui reflète le comportement du corpus complet. Chaque stratégie conserve tous les documents jugés positifs et varie uniquement dans la façon dont les distracteurs non jugés sont sélectionnés. Les distracteurs qui comptent sont ceux qu'un récupérateur est susceptible de classer au-dessus d'un document pertinent, car ils modifient le score d'un modèle et sa position dans le classement.

Nous avons comparé l'échantillonnage aléatoire uniforme, le regroupement à une profondeur fixe parmi les récupérateurs de construction, et le RRF (Reciprocal Rank Fusion) par requête à différentes profondeurs. L'échantillonnage basé sur le RRF n'utilise que 31,7 % des documents du corpus complet. Il préserve le classement des modèles du corpus complet selon les jugements combinés, tout en restant proche des scores absolus, ce qui augmente le rappel moyen à 1000 (Mean Recall@1000) de 5,2 points contre 12,8 points pour l'échantillonnage aléatoire de même taille.

Agrandir

Cela réduit les coûts d'évaluation à environ un tiers du coût pour le corpus complet. En utilisant le sous-corpus basé sur le RRF, pplx-embed-v1-4b nécessite environ 1 500 heures de GPU H200 et EmbeddingGemma-300M en requiert moins de 70.

Chaque soumission est évaluée d'abord sur la version du sous-corpus échantillonné. Les soumissions sont divisées en deux groupes selon le nombre total de paramètres : jusqu'à 1B et supérieur à 1B. Un modèle qui atteint le top dix de son groupe sur le sous-corpus échantillonné est ensuite évalué sur le corpus complet. Les modèles classés en dehors du top 10 de leur groupe seront publiés uniquement sur le classement du sous-corpus échantillonné.

Résultats d'évaluation

Parmi les modèles évalués, Q2D-Web offre une vue cohérente des performances de recherche à l'échelle du Web à travers ses 3 différents ensembles de pertinence. Le classement rend ces vues complémentaires accessibles côte à côte, permettant aux utilisateurs d'examiner les performances des modèles sous des étiquettes plus strictes basées sur les citations et des jugements de pertinence plus larges.

Nous nous concentrons sur le taux de rappel Recall@1000 comme mesure principale, car un récupérateur de premier étage doit seulement placer les documents pertinents dans le bassin de candidats, tandis que le reclassement ultérieur détermine leur ordre final.

Agrandir

Tableau 1. Rappel à 1000 (Recall@1000) et nDCG@10 sur le corpus complet pour treize récupérateurs sur les ensembles de pertinence Citation, Web Ranking et Combiné. Les scores les plus élevés sont les meilleurs.

pplx-embed-v1-4b obtient le rappel maximal (Recall@1000) sur les trois ensembles d'évaluation : Citation (85,03), Web Ranking (65,73) et Combiné (70,00). Pour le rappel combiné à 100 (Combined Recall@100) et le nDCG@10, Nemotron-3-Embed-8B (30,32 et 45,65) surpasse pplx-embed-v1-4b (30,17 et 44,12).

Au sein d'une même famille, les modèles plus grands obtiennent un score plus élevé pour le rappel combiné à 1000 (Combined Recall@1000). Qwen3-Embedding passe de 58,68 (0,6B) à 65,32 (8B), Nemotron-3-Embed de 62,44 (1B) à 69,33 (8B), et pplx-embed-v1 de 67,91 (0,6B) à 70,00 (4B).

Les modèles Perplexity sont évalués en utilisant le même pipeline que tous les autres modèles soumis. Cependant, étant donné que Q2D-Web est dérivé du trafic de production de Perplexity, ces modèles peuvent bénéficier d'un avantage de distribution interne. Même si les requêtes d'évaluation et le corpus du benchmark ont été exclus de l'entraînement du modèle, les résultats doivent être interprétés en gardant cet avantage potentiel à l'esprit.

Comment soumettre au classement (leaderboard)

Pour demander une évaluation, soumettez un modèle Hugging Face accessible au public via notre formulaire de demande d'évaluation.

Nous suivons la fiche du modèle (model card) dans le dépôt soumis pour les paramètres d'inférence spécifiques au modèle, y compris les instructions ou préfixes de requête et de document recommandés, la mise en commun (pooling), la normalisation et la fonction de similarité. Toutes les requêtes et tous les documents sont tronqués à 512 jetons (tokens) avec le propre tokeniseur du modèle, incluant les instructions, les préfixes et les jetons spéciaux, de sorte qu'un contexte pris en charge plus long ne confère aucun avantage. Veuillez vous assurer que la fiche du modèle fournit des instructions complètes et non ambiguës pour reproduire la configuration de recherche voulue.

Les modèles admissibles doivent se charger par l'intermédiaire des API standard de transformers ou de sentence-transformers. Les modèles qui ne s'exécutent pas avec trust_remote_code=False nécessitent un examen manuel du code personnalisé et de la part de l'auteur de la soumission avant l'évaluation, ce qui prend considérablement plus de temps. Les dépôts privés ou protégés ne sont pas admissibles.

Lisez notre rapport technique pour en savoir plus sur la méthodologie et les résultats.

Citation

@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}