Q2D-Web: Avaliación de recuperadores de primeira fase a escala

Hoxe presentamos Q2D-Web (Query2Doc-Web), un punto de referencia privado e unha clasificación pública para avaliar a recuperación en sistemas RAG axenciais. Q2D-Web amplía o noso punto de referencia Q2D orixinal a un corpus a grande escala, un conxunto de consultas máis grande e anotacións de xuízos máis profundas.

Q2D-Web está construído para avaliar modelos de incrustación (embedding) na busca web a grande escala. Consiste en 190 millóns de documentos web e 69.721 consultas reformuladas por axentes en dez idiomas, mostreadas durante nove meses de tráfico de busca de produción sen PII.

A esta escala, o sinal de relevancia a nivel de consulta-documento é inevitablemente escaso. En lugar de tratar unha fonte como a verdade absoluta, ofrecemos tres conxuntos de xuízos de relevancia, derivados de citas de axentes, clasificacións web de produción e xuízos adicionais de LLM para pares non xulgados previamente. Múltiples fontes limitan o sesgo de calquera canalización de etiquetaxe única, mentres que unha anotación máis profunda reduce os falsos negativos.

A nosa clasificación informa os resultados dos modelos de recuperación publicados publicamente, avaliados directamente contra o punto de referencia utilizando unha canalización consistente de indexación, recuperación e puntuación. Pódese enviar unha avaliación a través do noso formulario de solicitude.

O reto da avaliación realista de recuperación

Para cada consulta, un sistema de recuperación a escala de produción busca nun corpus de billóns de páxinas web e devolve miles de documentos candidatos. Estes candidatos determinan que fontes poden ver os sistemas posteriores, moldeando directamente a evidencia dispoñible para o axente.

Polo tanto, a avaliación realista desta primeira fase require puntos de referencia que escalen en tres dimensións: o número de documentos no corpus, o número de consultas xulgadas e o número de xuízos de relevancia por consulta.

Os corpus máis grandes poden facer que un punto de referencia sexa máis discriminativo ao introducir negativos duros: documentos que son semanticamente similares a unha consulta pero que non proporcionan a información solicitada. Os recuperadores deben distinguir estas coincidencias plausibles dos documentos relevantes. Reducir o corpus mentres se retinxen os documentos relevantes coñecidos pode eliminar estes distractores e inflar a recuperación (recall), como mostran os nosos experimentos de submostraxe a continuación.

Un maior número de consultas xulgadas fai que as estimacións de rendemento sexan máis fiables. Cun conxunto de consultas pequeno, os resultados do punto de referencia dependen en gran medida de que consultas se mostraron, o que dificulta estimar con precisión o rendemento de cada modelo e distinguir con confianza entre modelos.

Os xuízos máis profundos reducen os falsos negativos na avaliación. Con etiquetas escasas, un recuperador pode mostrar documentos relevantes que non están xulgados e, polo tanto, son contados incorrectamente como non relevantes. Isto fai que a avaliación sexa menos fiable. MS MARCO é o principal conxunto de datos aberto a grande escala na recuperación de información e moldeou o desenvolvemento de modelos de recuperación neural. Alí, o 70% das pasaxes superiores recuperadas pero sen etiquetar que se inspeccionaron manualmente eran de feito relevantes.

Os puntos de referencia existentes tenden a escalar nunha ou dúas destas dimensións: as coleccións a escala web adoitan ter relativamente poucas consultas xulgadas, mentres que os puntos de referencia con moitas consultas xeralmente usan corpus moito máis pequenos e etiquetas escasas. Ademais, a maioría dos puntos de referencia usan consultas escritas por humanos, mentres que os sistemas RAG axenciais buscan con consultas reformuladas por axentes que poden diferir na redacción, estrutura e especificidade.

Q2D-Web escala en todas as tres dimensións. Contén 190 millóns de documentos web, 69.721 consultas reformuladas por axentes e unha media de 99,6 xuízos de relevancia positivos por consulta no seu conxunto de xuízos combinado. A comparación pública máis achegada é MS MARCO Web Search, a versión a escala web de MS MARCO. Ten 100,9 millóns de documentos, 9.374 consultas de proba e unha etiqueta positiva derivada dun clic por consulta.

Como creamos Q2D-Web

Ampliar

Consultas

Q2D-Web está construído sobre 23.000 buscas de produción sen PII en dez idiomas e ducias de dominios recollidas durante un período de nove meses.

Unha busca consiste en todas as chamadas de ferramentas de busca web que un axente realiza en resposta á mensaxe dun usuario. Cada chamada de ferramenta contén unha ou máis consultas. Cada consulta restrutúrase a partir da solicitude do usuario, da conversa anterior e, se procede, dos documentos recuperados anteriormente na mesma busca. Cada busca de produción contén unha consulta primaria, que reformula a necesidade de información do usuario, e cero ou máis consultas de apoio, que exploran formulacións alternativas, información de contexto ou entidades relacionadas. Aínda que abordan a mesma solicitude xeral, poden requirir documentos diferentes, polo que Q2D-Web avalía cada consulta de forma independente cos seus propios xuízos de relevancia.

Ampliar

Ampliar

Aplicamos un filtrado de privacidade estrito para todas as consultas incluídas. As consultas deben vir de usuarios que permitiron que os seus datos sexan utilizados, e a detección de PII mediante perplexity-ai/pplx-pii-masking exclúe as consultas que conteñen información persoal. Tamén eliminamos duplicados exactos, consultas moi curtas e consultas que conteñen operadores de busca como site: ou frases entre comiñas.

O punto de referencia abrangue dez idiomas. O inglés representa o 65,8% das consultas, seguido do castelán, ruso, alemán, francés, portugués, italiano, coreano, xaponés e chinés. A distribución de consultas tamén abrangue unha ampla mestura de dominios, incluíndo bens de consumo, programación, dereito, saúde, negocios, ciencia, educación, tecnoloxía, finanzas, viaxes, entretemento, política, información local e novas.

Corpus

Para cada consulta, recuperamos os 5.000 documentos principais cun sistema de recuperación de produción e tomamos a unión destes conxuntos de resultados. Despois deduplicamos o corpus usando MinHash–LSH, agrupando documentos cuxos conxuntos de 5-gramas de tokens teñen unha similaridade de Jaccard de polo menos 0,975.

A colección non é intencionadamente unha mostra web aleatoria. Cada vez se considerou que un documento era un resultado plausible para polo menos unha consulta de referencia. Isto crea un conxunto denso de distractores difíciles: páxinas que coinciden co tema ou o idioma dun consulta pero que poden omitir unha data, entidade, versión, cantidade ou aspecto requiridos.

Ampliar

Xuízos

As etiquetas de relevancia son incompletas por natureza a grande escala. Etiquetar cada par posible de consulta-documento é inviable, e cada fonte de xuízos carrexa un sesgo diferente.

Q2D-Web utiliza tres conxuntos de relevancia en lugar de tratar unha fonte como a verdade absoluta, para aumentar a profundidade de anotación sen sufrir dun único sesgo.

A cita etiqueta un documento como relevante cando un axente o citou nunha resposta. Este é o sinal máis achegado ao uso posterior: o axente seleccionou o documento como evidencia para unha afirmación. Pero a cita ten alta precisión e baixa recuperación por construción. Unha vez que un axente ten suficiente apoio, ten poucos motivos para citar cada unha das outras páxinas relevantes.

A clasificación web consiste en ata 50 documentos por consulta (43,1 de media), identificados por unha pila de recuperación interna mediante BM25 e recuperación densa na primeira fase, seguida dunha re-clasificación con cross-encoder. Isto recolle documentos que son útiles pero non citados.

Combinado + Xulgado por LLM toma a unión de Citas e Clasificación Web, despois engade xuízos de LLM para candidatos non xulgados previamente, co obxectivo de reducir o número de falsos negativos. Agrupamos os resultados de BM25, ColBERTv2 e sete recuperadores densos publicados antes do 1 de xaneiro de 2025, fusionamos as súas clasificacións mediante reciprocal rank fusion (RRF), seleccionamos os 500 documentos non xulgados principais e aplicamos un xuíz de relevancia binaria estrito utilizando DeepSeek-V4-Flash.

Os tres conxuntos permítennos preguntar se o rendemento dos modelos depende de como se define a relevancia. Tamén reducen a dependencia dunha única pila de etiquetaxe, que doutro modo podería favorecer os recuperadores similares ao sistema usado para xerar as etiquetas.

Ampliar

Submostraxe: avaliación eficiente a grande escala

A avaliación do corpus completo é cara e lenta. Unha única avaliación en Q2D-Web con pplx-embed-v1-4b require 4.608 horas de GPU H200, mentres que mesmo un modelo pequeno como EmbeddingGemma-300M require case 200 horas de GPU H200.

Para manter a avaliación práctica, construímos unha versión submostreada do corpus.

Executamos unha ablación extensiva en todas as estratexias de mostraxe para construír un subcorpus máis pequeno que reflicta o comportamento do corpus completo. Cada estratexia retén todos os documentos xulgados positivamente e varía só en como se seleccionan os distractores non xulgados. Os distractores que importan son aqueles que é probable que un recuperador clasifique por enriba dun documento relevante, porque eses cambian a puntuación dun modelo e a súa posición na clasificación.

Comparamos a mostra aleatoria uniforme, a agregación a unha profundidade fixa entre os recuperadores de construción e o RRF por consulta en diferentes profundidades. A mostra empregando RRF usa só o 31,7% dos documentos do corpus completo. Isto mantén a clasificación do modelo do corpus completo baixo os xuízos combinados, á vez que se achega ás puntuacións absolutas e aumenta a media de Recall@1000 en 5,2 puntos fronte aos 12,8 puntos da mostra aleatoria co mesmo tamaño.

Ampliar

Isto reduce os custos de avaliación a aproximadamente un terzo do custo do corpus completo. Utilizando o subcorpus baseado en RRF, pplx-embed-v1-4b require aproximadamente 1.500 horas de GPU H200 e EmbeddingGemma-300M require menos de 70.

Cada envío evalúase primeiro na versión de subcorpus mostreada. Os envíos divídense en dous grupos por recuento total de parámetros: ata 1B e por enriba de 1B. Un modelo que chega aos dez primeiros do seu grupo no subcorpus mostreado é avaliado despois no corpus completo. Os modelos clasificados fóra dos 10 primeiros do seu grupo publicaranse só na clasificación do subcorpus mostreado.

Resultados da avaliación

En todos os modelos avaliados, Q2D-Web ofrece unha visión consistente do rendemento de recuperación a escala web nos seus 3 diferentes conxuntos de relevancia. A clasificación fai que estas visións complementarias estean dispoñibles lado a lado, permitindo aos usuarios inspeccionar como funcionan os modelos baixo etiquetas baseadas en citas máis estreitas e xuízos de relevancia máis amplos.

Centrémonos en Recall@1000 como a nosa métrica principal porque un recuperador de primeira fase só necesita colocar documentos relevantes no grupo de candidatos, mentres que a posterior re-clasificación determina a súa orde final.

Ampliar

Táboa 1. Recall@1000 e nDCG@10 do corpus completo para trece recuperadores en conxuntos de relevancia de Cita, Clasificación web e Combinados. As puntuacións máis altas son mellores.

pplx-embed-v1-4b ten o Recall@1000 máis alto nos tres conxuntos de xuízos: Cita (85.03), Clasificación web (65.73) e Combinado (70.00). En Recall@100 e nDCG@10 combinados, Nemotron-3-Embed-8B (30.32 e 45.65) sitúase por riba de pplx-embed-v1-4b (30.17 e 44.12).

Dentro dunha familia, os modelos máis grandes obteñen puntuacións máis altas en Combined Recall@1000. Qwen3-Embedding pasa de 58.68 (0.6B) a 65.32 (8B), Nemotron-3-Embed de 62.44 (1B) a 69.33 (8B), e pplx-embed-v1 de 67.91 (0.6B) a 70.00 (4B).

Os modelos Perplexity evalúanse utilizando a mesma canalización que todos os demais modelos enviados. Con todo, dado que Q2D-Web deriva do tráfico de produción de Perplexity, estes modelos poden beneficiarse dunha vantaxe na distribución. Aínda que as consultas de avaliación e o corpus do punto de referencia foron excluídos do adestramento do modelo, os resultados deben interpretarse tendo en conta esta potencial vantaxe.

Como enviar á clasificación

Para solicitar unha avaliación, envíe un modelo de Hugging Face dispoñible publicamente a través do noso formulario de solicitude de avaliación.

Seguimos a tarxeta do modelo no repositorio enviado para a configuración de inferencia específica do modelo, incluíndo as instrucións ou prefixos recomendados de consulta e documento, axrupación, normalización e función de similaridade. Todas as consultas e documentos trúncanse a 512 tokens co propio tokenizador do modelo, incluíndo instrucións, prefixos e tokens especiais, polo que un contexto compatible máis longo non confire ningunha vantaxe. Asegúrate de que a tarxeta do modelo proporcione instrucións completas e sen ambigüidades para reproducir a configuración de recuperación prevista.

Os modelos elixibles deben cargarse a través de API estándar de transformers ou sentence-transformers. Os modelos que non se executan con trust_remote_code=False requiren unha revisión manual do código personalizado e do remitente antes da avaliación, o que leva bastante máis tempo. Os repositorios privados ou restrinxidos non son elixibles.

Lea o noso informe técnico para obter máis información sobre a metodoloxía e os descubrimentos.

Cita

@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}