Q2D-Web: Evaluación de recuperadores de primera etapa a escala

Un punto de referencia y tabla de clasificación con 70 mil consultas de agentes, 190 millones de documentos web y tres conjuntos de juicios de relevancia.

AutoresPerplexity Research

Hoy presentamos Q2D-Web (Query2Doc-Web), un punto de referencia privado y una tabla de clasificación pública para evaluar la recuperación en sistemas RAG agénticos. Q2D-Web amplía nuestro punto de referencia Q2D original a un corpus a gran escala, un conjunto de consultas más amplio y anotaciones de juicio más profundas.

Q2D-Web está diseñado para evaluar modelos de incrustación en búsquedas web a gran escala. Consiste en 190 millones de documentos web y 69.721 consultas reformuladas por agentes en diez idiomas, muestreadas durante nueve meses de tráfico de búsqueda de producción libre de PII.

A esta escala, la señal de relevancia a nivel de consulta-documento es inevitablemente escasa. En lugar de tratar una fuente como verdad fundamental, proporcionamos tres conjuntos de juicios de relevancia, derivados de citas de agentes, clasificaciones web de producción y juicios adicionales de LLM para pares previamente no juzgados. Múltiples fuentes limitan el sesgo de cualquier canal de etiquetado único, mientras que una anotación más profunda reduce los falsos negativos.

Nuestra tabla de clasificación informa los resultados de los modelos de recuperación publicados públicamente, evaluados directamente contra el punto de referencia utilizando una canalización coherente de indexación, recuperación y puntuación. Se puede enviar una evaluación a través de nuestro formulario de solicitud.

El desafío de la evaluación realista de la recuperación

Para cada consulta, un sistema de recuperación a escala de producción busca en un corpus de miles de millones de páginas web y devuelve miles de documentos candidatos. Estos candidatos determinan qué fuentes pueden ver los sistemas posteriores, dando forma directa a la evidencia disponible para el agente.

Por lo tanto, una evaluación realista de esta primera etapa requiere puntos de referencia que escalen a lo largo de tres dimensiones: el número de documentos en el corpus, el número de consultas juzgadas y el número de juicios de relevancia por consulta.

Los corpus más grandes pueden hacer que un punto de referencia sea más discriminativo al introducir negativos duros: documentos que son semánticamente similares a una consulta pero que no proporcionan la información solicitada. Los recuperadores deben distinguir estas coincidencias plausibles de los documentos relevantes. Reducir el corpus manteniendo los documentos relevantes conocidos puede eliminar estos distractores e inflar el recuerdo, como muestran nuestros experimentos de submuestreo a continuación.

Más consultas juzgadas hacen que las estimaciones de rendimiento sean más fiables. Con un conjunto de consultas pequeño, los resultados del punto de referencia dependen en gran medida de qué consultas se muestrearon, lo que dificulta estimar el rendimiento de cada modelo con precisión y distinguir con confianza entre los modelos.

Los juicios más profundos reducen los falsos negativos en la evaluación. Con etiquetas dispersas, un recuperador puede mostrar documentos relevantes que no han sido juzgados y, por lo tanto, se cuentan incorrectamente como no relevantes. Esto hace que la evaluación sea menos fiable. MS MARCO es el principal conjunto de datos abierto a gran escala en recuperación de información y dio forma al desarrollo de modelos de recuperación neuronal. Allí, el 70% de los pasajes recuperados superiores inspeccionados manualmente pero no etiquetados eran de hecho relevantes.

Los puntos de referencia existentes tienden a escalar en solo una o dos de estas dimensiones: las colecciones a escala web a menudo tienen consultas juzgadas relativamente pocas, mientras que los puntos de referencia con muchas consultas generalmente usan corpus mucho más pequeños y etiquetas dispersas. Además, la mayoría de los puntos de referencia utilizan consultas escritas por humanos, mientras que los sistemas RAG agénticos buscan con consultas reformuladas por agentes que pueden diferir en redacción, estructura y especificidad.

Q2D-Web escala en las tres dimensiones. Contiene 190 millones de documentos web, 69.721 consultas reformuladas por agentes y un promedio de 99,6 juicios de relevancia positivos por consulta en su conjunto de juicios combinado. La comparación pública más cercana es MS MARCO Web Search, la versión a escala web de MS MARCO. Tiene 100,9 millones de documentos, 9.374 consultas de prueba y una etiqueta positiva derivada de clics por consulta.

Cómo creamos Q2D-Web

Construcción de Q2D-Web: muestreo de consultas filtradas por privacidad, ensamblaje y deduplicación de corpus, etiquetado de relevancia y muestreo de subcorpus.

Consultas

Q2D-Web se basa en 23,000 búsquedas de producción libres de PII en diez idiomas y docenas de dominios recopiladas durante un período de nueve meses.

Una búsqueda consiste en todas las llamadas a herramientas de búsqueda web que un agente realiza en respuesta al mensaje de un usuario. Cada llamada a una herramienta contiene una o más consultas. Cada consulta se reformula a partir de la solicitud del usuario, la conversación previa y, cuando corresponda, los documentos recuperados anteriormente en la misma búsqueda. Cada búsqueda de producción contiene una consulta principal, que reitera la necesidad de información del usuario, y cero o más consultas de apoyo, que exploran formulaciones alternativas, información de antecedentes o entidades relacionadas. Aunque abordan la misma solicitud más amplia, pueden requerir diferentes documentos, por lo que Q2D-Web evalúa cada consulta de forma independiente con sus propios juicios de relevancia.

Distribución de longitudes e idiomas de las 69.721 consultas de Q2D-Web. La longitud se mide en caracteres; las barras muestran la fracción de consultas en cada categoría.
Distribución de las consultas de Q2D-Web entre dominios temáticos. Las barras muestran la cuota de cada dominio en el conjunto de consultas; «Otros» agrupa quince dominios adicionales.

Aplicamos un filtrado de privacidad estricto para todas las consultas incluidas. Las consultas deben provenir de usuarios que permitieron que se utilizaran sus datos, y la detección de PII utilizando perplexity-ai/pplx-pii-masking excluye las consultas que contienen información personal. También eliminamos duplicados exactos, consultas muy cortas y consultas que contienen operadores de búsqueda como site: o frases entrecomilladas.

El punto de referencia cubre diez idiomas. El inglés representa el 65,8% de las consultas, seguido de español, ruso, alemán, francés, portugués, italiano, coreano, japonés y chino. La distribución de consultas también abarca una amplia combinación de dominios, incluidos bienes de consumo, programación, derecho, salud, negocios, ciencia, educación, tecnología, finanzas, viajes, entretenimiento, política, información local y noticias.

Corpus

Para cada consulta, recuperamos los 5.000 documentos principales con un sistema de recuperación de producción y tomamos la unión de estos conjuntos de resultados. Luego desduplicamos el corpus utilizando MinHash–LSH, agrupando documentos cuyos conjuntos de 5-gramas de tokens tienen una similitud de Jaccard de al menos 0,975.

La colección no es intencionalmente una muestra web aleatoria. Cada documento se consideró un resultado plausible para al menos una consulta de referencia. Esto crea un conjunto denso de distractores difíciles: páginas que coinciden con el tema o el idioma de una consulta pero que pueden carecer de una fecha, entidad, versión, cantidad o aspecto requeridos.

Distribución de la longitud y el idioma de los documentos en el corpus de aproximadamente 190 millones de documentos. La longitud se mide en caracteres; las barras muestran la fracción de documentos en cada categoría.

Juicios

Las etiquetas de relevancia son incompletas por naturaleza a gran escala. Etiquetar cada par posible de consulta-documento es inviable, y cada fuente de juicios conlleva un sesgo diferente.

Q2D-Web utiliza tres conjuntos de relevancia en lugar de tratar una fuente como verdad fundamental, para aumentar la profundidad de la anotación sin sufrir de un sesgo único.

Citación etiqueta un documento como relevante cuando un agente lo cita en una respuesta. Esta es la señal más cercana al uso posterior: el agente seleccionó el documento como evidencia para una afirmación. Pero la citación es de alta precisión y bajo recuerdo por construcción. Una vez que un agente tiene suficiente apoyo, tiene pocas razones para citar cada otra página relevante.

Clasificación Web consta de hasta 50 documentos por consulta (43,1 en promedio), identificados por una pila de recuperación interna que utiliza BM25 y recuperación densa en la primera etapa, seguida de una reordenación mediante codificador cruzado. Esto captura documentos que son útiles pero no citados.

Combinado + Juzgado por LLM toma la unión de Citación y Clasificación Web, luego agrega juicios de LLM para candidatos previamente no juzgados, con el objetivo de reducir el número de falsos negativos. Agrupamos los resultados de BM25, ColBERTv2 y siete recuperadores densos lanzados antes del 1 de enero de 2025, fusionamos sus clasificaciones utilizando reciprocal rank fusion (RRF), seleccionamos los 500 documentos principales no juzgados y aplicamos un juez de relevancia binaria estricto utilizando DeepSeek-V4-Flash.

Los tres conjuntos nos permiten preguntar si el rendimiento del modelo depende de cómo se define la relevancia. También reducen la dependencia de una única pila de etiquetado, lo que de otro modo podría favorecer a los recuperadores similares al sistema utilizado para generar las etiquetas.

Distribución de los documentos relevantes por consulta en una escala logarítmica. Las etiquetas combinadas agrupan citas, clasificaciones web y juicios adicionales de LLM.

Submuestreo: evaluación eficiente a gran escala

La evaluación del corpus completo es costosa y lenta. Una sola evaluación en Q2D-Web con pplx-embed-v1-4b requiere 4.608 horas de GPU H200, mientras que incluso un modelo pequeño como EmbeddingGemma-300M requiere casi 200 horas de GPU H200.

Para mantener la evaluación práctica, construimos una versión submuestreada del corpus.

Ejecutamos una ablación extensa en todas las estrategias de muestreo para construir un subcorpus más pequeño que refleje el comportamiento del corpus completo. Cada estrategia conserva todos los documentos juzgados positivamente y varía solo en cómo se seleccionan los distractores no juzgados. Los distractores que importan son aquellos que es probable que un recuperador clasifique por encima de un documento relevante, porque cambian la puntuación de un modelo y su posición en la clasificación.

Comparamos el muestreo aleatorio uniforme, la agrupación en una profundidad fija entre los recuperadores de construcción y RRF por consulta en diferentes profundidades. El muestreo basado en RRF utiliza solo el 31,7% de los documentos del corpus completo. Preserva la clasificación de los modelos del corpus completo bajo los juicios Combined, al tiempo que se mantiene cerca de las puntuaciones absolutas, inflando la media de Recall@1000 en 5,2 puntos frente a los 12,8 puntos del muestreo aleatorio al mismo tamaño.

Media de Recall@1000 y concordancia con las clasificaciones de modelos del corpus completo bajo los juicios Combined en todas las estrategias de muestreo. La fusión de rangos recíprocos (RRF) preserva la clasificación de los modelos evaluados utilizando el 31,7% del corpus, con menor inflación del recall que el muestreo aleatorio.

Esto reduce los costes de evaluación a aproximadamente un tercio del coste del corpus completo. Utilizando el subcorpus basado en RRF, pplx-embed-v1-4b requiere aproximadamente 1.500 horas de GPU H200 y EmbeddingGemma-300M requiere menos de 70.

Cada envío se evalúa primero en la versión de subcorpus muestreada. Los envíos se dividen en dos grupos por recuento total de parámetros: hasta 1B y superior a 1B. Un modelo que alcance los diez primeros de su grupo en el subcorpus muestreado se evalúa luego en el corpus completo. Los modelos clasificados fuera de los 10 primeros en su grupo se publicarán únicamente en la tabla de clasificación del subcorpus muestreado.

Resultados de la evaluación

En todos los modelos evaluados, Q2D-Web proporciona una visión coherente del rendimiento de recuperación a escala web en sus 3 conjuntos de relevancia diferentes. La tabla de clasificación hace que estas vistas complementarias estén disponibles una al lado de la otra, lo que permite a los usuarios inspeccionar cómo se desempeñan los modelos bajo etiquetas más estrechas basadas en citas y juicios de relevancia más amplios.

Nos centramos en Recall@1000 como nuestra métrica principal porque un recuperador de primera etapa solo necesita colocar documentos relevantes en el grupo de candidatos, mientras que la reordenación posterior determina su orden final.

Recall@1000 combinado frente a nDCG@10 combinado para trece recuperadores, agrupados por familia de modelos. El modelo con mayor puntuación difiere entre ambas métricas.

Tabla 1. Recall@1000 y nDCG@10 del corpus completo para trece recuperadores en los conjuntos de relevancia Citation, Web Ranking y Combined. Las puntuaciones más altas son mejores.

Modelo

Recall@1000: Citación

Recall@1000: Clasificación Web

Recall@1000: Combinado

nDCG@10: Citación

nDCG@10: Clasificación Web

nDCG@10: Combinado

BM25-tantivy

60,84

42.50

45,25

7,30

11.45

29,27

EmbeddingGemma-300M

80,10

58.93

66,24

12,21

17.30

41,95

mDenseOn

73,72

52.56

60,09

10,08

15.06

38,87

Nemotron-3-Embed-1B

75,64

54.37

62,44

9,69

14.83

38,84

Nemotron-3-Embed-8B

83,14

61.73

69,33

13,17

18.69

45,65

pplx-embed-v1-0.6b

81,85

62.15

67,91

12,52

19.76

42,73

pplx-embed-v1-4b

85,03

65.73

70,00

14,18

21.29

44,12

Qwen3-Embedding-0.6B

71,19

51.82

58,68

8,53

14.11

36,19

Qwen3-Embedding-4B

76,49

55.60

62,78

9,91

14.97

38,82

Qwen3-Embedding-8B

79,26

58.34

65,32

10,75

16.27

41,20

voyage-4-nano

69,55

50.14

57,42

6,96

11.77

30,59

mLateOn

74,16

53.12

61,77

10,94

15.51

41,61

pplx-embed-v1-late-0.6b

78,64

58.14

64,20

11,88

17.25

41,77

pplx-embed-v1-4b tiene el valor de Recall@1000 más alto en los tres conjuntos de juicios: Citation (85,03), Web Ranking (65,73) y Combined (70,00). En Combined Recall@100 y nDCG@10, Nemotron-3-Embed-8B (30,32 y 45,65) obtiene una puntuación superior a la de pplx-embed-v1-4b (30,17 y 44,12).

Dentro de una misma familia, los modelos más grandes obtienen puntuaciones más altas en Combined Recall@1000. Qwen3-Embedding pasa de 58,68 (0,6B) a 65,32 (8B), Nemotron-3-Embed pasa de 62,44 (1B) a 69,33 (8B), y pplx-embed-v1 pasa de 67,91 (0,6B) a 70,00 (4B).

Los modelos de Perplexity se evalúan utilizando el mismo canal que todos los demás modelos enviados. Sin embargo, dado que Q2D-Web se deriva del tráfico de producción de Perplexity, estos modelos pueden beneficiarse de una ventaja dentro de la distribución. Aunque las consultas de evaluación y el corpus del punto de referencia se excluyeron del entrenamiento del modelo, los resultados deben interpretarse teniendo en cuenta esta ventaja potencial.

Cómo enviar a la tabla de clasificación

Para solicitar una evaluación, envíe un modelo de Hugging Face disponible públicamente a través de nuestro formulario de solicitud de evaluación.

Seguimos la tarjeta del modelo en el repositorio enviado para la configuración de inferencia específica del modelo, incluidas las instrucciones o prefijos de consulta y documento recomendados, la agrupación, la normalización y la función de similitud. Todas las consultas y documentos se truncan a 512 tokens con el propio tokenizador del modelo, incluidas las instrucciones, los prefijos y los tokens especiales, por lo que un contexto compatible más largo no otorga ninguna ventaja. Asegúrese de que la tarjeta del modelo proporcione instrucciones completas e inequívocas para reproducir la configuración de recuperación prevista.

Los modelos elegibles deben cargarse a través de las API estándar de transformers o sentence-transformers. Los modelos que no se ejecutan con trust_remote_code=False requieren una revisión manual del código personalizado y del remitente antes de la evaluación, lo que lleva considerablemente más tiempo. Los repositorios privados o cerrados no son elegibles.

Lea nuestro informe técnico para obtener más información sobre la metodología y los hallazgos.

Citación

BibTeX
@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}