Q2D-Web: Avaliando recuperadores de primeiro estágio em escala

Hoje, estamos apresentando o Q2D-Web (Query2Doc-Web), um benchmark privado e um leaderboard público para avaliar a recuperação em sistemas RAG agênticos. O Q2D-Web estende nosso benchmark Q2D original para um corpus em larga escala, um conjunto de consultas maior e anotações de julgamento mais profundas.

O Q2D-Web foi construído para avaliar modelos de incorporação (embedding) em buscas na web em larga escala. Ele consiste em 190 milhões de documentos da web e 69.721 consultas reformuladas por agentes em dez idiomas, amostradas ao longo de nove meses de tráfego de busca de produção sem PII.

Nesta escala, o sinal de relevância no nível de consulta-documento é inevitavelmente esparso. Em vez de tratar uma fonte como verdade absoluta, fornecemos três conjuntos de julgamento de relevância, derivados de citações de agentes, classificações da web de produção e julgamentos adicionais de LLM para pares anteriormente não julgados. Várias fontes limitam o viés de qualquer pipeline de rotulagem individual, enquanto a anotação mais profunda reduz os falsos negativos.

Nosso leaderboard relata os resultados de modelos de recuperação lançados publicamente, avaliados diretamente em relação ao benchmark usando um pipeline consistente de indexação, recuperação e pontuação. Uma avaliação pode ser enviada por meio do nosso formulário de solicitação.

O desafio da avaliação realista de recuperação

Para cada consulta, um sistema de recuperação em escala de produção busca em um corpus de bilhões de páginas da web e retorna milhares de documentos candidatos. Esses candidatos determinam quais fontes os sistemas posteriores podem ver, moldando diretamente as evidências disponíveis para o agente.

A avaliação realista deste primeiro estágio, portanto, requer benchmarks que escalem ao longo de três dimensões: o número de documentos no corpus, o número de consultas julgadas e o número de julgamentos de relevância por consulta.

Corporia maiores podem tornar um benchmark mais discriminativo ao introduzir negativos difíceis — documentos que são semanticamente semelhantes a uma consulta, mas não fornecem a informação solicitada. Os recuperadores devem distinguir essas correspondências plausíveis de documentos relevantes. Encolher o corpus mantendo os documentos relevantes conhecidos pode remover esses distratores e inflar o recall, como mostram nossos experimentos de subamostragem abaixo.

Consultas julgadas adicionais tornam as estimativas de desempenho mais confiáveis. Com um pequeno conjunto de consultas, os resultados do benchmark dependem fortemente de quais consultas foram amostradas, dificultando a estimativa precisa do desempenho de cada modelo e a distinção com confiança entre os modelos.

Julgamentos mais profundos reduzem os falsos negativos na avaliação. Com rótulos esparsos, um recuperador pode trazer à tona documentos relevantes que não foram julgados e, portanto, são contados incorretamente como não relevantes. Isso torna a avaliação menos confiável. O MS MARCO é o principal conjunto de dados aberto em larga escala na recuperação de informações e moldou o desenvolvimento de modelos de recuperação neural. Lá, 70% das passagens mais recuperadas, mas não rotuladas, inspecionadas manualmente eram de fato relevantes.

Os benchmarks existentes tendem a escalar em apenas uma ou duas dessas dimensões: coleções em escala da web geralmente têm poucas consultas julgadas, enquanto benchmarks com muitas consultas geralmente usam corpora muito menores e rótulos esparsos. Além disso, a maioria dos benchmarks usa consultas escritas por humanos, enquanto os sistemas RAG agênticos buscam com consultas reformuladas por agentes que podem diferir em termos de redação, estrutura e especificidade.

O Q2D-Web escala em todas as três dimensões. Ele contém 190 milhões de documentos da web, 69.721 consultas reformuladas por agentes e uma média de 99,6 julgamentos de relevância positivos por consulta em seu conjunto de julgamentos combinado. A comparação pública mais próxima é o MS MARCO Web Search, a versão em escala da web do MS MARCO. Ele possui 100,9 milhões de documentos, 9.374 consultas de teste e um rótulo positivo derivado de cliques por consulta.

Como criamos o Q2D-Web

Expandir

Consultas

O Q2D-Web é construído com base em 23.000 buscas de produção sem PII em dez idiomas e dezenas de domínios, coletadas ao longo de um período de nove meses.

Uma busca consiste em todas as chamadas de ferramentas de busca na web que um agente executa em resposta a uma mensagem do usuário. Cada chamada de ferramenta contém uma ou mais consultas. Cada consulta é reformulada a partir da solicitação do usuário, da conversa anterior e, quando aplicável, de documentos recuperados anteriormente na mesma busca. Cada busca de produção contém uma consulta principal, que reafirma a necessidade de informação do usuário, e zero ou mais consultas de suporte, que exploram formulações alternativas, informações de contexto ou entidades relacionadas. Embora abordem a mesma solicitação mais ampla, elas podem exigir documentos diferentes; portanto, o Q2D-Web avalia cada consulta de forma independente com seus próprios julgamentos de relevância.

Expandir

Expandir

Aplicamos filtragem estrita de privacidade para todas as consultas incluídas. As consultas devem vir de usuários que permitiram que seus dados fossem usados, e a detecção de PII usando perplexity-ai/pplx-pii-masking exclui consultas contendo informações pessoais. Também removemos duplicatas exatas, consultas muito curtas e consultas contendo operadores de busca como site: ou frases entre aspas.

O benchmark abrange dez idiomas. O inglês representa 65,8% das consultas, seguido por espanhol, russo, alemão, francês, português, italiano, coreano, japonês e chinês. A distribuição de consultas também abrange uma ampla variedade de domínios, incluindo bens de consumo, programação, direito, saúde, negócios, ciência, educação, tecnologia, finanças, viagens, entretenimento, política, informações locais e notícias.

Corpus

Para cada consulta, recuperamos os 5.000 principais documentos com um sistema de recuperação de produção e fazemos a união desses conjuntos de resultados. Em seguida, desduplicamos o corpus usando MinHash–LSH, agrupando documentos cujos conjuntos de 5-gramas de tokens tenham similaridade de Jaccard de pelo menos 0,975.

A coleção propositalmente não é uma amostra aleatória da web. Cada documento foi considerado um resultado plausível para pelo menos uma consulta de benchmark. Isso cria um conjunto denso de distratores difíceis: páginas que correspondem ao tópico ou idioma de uma consulta, mas podem omitir uma data, entidade, versão, quantidade ou aspecto obrigatório.

Expandir

Julgamentos

Os rótulos de relevância são incompletos por natureza em grande escala. Rotular cada par possível de consulta-documento é inviável, e cada fonte de julgamentos apresenta um viés diferente.

O Q2D-Web usa três conjuntos de relevância em vez de tratar uma fonte como verdade absoluta, para aumentar a profundidade da anotação sem sofrer de um único viés.

A Citação rotula um documento como relevante quando um agente o citou em uma resposta. Este é o sinal mais próximo do uso posterior: o agente selecionou o documento como evidência para uma afirmação. Mas a citação é de alta precisão e baixo recall por construção. Assim que um agente tem suporte suficiente, ele tem poucos motivos para citar todas as outras páginas relevantes.

A Classificação na Web consiste em até 50 documentos por consulta (43,1 em média), identificados por uma pilha de recuperação interna usando BM25 e recuperação densa no primeiro estágio, seguida por reclassificação por codificador cruzado (cross-encoder). Isso captura documentos que são úteis, mas não citados.

O Combinado + Julgado por LLM pega a união de Citação e Classificação na Web, adiciona julgamentos de LLM para candidatos anteriormente não julgados, com o objetivo de reduzir o número de falsos negativos. Agrupamos os resultados de BM25, ColBERTv2 e sete recuperadores densos lançados antes de 1º de janeiro de 2025, mesclamos suas classificações usando reciprocal rank fusion (RRF), selecionamos os 500 principais documentos não julgados e aplicamos um juiz de relevância binária estrito usando DeepSeek-V4-Flash.

Os três conjuntos nos permitem perguntar se o desempenho do modelo depende de como a relevância é definida. Eles também reduzem a dependência de uma única pilha de rotulagem, o que poderia favorecer recuperadores semelhantes ao sistema usado para gerar os rótulos.

Expandir

Subamostragem: avaliação eficiente em larga escala

A avaliação de corpus completo é cara e lenta. Uma única avaliação no Q2D-Web com o pplx-embed-v1-4b requer 4.608 GPU-horas H200, enquanto até mesmo um modelo pequeno como o EmbeddingGemma-300M requer quase 200 GPU-horas H200.

Para manter a avaliação prática, construímos uma versão subamostrada do corpus.

Executamos uma ablação extensiva em todas as estratégias de amostragem para construir um subcorpus menor que reflita o comportamento do corpus completo. Cada estratégia retém todos os documentos julgados positivamente e varia apenas na forma como os distratores não julgados são selecionados. Os distratores que importam são aqueles que um recuperador provavelmente classificará acima de um documento relevante, porque eles alteram a pontuação de um modelo e sua posição no ranking.

Comparamos a amostragem aleatória uniforme, a agregação em uma profundidade fixa entre os recuperadores de construção e o RRF por consulta em diferentes profundidades. A amostragem baseada em RRF usa apenas 31,7% dos documentos no corpus completo. Ela preserva a classificação de modelos do corpus completo sob as avaliações Combinadas, mantendo-se próxima aos escores absolutos e elevando a média do Recall@1000 em 5,2 pontos, em comparação a 12,8 pontos para a amostragem aleatória no mesmo tamanho.

Expandir

Isso reduz os custos de avaliação para cerca de um terço do custo do corpus completo. Usando o subcorpus baseado em RRF, o pplx-embed-v1-4b requer aproximadamente 1.500 GPU-horas H200 e o EmbeddingGemma-300M requer menos de 70.

Cada submissão é avaliada primeiro na versão de subcorpus amostrada. As submissões são divididas em dois grupos pela contagem total de parâmetros: até 1B e acima de 1B. Um modelo que alcança os dez primeiros de seu grupo no subcorpus amostrado é então avaliado no corpus completo. Modelos classificados fora do top 10 em seu grupo serão publicados apenas no leaderboard de subcorpus amostrado.

Resultados da avaliação

Em todos os modelos avaliados, o Q2D-Web fornece uma visão consistente do desempenho de recuperação em escala da web em seus 3 conjuntos de relevância diferentes. O leaderboard disponibiliza essas visões complementares lado a lado, permitindo que os usuários inspecionem o desempenho dos modelos sob rótulos baseados em citação mais restritos e julgamentos de relevância mais amplos.

Focamos no Recall@1000 como nossa métrica principal porque um recuperador de primeiro estágio precisa apenas colocar documentos relevantes no pool de candidatos, enquanto a reclassificação subsequente determina a ordem final deles.

Expandir

Tabela 1. Recall@1000 e nDCG@10 do corpus completo para treze recuperadores em conjuntos de relevância de Citação, Classificação na Web e Combinado. Escores maiores são melhores.

O pplx-embed-v1-4b tem o maior Recall@1000 em todos os três conjuntos de avaliação: Citação (85,03), Classificação na Web (65,73) e Combinado (70,00). No Recall@100 e nDCG@10 Combinados, o Nemotron-3-Embed-8B (30,32 e 45,65) pontua acima do pplx-embed-v1-4b (30,17 e 44,12).

Dentro de uma mesma família, modelos maiores pontuam mais alto no Recall@1000 Combinado. O Qwen3-Embedding sobe de 58,68 (0,6B) para 65,32 (8B), o Nemotron-3-Embed de 62,44 (1B) para 69,33 (8B), e o pplx-embed-v1 de 67,91 (0,6B) para 70,00 (4B).

Os modelos Perplexity são avaliados usando o mesmo pipeline que todos os outros modelos submetidos. No entanto, como o Q2D-Web é derivado do tráfego de produção do Perplexity, esses modelos podem se beneficiar de uma vantagem de in-distribution. Embora as consultas de avaliação e o corpus do benchmark tenham sido excluídos do treinamento do modelo, os resultados devem ser interpretados tendo em mente essa vantagem potencial.

Como enviar para o Leaderboard

Para solicitar uma avaliação, envie um modelo do Hugging Face publicamente disponível através do nosso formulário de solicitação de avaliação.

Seguimos o cartão do modelo no repositório enviado para configurações de inferência específicas do modelo, incluindo instruções ou prefixos recomendados para consultas e documentos, agrupamento (pooling), normalização e função de similaridade. Todas as consultas e documentos são truncados para 512 tokens com o tokenizador do próprio modelo, incluindo instruções, prefixos e tokens especiais, de modo que um contexto suportado mais longo não confere nenhuma vantagem. Certifique-se de que o cartão do modelo forneça instruções completas e inequívocas para reproduzir a configuração de recuperação pretendida.

Os modelos elegíveis devem carregar por meio de APIs padrão do transformers ou sentence-transformers. Modelos que não executam com trust_remote_code=False exigem uma revisão manual do código personalizado e do remetente antes da avaliação, o que leva consideravelmente mais tempo. Repositórios privados ou protegidos não são elegíveis.

Leia nosso relatório técnico para saber mais sobre a metodologia e as descobertas.

Citação

@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}