Q2D-Web: Avaliando recuperadores de primeiro estágio em escala

Hoje, estamos apresentando o Q2D-Web (Query2Doc-Web), um benchmark privado e uma leaderboard pública para avaliar a recuperação em sistemas RAG agênticos. O Q2D-Web estende nosso benchmark Q2D original para um corpus em larga escala, um conjunto de consultas maior e anotações de julgamento mais profundas.

O Q2D-Web foi construído para avaliar modelos de incorporação na busca na web em larga escala. Consiste em 190 milhões de documentos da web e 69.721 consultas reformuladas por agentes em dez idiomas, amostrados ao longo de nove meses de tráfego de busca de produção livre de PII.

Nessa escala, o sinal de relevância no nível de consulta-documento é inevitavelmente esparso. Em vez de tratar uma fonte como verdade básica, fornecemos três conjuntos de julgamento de relevância, derivados de citações de agentes, classificações da web de produção e julgamentos adicionais de LLM para pares anteriormente não julgados. Múltiplas fontes limitam o viés de qualquer pipeline de rotulagem único, enquanto a anotação mais profunda reduz os falsos negativos.

Nossa leaderboard relata os resultados para modelos de recuperação lançados publicamente, avaliados diretamente em relação ao benchmark usando um pipeline consistente de indexação, recuperação e pontuação. Uma avaliação pode ser enviada por meio do nosso formulário de solicitação.

O desafio da avaliação de recuperação realista

Para cada consulta, um sistema de recuperação em escala de produção busca em um corpus de bilhões de páginas da web e retorna milhares de documentos candidatos. Esses candidatos determinam quais fontes os sistemas a jusante podem ver, moldando diretamente a evidência disponível para o agente.

A avaliação realista deste primeiro estágio, portanto, requer benchmarks que escalem ao longo de três dimensões: o número de documentos no corpus, o número de consultas julgadas e o número de julgamentos de relevância por consulta.

Corpora maiores podem tornar um benchmark mais discriminativo introduzindo negativos difíceis — documentos que são semanticamente semelhantes a uma consulta, mas não fornecem as informações solicitadas. Os recuperadores devem distinguir essas correspondências plausíveis de documentos relevantes. Reduzir o corpus enquanto retém documentos relevantes conhecidos pode remover esses distratores e inflar o recall, como mostram nossos experimentos de subamostragem abaixo.

Consultas julgadas mais numerosas tornam as estimativas de desempenho mais confiáveis. Com um pequeno conjunto de consultas, os resultados do benchmark dependem fortemente de quais consultas foram amostradas, tornando mais difícil estimar o desempenho de cada modelo com precisão e distinguir com confiança entre os modelos.

Julgamentos mais profundos reduzem falsos negativos na avaliação. Com rótulos esparsos, um recuperador pode trazer à tona documentos relevantes que não foram julgados e, portanto, são contados incorretamente como não relevantes. Isso torna a avaliação menos confiável. O MS MARCO é o principal conjunto de dados aberto em larga escala na recuperação de informações e moldou o desenvolvimento de modelos de recuperação neural. Lá, 70% das passagens mais recuperadas, mas não rotuladas, inspecionadas manualmente eram de fato relevantes.

Os benchmarks existentes tendem a escalar em apenas uma ou duas dessas dimensões: coleções em escala da web geralmente têm relativamente poucas consultas julgadas, enquanto benchmarks com muitas consultas geralmente usam corpora muito menores e rótulos esparsos. Além disso, a maioria dos benchmarks usa consultas escritas por humanos, enquanto os sistemas RAG agênticos buscam com consultas reformuladas por agentes que podem diferir em termos de redação, estrutura e especificidade.

O Q2D-Web escala em todas as três dimensões. Ele contém 190 milhões de documentos da web, 69.721 consultas reformuladas por agentes e uma média de 99,6 julgamentos de relevância positivos por consulta em seu conjunto de julgamento combinado. A comparação pública mais próxima é o MS MARCO Web Search, a versão em escala da web do MS MARCO. Ele possui 100,9 milhões de documentos, 9.374 consultas de teste e um rótulo positivo derivado de cliques por consulta.

Como criamos o Q2D-Web

Expandir

Consultas

O Q2D-Web é construído sobre 23.000 buscas de produção sem PII em dez idiomas e dezenas de domínios coletados ao longo de um período de nove meses.

Uma busca consiste em todas as chamadas de ferramentas de busca na web que um agente realiza em resposta à mensagem de um usuário. Cada chamada de ferramenta contém uma ou mais consultas. Cada consulta é reformulada a partir da solicitação do usuário, da conversa anterior e, quando aplicável, de documentos recuperados anteriormente na mesma busca. Cada busca de produção contém uma consulta primária, que reafirma a necessidade de informação do usuário, e zero ou mais consultas de suporte, que exploram formulações alternativas, informações de contexto ou entidades relacionadas. Embora abordem a mesma solicitação mais ampla, elas podem exigir documentos diferentes, portanto, o Q2D-Web avalia cada consulta de forma independente com seus próprios julgamentos de relevância.

Expandir

Expandir

Aplicamos filtragem estrita de privacidade para todas as consultas incluídas. As consultas devem vir de usuários que permitiram que seus dados fossem usados, e a detecção de PII usando perplexity-ai/pplx-pii-masking exclui consultas contendo informações pessoais. Também removemos duplicatas exatas, consultas muito curtas e consultas contendo operadores de busca como site: ou frases entre aspas.

O benchmark abrange dez idiomas. O inglês responde por 65,8% das consultas, seguido por espanhol, russo, alemão, francês, português, italiano, coreano, japonês e chinês. A distribuição de consultas também abrange uma ampla variedade de domínios, incluindo bens de consumo, programação, direito, saúde, negócios, ciência, educação, tecnologia, finanças, viagens, entretenimento, política, informações locais e notícias.

Corpus

Para cada consulta, recuperamos os 5.000 principais documentos com um sistema de recuperação de produção e fazemos a união desses conjuntos de resultados. Em seguida, removemos as duplicatas do corpus usando MinHash–LSH, agrupando documentos cujos conjuntos de 5-gramas de tokens têm similaridade de Jaccard de pelo menos 0,975.

A coleção intencionalmente não é uma amostra aleatória da web. Cada documento foi considerado um resultado plausível para pelo menos uma consulta de benchmark. Isso cria um conjunto denso de distratores difíceis: páginas que correspondem ao tópico ou idioma de uma consulta, mas que podem omitir uma data, entidade, versão, quantidade ou aspecto obrigatório.

Expandir

Julgamentos

Os rótulos de relevância são incompletos por natureza em grande escala. Rotular cada par possível de consulta-documento é inviável, e cada fonte de julgamentos traz um viés diferente.

O Q2D-Web usa três conjuntos de relevância em vez de tratar uma fonte como verdade básica, para aumentar a profundidade da anotação sem sofrer de um único viés.

O Citation rotula um documento como relevante quando um agente o citou em uma resposta. Este é o sinal mais próximo do uso a jusante: o agente selecionou o documento como evidência para uma afirmação. Mas a citação é de alta precisão e baixo recall por construção. Uma vez que um agente tem suporte suficiente, ele tem pouco motivo para citar todas as outras páginas relevantes.

O Web Ranking consiste em até 50 documentos por consulta (43,1 em média), identificados por uma pilha de recuperação interna usando BM25 e recuperação densa no primeiro estágio, seguida por reclassificação por codificador cruzado. Isso captura documentos úteis, mas não citados.

O Combined + LLM-Judged faz a união de Citation e Web Ranking, adiciona julgamentos de LLM para candidatos anteriormente não julgados, com o objetivo de reduzir o número de falsos negativos. Agrupamos os resultados de BM25, ColBERTv2 e sete recuperadores densos lançados antes de 1 de janeiro de 2025, mesclamos suas classificações usando reciprocal rank fusion (RRF), selecionamos os 500 principais documentos não julgados e aplicamos um juiz de relevância binária estrito usando o DeepSeek-V4-Flash.

Os três conjuntos nos permitem perguntar se o desempenho do modelo depende de como a relevância é definida. Eles também reduzem a dependência de uma única pilha de rotulagem, que, de outra forma, poderia favorecer recuperadores semelhantes ao sistema usado para gerar os rótulos.

Expandir

Subamostragem: avaliação eficiente em grande escala

A avaliação do corpus completo é cara e lenta. Uma única avaliação no Q2D-Web com o pplx-embed-v1-4b requer 4.608 horas de GPU H200, enquanto até mesmo um modelo pequeno como o EmbeddingGemma-300M requer quase 200 horas de GPU H200.

Para manter a avaliação prática, construímos uma versão subamostrada do corpus.

Executamos uma ablação extensiva em estratégias de amostragem para construir um subcorpus menor que reflita o comportamento do corpus completo. Cada estratégia retém todos os documentos julgados positivamente e varia apenas em como os distratores não julgados são selecionados. Os distratores que importam são aqueles que um recuperador provavelmente classificará acima de um documento relevante, porque eles mudam a pontuação de um modelo e sua posição na classificação.

Comparamos a amostragem aleatória uniforme, a consolidação (pooling) a uma profundidade fixa entre os recuperadores de construção e o RRF por consulta em diferentes profundidades. A amostragem baseada em RRF usa apenas 31,7% dos documentos no corpus completo. Ela preserva a ordenação de modelos do corpus completo sob as avaliações Combinadas, mantendo-se próxima aos escores absolutos e elevando a média do Recall@1000 em 5,2 pontos, em comparação com 12,8 pontos para a amostragem aleatória do mesmo tamanho.

Expandir

Isso reduz os custos de avaliação para cerca de um terço do custo do corpus completo. Usando o subcorpus baseado em RRF, o pplx-embed-v1-4b requer aproximadamente 1.500 horas de GPU H200 e o EmbeddingGemma-300M requer menos de 70.

Cada submissão é avaliada primeiro na versão de subcorpus amostrada. As submissões são divididas em dois grupos por contagem total de parâmetros: até 1B e acima de 1B. Um modelo que alcança os dez primeiros de seu grupo no subcorpus amostrado é então avaliado no corpus completo. Modelos classificados fora dos 10 primeiros em seu grupo serão publicados apenas na leaderboard do subcorpus amostrado.

Resultados da avaliação

Em todos os modelos avaliados, o Q2D-Web fornece uma visão consistente do desempenho de recuperação em escala da web em seus 3 diferentes conjuntos de relevância. A leaderboard disponibiliza essas visões complementares lado a lado, permitindo que os usuários inspecionem o desempenho dos modelos sob rótulos mais restritos baseados em citações e julgamentos de relevância mais amplos.

Nós nos concentramos no Recall@1000 como nossa métrica principal porque um recuperador de primeiro estágio precisa apenas colocar documentos relevantes no conjunto de candidatos, enquanto a reclassificação subsequente determina sua ordem final.

Expandir

Tabela 1. Recall@1000 e nDCG@10 do corpus completo para treze recuperadores nos conjuntos de relevância Citação, Classificação Web e Combinado. Escores mais altos são melhores.

O pplx-embed-v1-4b obteve o maior Recall@1000 em todos os três conjuntos de avaliação: Citação (85,03), Classificação Web (65,73) e Combinado (70,00). No Recall@100 e nDCG@10 Combinados, o Nemotron-3-Embed-8B (30,32 e 45,65) pontua acima do pplx-embed-v1-4b (30,17 e 44,12).

Dentro de uma mesma família, modelos maiores pontuam mais alto no Recall@1000 Combinado. O Qwen3-Embedding sobe de 58,68 (0,6B) para 65,32 (8B), o Nemotron-3-Embed de 62,44 (1B) para 69,33 (8B) e o pplx-embed-v1 de 67,91 (0,6B) para 70,00 (4B).

Os modelos Perplexity são avaliados usando o mesmo pipeline de todos os outros modelos enviados. No entanto, como o Q2D-Web é derivado do tráfego de produção do Perplexity, esses modelos podem se beneficiar de uma vantagem de in-distribution. Mesmo que as consultas e o corpus de avaliação do benchmark tenham sido excluídos do treinamento do modelo, os resultados devem ser interpretados tendo em mente essa vantagem potencial.

Como enviar para a Leaderboard

Para solicitar uma avaliação, envie um modelo do Hugging Face publicamente disponível por meio do nosso formulário de solicitação de avaliação.

Seguimos o cartão do modelo no repositório enviado para configurações de inferência específicas do modelo, incluindo instruções recomendadas ou prefixos de consulta e documento, pooling, normalização e função de similaridade. Todas as consultas e documentos são truncados para 512 tokens com o próprio tokenizador do modelo, incluindo instruções, prefixos e tokens especiais, de modo que um contexto suportado mais longo não confere nenhuma vantagem. Certifique-se de que o cartão do modelo forneça instruções completas e inequívocas para reproduzir a configuração de recuperação pretendida.

Os modelos elegíveis devem ser carregados por meio de APIs padrão do transformers ou sentence-transformers. Modelos que não executam com trust_remote_code=False exigem uma revisão manual do código personalizado e do remetente antes da avaliação, o que leva consideravelmente mais tempo. Repositórios privados ou protegidos não são elegíveis.

Leia nosso relatório técnico para saber mais sobre a metodologia e as descobertas.

Citação

@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}