Avaliando o desempenho da pesquisa aprofundada em ambiente real com o benchmark DRACO

Hoje, estamos lançando o Benchmark de Precisão, Completude e Objetividade de Pesquisa Aprofundada (DRACO), um benchmark aberto para avaliar agentes de pesquisa aprofundada com base em como os usuários realmente usam a IA para tarefas de pesquisa complexas. Ao disponibilizar o DRACO como código aberto, nosso objetivo é ajudar a comunidade de IA em geral a criar ferramentas de pesquisa que atendam melhor às necessidades reais dos usuários.

O DRACO destaca a lacuna entre resolver tarefas sintéticas e atender a necessidades reais de pesquisa. O sistema de avaliação é agnóstico em relação a modelos: à medida que surgirem LLMs com agentes mais fortes, executaremos novas avaliações e publicaremos resultados atualizados. E, à medida que implementarmos melhorias na Pesquisa Aprofundada em Perplexity.ai, os usuários verão esses ganhos refletidos tanto no desempenho do produto quanto nas pontuações do benchmark.

Pesquisa Aprofundada de ponta

A Pesquisa Aprofundada da Perplexity alcança desempenho de ponta nos principais benchmarks externos, incluindo DeepSearchQA do Google DeepMind e ResearchRubrics da Scale AI.

Expandir

Expandir

Esses resultados decorrem da combinação dos melhores modelos disponíveis com os recursos baseados em agentes criados especificamente para a Perplexity: ferramentas de busca proprietárias, infraestrutura de navegador e execução de código. Juntos, eles formam um sistema otimizado de ponta a ponta para recuperar, sintetizar e raciocinar sobre informações do mundo real.

No processo de criação deste produto, percebemos que os benchmarks externos, embora úteis para comparar modelos, muitas vezes não capturam as consultas multifacetadas e as demandas de síntese que os usuários reais fazem todos os dias. Hoje, estamos lançando como código aberto o Benchmark DRACO, um benchmark baseado em como as pessoas realmente usam a pesquisa aprofundada, motivado por milhões de tarefas de produção em dez domínios.

Expandir

Por que a avaliação baseada em produção é importante

Os benchmarks existentes geralmente testam habilidades restritas isoladamente: recuperar um único fato, responder a uma pergunta de conhecimentos gerais ou resolver um problema bem definido. Mas as consultas de pesquisa reais exigem síntese entre fontes, análise matizada e orientação acionável, tudo isso mantendo a precisão factual e a citação adequada.

O Benchmark DRACO compreende 100 tarefas cuidadosamente selecionadas que abrangem Academic, Finance, Law, Medicine, Technology, General Knowledge, UX Design, Personalized Assistant, Shopping/Product Comparison e Needle in a Haystack, cada uma combinada com rubricas elaboradas por especialistas com média de ~40 critérios de avaliação.

Essas tarefas originam-se de solicitações reais de usuários na Pesquisa Aprofundada da Perplexity, amostradas de milhões de solicitações de produção e, em seguida, sistematicamente reformuladas, aumentadas e filtradas por meio de um pipeline de cinco estágios: removemos informações de identificação pessoal, adicionamos contexto e escopo, filtramos por objetividade e dificuldade, e conduzimos a revisão final por especialistas no assunto. O resultado é um benchmark que reflete as necessidades reais dos usuários, em vez de exercícios sintéticos ou tarefas selecionadas por especialistas.

Como funciona o Benchmark DRACO

Expandir

Cada tarefa no benchmark passou por um processo rigoroso de desenvolvimento de rubricas. A Perplexity trabalhou com uma parceira de geração de dados, The LLM Data Company, para desenvolver e testar rigorosamente rubricas de avaliação para o conjunto. Especialistas no assunto elaboraram rubricas iniciais com a ajuda de ferramentas de LLM, passando depois por revisão por pares e calibração. Rubricas mal especificadas e excessivamente brandas foram devolvidas para revisão, com cerca de 45% das rubricas refinadas pelo menos uma vez por meio desse processo. O resultado são critérios de avaliação que distinguem genuinamente as capacidades do sistema.

As rubricas avaliam quatro dimensões: precisão factual (cerca de metade de todos os critérios), amplitude e profundidade da análise, qualidade da apresentação e citação de fontes primárias. Cada critério recebe um peso que reflete sua importância e alguns critérios são negativos, penalizando erros como alucinações ou afirmações sem suporte.

As respostas são avaliadas usando um protocolo de LLM como juiz, em que cada critério recebe um veredito binário. Essa abordagem é ideal para a avaliação da precisão factual porque as rubricas fundamentam o juiz em dados do mundo real derivados de resultados de pesquisa, transformando a avaliação subjetiva em verificação de fatos verificável. Validamos a confiabilidade em três modelos de juízes e descobrimos que, embora as pontuações absolutas variavam, as classificações relativas dos sistemas permanecem consistentes.

Expandir

Conjunto de ferramentas e ambiente de avaliação

O benchmark foi projetado para avaliar agentes com acesso a um conjunto completo de ferramentas de pesquisa, incluindo um sandbox de execução de código e recursos de navegador.

O que descobrimos

Desempenho por domínio. Avaliamos quatro sistemas de pesquisa aprofundada em 10 domínios de conhecimento, medindo as taxas de aprovação (porcentagem de critérios de avaliação atendidos). A Pesquisa Aprofundada alcançou as maiores taxas de aprovação em todos os domínios, com desempenho particularmente forte em Direito (89,4%) e Acadêmico (82,4%).

Expandir

Para os usuários, isso significa respostas mais confiáveis, seja preparando uma petição jurídica, conduzindo uma revisão de literatura ou comparando opções de tratamento médico. As lacunas de desempenho aumentaram significativamente em tarefas de raciocínio complexo: nos cenários de Assistente Personalizado e Agulha no Palheiro, a Perplexity superou o sistema com menor pontuação em mais de 20 pontos percentuais. Esses domínios refletem as necessidades reais dos usuários, como recomendações personalizadas e localização de fatos específicos enterrados em grandes documentos.

Expandir

Desempenho por aspecto de avaliação. Em quatro dimensões principais de avaliação, a Pesquisa Aprofundada liderou em três: Precisão Factual, Amplitude e Profundidade da Análise, e Qualidade da Citação. Estas são as dimensões que mais importam quando você precisa confiar em sua pesquisa para decisões reais, seja assessorando um cliente, fazendo um investimento ou escrevendo um relatório com seu nome nele. Apenas um outro sistema apresentou desempenho comparável ao da Pesquisa Aprofundada da Perplexity em Qualidade de Apresentação, indicando que os problemas difíceis na pesquisa aprofundada não se referem à formatação, mas sim a acertar os fatos e completar a análise.

Expandir

Qualidade e eficiência. Notavelmente, o sistema com melhor desempenho também alcançou a menor latência (459,6 segundos em comparação com 592 a 1808 segundos para os concorrentes). Para os usuários, isso significa que você não precisa escolher entre uma pesquisa minuciosa e obter respostas rapidamente. Isso reflete a vantagem de uma infraestrutura integrada verticalmente e de ponta a ponta: melhor busca¹ [link de nota de rodapé para nossa API de busca] e integração de navegador com ambientes de execução otimizados traduzem-se diretamente em pesquisas mais rápidas e precisas.

Próximos passos

O sistema de Pesquisa Aprofundada da Perplexity é agnóstico em relação a modelos: à medida que surgirem LLMs com agentes mais fortes, executaremos novas avaliações e publicaremos resultados atualizados. E, à medida que implementarmos melhorias na Pesquisa Aprofundada em Perplexity.ai, os usuários verão esses ganhos refletidos tanto no desempenho do produto quanto nas pontuações do benchmark.

Atualmente, o benchmark avalia apenas interações em inglês e de turno único em dez domínios. Futuras iterações expandirão a diversidade linguística, adicionarão avaliação de turnos múltiplos e ampliarão a cobertura de domínios.

Crie melhores agentes de pesquisa com o Benchmark DRACO

O Benchmark DRACO agora é totalmente de código aberto. Qualquer equipe que crie sistemas de pesquisa aprofundada pode avaliar seus modelos em relação a tarefas de pesquisa do mundo real, em vez de quebra-cabeças acadêmicos sintéticos. Estamos lançando o benchmark completo, todas as rubricas e o prompt do juiz.

Para saber mais sobre a metodologia e resultados detalhados, leia o relatório técnico completo: Benchmark DRACO e explore o conjunto de dados no Hugging Face.

Citação

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}