Avaliando o desempenho da Pesquisa Profunda com o benchmark DRACO

Hoje, lançamos o Benchmark de Precisão, Completude e Objetividade em Pesquisa Profunda (DRACO), um benchmark aberto para avaliar agentes de pesquisa profunda baseados em como os usuários realmente utilizam a IA para tarefas de pesquisa complexas. Ao disponibilizar o DRACO como código aberto, nosso objetivo é ajudar a comunidade de IA a construir ferramentas de pesquisa que atendam melhor às necessidades reais dos usuários.

O DRACO destaca a lacuna entre resolver tarefas sintéticas e atender a necessidades de pesquisa autênticas. O mecanismo de avaliação é agnóstico em relação ao modelo: à medida que surgirem LLMs agentes mais fortes, executaremos novamente as avaliações e publicaremos resultados atualizados. E, conforme lançamos melhorias na Pesquisa Profunda na Perplexity.ai, os usuários verão esses ganhos refletidos tanto no desempenho do produto quanto nas pontuações do benchmark.

A Pesquisa Profunda da Perplexity alcança desempenho de última geração em benchmarks externos líderes, incluindo o DeepSearchQA do Google DeepMind e o ResearchRubrics da Scale AI.

Pontuações do sistema de pesquisa profunda no benchmark DeepSearchQA do Google DeepMind.

Pontuações do sistema de pesquisa profunda no benchmark ResearchRubrics da Scale AI.

Estes resultados decorrem da combinação dos melhores modelos disponíveis com as capacidades de agente criadas especificamente pela Perplexity: ferramentas de pesquisa proprietárias, infraestrutura de navegador e execução de código. Juntos, estes formam um sistema otimizado de ponta a ponta para recuperar, sintetizar e raciocinar sobre informações do mundo real.

No processo de criação deste produto, percebemos que os benchmarks externos, embora úteis para comparar modelos, muitas vezes não capturam as consultas multifacetadas e as demandas de síntese que os usuários reais fazem todos os dias. Hoje, estamos disponibilizando o Benchmark DRACO como código aberto, um benchmark baseado em como as pessoas realmente usam a pesquisa profunda, motivado por milhões de tarefas de produção em dez domínios.

Pontuações gerais do benchmark DRACO para quatro sistemas de pesquisa profunda.

Os benchmarks existentes frequentemente testam habilidades restritas isoladamente: recuperar um fato único, responder a uma pergunta de trivia ou resolver um problema bem definido. Mas as consultas de pesquisa reais exigem síntese entre fontes, análise diferenciada e orientação acionável, tudo isso mantendo a precisão factual e a citação adequada.

O Benchmark DRACO compreende 100 tarefas cuidadosamente selecionadas que abrangem Acadêmico, Finanças, Direito, Medicina, Tecnologia, Conhecimento Geral, UX Design, Assistente Personalizado, Compras/Comparação de Produtos e Procura de Agulha no Palheiro, cada uma acompanhada por rubricas elaboradas por especialistas, com uma média de ~40 critérios de avaliação.

Estas tarefas originam-se de solicitações reais de usuários na Pesquisa Profunda da Perplexity, amostradas de milhões de solicitações de produção e, em seguida, sistematicamente reformuladas, aumentadas e filtradas através de um pipeline de cinco estágios: removemos informações de identificação pessoal, adicionamos contexto e escopo, filtramos por objetividade e dificuldade e realizamos uma revisão final por especialistas no domínio. O resultado é um benchmark que reflete as necessidades autênticas dos usuários em vez de exercícios sintéticos ou tarefas selecionadas por especialistas.

O design e o processo de revisão do rubric de quatro etapas, desde a criação inicial do rubric até a garantia final de qualidade.

Cada tarefa no benchmark passou por um rigoroso processo de desenvolvimento de rubricas. A Perplexity trabalhou com um parceiro de geração de dados, a The LLM Data Company, para desenvolver e testar rubricas de avaliação para o conjunto. Especialistas no assunto redigiram rubricas iniciais com a ajuda de ferramentas de LLM, e então iteraram através de revisão por pares e calibração. Rubricas mal especificadas ou excessivamente lenientes foram devolvidas para revisão, com aproximadamente 45% das rubricas refinadas pelo menos uma vez através deste processo. O resultado são critérios de avaliação que distinguem genuinamente as capacidades do sistema.

As rubricas avaliam quatro dimensões: precisão factual (aproximadamente metade de todos os critérios), amplitude e profundidade da análise, qualidade da apresentação e citação de fontes primárias. Cada critério recebe um peso que reflete sua importância e alguns critérios são negativos, penalizando erros como alucinações ou alegações não fundamentadas.

As respostas são avaliadas usando um protocolo de LLM como juiz, onde cada critério recebe um veredito binário. Esta abordagem é bem adequada para a avaliação da precisão factual, pois as rubricas fundamentam o juiz em dados do mundo real derivados dos resultados da pesquisa, transformando a avaliação subjetiva em verificação de fatos verificável. Validamos a confiabilidade em três modelos de juiz e descobrimos que, embora as pontuações absolutas variem, os rankings relativos do sistema permanecem consistentes.

O framework de avaliação DRACO: tarefas e rubrics, agentes de pesquisa profunda, juízes LLM e resultados.

O benchmark foi projetado para avaliar agentes com acesso a um conjunto completo de ferramentas de pesquisa, incluindo uma sandbox de execução de código e capacidades de navegador.

Desempenho por domínio. Avaliamos quatro sistemas de pesquisa profunda em 10 domínios de conhecimento medindo taxas de aprovação (porcentagem de critérios de avaliação atendidos). A Pesquisa Profunda alcançou as maiores taxas de aprovação em todos os domínios, com desempenho particularmente forte em Direito (89,4%) e Acadêmico (82,4%).

Distribuição das tarefas do benchmark DRACO em dez domínios.

Para os usuários, isso significa respostas mais confiáveis, esteja você preparando um parecer jurídico, conduzindo uma revisão de literatura ou comparando opções de tratamento médico. As lacunas de desempenho aumentaram significativamente em tarefas de raciocínio complexo: em cenários de Assistente Personalizado e Procura de Agulha no Palheiro, a Perplexity superou o sistema com menor pontuação em mais de 20 pontos percentuais. Esses domínios refletem as necessidades reais dos usuários, como recomendações personalizadas e encontrar fatos específicos enterrados em grandes documentos.

Taxas de aprovação dos critérios por domínio para quatro sistemas de pesquisa profunda.

Desempenho por aspecto de avaliação. Em quatro dimensões principais de avaliação, a Pesquisa Profunda liderou em três: Precisão Factual, Amplitude e Profundidade da Análise e Qualidade da Citação. Estas são as dimensões que mais importam quando você precisa confiar na sua pesquisa para decisões reais, seja aconselhando um cliente, fazendo um investimento ou redigindo um relatório com seu nome. Apenas outro sistema mostrou desempenho comparável ao da Pesquisa Profunda da Perplexity em Qualidade de Apresentação, indicando que os problemas difíceis na pesquisa profunda não dizem respeito à formatação, mas sim à obtenção correta dos fatos e à completude da análise.

Taxas de aprovação dos critérios por aspecto de avaliação para quatro sistemas de pesquisa profunda.

Qualidade e eficiência. Notavelmente, o sistema com melhor desempenho também alcançou a menor latência (459,6 segundos vs. 592 a 1808 segundos para concorrentes). Para os usuários, isso significa que você não precisa escolher entre uma pesquisa completa e obter respostas rapidamente. Isso reflete a vantagem da infraestrutura integrada verticalmente de ponta a ponta: melhor pesquisa e integração com o navegador com ambientes de execução otimizados traduzem-se diretamente em uma pesquisa mais rápida e precisa.

O mecanismo de Pesquisa Profunda da Perplexity é agnóstico em relação ao modelo: à medida que surgirem LLMs agentes mais fortes, executaremos novamente as avaliações e publicaremos resultados atualizados. E, conforme lançamos melhorias na Pesquisa Profunda na Perplexity.ai, os usuários verão esses ganhos refletidos tanto no desempenho do produto quanto nas pontuações do benchmark.

O benchmark avalia atualmente apenas interações em inglês e de turno único em dez domínios. Iterações futuras ampliarão a diversidade linguística, adicionarão avaliação de turnos múltiplos e ampliarão a cobertura de domínios.

O Benchmark DRACO agora é totalmente de código aberto. Qualquer equipe que desenvolva sistemas de pesquisa profunda pode avaliar seus modelos em tarefas de pesquisa do mundo real, em vez de quebra-cabeças acadêmicos sintéticos. Estamos disponibilizando o benchmark completo, todas as rubricas e o prompt do juiz.

Para saber mais sobre a metodologia e os resultados detalhados, leia o relatório técnico completo: Benchmark DRACO e explore o conjunto de dados no Hugging Face.

BibTeX

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}

Pesquisa Profunda de última geração

Por que a avaliação baseada em produção é importante

Como funciona o Benchmark DRACO

Conjunto de ferramentas e ambiente de avaliação

O que descobrimos

O que vem a seguir

Crie melhores agentes de pesquisa com o Benchmark DRACO

Citação