Avaliación do rendemento da investigación profunda no medio salvaxe co DRACO benchmark

Hoxe publicamos o DRACO Benchmark (Deep Research Accuracy, Completeness, and Objectivity), un punto de referencia aberto para avaliar axentes de investigación profunda baseado na forma en que os usuarios usan realmente a intelixencia artificial para tarefas de investigación complexas. Ao facer que DRACO sexa de código aberto, o noso obxectivo é axudar á comunidade de intelixencia artificial en xeral a construír ferramentas de investigación que dean un mellor servizo ás necesidades reais dos usuarios.

DRACO destaca a breixa entre resolver tarefas sintéticas e atender necesidades de investigación auténticas. O sistema de avaliación é agnóstico respecto ao modelo: a medida que xurdan LLMs (grandes modelos de linguaxe) axentes máis potentes, volveremos executar as avaliacións e publicaremos os resultados anovados. E a medida que lancemos melloras na Investigación profunda en Perplexity.ai, os usuarios verán esas vantaxes reflectidas tanto no rendemento do produto como nas puntuacións das probas de rendemento.

Investigación profunda de vangarda

A Investigación profunda de Perplexity consegue un rendemento de vangarda nas principais probas de rendemento externas, incluíndo DeepSearchQA de Google DeepMind e ResearchRubrics de Scale AI.

Ampliar

Ampliar

Estes resultados derivan de combinar os mellores modelos dispoñibles coas capacidades de axentes deseñadas especificamente de Perplexity: ferramentas de busca propietarias, infraestrutura de navegador e execución de código. Xuntos, forman un sistema optimizado de extremo a extremo para recuperar, sintetizar e razoar sobre información do mundo real.

No proceso de construción deste produto, decatámonse de que as probas de rendemento externas, aínda que son útiles para comparar modelos, adoitan non recoller as consultas multifacéticas e as demandas de síntese que os usuarios reais fan cada día. Hoxe publicamos como código aberto o DRACO Benchmark, unha proba de referencia baseada en como a xente usa realmente a investigación profunda, motivada por millóns de tarefas de produción en dez dominios.

Ampliar

Por que importa a avaliación baseada na produción

As probas de rendemento existentes adoitan avaliar habilidades concretas de forma illada: recuperar un único feito, responder a unha pregunta trivial ou resolver un problema ben definido. Pero as consultas de investigación reais requiren síntese entre fontes, análises matizadas e orientación práctica, todo isto mantendo a precisión factual e a citación adecuada.

O DRACO Benchmark abrangue 100 tarefas coidadosamente seleccionadas que abarcan Académico, Finanzas, Dereito, Medicina, Tecnoloxía, Coñecemento xeral, Deseño UX, Asistente personalizado, Comparación de produtos/compras e Agulla nun pallar, cada unha combinada con rúbricas elaboradas por expertos cunha media de ~40 criterios de avaliación.

Estas tarefas orixinanse a partir de solicitudes reais de usuarios na Investigación profunda de Perplexity, mostradas a partir de millóns de solicitudes de produción e despois reformuladas sistematicamente, aumentadas e filtradas a través dun pipeline de cinco etapas: eliminamos información de identificación persoal, engadimos contexto e alcance, filtramos pola obxectividade e dificultade, e realizamos unha revisión final por expertos na materia. O resultado é unha proba de referencia que reflicte as necesidades auténticas dos usuarios en lugar de exercicios sintéticos ou tarefas seleccionadas por expertos.

Como funciona o DRACO Benchmark

Ampliar

Cada tarefa da proba de rendemento pasou por un proceso rigoroso de desenvolvemento de rúbricas. Perplexity traballou cun socio de xeración de datos, The LLM Data Company, para desenvolver e probar a presión rúbricas de avaliación para o conxunto. Os expertos na materia redactaron as rúbricas iniciais coa axuda de ferramentas de LLM, e despois iteraron mediante revisión por pares e calibración. As rúbricas mal especificadas e excesivamente lenientes devolvéronse para a súa revisión, e arredor do 45 % das rúbricas refináronse polo menos unha vez a través deste proceso. O resultado son criterios de avaliación que distinguen autenticamente as capacidades do sistema.

As rúbricas avalían catro dimensións: precisión factual (arredor da metade de todos os criterios), amplitude e profundidade da análise, calidade da presentación e citación de fontes primarias. Cada criterio recibe un peso que reflicte a súa importancia e algúns criterios son negativos, penalizando erros como alucinacións ou afirmacións sen apoio.

As respostas cualifícanse mediante un protocolo de LLM como xuíz, onde cada criterio recibe un veredicto binario. Este enfoque é moi axeitado para a avaliación da precisión factual porque as rúbricas basean ao xuíz en datos do mundo real derivados dos resultados de busca, transformando a avaliación subxectiva en comprobación de feitos verificable. Validamos a fiabilidade en tres modelos de xuíces e descubrimos que, aínda que as puntuacións absolutas varían, as clasificacións relativas dos sistemas seguen sendo consistentes.

Ampliar

Conxunto de ferramentas e contorno de avaliación

A proba de rendemento está deseñada para avaliar axentes con acceso a un conxunto completo de ferramentas de investigación, incluíndo un contorno illado de execución de código e capacidades de navegador.

O que atopamos

Rendemento por dominio. Avaliamos catro sistemas de investigación profunda en 10 dominios de coñecemento medindo as taxas de acerto (porcentaxe de criterios de avaliación cumpridos). A Investigación profunda logrou as taxas de acerto máis altas en todos os dominios, cun rendemento especialmente forte en Dereito (89,4 %) e Académico (82,4 %).

Ampliar

Para os usuarios, isto significa respostas máis fiables tanto se estás a preparar un informe legal, como se estás a realizar unha revisión bibliográfica ou a comparar opcións de tratamento médico. As brechas de rendemento ampliáronse significativamente en tarefas de razoamento complexas: nos escenarios de Asistente personalizado e Agulla nun pallar, Perplexity superou ao sistema con menor puntuación en máis de 20 puntos porcentuais. Estes dominios reflicten necesidades reais dos usuarios, como recomendacións personalizadas e a busca de feitos específicos agochados en documentos grandes.

Ampliar

Rendemento por aspecto de avaliación. En catro dimensións clave de avaliación, a Investigación profunda liderou en tres: Precisión factual, Amplitude e profundidade da análise, e Calidade da citación. Estas son as dimensións que máis importan cando necesitas confiar na túa investigación para tomar decisións reais, xa sexa asesorando a un cliente, facendo un investimento ou escribindo un informe co teu nome. Só outro sistema mostrou un rendemento comparable ao da Investigación profunda de Perplexity en Calidade da presentación, o que indica que os problemas difíciles na investigación profunda non tratan sobre o formato, senón sobre acadar os feitos correctos e completar a análise.

Ampliar

Calidade e eficiencia. Cabe destacar que o sistema con mellor rendemento tamén logrou a latencia máis baixa (459,6 segundos fronte a 592 a 1808 segundos dos concorrentes). Para os usuarios, isto significa que non tes que elixir entre unha investigación minuciosa e obter respostas rapidamente. Isto reflicte a vantaxe dunha infraestrutura integrada verticalmente e de extremo a extremo: unha mellor busca¹ [ligazón a pé de páxina á nosa API de busca] e integración do navegador con contornos de execución optimizados tradúcense directamente nunha investigación máis rápida e precisa.

O que vén a continuación

O sistema de Investigación profunda de Perplexity é agnóstico respecto ao modelo: a medida que xurdan LLMs axentes máis potentes, volveremos executar as avaliacións e publicaremos os resultados anovados. E a medida que lancemos melloras na Investigación profunda en Perplexity.ai, os usuarios verán esas vantaxes reflectidas tanto no rendemento do produto como nas puntuacións das probas de rendemento.

A proba de rendemento avalía actualmente só en inglés interaccións dunha soa volta en dez dominios. As futuras iteracións ampliarán a diversidade lingüística, engadirán avaliacións de varias voltas e ampliarán a cobertura de dominios.

Constrúe mellores axentes de investigación co DRACO Benchmark

O DRACO Benchmark é totalmente de código aberto agora. Calquera equipo que cree sistemas de investigación profunda pode avaliar os seus modelos fronte a tarefas de investigación do mundo real en lugar de acertixos académicos sintéticos. Publicamos a proba de rendemento completa, todas as rúbricas e o aviso do xuíz.

Para saber máis sobre a metodoloxía e os resultados detallados, le o informe técnico completo: DRACO benchmark e explora o conxunto de datos en Hugging Face.

Cita

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}