Evaluación del rendimiento de la Investigación profunda con el benchmark DRACO

Hoy presentamos el benchmark DRACO (Precisión, Integridad y Objetividad en la Investigación profunda), una referencia abierta para evaluar agentes de investigación profunda basada en cómo los usuarios emplean realmente la IA para tareas de investigación complejas. Al hacer que DRACO sea de código abierto, nuestro objetivo es ayudar a la comunidad de IA a desarrollar herramientas de investigación que atiendan mejor las necesidades reales de los usuarios.

DRACO pone de relieve la brecha existente entre la resolución de tareas sintéticas y la atención de necesidades de investigación auténticas. El sistema de evaluación es independiente del modelo: a medida que surjan LLMs agentes más robustos, volveremos a realizar evaluaciones y publicaremos resultados actualizados. Además, a medida que implementemos mejoras en la Investigación profunda en Perplexity.ai, los usuarios verán esos beneficios reflejados tanto en el rendimiento del producto como en las puntuaciones del benchmark.

Investigación profunda de vanguardia

La Investigación profunda de Perplexity alcanza un rendimiento de vanguardia en los principales benchmarks externos, incluidos DeepSearchQA de Google DeepMind y ResearchRubrics de Scale AI.

Ampliar

Ampliar

Estos resultados derivan de la combinación de los mejores modelos disponibles con las capacidades agentes integradas de Perplexity: herramientas de búsqueda propietarias, infraestructura de navegador y ejecución de código. Juntos, forman un sistema optimizado de extremo a extremo para recuperar, sintetizar y razonar sobre información del mundo real.

En el proceso de creación de este producto, nos percatamos de que los benchmarks externos, aunque útiles para comparar modelos, a menudo no captan las consultas multifacéticas y las demandas de síntesis que los usuarios reales plantean a diario. Hoy, lanzamos el benchmark DRACO, una referencia basada en el uso real de la investigación profunda, motivada por millones de tareas de producción en diez dominios.

Ampliar

Por qué es importante la evaluación basada en la producción

Los benchmarks existentes a menudo evalúan competencias específicas de forma aislada: recuperar un dato, responder a una pregunta de cultura general o resolver un problema bien definido. Sin embargo, las consultas de investigación reales exigen síntesis entre fuentes, análisis matizado y orientación práctica, todo ello manteniendo la precisión factual y las citas adecuadas.

El benchmark DRACO comprende 100 tareas seleccionadas cuidadosamente que abarcan los ámbitos académico, financiero, jurídico, médico, tecnológico, de cultura general, diseño de UX, asistente personalizado, comparación de productos/compras y aguja en un pajar, cada una acompañada de rúbricas elaboradas por expertos que cuentan con una media de ~40 criterios de evaluación. Estas tareas provienen de solicitudes de usuarios reales en la Investigación profunda de Perplexity, muestreadas a partir de millones de peticiones de producción y posteriormente reformuladas, aumentadas y filtradas de forma sistemática a través de un proceso de cinco etapas: eliminamos la información de identificación personal, añadimos contexto y alcance, filtramos por objetividad y dificultad, y realizamos una revisión final por parte de expertos en la materia. El resultado es un benchmark que refleja las necesidades auténticas de los usuarios en lugar de ejercicios sintéticos o tareas curadas por expertos.

Cómo funciona el benchmark DRACO

Ampliar

Cada tarea del benchmark pasó por un riguroso proceso de desarrollo de rúbricas. Perplexity colaboró con un socio de generación de datos, The LLM Data Company, para desarrollar y probar bajo presión las rúbricas de evaluación del conjunto. Los expertos en la materia redactaron las rúbricas iniciales con la ayuda de herramientas de LLM, y posteriormente iteraron mediante revisión por pares y calibración. Las rúbricas mal especificadas o excesivamente permisivas se devolvieron para su revisión, y aproximadamente el 45% de las rúbricas se refinaron al menos una vez durante este proceso. El resultado son criterios de evaluación que distinguen genuinamente las capacidades del sistema.

Las rúbricas evalúan cuatro dimensiones: precisión factual (aproximadamente la mitad de todos los criterios), amplitud y profundidad del análisis, calidad de la presentación y citación de fuentes primarias. Cada criterio recibe una ponderación que refleja su importancia, y algunos criterios son negativos, penalizando errores como alucinaciones o afirmaciones sin respaldo.

Las respuestas se califican utilizando un protocolo de LLM como juez, donde cada criterio recibe un veredicto binario. Este enfoque es adecuado para la evaluación de la precisión factual porque las rúbricas fundamentan al juez en datos del mundo real derivados de los resultados de búsqueda, transformando la evaluación subjetiva en una verificación de hechos comprobable. Validamos la fiabilidad a través de tres modelos de juez y descubrimos que, aunque las puntuaciones absolutas varían, las clasificaciones relativas del sistema siguen siendo coherentes.

Ampliar

Conjunto de herramientas y entorno de evaluación

El benchmark está diseñado para evaluar agentes con acceso a un conjunto completo de herramientas de investigación, incluyendo un entorno aislado de ejecución de código y capacidades de navegación.

Nuestros hallazgos

Rendimiento por dominio. Evaluamos cuatro sistemas de investigación profunda en 10 dominios de conocimiento midiendo las tasas de éxito (porcentaje de criterios de evaluación cumplidos). La Investigación profunda logró las tasas de éxito más altas en todos los dominios, con un rendimiento especialmente sólido en Derecho (89,4%) y Académico (82,4%).

Ampliar

Para los usuarios, esto significa respuestas más fiables tanto si está preparando un escrito legal, realizando una revisión bibliográfica o comparando opciones de tratamiento médico. Las brechas de rendimiento se ampliaron significativamente en tareas de razonamiento complejo: en los escenarios de Asistente personalizado y Aguja en un pajar, Perplexity superó al sistema con menor puntuación en más de 20 puntos porcentuales. Estos dominios reflejan necesidades reales de los usuarios, como recomendaciones personalizadas y la localización de datos específicos enterrados en grandes documentos.

Ampliar

Rendimiento por aspecto de evaluación. En las cuatro dimensiones clave de evaluación, la Investigación profunda lideró en tres: Precisión factual, Amplitud y profundidad del análisis, y Calidad de la citación. Estas son las dimensiones que más importan cuando necesita confiar en su investigación para tomar decisiones reales, ya sea aconsejando a un cliente, realizando una inversión o redactando un informe con su nombre. Solo otro sistema mostró un rendimiento comparable al de la Investigación profunda de Perplexity en Calidad de la presentación, lo que indica que los problemas difíciles en la investigación profunda no tienen que ver con el formato, sino con acertar en los hechos y completar el análisis.

Ampliar

Calidad y eficiencia. Cabe destacar que el sistema con mejor rendimiento también logró la latencia más baja (459,6 segundos frente a 592-1808 segundos de los competidores). Para los usuarios, esto significa que no tiene que elegir entre una investigación exhaustiva y obtener respuestas rápidamente. Esto refleja la ventaja de una infraestructura integrada verticalmente de extremo a extremo: una mejor búsqueda y una integración del navegador con entornos de ejecución optimizados se traducen directamente en una investigación más rápida y precisa.

Próximos pasos

El sistema de Investigación profunda de Perplexity es independiente del modelo: a medida que surjan LLMs agentes más robustos, volveremos a realizar evaluaciones y publicaremos resultados actualizados. Además, a medida que implementemos mejoras en la Investigación profunda en Perplexity.ai, los usuarios verán esos beneficios reflejados tanto en el rendimiento del producto como en las puntuaciones del benchmark.

El benchmark evalúa actualmente solo interacciones en inglés y de un solo turno en diez dominios. Las futuras iteraciones ampliarán la diversidad lingüística, añadirán evaluaciones de turnos múltiples y ampliarán la cobertura de dominios.

Cree mejores agentes de investigación con el benchmark DRACO

El benchmark DRACO es ahora de código abierto. Cualquier equipo que desarrolle sistemas de investigación profunda puede evaluar sus modelos frente a tareas de investigación del mundo real en lugar de rompecabezas académicos sintéticos. Estamos publicando el benchmark completo, todas las rúbricas y el prompt del juez.

Para obtener más información sobre la metodología y los resultados detallados, lea el informe técnico completo: benchmark DRACO y explore el conjunto de datos en Hugging Face.

Cita

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}