Evaluación del rendimiento de la Investigación profunda en entornos reales con el punto de referencia DRACO

Hoy lanzamos el punto de referencia de precisión, exhaustividad y objetividad de la Investigación profunda (DRACO, por sus siglas en inglés), un punto de referencia abierto para evaluar agentes de investigación profunda basado en cómo los usuarios realmente utilizan la IA para tareas de investigación complejas. Al ofrecer DRACO como código abierto, nuestro objetivo es ayudar a la comunidad de IA en general a crear herramientas de investigación que satisfagan mejor las necesidades reales de los usuarios.

DRACO destaca la brecha entre resolver tareas sintéticas y atender necesidades de investigación auténticas. El entorno de evaluación es agnóstico de modelos: a medida que surjan LLM agénticos más potentes, volveremos a ejecutar las evaluaciones y publicaremos los resultados actualizados. Y a medida que introduzcamos mejoras en la Investigación profunda en Perplexity.ai, los usuarios verán esos beneficios reflejados tanto en el rendimiento del producto como en las puntuaciones de los puntos de referencia.

Investigación profunda de vanguardia

La Investigación profunda de Perplexity alcanza un rendimiento de vanguardia en los principales puntos de referencia externos, incluidos DeepSearchQA de Google DeepMind y ResearchRubrics de Scale AI.

Ampliar

Ampliar

Estos resultados provienen de combinar los mejores modelos disponibles con las capacidades agénticas diseñadas específicamente de Perplexity: herramientas de búsqueda propietarias, infraestructura de navegador y ejecución de código. Juntos, forman un sistema optimizado de extremo a extremo para recuperar, sintetizar y razonar sobre información del mundo real.

En el proceso de creación de este producto, nos dimos cuenta de que los puntos de referencia externos, aunque útiles para comparar modelos, a menudo no capturan las consultas multifacéticas y las demandas de síntesis que los usuarios reales plantean todos los días. Hoy lanzamos el punto de referencia DRACO en código abierto, un punto de referencia basado en cómo las personas utilizan realmente la investigación profunda, motivado por millones de tareas de producción en diez dominios.

Ampliar

Por qué es importante la evaluación basada en la producción

Los puntos de referencia existentes a menudo evalúan habilidades específicas de forma aislada: recuperar un único hecho, responder a una pregunta de trivia o resolver un problema bien definido. Pero las consultas de investigación reales exigen síntesis entre fuentes, análisis matizados y orientación procesable, todo ello manteniendo la precisión fáctica y una cita adecuada.

El punto de referencia DRACO comprende 100 tareas cuidadosamente seleccionadas que abarcan los campos académico, financiero, legal, médico, tecnológico, de conocimientos generales, diseño de UX, asistente personalizado, comparación de compras y productos, y la búsqueda de una aguja en un pajar (Needle in a Haystack); cada una combinada con rúbricas elaboradas por expertos que promedian unos 40 criterios de evaluación.

Estas tareas se originan a partir de solicitudes de usuarios reales en la Investigación profunda de Perplexity, muestreadas a partir de millones de solicitudes de producción y luego reformuladas, aumentadas y filtradas sistemáticamente a través de un canal de cinco etapas: eliminamos información de identificación personal, agregamos contexto y alcance, filtramos por objetividad y dificultad, y realizamos una revisión final por parte de expertos en la materia. El resultado es un punto de referencia que refleja las necesidades auténticas de los usuarios en lugar de ejercicios sintéticos o tareas seleccionadas por expertos.

Cómo funciona el punto de referencia DRACO

Ampliar

Cada tarea del punto de referencia pasó por un riguroso proceso de desarrollo de rúbricas. Perplexity trabajó con un socio de generación de datos, The LLM Data Company, para desarrollar y probar bajo presión rúbricas de evaluación para el conjunto. Los expertos en la materia redactaron las rúbricas iniciales con la ayuda de herramientas de LLM, y luego iteraron mediante revisión por pares y calibración. Las rúbricas mal especificadas y demasiado indulgentes se devolvieron para su revisión, y aproximadamente el 45% de las rúbricas se refinaron al menos una vez a través de este proceso. El resultado son criterios de evaluación que distinguen genuinamente las capacidades del sistema.

Las rúbricas evalúan cuatro dimensiones: precisión fáctica (aproximadamente la mitad de todos los criterios), amplitud y profundidad del análisis, calidad de presentación y citación de fuentes primarias. Cada criterio recibe un peso que refleja su importancia y algunos criterios son negativos, penalizando errores como alucinaciones o afirmaciones sin fundamento.

Las respuestas se califican utilizando un protocolo de LLM como juez, donde cada criterio recibe un veredicto binario. Este enfoque es muy adecuado para la evaluación de la precisión fáctica porque las rúbricas fundamentan al juez en datos del mundo real derivados de resultados de búsqueda, transformando la evaluación subjetiva en una verificación de hechos verificable. Validamos la confiabilidad en tres modelos de jueces y descubrimos que, si bien las puntuaciones absolutas varían, las clasificaciones relativas de los sistemas se mantienen consistentes.

Ampliar

Conjunto de herramientas y entorno de evaluación

El punto de referencia está diseñado para evaluar agentes con acceso a un conjunto completo de herramientas de investigación, incluido un entorno aislado de ejecución de código y capacidades de navegador.

Lo que encontramos

Rendimiento por dominio. Evaluamos cuatro sistemas de investigación profunda en 10 dominios de conocimiento midiendo las tasas de aprobación (porcentaje de criterios de evaluación cumplidos). La Investigación profunda logró las tasas de aprobación más altas en todos los dominios, con un rendimiento particularmente fuerte en Derecho (89.4%) y Académico (82.4%).

Ampliar

Para los usuarios, esto significa respuestas más confiables, ya sea que esté preparando un informe legal, realizando una revisión de literatura o comparando opciones de tratamiento médico. Las brechas de rendimiento se ampliaron significativamente en las tareas de razonamiento complejo: en los escenarios de Asistente personalizado y Búsqueda de una aguja en un pajar (Needle in a Haystack), Perplexity superó al sistema con la puntuación más baja por más de 20 puntos porcentuales. Estos dominios reflejan las necesidades reales de los usuarios, como recomendaciones personalizadas y la búsqueda de hechos específicos enterrados en documentos grandes.

Ampliar

Rendimiento por aspecto de evaluación. En cuatro dimensiones clave de evaluación, la Investigación profunda lideró en tres: Precisión fáctica, Amplitud y profundidad del análisis, y Calidad de las citas. Estas son las dimensiones que más importan cuando necesita confiar en su investigación para tomar decisiones reales, ya sea que esté asesorando a un cliente, haciendo una inversión o escribiendo un informe con su nombre. Solo otro sistema mostró un rendimiento comparable al de la Investigación profunda de Perplexity en cuanto a calidad de presentación, lo que indica que los problemas difíciles en la investigación profunda no tienen que ver con el formato, sino con acertar en los hechos y completar el análisis.

Ampliar

Calidad y eficiencia. En particular, el sistema con mejor rendimiento también logró la latencia más baja (459.6 segundos frente a 592 a 1808 segundos de los competidores). Para los usuarios, esto significa que no tiene que elegir entre una investigación exhaustiva y obtener respuestas rápidamente. Esto refleja la ventaja de la infraestructura integrada verticalmente de extremo a extremo: una mejor búsqueda¹ [enlace a pie de página de nuestra API de búsqueda] y una mejor integración del navegador con entornos de ejecución optimizados se traducen directamente en una investigación más rápida y precisa.

Qué sigue

El entorno de la Investigación profunda de Perplexity es agnóstico de modelos: a medida que surjan LLM agénticos más potentes, volveremos a ejecutar las evaluaciones y publicaremos los resultados actualizados. Y a medida que introduzcamos mejoras en la Investigación profunda en Perplexity.ai, los usuarios verán esos beneficios reflejados tanto en el rendimiento del producto como en las puntuaciones de los puntos de referencia.

El punto de referencia evalúa actualmente solo interacciones en inglés de un solo turno. Las iteraciones futuras ampliarán la diversidad lingüística, agregarán evaluación de múltiples turnos y ampliarán la cobertura de dominios.

Cree mejores agentes de investigación con el punto de referencia DRACO

El punto de referencia DRACO ya es totalmente de código abierto. Cualquier equipo que cree sistemas de investigación profunda puede evaluar sus modelos frente a tareas de investigación del mundo real en lugar de rompecabezas académicos sintéticos. Estamos lanzando el punto de referencia completo, todas las rúbricas y el mensaje del juez.

Para obtener más información sobre la metodología y los resultados detallados, lea el informe técnico completo: punto de referencia DRACO y explore el conjunto de datos en Hugging Face.

Citación

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}