Évaluation des performances de Recherche approfondie avec le benchmark DRACO

Aujourd'hui, nous publions le benchmark DRACO (Deep Research Accuracy, Completeness, and Objectivity), un benchmark ouvert pour évaluer les agents de recherche approfondie, fondé sur la manière dont les utilisateurs utilisent réellement l'IA pour des tâches de recherche complexes. En rendant DRACO open source, nous visons à aider la communauté élargie de l'IA à créer des outils de recherche qui répondent mieux aux besoins réels des utilisateurs.

DRACO met en lumière l'écart entre la résolution de tâches synthétiques et la satisfaction de besoins de recherche authentiques. Le système d'évaluation est indépendant du modèle : à mesure que des LLM agents plus puissants émergent, nous relancerons les évaluations et publierons des résultats actualisés. Et à mesure que nous intégrerons des améliorations à la Recherche approfondie sur Perplexity.ai, les utilisateurs verront ces gains se refléter à la fois dans les performances du produit et dans les scores du benchmark.

Recherche approfondie de pointe

La Recherche approfondie de Perplexity atteint des performances de pointe sur les principaux benchmarks externes, notamment DeepSearchQA de Google DeepMind et ResearchRubrics de Scale AI.

Agrandir

Agrandir

Ces résultats découlent de la combinaison des meilleurs modèles disponibles avec les capacités agents sur mesure de Perplexity : outils de recherche propriétaires, infrastructure de navigation et exécution de code. Ensemble, ils forment un système optimisé de bout en bout pour extraire, synthétiser et raisonner sur des informations du monde réel.

Au cours du développement de ce produit, nous avons réalisé que les benchmarks externes, bien qu'utiles pour comparer les modèles, ne capturent souvent pas les requêtes à multiples facettes et les exigences de synthèse que les utilisateurs réels formulent quotidiennement. Aujourd'hui, nous rendons open source le benchmark DRACO, fondé sur la manière dont les gens utilisent réellement la recherche approfondie, motivé par des millions de tâches de production dans dix domaines.

Agrandir

Pourquoi l'évaluation fondée sur la production est importante

Les benchmarks existants testent souvent des compétences étroites de manière isolée : extraire un seul fait, répondre à une question de trivia ou résoudre un problème bien défini. Mais les requêtes de recherche réelles exigent une synthèse entre les sources, une analyse nuancée et des conseils exploitables, tout en maintenant l'exactitude factuelle et une citation appropriée.

Le benchmark DRACO comprend 100 tâches soigneusement sélectionnées couvrant les domaines académique, financier, juridique, médical, technologique, la culture générale, le design UX, l'assistant personnalisé, la comparaison de produits/achats et la recherche d'une aiguille dans une botte de foin, chacune associée à des rubriques élaborées par des experts comprenant en moyenne ~40 critères d'évaluation. Ces tâches proviennent de demandes réelles des utilisateurs sur la Recherche approfondie de Perplexity, échantillonnées à partir de millions de requêtes de production, puis systématiquement reformulées, augmentées et filtrées via un pipeline en cinq étapes : nous supprimons les informations personnellement identifiables, ajoutons du contexte et de la portée, filtrons pour l'objectivité et la difficulté, et effectuons un examen final par des experts du domaine. Le résultat est un benchmark qui reflète les besoins réels des utilisateurs plutôt que des exercices synthétiques ou des tâches sélectionnées par des experts.

Comment fonctionne le benchmark DRACO

Agrandir

Chaque tâche du benchmark a suivi un processus rigoureux d'élaboration de rubriques. Perplexity a collaboré avec un partenaire de génération de données, The LLM Data Company, pour développer et tester sous pression les rubriques d'évaluation pour cet ensemble. Des experts en la matière ont rédigé les rubriques initiales avec l'aide d'outils LLM, puis ont procédé par itération via un examen par les pairs et un étalonnage. Les rubriques mal définies ou trop indulgentes ont été renvoyées pour révision, environ 45 % d'entre elles ayant été affinées au moins une fois au cours de ce processus. Le résultat consiste en des critères d'évaluation qui distinguent réellement les capacités des systèmes.

Les rubriques évaluent quatre dimensions : l'exactitude factuelle (environ la moitié de tous les critères), l'étendue et la profondeur de l'analyse, la qualité de la présentation et la citation des sources primaires. Chaque critère reçoit une pondération reflétant son importance et certains critères sont négatifs, pénalisant les erreurs telles que les hallucinations ou les affirmations non étayées.

Les réponses sont notées en utilisant un protocole LLM-as-judge, où chaque critère reçoit un verdict binaire. Cette approche est bien adaptée à l'évaluation de l'exactitude factuelle car les rubriques fondent le juge sur des données du monde réel dérivées des résultats de recherche, transformant l'évaluation subjective en vérification de faits vérifiable. Nous avons validé la fiabilité sur trois modèles de juges et avons constaté que si les scores absolus varient, les classements relatifs des systèmes restent cohérents.

Agrandir

Boîte à outils et environnement d'évaluation

Le benchmark est conçu pour évaluer les agents ayant accès à une boîte à outils de recherche complète, incluant un bac à sable d'exécution de code et des capacités de navigation.

Ce que nous avons découvert

Performance par domaine. Nous avons évalué quatre systèmes de recherche approfondie dans 10 domaines de connaissances en mesurant les taux de réussite (pourcentage de critères d'évaluation satisfaits). La Recherche approfondie a atteint les taux de réussite les plus élevés dans tous les domaines, avec des performances particulièrement solides en Droit (89,4 %) et en Académique (82,4 %).

Agrandir

Pour les utilisateurs, cela signifie des réponses plus fiables, que vous prépariez un dossier juridique, que vous effectuiez une revue de littérature ou que vous compariez des options de traitement médical. Les écarts de performance se sont creusés de manière significative dans les tâches de raisonnement complexes : dans les scénarios d'assistant personnalisé et de recherche d'une aiguille dans une botte de foin, Perplexity a surpassé le système le moins performant de plus de 20 points de pourcentage. Ces domaines reflètent les besoins réels des utilisateurs comme les recommandations personnalisées et la recherche de faits spécifiques enfouis dans de longs documents.

Agrandir

Performance par aspect d'évaluation. Sur quatre dimensions d'évaluation clés, la Recherche approfondie est arrivée en tête dans trois : Exactitude factuelle, Étendue et profondeur de l'analyse, et Qualité des citations. Ce sont les dimensions qui importent le plus lorsque vous devez faire confiance à vos recherches pour des décisions réelles, que vous conseilliez un client, fassiez un investissement ou rédigiez un rapport à votre nom. Un seul autre système a montré des performances comparables à la Recherche approfondie de Perplexity sur la qualité de la présentation, indiquant que les problèmes difficiles de la recherche approfondie ne concernent pas la mise en forme, mais la véracité des faits et l'exhaustivité de l'analyse.

Agrandir

Qualité et efficacité. Notamment, le système le plus performant a également atteint la latence la plus faible (459,6 secondes contre 592 à 1808 secondes pour les concurrents). Pour les utilisateurs, cela signifie que vous n'avez pas à choisir entre une recherche approfondie et l'obtention rapide de réponses. Cela reflète l'avantage d'une infrastructure verticalement intégrée et de bout en bout : une meilleure recherche¹ et une meilleure intégration du navigateur avec des environnements d'exécution optimisés se traduisent directement par des recherches plus rapides et plus précises.

Et ensuite

Le système de Recherche approfondie de Perplexity est indépendant du modèle : à mesure que des LLM agents plus puissants émergent, nous relancerons les évaluations et publierons des résultats actualisés. Et à mesure que nous intégrerons des améliorations à la Recherche approfondie sur Perplexity.ai, les utilisateurs verront ces gains se refléter à la fois dans les performances du produit et dans les scores du benchmark.

Le benchmark évalue actuellement uniquement les interactions en anglais et en un seul tour dans dix domaines. Les futures itérations élargiront la diversité linguistique, ajouteront une évaluation multi-tours et élargiront la couverture des domaines.

Créez de meilleurs agents de recherche avec le benchmark DRACO

Le benchmark DRACO est désormais entièrement open source. Toute équipe construisant des systèmes de recherche approfondie peut évaluer ses modèles par rapport à des tâches de recherche du monde réel plutôt qu'à des puzzles académiques synthétiques. Nous publions le benchmark complet, toutes les rubriques et le prompt du juge.

Pour en savoir plus sur la méthodologie et les résultats détaillés, lisez le rapport technique complet : benchmark DRACO et explorez le jeu de données sur Hugging Face.

Citation

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}