Évaluation des performances de la recherche approfondie en situation réelle avec le banc d'essai DRACO

Aujourd'hui, nous lançons le banc d'essai DRACO (Deep Research Accuracy, Completeness, and Objectivity), un banc d'essai ouvert pour évaluer les agents de recherche approfondie ancrés dans la façon dont les utilisateurs utilisent réellement l'IA pour des tâches de recherche complexes. En proposant DRACO en open source, nous souhaitons aider la communauté élargie de l'IA à créer des outils de recherche qui répondent mieux aux besoins réels des utilisateurs.

DRACO met en lumière l'écart entre la résolution de tâches synthétiques et la satisfaction de besoins de recherche authentiques. Le cadre d'évaluation est agnostique en matière de modèles : à mesure que des LLM agentiques plus puissants émergeront, nous relancerons les évaluations et publierons des résultats mis à jour. Et à mesure que nous déploierons des améliorations de la Recherche approfondie sur Perplexity.ai, les utilisateurs verront ces gains se refléter à la fois dans les performances du produit et dans les scores du banc d'essai.

Recherche approfondie de pointe

La Recherche approfondie de Perplexity atteint des performances de pointe sur les principaux bancs d'essai externes, notamment DeepSearchQA de Google DeepMind et ResearchRubrics de Scale AI.

Agrandir

Agrandir

Ces résultats découlent de la combinaison des meilleurs modèles disponibles et des capacités agentiques conçues sur mesure par Perplexity : outils de recherche propriétaires, infrastructure de navigateur et exécution de code. Ensemble, ils forment un système optimisé de bout en bout pour la récupération, la synthèse et le raisonnement sur des informations du monde réel.

Au cours du développement de ce produit, nous avons réalisé que les bancs d'essai externes, bien qu'utiles pour comparer les modèles, ne capturent souvent pas les requêtes aux facettes multiples et les exigences de synthèse que les vrais utilisateurs formulent chaque jour. Aujourd'hui, nous proposons en open source le banc d'essai DRACO, un banc d'essai ancré dans la façon dont les gens utilisent réellement la recherche approfondie, motivé par des millions de tâches de production dans dix domaines.

Agrandir

Pourquoi une évaluation ancrée dans la production est importante

Les bancs d'essai existants testent souvent des compétences restreintes de manière isolée : récupérer un seul fait, répondre à une question triviale ou résoudre un problème bien défini. Mais les requêtes de recherche réelles exigent une synthèse entre les sources, une analyse nuancée et des conseils exploitables, tout en maintenant l'exactitude factuelle et des citations appropriées.

Le banc d'essai DRACO comprend 100 tâches soigneusement sélectionnées couvrant les domaines universitaire, de la finance, du droit, de la médecine, de la technologie, de la culture générale, de la conception UX, d'assistant personnalisé, du magasinage/comparaison de produits et de l'aiguille dans une botte de foin, chacune étant associée à des critères d'évaluation élaborés par des experts et comprenant en moyenne ~40 critères.

Ces tâches proviennent de demandes d'utilisateurs réelles sur la Recherche approfondie de Perplexity, échantillonnées à partir de millions de requêtes de production, puis systématiquement reformulées, enrichies et filtrées par le biais d'un pipeline en cinq étapes : nous supprimons les informations personnelles identifiables, ajoutons du contexte et de la portée, filtrons en fonction de l'objectivité et de la difficulté, et effectuons un examen final par des experts du domaine. Le résultat est un banc d'essai qui reflète les besoins authentiques des utilisateurs plutôt que des exercices synthétiques ou des tâches sélectionnées par des experts.

Comment fonctionne le banc d'essai DRACO

Agrandir

Chaque tâche du banc d'essai a suivi un processus rigoureux d'élaboration de critères d'évaluation. Perplexity a collaboré avec un partenaire de génération de données, The LLM Data Company, pour développer et tester sous pression les critères d'évaluation pour cet ensemble. Des experts sectoriels ont rédigé les critères initiaux à l'aide d'outils de LLM, puis ont procédé à des itérations par le biais d'une révision par les pairs et d'un étalonnage. Les critères mal spécifiés et trop indulgents ont été renvoyés pour révision, environ 45 % des critères ayant été affinés au moins une fois grâce à ce processus. Le résultat est constitué de critères d'évaluation qui distinguent véritablement les capacités du système.

Les critères évaluent quatre dimensions : l'exactitude factuelle (environ la moitié de tous les critères), l'étendue et la profondeur de l'analyse, la qualité de la présentation et la citation des sources primaires. Chaque critère reçoit un poids reflétant son importance, et certains critères sont négatifs, pénalisant les erreurs telles que les hallucinations ou les affirmations non étayées.

Les réponses sont notées à l'aide d'un protocole de LLM en tant qu'juge, où chaque critère reçoit un verdict binaire. Cette approche est bien adaptée à l'évaluation de l'exactitude factuelle, car les critères ancrant le juge dans des données du monde réel dérivées des résultats de recherche, transformant une évaluation subjective en une vérification des faits vérifiable. Nous avons validé la fiabilité auprès de trois modèles de juges et avons constaté que, bien que les scores absolus varient, les classements relatifs des systèmes restent cohérents.

Agrandir

Ensemble d'outils et environnement d'évaluation

Le banc d'essai est conçu pour évaluer les agents ayant accès à un ensemble complet d'outils de recherche, comprenant un bac à sable d'exécution de code et des fonctionnalités de navigateur.

Ce que nous avons découvert

Performance par domaine. Nous avons évalué quatre systèmes de recherche approfondie dans 10 domaines de connaissances en mesurant les taux de réussite (pourcentage de critères d'évaluation satisfaits). La Recherche approfondie a atteint les taux de réussite les plus élevés dans tous les domaines, avec des performances particulièrement fortes en droit (89,4 %) et dans le domaine universitaire (82,4%).

Agrandir

Pour les utilisateurs, cela signifie des réponses plus fiables, que vous prépariez un mémoire juridique, meniez une revue de littérature ou compariez des options de traitement médical. Les écarts de performance se sont creusés de manière significative dans les tâches de raisonnement complexes : dans les scénarios d'assistant personnalisé et d'aiguille dans une botte de foin, Perplexity a surpassé le système ayant obtenu le score le plus bas de plus de 20 points de pourcentage. Ces domaines reflètent les besoins réels des utilisateurs, tels que des recommandations personnalisées et la recherche de faits spécifiques enfouis dans de grands documents.

Agrandir

Performance par aspect d'évaluation. Parmi quatre dimensions clés d'évaluation, la Recherche approfondie s'est classée en tête dans trois d'entre elles : l'exactitude factuelle, l'étendue et la profondeur de l'analyse, et la qualité des citations. Ce sont les dimensions qui comptent le plus lorsque vous devez faire confiance à votre recherche pour prendre de vraies décisions, que vous conseilliez un client, preniez un investissement ou rédigiez un rapport portant votre nom. Un seul autre système a affiché des performances comparables à celles de la Recherche approfondie de Perplexity en matière de qualité de présentation, ce qui indique que les problèmes ardus de la recherche approfondie ne concernent pas le formatage, mais plutôt l'exactitude des faits et l'exhaustivité de l'analyse.

Agrandir

Qualité et efficacité. Notamment, le système le plus performant a également atteint la latence la plus faible (459,6 secondes contre 592 à 1808 secondes pour les concurrents). Pour les utilisateurs, cela signifie que vous n'avez pas à choisir entre une recherche approfondie et l'obtention rapide de réponses. Cela reflète l'avantage d'une infrastructure verticalement intégrée et de bout en bout : une meilleure recherche¹ [lien de note de bas de page vers notre API de recherche] et une meilleure intégration du navigateur avec des environnements d'exécution optimisés se traduisent directement par une recherche plus rapide et plus précise.

Prochaines étapes

Le cadre de Recherche approfondie de Perplexity est agnostique en matière de modèles : à mesure que des LLM agentiques plus puissants émergeront, nous relancerons les évaluations et publierons des résultats mis à jour. Et à mesure que nous déploierons des améliorations de la Recherche approfondie sur Perplexity.ai, les utilisateurs verront ces gains se refléter à la fois dans les performances du produit et dans les scores du banc d'essai.

Le banc d'essai évalue actuellement uniquement les interactions en anglais et à tour de rôle unique. Les futures versions élargiront la diversité linguistique, ajouteront une évaluation à plusieurs tours et élargiront la couverture des domaines.

Créez de meilleurs agents de recherche avec le banc d'essai DRACO

Le banc d'essai DRACO est désormais entièrement en open source. Toute équipe construisant des systèmes de recherche approfondie peut évaluer ses modèles par rapport à des tâches de recherche du monde réel plutôt qu'à des énigmes académiques synthétiques. Nous publions le banc d'essai complet, tous les critères d'évaluation et l'invite du juge.

Pour en savoir plus sur la méthodologie et les résultats détaillés, lisez le rapport technique complet : le banc d'essai DRACO et explorez l'ensemble de données sur Hugging Face.

Citation

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}