使用 DRACO 基准评估野外深度研究表现

今天，我们发布了深度研究准确性、完整性和客观性基准（DRACO）。这是一个开放的基准，用于评估深度研究智能体，其立足于用户在复杂研究任务中实际使用 AI 的方式。通过开源 DRACO，我们旨在帮助更广泛的 AI 社区构建能够更好地满足真实用户需求的研究工具。

DRACO 强调了解决合成任务与满足真实研究需求之间的差距。该评估工具与模型无关：随着更强大的智能大语言模型（LLM）的出现，我们将重新运行评估并发布更新后的结果。随着我们改进 Perplexity.ai 上的深度研究功能，用户将看到产品性能和基准测试得分两方面的提升。

Perplexity 深度研究在领先的外部基准测试（包括 Google DeepMind 的 DeepSearchQA 和 Scale AI 的 ResearchRubrics）中实现了最先进的性能。

深度研究系统在 Google DeepMind 的 DeepSearchQA 基准上的得分。

深度研究系统在 Scale AI 的 ResearchRubrics 基准上的得分。

这些结果源于将现有的最佳模型与 Perplexity 专门构建的智能体能力相结合：专有的搜索工具、浏览器基础设施和代码执行。这些共同构成了一个经过端到端优化的系统，用于检索、综合和推理现实世界的信息。

在构建该产品的过程中，我们意识到外部基准虽然有助于比较模型，但往往无法捕捉到真实用户每天提出的多面查询和综合需求。今天，我们开源了 DRACO 基准。该基准立足于人们实际使用深度研究的方式，并由跨越十个领域的数百万项生产任务所驱动。

现有的基准测试通常孤立地测试狭窄的技能：检索单一事实、回答琐事问题或解决定义明确的问题。但真正的研究查询需要跨来源进行综合、进行细致入微的分析并提供可操作的指导，同时还要保持事实的准确性和正确的引用。

DRACO 基准包含 100 项精心策划的任务，涵盖学术、金融、法律、医学、技术、常识、用户体验设计、个性化助手、购物/产品比较以及“大海捞针”测试。每一项任务都配有由专家精心设计的评分标准，平均包含约 40 个评估准则。

这些任务源于 Perplexity 深度研究的真实用户请求，从数百万个生产请求中抽样，然后通过一个五阶段流程进行系统的重构、扩充和过滤：我们移除个人身份信息，添加背景和范围，过滤掉客观性和难度，并由领域专家进行最终审查。其结果是一个反映真实用户需求而非合成练习或专家策划任务的基准。

基准中的每项任务都经历了严格的评分标准开发过程。Perplexity 与数据生成合作伙伴 The LLM Data Company 合作，为该系列制定并压力测试了评估标准。主题专家在 LLM 工具的帮助下起草了初步标准，然后通过同行评审和校准进行了迭代。说明不明确或过于宽松的标准被退回修订，该过程中约 45% 的标准至少经过了一次完善。最终得出的评估标准能够真正区分系统能力。

评分标准评估四个维度：事实准确性（约占所有标准的一半）、分析的广度和深度、呈现质量以及主要来源的引用。每个准则都根据其重要性分配权重，部分准则为负面评价，旨在惩罚诸如幻觉或无根据断言等错误。

响应使用“以 LLM 作为裁判”的协议进行评分，每个准则都会获得一个二元判定。这种方法非常适用于事实准确性评估，因为评分标准将裁判建立在源自搜索结果的真实数据之上，从而将主观评估转化为可验证的事实核查。我们验证了三个裁判模型之间的可靠性，发现虽然绝对分数有所不同，但相对系统排名保持一致。

该基准旨在评估能够访问完整研究工具集的智能体，包括代码执行沙盒和浏览器功能。

各领域的表现。 我们评估了跨 10 个知识领域的四个深度研究系统，通过测量通过率（达到评估标准的百分比）来进行评估。深度研究在所有领域都取得了最高的通过率，在法律（89.4%）和学术（82.4%）领域表现尤为强劲。

对用户而言，这意味着无论您是在准备法律简报、进行文献综述还是比较医疗方案，都能获得更可靠的答案。在复杂推理任务中，性能差距显著拉大：在个性化助手和“大海捞针”场景中，Perplexity 的表现比得分最低的系统高出 20 多个百分点。这些领域反映了真实的用户需求，如个性化推荐以及查找隐藏在大型文档中的特定事实。

按评估维度的表现。 在四个关键评估维度中，深度研究在三个维度上处于领先地位：事实准确性、分析的广度和深度以及引用质量。当您需要信任您的研究以做出真实决策时（无论是建议客户、进行投资还是撰写署名报告），这些维度最为重要。只有另一个系统在呈现质量上表现出与 Perplexity 深度研究相当的水平，这表明深度研究中的难题不在于格式，而在于确保事实正确且分析完整。

质量与效率。 值得注意的是，表现最好的系统也实现了最低的延迟（459.6 秒，而竞争对手为 592 至 1808 秒）。对用户而言，这意味着您不必在详尽的研究和快速获取答案之间做出选择。这反映了垂直整合的端到端基础设施的优势：更好的搜索¹ [指向我们搜索 API 的脚注链接] 和具有优化执行环境的浏览器集成直接转化为更快、更准确的研究。

Perplexity 的深度研究工具与模型无关：随着更强大的智能大语言模型的出现，我们将重新运行评估并发布更新后的结果。随着我们改进 Perplexity.ai 上的深度研究功能，用户将看到产品性能和基准测试得分两方面的提升。

该基准目前仅评估十个领域内的英语单轮交互。未来的迭代将扩展语言多样性、添加多轮评估并拓宽领域覆盖范围。

DRACO 基准现已全面开源。任何构建深度研究系统的团队都可以根据现实世界的研究任务而非合成的学术难题来评估他们的模型。我们正在发布完整的基准、所有评分标准和裁判提示词。

要了解有关方法论和详细结果的更多信息，请阅读完整的技术报告：DRACO 基准，并在 Hugging Face 上探索数据集。

BibTeX

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}

最先进的深度研究

为何基于生产环境的评估至关重要

DRACO 基准的工作原理

工具集与评估环境

我们的发现

接下来是什么

利用 DRACO 基准构建更好的研究智能体

引用