WANDR 基准测试：评估需进行广度与深度搜索的研究代理

今天，我们发布了 WANDR (Wide ANd Deep Research)，这是一个围绕 500 项针对知识工作的现实且具挑战性的数据收集任务而构建的开放基准测试和评估工具。WANDR 是我们 DRACO 深度研究基准测试的广度对应版本。DRACO 旨在考察代理能否生成准确、完整且客观的长篇报告；而 WANDR 则旨在考察代理能否建立大型集合，并为其中每一个成员提供具体的证据支持。

这些是人们已经交给研究代理的工作类型：竞争映射、尽职调查、文献综述、市场分析、产品比较、人才寻访等。任务涉及数十到数千条可独立验证的记录。即使在高工作量设置下，我们评估中最强大的系统也仅达到 0.363 的软 F1 分数和 0.133 的硬 F1 分数。广度与深度研究距离完全解决仍有很长的路要走。

放大

为何广度与深度研究至关重要

许多有用的研究工作并不会在代理找到一个答案后就结束。市场分析师可能需要所有符合条件的竞争对手，且每个对手都需要相同的证据。尽职调查团队可能需要数十家公司，然后是每一家公司的所有权、高管、融资和监管状况。这就产生了两个独立的需求：

广度：发现大量且通常是开放式的符合条件的实体。

深度：对每一个实体进行足够深入的调查，以证据支持每一项要求的主张。

将两者结合会改变问题本身。少数几个引人注目的例子是不够的，基于不完整研究的润色叙述也不行。代理必须在保持广泛发现的同时，确保记录之间的事实质量不受影响。

WANDR 通过灵活、可组合的 资格关键层级结构捕捉这种结构。任务可能要求：

公司(n) → 员工(m) → 网址(k)

这意味着寻找 n 家符合条件的公司，每家公司 m 名符合条件的员工，以及每位员工 k 个支持性页面。树中的每条完整路径都可以独立验证。相同的基本结构可以表示平面列表、嵌套搜索、矩阵或具有多个证据分支的任务。这些模式也可以组合，使一种表达方式能够覆盖广泛的现实世界用例。

放大

一项已发布的任务展示了这种结构在实践中的应用。

ceo_cfo_appointments

主要任务。 寻找至少 70 家总部位于美国的且在 2026 年 3 月 1 日至 4 月 30 日期间首次宣布 CEO 或 CFO 任命的公司。对于每家公司，提供一个权威的任命页面，该页面需识别公司和被任命人，确立职位和公告日期，并来自发行人、备案文件、通讯社或直接归因的第一手商业新闻。

主要层级。 公司(70) → 公司任命人(1) → 网址(1)。

公司列表子任务。 对于相同的公司，提供一个公认的列表机构页面，显示其在美国国家证券交易所的上市情况，或作为美国境内 SEC 证券交易法报告发行人的身份。

子任务层级。 公司(70) → 网址(1)。

所需记录。 140 条：70 条任命记录加上 70 条列表记录。

每一条路径最终都指向一个可由评估器重新检查的页面和摘录。共享的公司键将任命和列表分支对齐，因此如果某条任命缺少单独的列表状态证明，该公司的记录仍被视为不完整。

现实任务，规模化生成

WANDR 从生产使用中观察到的去识别化模式开始，而不是合成提示。这使基准测试紧贴人们实际委托的工作：开放式发现、重复丰富、跨源检查以及专业规模下的结构化比较。半自动化流程将这些模式转化为任务，将人类的工作量留给质量控制，而不是详尽的答案标注。

该流程分为四个阶段。播种（Seeding）：从去识别化的产品请求中挖掘可复用的广度研究模式。创作（Authoring）：运行交替的作者-评论者循环：代理起草并压力测试设计，编写任务规范和评判标准，创建固定记录，并使用机械校验器保持一切一致。准入（Admission）：通过合并 10–12 个创作版本来检查目标容量是否可达，审核特定任务的评判标准，并可选择增加人工签名。策展（Curation）：标注准入的任务，并在主题、规模、拓扑和难度方面选择一个平衡的最终集合。

放大

中位任务要求 50 个成员，每个成员四条记录，总计 245 条记录。总共 500 项任务要求 170,495 条有源支持的记录。我们根据历史设计阶段的发布情况校准难度，然后按排名将任务划分为 167 个较低难度、166 个中等难度和 167 个较高难度示例。下图显示难度不仅取决于规模；还取决于每条记录所需的工作量。

放大

无需参考，基于证据的验证式评分

固定的答案键不适合开放式研究。它构建成本高，很快过时，且难以代表那些答案随时间变化的提问。WANDR 改为根据代理引用的证据来评估提交的每项声明。

每条记录包含一个项目、一个网址、选定的摘录和一个答案。评分器重新获取页面并检查其是否可用，声明是否清晰且在范围内，摘录是否忠实出现在页面上，以及页面和摘录是否支持每一项要求。

这些二进制记录结论通过层级结构汇总。精确度衡量系统提交内容的质量。召回率衡量相对于请求容量的质量调整后的完成情况，用零填充任何不足。F1平衡两者。软分数为不完整的成员提供部分积分；硬分数仅计算其完整所需子树正确的成员。为了诊断，WANDR 还报告了一个仅检索结论，即在添加对有效性和提交摘录的更严格检查之前，页面是否满足任务要求。

这使得失败变得可解释且可定位。高精确度低召回率通常意味着系统找到了一些好的成员，但数量不足。软分数到硬分数的大幅下降意味着它取得了部分进展，但很少能完成获得完全积分所需的每个分支。分数树可以将损失定位到发现、丰富、身份处理、页面资格确认或证据提取阶段。

放大

我们的发现

我们比较了六个生产系统：托管任务和搜索 API、通用网络代理 API、深度研究产品以及我们的程序化搜索编排系统 Search as Code (SaC)。每个系统都在固定配置下对所有 500 项任务进行了调度，然后经历了相同的获取、评判、身份解析和评分流程。

Perplexity Search as Code 以 0.363 的软 F1 和 0.133 的硬 F1 领先。Anthropic 以 0.249 和 0.072 排名第二；其他所有系统的软 F1 最高仅为 0.121，硬 F1 最高仅为 0.035。没有系统能同时在质量和效率上占据主导地位。Perplexity 的成本处于中间范围，每项任务 5.20 美元，中位求解时间为 14.9 分钟，每项任务报告 382 万个 Token。OpenAI 和 Exa 更快、更便宜，但得分较低。Anthropic 在质量上最接近，但使用了明显更多的时间、金钱和 Token。

放大

放大

我们还在相同的 45 项任务子集上评估了所有可用的工作量设置。增加工作量可以在每一步改善 Perplexity、Gemini 和 Exa 的表现；Perplexity 在 xhigh 设置下达到了 0.447 的软 F1 和 0.224 的硬 F1。然而，增加工作量并非总是更好：OpenAI 在 high 时达到峰值，而 Parallel 的硬 F1 在 ultra2x 和 ultra4x 之间略有下降。成本跨度超过四个数量级，从 Exa low 的每项任务 0.03 美元到 Gemini max 的 324.83 美元不等。

放大

放大

四个发现尤为突出。

部分进度很常见；完全覆盖则不然。 每个系统的软召回率均低于软精确度，这意味着一旦所有请求的数量进入分母，性能就会下降。Perplexity 从 0.389 的精确度保留了 0.357 的召回率，差距最小；Anthropic 从 0.354 降至 0.222。软到硬的转换更为严酷。Perplexity 从 0.363 的软 F1 降至 0.133 的硬 F1，Anthropic 从 0.249 降至 0.072。最佳硬精确度为 0.150，最佳硬召回率为 0.134：即使是领先者，也仅在它提交的约七分之一的成员和任务要求的约七分之一的成员中获得完全积分。

规模加剧了问题。 从目标容量最小的区间到最大的区间，Perplexity 的硬精确度从 0.235 降至 0.096，其硬召回率从 0.219 降至 0.079。Anthropic 从 0.205 降至 0.113 和从 0.127 降至 0.042；OpenAI 从 0.109 降至 0.034 和从 0.102 降至 0.016。召回率通常比精确度下降得更快：系统可能保持一小部分完整成员，同时覆盖的请求集越来越少。

更深的层级结构更严酷。从无中间键到三个或更多，Perplexity 的硬精确度从 0.392 降至 0.019，硬召回率从 0.378 降至 0.017；Anthropic 从 0.311 降至 0.049 和从 0.229 降至 0.022；OpenAI 从 0.136 降至 0.012 和从 0.120 降至 0.011。每一个新增的分支都创造了一个成员可能错失全有或全无的硬分数的点。成本和延迟不遵循常见的单调模式。

放大

甚至在评判质量之前，发现就是第一个结构性瓶颈。 仅看原始的、折叠前的计数，顶层发现的平均完成度在 0.611 到 0.951 之间。条件丰富度的表现较强，为 0.767–0.967，而一旦成员及其丰富路径存在，终端证据槽位的完成度达到 0.979–0.994。Perplexity 在发现（0.951）和丰富（0.967）方面处于领先地位，但 OpenAI 在终端证据槽位上略高，为 0.994 对比 0.991。在六次完整运行中，重复折叠仅占计数损失的 0.017–0.205 个百分点，因此交付不足（而非身份合并）是主要的总体解释。最大的原始结构性损失发生在最终网址附加之前。

放大

找到可用页面通常很容易；找到完整的证据则很难。 对于五个系统，仅 3.2%–8.9% 的提交页面不可用；OpenAI 是 23.1% 的异常值。无效或错误类型的记录也相对少见，为 4.2%–17.4%。主要的损失紧随其后：33.6%–68.3% 的提交页面未能满足至少一项实质性任务要求，57.5%–86.6% 的提交摘录未能支持记录所声称的所有内容。Perplexity 的比率分别为 41.4% 和 57.5%。其软 F1 在仅检索检查（仅要求页面满足每项实质性要求）下从 0.531 降至全面结论（还要求通用检查、任务特定有效性和完整摘录支持）下的 0.363。硬 F1 同样从 0.245 降至 0.133。困难的部分不仅在于到达一个似是而非的页面；而在于将该页面转化为足以支撑整个声明的证据。

放大

Search as Code 与这种任务形状非常匹配。模型可以将检索、过滤、扇出、渲染、连接、去重和停止逻辑表达为程序，而确定性计算处理模型上下文之外的重复操作。该概况与 Perplexity 更强的广度保留和摘录构建一致，尽管它并未在每一层都领先：Anthropic 的页面要求失败率最低。

下一步

WANDR 提供的不仅仅是单一的排行榜分数。其通用的任务结构和半自动化流程支持多样化、高容量的任务生成，而每条记录的结论和层级级分数显示了运行在何处失败：发现、丰富、身份处理、语义资格确认或证据构建。发布的任务、验证器和结构诊断为改进综合搜索系统以及测试这些增益在规模上是否成立奠定了基础。

相同的结构也可能使 WANDR 对强化学习有用。与其依赖单一稀疏的终端奖励，训练者可以使用记录和分支级的判断，为发现和丰富进度分配部分积分，并随着时间的推移提高所需计数来构建课程。该流程可以在跨领域、层级形状、证据规则和广度-深度设置中生成保留的兄弟任务，而无需枚举金标准答案。这为训练代理不仅寻找正确事实，而且规划覆盖范围、检测缺失分支并在停止前恢复开辟了一条道路。

基准测试任务、评估工具和完整技术报告可在 GitHub 上获取。

引用

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}