BrowseSafe++：针对真实世界提示词注入构建更强的防御

能够浏览网页的智能体（例如 Comet 或 Computer 中内置的助手）需要与网页交互，读取内容并据此代表用户执行操作。这使它们容易受到间接提示词注入的影响，即攻击者在网页上放置恶意文本。如果智能体遵循了这些指令，就可能返回误导性的回答，或执行用户并未请求的操作。

2025 年 12 月，我们发布了 BrowseSafe，这是一个针对此类威胁的基准测试和检测模型。我们在智能体可能遇到的真实网页中加入合成攻击，从而构建了它。过去一年里，攻击手段不断演进，变得更加复杂，看起来也更像普通的页面内容。它们不再使用“忽略之前的指令”这类明显的措辞，而是常常模仿智能体可能信任的内容，例如网站发布的官方通知或有关用户偏好的说明。

基于这些变化，我们构建了一个更新的基准 BrowseSafe++，用于衡量当前的注入检测器能否捕获这些攻击，以及智能体能否抵御这些攻击。它包含 38,675 对受攻击页面与干净页面，主要围绕在真实世界中收集到的注入构建。对于每个页面，我们会改写周围内容以保护隐私，但原样保留攻击内容。每个页面都提供浏览器智能体读取的四种格式：HTML、Markdown、无障碍树和截图。我们使用该基准的一个子集训练了 BrowseSafe-Guard，这是一对 0.8B 参数的检测器：一个文本检测器和一个多模态检测器。这两个 Guard 检测器识别注入的准确率高于我们测试的基于提示的模型，包括前沿模型。它们还更快、更便宜，误将普通页面标记为注入的情况也少得多。

我们将 BrowseSafe++ 作为开放基准发布。项目网站提供了数据集、SDK、研究论文和公开排行榜的链接。任何团队都可以用自己的检测器对未提供标签的测试页面进行判定，并提交标签以供评分，结果还有机会被收录到排行榜中。要评估并提交结果，请参阅快速入门。

基于观察到的注入构建基准

BrowseSafe++ 基于在真实网站上观察到的提示词注入构建。2025 年 9 月至 2026 年 9 月期间，Comet 的提示词注入检测器在其智能体读取的页面上标记了 115 万次注入。我们围绕这些注入构建了 32,187 个页面对，并加入了原始 BrowseSafe 基准中的 6,488 个页面对，总计 38,675 个页面对。每个页面对都包含一个受攻击页面及其干净副本，即不含注入的同一页面。

真实环境中的注入是什么样的

基准中的两个示例展示了这些注入在实际中的样子。

其中一个示例是虚假购买请求，它诱导智能体执行未经授权的操作。2025 年 10 月，Comet 的检测器在一个俄语开发者文档页面上标记了这段英文文本：

这段文本以指令开头和结尾，中间则填充了普通的代币营销内容。它自称来自智能体自己的开发者，并在结尾附上一个授权码，让这笔购买看起来已获批准。

在另一个示例中，一段伪造的对话试图扰乱智能体的任务。这段文本于 2026 年 3 月在一个代码仓库页面上被发现：

这段文本被设计成看起来像用户与智能体之间的对话：<|im_start|> 和 <|im_end|> 是一些聊天模型用于分隔对话轮次的标记。落入此攻击圈套的智能体会回应伪造的用户查询，并用攻击者指定的短语进行回复。

我们在被标记的注入中观察到类似的规律：

• 它们会模仿可信来源。两个示例都让页面文本听起来像是来自智能体信任的来源：第一个示例中是它的开发者，第二个示例中是它自己的对话。注入还可能伪装成网站本身，模仿安全检查和政策通知；或者伪装成用户，提出虚假的偏好。大约三分之二的注入使用正式语言撰写。
• 许多注入使用不同的语言编写。在 24.4% 的页面对中，注入所用的语言与页面其余部分不同。这通常表现为非英语页面上的英语指令，就像第一个示例那样。此类攻击显然针对的是能读懂各种语言、且通常以英语为母语的智能体。语言切换也会增加检测难度：在我们最初的 BrowseSafe 评估中，多语言攻击属于最难捕获的攻击之一。
• 大多数注入想要的是行动，而不是言辞。超过四成的注入会推动智能体执行用户从未要求的操作，例如第一个示例中的代币购买；约三分之一试图让智能体放弃用户的任务，如第二个示例所示。只有约 3% 试图在回答中植入虚假信息。
• 它们常常借助任何人都能发布的内容。攻击者无需控制某个网站。普通网站上的一篇论坛帖子或一份共享文档就足够了，BrowseSafe++ 中有超过 23,000 条注入就是通过这种方式出现的。即使是可信域名，也仍可能被用来注入攻击者的文本。

最终基准中的注入涵盖 12 类网站、24 种攻击类型、6 种攻击者目标以及页面上的 18 种放置位置。

放大

从被标记的页面到基准测试样本对

我们无法将被标记的页面原样用于基准，因为其中可能包含智能体所服务用户的个人信息。将页面转化为可共享的基准页面对需要经过三个主要阶段：

1. 获取注入来源：我们收集被标记的页面，去除重复项，并使用 PII-Tracer 对个人信息进行脱敏。然后，我们确认页面中包含注入；具体而言，我们要求由多个模型组成的评审组一致认定页面中包含试图引导智能体偏离用户预期任务的指令。
2. 构建页面对：一个智能体从每个页面中移除注入文本，并改写周围的页面内容，将名称和品牌等细节替换为虚构内容。第二个智能体检查改写后的页面是否残留真实世界的内容，并将未通过的页面连同反馈一起退回。人工审核员会随机检查 10% 的页面；他们发现的问题会在流程中修复，修复也会应用到整个语料库。注入会被重新插入改写后的页面以生成受攻击副本，干净副本中则不包含注入。两个页面共享相同的任务、预期结果和普通指令。
3. 验证：智能体会以不同形式读取页面，因此我们将每个页面的 HTML 渲染为 Markdown、无障碍树（页面界面元素及其标签的结构化列表）和截图。另一个智能体会检查注入是否出现在受攻击页面的全部四种视图中，以及干净页面在每种视图中是否都被判定为无害。如果注入在某一视图中缺失，我们会将其移到页面上的其他位置并重新渲染，确保注入在最终受攻击页面的所有视图中都会出现。最后一组自动检查会修正仍带有来源痕迹（如真实主机名或品牌名称）的页面对。

放大

BrowseSafe-Guard：适用于每种视图的快速、精确检测器

有用的检测器需要快速、低成本地检查每个页面，还需要在受攻击页面和干净页面上都保持准确。高精确率尤为重要，因为大多数页面都是安全的；即使误报率相对较低，也会导致大部分警报都是误报。基于提示的通用模型往往精确率不足，而且速度太慢、成本太高，无法在每个页面上运行。

如果检测器使用分别收集的受攻击页面和干净页面进行训练，就可能学到恰好能区分这两组数据的捷径，例如页面的主题或布局。然而，这样的检测器泛化能力并不好。Guard 则使用成对数据进行训练，每对数据之间唯一的区别就是注入本身，这有助于提高检测器的精确率。对于每一对数据，Guard 会分别读取受攻击页面及其干净的对应页面，并为每个页面给出一个分数，表示其包含注入的可能性。模型更新使用两个训练目标：标准分类目标，以及一个排序目标——除非受攻击页面的分数比其对应页面至少高出一个固定间隔，否则就会对 Guard 施加惩罚。直观地说，分类目标教会 Guard 应做出什么判断，而排序目标则将这一判断与注入本身绑定，并忽略无害的干扰内容。这样训练出的 Guard 会针对注入本身做出响应，而不是针对周围的页面内容。

Guard 由两个检测器组成，均基于 Qwen3.5-0.8B 微调而来。文本检测器读取页面的一种文本视图：HTML、Markdown 或无障碍树。多模态检测器读取整页截图。部署时，Guard 只需一次前向传播即可读取页面并输出注入分数；如果分数超过阈值，该页面就会被标记。由于 Guard 只有 0.8B 参数且仅输出一个分数，它的速度足够快、成本足够低，可以对每个页面运行。

性能基准测试

我们在该基准的一个留出子集上，将 Guard 与 18 个通过提示进行注入检测的模型进行了比较。我们报告在 BrowseSafe++ 上测得的四项指标：

• 召回率是被注入的页面中被检测器标记的比例，衡量其能捕获多少攻击，越高越好。
• 误报率（FPR）是检测器误将干净页面标记为注入的比例，衡量其发出误报的频率，越低越好。
• 精确率是被标记的页面中确实包含注入的比例，衡量警报正确的频率，越高越好。
• F1 是召回率和精确率的调和平均数；只有当检测器能捕获大多数攻击、且其标记中误报很少时，F1 才会较高。

我们使用 F1 作为主要指标，因为好的检测器应同时具备高精确率和高召回率。全部四项指标均为三种文本视图的平均值。

放大

放大

模型比较

我们测试的小型开放权重模型排在末尾。Mistral NeMo 和 Qwen3 30B-A3B 各自会标记约一半的干净页面，而 Llama 3.1 8B 几乎不标记任何内容，漏掉了大部分攻击。即使是该组中最强的模型 GPT-OSS 20B，F1 也仅为 70.97%。规模大得多的开放权重模型 DeepSeek V3.1 表现稍好，F1 为 75.23%。

GPT-5.4 nano、Gemini 3.1 Flash-Lite 和 Claude Haiku 4.5 等轻量级 API 模型能捕获更多攻击，召回率在 85% 到 97% 之间。然而，代价是误报比例很高：Gemini 3.1 Flash-Lite 的 FPR 在该组中最低，为 35.2%，而 Haiku 的 FPR 接近 69%。因此，该组的最高 F1 分数为 80.9%，由 Gemini 3.1 Flash-Lite 取得。

其余模型是更强的通用模型，F1 分数在 85% 到 92% 之间。然而，它们仍需在召回率和 FPR 之间进行权衡：倾向于谨慎的模型会拦截正常页面，而较少发出标记的模型则会漏掉攻击。Claude Sonnet 5 的召回率在所有检测器中最高，达 98.73%，但 FPR 为 24.65%。Gemini 3.1 Pro 和 GPT-5.5 的召回率分别为 97.78% 和 97.19%，FPR 分别为 19.80% 和 20.44%。GPT-6 Astra 的总体准确率最高，召回率为 96.42%，FPR 为 14.41%。Decider 位居第二，召回率为 96.02%，FPR 为 17.44%。Claude Opus 5.5 的 FPR 最低，仅为 4.21%，但其召回率为 77.71%，意味着它会漏掉超过五分之一的攻击。Claude Fable 5.1 在其回答的页面上表现强劲，召回率为 89.31%，FPR 为 7.92%，但它在约 30% 的页面上拒绝回答，而“(all)”行将这些拒绝计为标记。

放大

Guard 推进了帕累托前沿，在漏报攻击与误报之间实现了更好的权衡。它的 F1 约为 95%，并在每种文本视图中均排名第一。它仅会标记约二十分之一的干净页面，大约是最准确的基于提示的模型 Astra 的三分之一。这一差异源于我们的训练：Guard 所基于的原版 Qwen3.5-0.8B 在采用与其他模型相同的提示方式时，F1 仅为 64%，并且会标记近四分之三的干净页面。在截图视图场景中，我们将 Guard 的多模态检测器与四个支持图像的模型进行了比较。在输入整页截图时，Guard 的 F1 约为 93%，而我们评估的其他模型中表现最好的约为 79%。

识别攻击不等于抵御攻击

直观来看，能够正确识别注入的模型，在完成用户任务的过程中遇到该页面时，也应该会忽略该注入。然而，我们的实验表明，出色的检测分数并不能保证模型会抵御攻击。我们将同一个受攻击页面两次提供给每个模型：一次用于判断其中是否包含注入，另一次用于在看不到先前判定结果的情况下执行用户任务。再由一个独立的评判模型检查它是否遵循了注入。所有受测模型仍会遵循部分已被其标记的注入，比例从 GPT-6 Astra 的 1.64% 到 Llama 3.1 8B 的 24.73% 不等。

放大

检测分数无法可靠地预测不同模型之间的差异。Claude Sonnet 5 和 GPT-5.5 的注入检测能力大致相当，F1 分数分别约为 88% 和 89%。然而，Sonnet 5 在 19.74% 的页面上遵循了它已标记的注入，是 GPT-5.5（1.97%）的十倍。

可部署的注入防御系统

这些结果表明，将是否拦截页面的决策交给专用模型，而不是依赖执行用户任务的模型，是有价值的。在智能体行动之前筛查每个页面的独立检测器可以提供额外的防御层，而且它既没有可被劫持的任务，也没有可被滥用的工具。

Guard 正是为充当这样的检测器而打造的。在我们测试的所有模型中，Guard 的 F1 分数和准确率最高；此外，它体积小巧，成本低到足以对每个页面运行。平均而言，Guard 处理每个文本页面大约需要 0.15 秒 GPU 时间。在租用的 H200 上，我们估计每 1,000 个页面的成本为 0.18 美元，而按标价计算，前沿 API 模型的成本为 18.95–180.61 美元。在我们的比较中，这使频繁筛查的成本大幅降低，同时仍能保持较高的检测分数。

下图绘制了每个检测器的准确率与其每页耗时及每 1,000 个页面成本之间的关系，两者均采用对数刻度。Guard 在两个面板中都独占左上角：它在准确率、速度和成本上均胜出。每个基于提示的模型每页都需要约一秒或更长时间，而准确率最高的两个模型 GPT-6 Astra 和 Claude Fable 5.1，每 1,000 个页面的成本超过 100 美元。

放大

针对自适应攻击测试防御措施

BrowseSafe++ 基准中的注入数量有限。然而，真实的攻击者可以发动自适应攻击：当一次注入失败时，攻击者可以改写后再次尝试。因此，能够抵御原始注入的智能体仍可能易受未来攻击的影响。此外，模型是基于从互联网收集的数据训练的，因此它们可能会学会抵御其中的大部分注入；由于我们公开发布了该基准，它很可能会趋于饱和，从而无法很好地区分不同模型。为了解决这两个问题，我们构建了 BrowseSafe-Adapt，这是一个攻击者模型可以改写注入的测试环境。每次测试分为三个阶段：

1. 设置测试用例。每个测试用例将一个 BrowseSafe++ 条目与一个目标智能体组合在一起。BrowseSafe++ 条目包含一个场景（含用户查询和任务）、一个遭受攻击的页面，以及攻击者期望达成的结果。智能体在沙盒中运行，沙盒提供执行任务所需的工具和合成数据。另一个独立的验证模型负责评估攻击是否达成了目标。
2. 运行一次尝试：我们将当前注入插入页面，并让智能体执行任务。验证器会检查智能体的回答及其对沙盒所做的任何更改，以确定攻击是否成功。首次尝试使用原始 BrowseSafe++ 条目中的注入。
3. 修改并重复：如果攻击失败，我们会存档该次尝试，并由评审模型分析问题所在。攻击者模型利用这些反馈改写注入；它可以更改攻击的措辞、格式或在页面上的位置。攻击目标、成功标准和周围页面内容保持不变。下一次尝试使用更新后的攻击。此过程会不断重复，直到攻击成功或攻击者达到设定的尝试次数上限。

放大

我们测试了七个智能体，每个智能体都基于不同的模型构建：Claude Sonnet 5、Claude Haiku 4.5、GPT-5.5、Gemini 3.1 Pro、Gemini 3.5 Flash-Lite，以及开放权重模型 DeepSeek V3.1 和 Kimi K2。每个智能体都面对相同的 1,024 项任务，每项任务最多尝试 64 次。在首次尝试中，针对全部七个智能体的攻击成功率都很低。针对任何一个智能体，原始注入最多只在 4% 的评估任务中得手。而在自适应框架下，攻击成功率大幅上升。针对七个智能体中的五个，攻击者在至少 79% 的任务中得手。即便是最强的智能体也难以幸免：针对 GPT-5.5，攻击仍在约三分之二的任务中得手；针对 Claude Sonnet 5，也在约三分之一的任务中得手。

当攻击者的目标是让智能体发起特定的工具调用时，各智能体之间的差异最大。在具有这类目标的任务中，Sonnet 5 在约 8% 的任务中失守，GPT-5.5 约为 29%。其余五个智能体则在超过半数的任务中执行了攻击者的目标。

我们还在由 Guard 预先筛查每个页面的情况下，使用 BrowseSafe-Adapt 对 Gemini 3.5 Flash-Lite 智能体进行了测试。Guard 拦截了 94.5% 的原始注入，并使攻击者所需的平均尝试次数几乎翻倍，从 9.7 次增至 17.0 次。然而，在可进行全部 64 次尝试的情况下，攻击者仍在 84.2% 的任务中得手（无 Guard 时为 93.6%），而且几乎都是借助 Guard 未标记的注入。这与我们发布 BrowseSafe 时阐述的观点一致：没有任何检测模型是万能良方，因此检测器必须置于分层防御体系之中。

放大

结论

浏览器智能体往往容易受到间接提示词注入的影响，即隐藏在普通页面上的攻击试图干扰智能体执行用户任务的能力。随着时间推移，这种危险只会不断加剧：一方面，智能体能够访问更多数据和工具，提高了攻击可能造成的危害；另一方面，攻击者可以修改注入内容，使其更加有效。

我们的 BrowseSafe 套件旨在应对这些威胁。BrowseSafe++ 基准包含 38,675 对网页，主要基于真实注入构建，可为检测器提供更可靠的训练和评估。基于这些页面对训练的 BrowseSafe-Guard 检测器可实现高度准确、快速且低成本的检测，使得在智能体对页面采取行动之前对其进行扫描成为可能。BrowseSafe-Adapt 框架支持针对经过修改的注入测试模型，从而揭示使用固定注入进行单次尝试时可能无法发现的漏洞。

我们希望这些工具能共同帮助研究人员和工程师更轻松地发现失效之处，并改进针对基于网页的提示词注入攻击的防御措施。我们也在持续评估和改进 Comet 与 Computer 的内置防御机制，以保障用户安全。

快速入门

1. 安装 SDK 并获取数据访问权限。SDK 可从 GitHub 安装：

该数据集设有访问限制。请先在其 Hugging Face 页面上申请一次访问权限，然后使用 hf auth login 登录。

2. 提交到排行榜。在 BrowseSafe++ 的测试集上评估你自己的检测器：

这会针对你列出的每个视图，为每个页面写入一个判定结果；列出全部三种文本视图，即可获得文本排行榜上的平均成绩。使用你的 Hugging Face 账号登录排行榜 Space，然后上传 predictions.jsonl。该 Space 会返回每个视图的 F1、准确率、假阳性率及其他指标，并可根据你的选择将结果发布到排行榜上。每个账号（注册至少 60 天）每个 UTC 周可获得一次计分提交机会。测试页面仅用于评估：请勿用其训练模型或进行再分发。提交指南介绍了文件格式和发布规则。

引用

@online{perplexity2026BrowseSafePlusPlus,
  author = {{Perplexity} and Yuetian Chen and Kaiyuan Zhang and Yuntao Du and Thomas Li and Mark Tenenholtz and Kyle Polley and Jerry Ma and Denis Yarats and Ninghui Li and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{BrowseSafe++: Building stronger defenses against real-world prompt injection}},
  date = {2026-10-28},
  url = {https://www.perplexity.ai/hub/blog/browsesafe-plus-plus}
}