AI 检测器如何工作以及为什么单凭评分无法证明作者身份

将论文、文章或电子邮件粘贴到 AI 检测器中，几秒钟后它可能会返回类似“85% AI”的结果。

看起来很精确。但也容易被误读。

检测器并未观察文档是如何编写的。它分析了完成的文本，寻找与 AI 生成写作相关的模式。根据工具的不同，这 85% 可能代表 AI 生成该文档的估计可能性，也可能代表检测器标记的文本比例。

这使得 AI 检测器可以作为一种有用的信号，尤其是在需要仔细检查某些内容时。但在任何人就谁编写了文本或他们是如何创建的得出结论之前，评分仍然需要上下文和支持证据。了解检测器如何产生其评分有助于解释它们能捕获什么以及为什么有时会出错。

什么是 AI 检测器？

AI 写作检测器查看完成的文本片段，并估计它是否类似于语言模型生成的写作。用户通常会粘贴文本或上传文档。在几秒钟内，该工具可能会返回标签、百分比、高亮显示的段落或三者兼有。

• 教师和学术机构在审查学生作业时会使用它们。
• 出版商和内容团队可能会使用它们来筛选提交或委托的写作，而一些检测器公司则向审查申请材料的招聘团队营销版本。
• 写作者有时也会检查他们自己的工作，以了解教师、编辑、客户或平台可能会如何对其进行分类。

注意：抄袭检查器的作用相关但独立。它们将文档与已发布材料和其他来源进行比较以寻找匹配的语言。AI 检测器评估提交写作中的模式。因此，完全原创的段落可能会收到 AI 标记，而复制的人类写作可能包含没有 AI 生成的强信号。

AI 检测器如何分析文本

许多 AI 检测器依赖于分类器，这是一种在人类和 AI 生成写作示例上训练的机器学习模型。在比较两者的同时，它学习了哪些模式倾向于出现在每个中，包括词汇选择和句子结构中的模式。然后，它在新的文本中寻找这些模式并产生预测。

检测器学到什么取决于它在训练过程中看到的内容。在有限范围的写作上训练的工具可能会在面对新主题、不熟悉的风格或来自其以前未接触过的 AI 模型的输出时遇到困难。 跨不同类型文本和 AI 模型的研究发现，在这些条件下检测性能可能会下降。

一些方法采取了不同的方法。它们不训练单独的分类器，而是使用语言模型自己的概率估计来判断生成段落的可能性。

• 例如，DetectGPT 将原始文本与略微修改的版本进行比较，以寻找与 AI 生成相关的模式。 其研究将此描述为“零样本”方法，因为它不需要单独训练的检测器。结果可能包括综合评分、高亮显示的句子，或两者兼有。
• GPTZero 表示，其高亮显示的内容展示了哪些句子对整体预测的影响最大。由于它还评估更广泛的文档，因此单独扫描的段落作为较长文章的一部分出现时可能不会收到相同的结果。

每个结果都反映了文本和评估它的系统，这就是为什么不同的检测器可以对相同的段落得出不同的结论。

放大

困惑度和突发性衡量的指标

困惑度和突发性在 AI 检测的解释中经常出现。它们可以揭示写作中的有用模式，但两者都不指向单一的、独特的 AI 写作方式。

一个潜在混淆的细节：困惑度在这里承担了双重职责。在小写字母中，它是一个统计指标。大写 P 时，是我们。

困惑度衡量文本的可预测程度

语言模型通过为可能的下一个令牌分配概率来生成文本，这些令牌可能是完整的单词或单词的一部分。困惑度衡量模型预测段落中令牌的好坏。

• 较低的困惑度：文本遵循模型认为熟悉的模式。
• 更高的困惑度： 措辞更出人意料。

评分对于进行评估的模型和处理文本的方式是特定的，因此相同的段落可以在不同的设置下收到不同的困惑度评分。

以这句话为例：“如果您有任何问题，请随时告诉我。”语言模型可能已经多次遇到过类似的措辞，使得每个词都相对容易预测。这告诉我们一些关于该句子的熟悉程度的信息。但它对于是谁写的没有任何确凿的说明。

突发性衡量这些模式的变化程度

在关于 AI 检测的讨论中，“突发性”（Burstiness）的使用较为宽松。它通常描述文本在段落间的变化程度。这可以包括句子长度和结构的变化，或者高度可预测语言与更出人意料语言之间的转换。

• 较低的突发性：句子的长度、结构或节奏更加一致。
• 更高的突发性：写作在较短的陈述、较长的解释和不太可预测的措辞之间移动。

一些 AI 生成的文本是一致且可预测的，这就是为什么突发性与检测联系在一起的原因。人类写作可以具有相同的品质，尤其是在商业、学术和技术上下文中。当被提示或编辑这样做时，AI 模型也可以产生更多样化的语言。

GPTZero 表示，困惑度和突发性是其检测器的早期版本使用的几个特征中的两个。

这些指标显示的内容：困惑度和突发性描述了段落中的模式。这些模式可能有助于解释为什么文本被标记，但它们无法确定是谁写的。

AI 检测器评分的含义

“80% AI”的结果看起来很直观。其含义取决于检测器。

GPTZero 将百分比描述为其模型对 AI 或人类编写该文档的估计概率。 Turnitin 使用百分比来显示其模型的多少符合条件的散文被标记为潜在的 AI 生成或使用某些 AI 工具修改过。

因此，相同的“80% AI”标签可能意味着：

• 检测器估计 AI 生成该文档的可能性为 80%。
• 检测器已标记了其评估的 80% 的散文。

这些是不同的发现。一个是关于整个文档的预测。另一个识别了多少文本与检测器的标准匹配。

概率评分需要另一次检查：校准。如果检测器给 100 个文档赋予了约 80% 的 AI 概率，那么其中大约 80 个实际上应该是 AI 生成的，这样评分才是 校准良好的。针对已知来源的示例测试模型显示了其概率与真实结果的匹配程度。

百分比在明确其含义或可靠性之前可能看起来很精确。标签、评分方法和检测器的性能共同决定了数字可以支持的内容。

放大

截止值决定了被标记的内容

检测器仍然必须决定何时评分高到足以采取行动。该分界线称为截止值或阈值。

假设一个工具对 0 到 100 的文本进行评分，并标记 70 以上的任何内容。将截止值移至 60 将保持每个评分不变，同时增加被标记的文档数量。

• 较低的截止值通常会检测出更多 AI 生成的写作，但也会错误地标记更多人类写作。
• 较高的截止值减少了错误的标记，同时允许更多 AI 生成的写作未被检测到。 这种权衡广泛适用于分类系统。

这两种可能的错误有不同的名称。

• 当人类写作被标记为 AI 生成时，就会出现假阳性。
• 当 AI 生成的写作未被检测到时，就会出现假阴性。

检测器划定界限的地方反映了它旨在避免哪种错误。当标记可能影响成绩、工作或某人的信誉时，这种选择承载了更多的分量。

2% 的错误率如何产生近 30% 的错误标记

2% 假阳性率的影响取决于检测器审查了多少人类编写的写作。

考虑假设的 1,000 篇文章集合：

• 50 篇是 AI 生成的。
• 950 篇是人类撰写的。
• 检测器捕获了 90% 的 AI 生成文章。
• 它错误地标记了 2% 的人类撰写文章。

以下是发生的情况：

检测器总共标记了 64 篇文章。其中 19 篇是人类撰写的，因此其标记中有近 30% 是错误的。

2% 和 30% 这两个数字衡量的是不同的内容。检测器错误地标记了 2% 的人类撰写文章。然后，这些错误几乎占其标记内容总数的 30%。

数字之所以这样累加，是因为检测器审查的人类撰写文章远多于 AI 生成的文章。当应用于更大的群体时，即使是很小的错误率也会产生大量错误的标记。

术语基准率描述了被检查材料中 AI 生成的写作有多普遍。随着该比例的变化，积极结果的含义也会改变。如果检测器的真阳性率和假阳性率保持不变，当 AI 生成的写作在集合中很常见时，标记通常更可靠，而在它很少见时则不太可靠。

这些数字是假设的，并不描述特定的检测器。在真实的审查中，AI 生成写作的份额通常是未知的。这种不确定性是将标记视为仔细查看的原因，而不是文档如何编写的证明的另一个原因。

准确率取决于检测器的测试对象

准确率描述了在特定条件下的性能。在将该准确率应用于另一篇写作之前，请检查：

• 检测器版本
• 文本的长度、语言、主题和格式
• 用于生成测试材料的 AI 模型和设置
• 文本是否经过编辑或故意修改
• 人类撰写样本中代表的写作者

从工具支持的输入开始

例如，Turnitin 要求至少有 300 字的长篇散文。它表示其模型不能可靠地检测 AI 生成的诗歌、脚本、代码或其他非散文格式。因此，在论文上的出色表现几乎无法说明同一检测器将如何处理诗歌或短电子邮件。

将测试与真实世界的写作进行比较

在 2024 年，研究人员使用 RAID 测试了 12 个检测器，RAID 是一个包含跨 11 个模型和 8 个学科领域的超过 600 万个 AI 生成段落的基准。当检测器遇到不熟悉的模型、不同的生成设置或故意修改的文本时，性能会下降。

一项使用 RAID 的 2025 年挑战赛在更熟悉的条件下产生了更好的结果。几位参与者检测出了超过 99% 的机器生成文本，同时保持了 5% 的假阳性率。测试中使用的学科领域和 AI 模型也包含在训练数据中。

总而言之，结果表明检测器在它们经过训练以识别的各种材料上表现良好，而不熟悉的材料仍然更难评估。

看看谁被代表了

在一项 2023 年的研究中，七个检测器错误地将非英语母语人士撰写的 91 篇托福 (TOEFL) 作文中平均 61.3% 的文章分类为 AI 生成。该结果适用于当时测试的工具和样本。它还表明，总体准确率可能无法完美描述每个写作者群体的表现。

如何阅读准确率声明：提交的文本越接近测试中使用的材料，报告的结果就越相关。

最终文档仅显示了它是如何编写的一部分

AI 可以在写作过程中扮演许多角色。有人可能会用它来研究主题、整理笔记、翻译段落、润色句子或生成第一草稿。

这些工作流可能导致非常不同的文档。一位写作者可能会将 AI 用于研究并独立撰写每个句子。另一位写作者可能会对 AI 生成的草稿进行实质性重写。第三位写作者可能会在一个原本是人类撰写的文章中添加一个生成的段落。

文本检测器只能看到提交的文字。它无法访问它们之前的提示词、编辑或决策。其评分无法重建完整的写作过程，也无法确定作者是否遵循了特定的政策。例如，

• 学校可能允许头脑风暴，同时要求学生自己编写作业。
• 出版商在披露的情况下可能允许 AI 辅助编辑。
• 工作场所可能更关心事实准确性、保密性或来源归属，而不是 AI 是否对措辞作出了贡献。

应用这些规则不仅需要最终文本的证据，还需要关于过程的证据。草稿历史、研究笔记和作者的解释可以提供检测器无法提供的上下文。 Turnitin 明确建议教育工作者不要将 AI 写作评分作为对学生采取不利行动的唯一依据。

检测器可以识别类似于它与 AI 关联的模式的语言。决定发生了什么以及是否被允许需要更广泛的审查。

水印添加了不同类型的信号

一些 AI 系统可以在生成文本时添加可检测的模式。这个过程称为加水印。

文本水印的工作原理

Google DeepMind 的 SynthID 提供了一个示例：

1. 系统调整令牌概率。它略微改变了模型选择某些词或词的部分的可能性。
2. 这些选择创造了一种模式。水印旨在对读者保持不可见。
3. 兼容的检测器会检查它。检测器分析文本以寻找预期的统计信号。

由于该模式是在生成过程中添加的，因此它可以提供与生成该文本的系统相关的信息。

水印检测的局限性

• 生成器必须添加它。AI 系统需要支持并应用水印。没有水印并不能确定某人编写了该文本。
• 模式必须保留足够的部分。Google 报告称，SynthID 可以经受住一些裁剪、文字更改和轻度释义。大量的重写或翻译会降低其置信度。

当兼容系统生成了文本并且保留了足够多的信号时，水印可以加强证据。它们无法识别每一篇 AI 生成的写作。

其他记录可以展现更多细节

• 草稿历史显示了文档随时间的变化情况。
• 研究笔记将其声明与来源联系起来。
• 披露的 AI 交互显示了工具发挥作用的地方。

这些记录比单独的基于模式的评分提供了关于写作过程的更多直接上下文。

将标记视为审查的开始

当检测器结果具有明确的角色时，它就会变得更有用。在对标记采取行动之前，审查人员应了解该工具测量的对象、确认文本在其范围内，并检查可用的其他证据。

五个检查可以提供帮助：

1. 阅读评分定义。确定百分比代表的是文档级别的概率，还是被标记文本的比例。
2. 检查工具的范围。确认文档的语言、长度和格式与检测器支持的内容相匹配。
3. 审查证据。将高亮显示的段落与草稿、来源笔记和作者的解释一起检查。
4. 应用相关的政策。确定允许哪些 AI 使用以及什么证据可以证明违规。
5. 评估作品本身。根据事实准确性、来源归属、原创性和质量本身的条款进行审查。

利害关系决定了审查的深度。编辑可能会使用标记来决定哪篇文章需要重新审阅。影响成绩、工作或出版协议的决定需要更确凿的证据，并为作者提供解释其创作过程的机会。

AI 检测器将复杂的判断压缩为评分。解释该评分需要数字不包含的信息：工具测量的内容、它使用的阈值、它在可比写作上的表现以及被审查材料中 AI 生成文本的普遍程度。评分可以引导注意力。检测器评分可以对该审查做出贡献，但关于作者身份的任何结论也需要关于写作过程的证据。

常见问题解答

AI 检测器会出错吗？

是的。当检测器将人类编写的内容标记为 AI 生成时，就会出现假阳性（误报）。当 AI 生成的内容未被检测到时，就会出现假阴性（漏报）。每种错误的发生频率取决于检测器、其阈值以及提交的测试材料与用于测试它的材料的相似程度。

AI 检测器的准确率有多高？

AI 检测器没有单一的准确率。性能可能会随着语言、长度、主题、写作风格、生成模型和编辑量而变化。当测试条件类似于正在审查的写作并且结果报告了误报以及成功的检测时，准确率声明才最有价值。

AI 检测百分比意味着什么？

定义取决于工具。它可能代表文档是 AI 生成的估计概率、被标记合格文本的百分比或结果的某种置信度形式。检测器的文档应解释它报告的是哪种测量。

AI 检测器能否证明某人使用了 AI？

单凭检测器评分无法证明文档是如何创建的。它在不查看背后的提示词、草稿、编辑或研究的情况下分析提交的文本。可靠的审查会将评分与过程证据以及规范可接受 AI 使用的政策结合起来考虑。

为什么人类写作有时会被标记为 AI？

人类和 AI 生成的写作可以共享相同的统计模式。公式化的语言、可预测的措辞、有限的词汇或不同于检测器训练数据的风格可能会导致假阳性。研究还发现，2023 年测试的一些检测器不成比例地将非英语母语人士撰写的作文标记为 AI 生成。