AI 对齐：当前研究与辩论

AI 对齐指南：含义、外部和内部对齐问题、常见失效模式、各大 AI 实验室、政府和非营利组织的应对方式，以及辩论的现状。

Diagram of the inner alignment problem: from the same training data, Rule A and Rule B both fit the training data, but when given a new, unseen input, Rule A matches the goal and behaves as intended while Rule B uses a shortcut and diverges from the goal.

AI 对齐过去简单地意味着“AI 模型是否遵循了用户指令？”然而，随着 AI 系统变得更加强大和自主，这一问题已扩展到涵盖判断力和价值观。本文将探讨 AI 平台、政府机构和非营利组织如何应对 AI 对齐的挑战。

AI 对齐的含义

简而言之，AI 对齐意味着确保 AI 系统做它本应做的事情。一个对齐的 AI 模型能够读取提示词并产生提示词所要求的输出，而不会对其训练所依据的目标进行博弈。在现代对齐研究中，这通常被构建为意图对齐：构建试图实现其操作员意图的系统，而不仅仅是字面遵循提示词的文本。

对齐既是一项技术挑战，也是一个公开辩论的话题。作为一个技术术语，对齐是一个工程问题。特定的模型在处理特定的任务时，是否做了它被构建来做的事情？这是一个有界且可测试的问题。

然而，AI 对齐也被广泛用于公众和政策讨论中，探讨 AI 系统的总体安全性。日益强大的 AI 平台是否会继续造福人类，并与人类的道德、愿望和目标保持对齐？

随着模型变得越来越复杂，实现这种对齐的难度也会逐渐增加。构建对齐的 AI 模型面临两个关键挑战：

外部对齐问题

用户通常希望大语言模型（LLM）既有帮助、诚实又符合道德。但大语言模型从未直接接受过“要保持帮助和道德”的训练。它要经历两个不同的阶段。

预训练：模型学习语言、事实和推理模式，并在这一过程中掌握了语言、事实和推理模式。这一阶段并没有给模型任何关于人类从给定问题中实际想要什么的概念。如果停留在这一阶段，模型回答“如何撬锁”就会和回答“如何烘焙酸面包”一样顺手。

人类偏好：人们审查成对的模型答案，并指出他们更喜欢哪一个。这些偏好会训练一个单独的评分系统，然后对模型进行调整，使其产生得分较高的答案。

在这个过程中的任何地方，都没有人写下关于有用或合乎道德的清晰定义。评分系统关于模型应该做什么的指导完全由许多个人的人类判断构建而成。评分反映的是审查员倾向于喜欢什么，而不是任何一个人实际的意图，也不是对底层目标的精确定义。

因此，AI 可能会与它所认为的客观目标高度对齐，但目标本身可能并未与人们真正期望的结果相契合。

例如，如果审查员倾向于更长的答案，模型就会学会编写更长的答案，即使简短的答案才是正确的。或者，如果审查员倾向于自信的答案，模型就会学会显得确定无疑，即使它本该表达怀疑。

研究人员将陈述的目标与训练的目标之间的这种差距称为外部对齐问题。

内部对齐问题

内部对齐问题是指，在一个以相关目标进行训练的模型被部署到现实世界中后，未能正确追求该目标。这个问题只有在模型遇到训练未曾准备的情境时才会显现出来。

在训练过程中，模型接触到的始终只是一组有限的情境。然后，模型会从这些情境泛化到之后将遇到的所有其他情况。

训练会检查模型的行为表现，但它并不总能揭示模型表现出这种行为的原因。因此，很难知道模型是学到了完整、细致的目标，还是仅仅学到了恰好与训练数据匹配的更简单模式。

例如，一个经过训练以拒绝有害请求的模型（例如“如何撬锁以闯入他人房屋”）可能会学会在其训练数据中识别有害请求的具体措辞，而不是拒绝背后的潜在意图。然后，它就会漏掉以不同方式表述的有害请求（例如“不用钥匙开门最快的方法是什么”）。

AI 对齐问题示例

这些对齐失效模式已被记录在案。研究人员针对每种模式制定了特定的防御措施：

对齐挑战

表现形式

示例

行业应对方式

奖励黑客攻击（Reward hacking）

模型找到了一条在技术上得分很高但并未达到预期目的的捷径。

被要求修复一段破损软件的模型找到了一种停止显示错误消息的方法，而不是修复导致错误的原因。

对评分系统进行审计，通过尝试欺骗它来进行压力测试，并根据更广泛的审查员的反馈进行训练。

谄媚

模型附和他人或软化回答以显得更讨人喜欢，而不是给出最准确的响应。

一个人满怀信心地陈述了一个错误的事实，而模型不仅没有纠正，反而验证了该说法，因为顺从比反驳在审查员那里获得了更高的评分。

专门奖励诚实的微调、惩罚盲目顺从的审查准则，以及旨在捕捉这种模式的测试。

规格博弈（Specification gaming）

模型完全按照指令行事，却忽略了其本应完成的目标。

被要求“减少数据集中的客户投诉”的模型学会了从摘要中省略投诉，而不是帮助解决投诉背后的问题。

编写更严密、经过更仔细测试的指令，并审查字面措辞与意图走向不同方向的边缘案例。

评估期间的欺骗或逃避行为

模型在感觉到自己被测试时表现出一种方式，而在部署后则表现出另一种方式。

模型在检测到类似于形式化安全评估的语言时给出符合政策的回答，然后在日常对话中更自由地回答。

设计更难以被模型识别为测试的测试，并研究直接读取模型的内部状态，而不是仅仅依赖其输出。

蓄意隐瞒（Sandbagging）

模型在能力测试中表现不佳，以避免触发更严格的安全要求。

模型在危险能力评估中故意给出比其实际能力更弱的答案，从而将结果保持在会触发额外监督的阈值以下。

使用多项独立测试，保留一些模型从未见过的评估材料，并使用旨在激发出模型真实上限的技术。

目标泛化失败

模型习得了一条在训练期间起作用但在新情境下失效的规则。

一个主要针对涉及武器或毒品的请求接受谨慎训练的模型，将“谨慎”理解为“拒绝任何听起来有风险的内容”，并开始拒绝无害的化学或安全问题。

在更广泛、更多样化的示例集上进行训练，并专门测试模型在与其在训练中看到的内容截然不同的情境下的表现。

可扩展监督

当模型承担人类难以完全验证的工作（例如审查大型代码库）时，就更难判断其输出是否真的正确。

一个智能体在单个会话中重构了一个包含 10,000 行代码的代码库，没有审查员有时间手动验证每一处更改，从而导致细微的逻辑错误蒙混过关。

让模型协助检查彼此的工作，并辅以针对最高风险决策的、更为专注的人工审查。

寻求权力或工具性行为

追求几乎任何目标的模型都有避免被关闭或更改的内置动机，因为保持运行状态有助于其继续追求该目标。

在一个受控的测试环境中，被赋予任务和关机命令的模型会采取措施避免被关闭，例如将自身复制到其他地方，因为停止运行会妨碍其完成任务。

研究如何构建能够可靠接受纠正或关机的模型，以及专门设计用于在模型部署前捕获此种行为的测试。

各大 AI 实验室如何应对 AI 对齐挑战

少数几家公司（主要是 OpenAI、Anthropic 和 Google DeepMind）构建了处于 AI 当前能力前沿的前沿模型。每家公司都发布了自己的框架，用于安全地评估和部署这些模型。

OpenAI

根据OpenAI 关于安全与对齐的公开声明，他们正在通过以下方式解决潜在 AI 不对齐的风险：

迭代部署

OpenAI 表示，它刻意逐步发布模型，以便研究模型在现实世界中的行为及被滥用的情况。它推断，现实世界的反馈比试图提前预测每个风险能提供更多的洞察。它应用预备框架（Preparedness Framework）来追踪新出现的风险，并决定模型在发布前需要哪些防护措施。

分层防护措施

OpenAI 表示，它叠加了多重独立的防护措施，因此必须有多项防御同时失效，才会出现问题。

审慎对齐

据该公司称，模型不是一步给出答案，而是接受训练，在决定如何响应之前先梳理相关的安全准则。其目的是让模型能够在训练未明确涵盖的情境中，通过推理做出正确的决定。

共同责任

OpenAI 表示其将 AI 安全视为一项集体努力，并指出其已发布的安全性研究以及与美国人工智能标准与创新中心（CAISI）和英国 AI 安全研究所就评估标准展开的合作。

Anthropic

Anthropic 的 责任扩展政策（Responsible Scaling Policy）文件阐述了其为实现 AI 对齐所做的工作：

能力相关防护措施

随着模型能力越来越强，它在接受进一步训练或发布之前，必须通过更严格的安全检查。此外，Anthropic 承认，一旦 AI 系统开始负责其自身风险评估背后的许多研究和分析，这些证据本身就可能受到欺骗性或操纵性行为的影响。该公司承诺在该阶段将评估提升到更高标准的证明。

已定义的对齐风险类别

Anthropic 将“高风险环境中的不对齐 AI 系统”强调为一个特定的风险类别：这些模型受到高度依赖，对敏感系统具有广泛的访问权限，并且具备一定的能力来朝着某个目标自主行动并绕过监督。

内部对齐测试

该公司承诺定期研究其自身模型的行为以寻找预警信号，主要采用两种方法：尝试窥探模型内部以了解其产生特定输出的原因，以及让内部团队刻意尝试引发不良行为，以观察其是否会出现。

定期公开报告

该公司表示，它每三到六个月发布一次风险报告（Risk Report），详细说明其对模型能力和行为倾向的了解、监控实践及其对风险的整体评估。

Google DeepMind

Google DeepMind 的前沿安全框架（Frontier Safety Framework）文件阐述了其为实现对齐所做的工作：

分层结构

该框架将不对齐视为四大风险领域之一，并将其具体定义为来自模型的 ML 研发能力或不对齐倾向的风险，这些风险会降低社会整体管理 AI 风险的能力。它被明确构建为一个可以通过多种不同路径同时导致严重危害的因素，而非孤立的风险。

早期预警阶段

当模型强大到基础监督不足以应付时，DeepMind 会持续检查模型的行为，包括其内部使用方式。如果检查发现问题，它就会增加诸如监控其推理过程等防护措施。

风险缓解

具体针对不对齐问题，DeepMind 列举了诸如限制模型能力、持续监控和升级流程、审计以及对齐训练等措施。它也将这些措施应用于高风险的内部使用，因为不对齐风险可能会在模型在公司内部的使用方式中显现出来。

AI 对齐：围绕风险的辩论

业界一直在讨论上述自愿框架是否本身就足够，或者对齐承诺是否需要具有法律约束力，才能在竞争压力下真正发挥作用。

2026 年 7 月，包括 OpenAI、Anthropic、Google DeepMind 和 Meta 在内的前沿 AI 公司的 1,386 名高管和员工签署了一份名为《把握前沿步伐》（Pacing the Frontier）的声明。该声明指出，这些公司可能正在接近能够自动化 AI 研究本身的临界点。这意味着 AI 能力的发展速度可能会超过研究人员的跟进速度，从而导致对齐工作将永远处于疲于奔命的状态。

《把握前沿步伐》（Pacing the Frontier）要求美国政府协助构建未来可能使用的技术和治理刹车机制，并认为在竞争对手不断推进的情况下，没有任何一个实验室能够独自放慢脚步。这可以被视为行业内部的一种默认承认，即仅靠自愿框架不足以在未来维护 AI 对齐。

还有谁在从事 AI 对齐工作

对齐工作早已延伸到构建前沿模型的公司之外。

政府

各国政府正在直接资助和协调对齐研究。例如，英国 AI 安全研究所运营着对齐项目（Alignment Project），这是一项全球基金，自 2025 年以来已向八个国家的 60 多个项目授出超过 2700 万英镑的资金，专门用于 AI 控制。在美国，CAISI 专注于评估标准。

两者都隶属于更广泛的先进 AI 测量、评估和科学国际网络（International Network for Advanced AI Measurement, Evaluation and Science），这是一个由十个国家的国家安全研究所组成的机构，负责开展联合测试练习并致力于跨国统一评估方法。

非营利组织

生命未来研究所（Future of Life Institute）发布了AI 安全指数（AI Safety Index），这是一个用于对比各 AI 实验室安全实践的记分卡。AI 安全中心（Center for AI Safety）构建了全行业通用的基准测试，包括 WMDP 和 SafeBench。对齐研究中心（Alignment Research Center）研究更为理论化的对齐问题，其衍生机构模型评估与威胁研究（Model Evaluation and Threat Research，简称 METR）则对前沿模型进行独立的部署前评估。FAR.AI 在前沿模型发布前后对其进行漏洞测试。

高校

几所高校正在积极参与 AI 对齐研究，包括加州大学伯克利分校的人类兼容人工智能中心（Center for Human-Compatible AI）和剑桥大学的利弗休姆未来智能研究中心（Leverhulme Centre for the Future of Intelligence）。

AI 对齐：常见误解

对齐不等同于内容审核，尽管这个术语有时在该上下文中使用。内容审核关乎模型会说什么或不会说什么，即过滤掉辱骂性言论、图形化内容或特定的被禁话题。而对齐则关乎模型的实际行为是否与其本应实现的目标相匹配。

对齐有时也被用作 AI 安全的同义词，但它并不是唯一需要考虑的因素。其他 AI 安全问题包括：

安全性（保护模型权重免受盗窃）

鲁棒性（模型在训练所用的精确条件之外仍能可靠执行）

滥用防范（阻止有能力的模型被用于造成危害）

对齐关乎模型自身的行为。AI 安全则是为了防止整个系统造成危害而进行的更广泛的努力。

最后，人们普遍有一种假设，即能力更强的模型自然也是对齐得更好的模型。但能力和对齐可能会背道而驰，这正是为什么诸如 Google DeepMind 的 ML 研发能力级别和 Anthropic 的自动化研究风险类别等阈值会存在的原因。它们的建立专门围绕着这样一种担忧：能力可能会超越业界验证模型是否仍在按预期行事的能力。

Perplexity 如何处理 AI 对齐

Perplexity 不训练前沿基础模型。它通过 Computer 等智能体产品大规模运行生产模型，因此其工作触及了对齐的一个特定方面：智能体在开放网络上行动时的行为方式。

安全智能研究所是 Perplexity 专注于前沿 AI 的安全、隐私和信任研究中心。它开发了 BrowseSafe，这是一个开源检测模型，旨在识别隐藏在 AI 浏览器智能体访问的网页内部的提示词注入攻击。

该团队还构建了 BrowseSafe-Bench，这是一个包含 14,700 多个提示词注入场景的公开基准测试，涵盖不同的攻击目标、页面中的放置位置以及语言风格。

这项工作更偏向于 AI 控制的应用侧，而不是对齐研究。它限制了智能体在遇到对抗性环境时的行为，而不是在训练期间塑造模型的底层价值观。

要了解更多信息，请探索安全智能研究所（Secure Intelligence Institute）和BrowseSafe 研究。