AI 合规:治理 AI 系统,并将 AI 用于合规工作

AI 合规指南,涵盖其应对的风险、《欧盟人工智能法案》、NIST AI RMF 和 ISO/IEC 42001、如何构建合规计划、AI 智能体的控制措施,以及合规团队如何使用 AI。

Table of the five main risks AI compliance addresses: algorithmic bias, lack of explainability, hallucinations in regulated processes, data privacy and leakage, and shadow AI, each with an example and a control.

AI 合规包含两层含义:一是持续确保组织构建或使用的 AI 系统符合适用的法律、标准和内部政策;二是利用 AI 完成常规、大批量的合规工作。

本文将涵盖这两层含义:AI 合规所应对的风险、主要框架、如何构建合规计划、针对 AI 智能体的控制措施,以及 AI 能在哪些方面帮助合规团队。文末还列出了采购合规工具前应提出的问题。

什么是 AI 合规?

AI 合规指两件事:使 AI 系统符合 AI 监管法规中规定的要求,以及利用 AI 开展合规工作。

就第一层含义而言,AI 合规确保 AI 系统在从训练数据到性能和使用的整个 AI 生命周期中,遵守法律、法规、道德标准和内部政策。

例如,纽约市第 144 号地方法要求使用自动化就业决策工具的雇主须在距使用该工具一年以内对其进行偏见审计,公开审计相关信息,并通知员工或求职者。

AI 监管合规是一项持续性工作,因为 AI 应用会不断更新,其处理的数据会发生变化,法规也在不断演进。

就第二层含义而言,合规团队利用 AI 处理常规、大批量的工作,例如监控交易、审阅文件和跟踪监管变化。

例如,一些金融机构利用 AI 审查交易,减少交易监控警报中的误报,再由分析师决定哪些警报需要提交可疑活动报告。

AI 合规、AI 治理与 AI 风险管理

这三个术语相互重叠,但涵盖的范围不同:治理负责制定规则,风险管理负责找出可能出现的问题,合规则确保规则得到遵守。

术语

范围

通常负责方

适用时机

AI 治理

关于组织如何构建和使用 AI 的政策、角色和决策权

领导层或 AI 治理委员会

持续进行,从制定 AI 战略开始

AI 风险管理

发现、衡量并减少偏见、数据泄露和错误等危害

风险和安全团队、AI 模型负责人

AI 部署前及整个使用期间

AI 合规

证明 AI 系统符合法律、标准和内部政策

合规、法务和隐私团队

只要系统受法律、合同或标准约束

AI 合规为何重要

实现 AI 合规可以降低遭受罚款的风险,保护 AI 所处理信息涉及人员的隐私,并使您的组织能够在审计时说明其 AI 系统的使用情况。

  • 监管处罚:根据欧盟《人工智能法案》,使用被禁止的 AI 做法(例如在工作场所推断员工情绪)可能被处以最高 3500 万欧元或全球年营业额 7% 的罚款。提供者和部署者如违反该法案,可能面临最高 1500 万欧元或 3% 的罚款。
  • 数据保护:处理个人数据的 AI 系统须遵守数据保护法律,例如欧盟的 GDPR。这包括含有个人数据的训练数据、提示词和输出。
  • 审计就绪:记录您使用了哪些 AI 系统、由谁批准以及如何对其进行监控,可让您向监管机构、审计师和客户作出交代。

AI 合规应对的主要风险

AI 合规主要应对五大风险:算法偏见、缺乏可解释性、受监管流程中的幻觉、数据隐私与泄露,以及影子 AI。

以下是这些主要风险的表现形式,以及控制这些风险的措施示例:

  • 算法偏见:模型复制了训练数据中对某些群体不利的模式。例如,招聘工具可能会依据毕业年份或邮政编码等年龄或种族的替代指标,给候选人较低的排名。偏见审计通过比较不同人口群体的结果,有助于发现这些模式。
  • 缺乏可解释性:组织无法说明模型是如何做出决策的。如果贷款机构无法解释模型为何拒绝一笔贷款,就无法为该结果辩护。组织可以通过记录模型输入和决策逻辑,并选择输出可追溯的模型来防范这一风险。
  • 受监管流程中的幻觉:生成式 AI 工具自信地陈述虚假内容。例如,律师可能请 AI 工具提供支持某一论点的判例法,结果收到的却是对根本不存在的法院裁决的引用。要求每项输出都提供来源,并由具备资质的人员进行核实,可以发现此类错误。
  • 数据隐私与泄露:机密信息或客户信息流入组织无法控制的工具。例如,员工可能会将客户记录粘贴到一个会保留输入内容以训练未来模型的公共 AI 工具中。仅使用经批准、且在合同中对训练和数据保留作出限制的工具,可以降低这一风险。
  • 影子 AI:员工使用组织未批准或无法察觉的 AI 工具。在 2026 年的一项 Compliance Week 调查中,42% 的受访者表示存在员工使用未受管理的 AI 的情况。可行的解决方案包括:结合快速 AI 工具审批流程的已批准工具清单,以及 Web 网关。

主要 AI 合规框架

AI 合规借鉴具有约束力的 AI 治理框架(例如欧盟《人工智能法案》)以及自愿性框架(例如 NIST AI 风险管理框架和 ISO/IEC 42001),后者可帮助组织满足前者的要求。

欧盟《人工智能法案》

欧盟《人工智能法案》(条例 (EU) 2024/1689)对 AI 监管采取基于风险的方法:某些做法被完全禁止,高风险系统受到严格限制,而其他系统仅需遵守宽松的透明度规则。只要“AI 系统产生的输出在欧盟境内使用”,该法案即适用于世界各地的提供者和部署者。

欧盟《人工智能法案》规定的义务取决于组织所扮演的角色:

  • 开发高风险 AI 系统或以自身名义将其投放市场的组织(提供者)必须完成合格评定、加贴 CE 标志、注册该系统、保存技术文档,并在发布后对其进行监控。
  • 使用他人构建的系统的组织(部署者)必须遵循提供者的说明,将监督职责分配给具备“必要能力、培训和权限”的人员,保存日志至少六个月,并告知员工以及受其决策影响的其他人员。

该法案正分阶段实施。禁止性做法、AI 素养和通用 AI 相关规则自 2025 年起已开始适用,而高风险义务将于 2027 年 12 月 2 日开始适用;对于嵌入受欧盟产品安全法律约束的产品中的 AI,则从 2028 年 8 月 2 日开始适用。

关于质量管理体系的 EN 18286:2026 是首个支持该法案的欧洲标准。遵循该标准的提供者被推定为满足该法案的质量管理要求。

NIST AI 风险管理框架

NIST AI RMF(风险管理框架)于 2023 年 1 月发布,是美国的一项自愿性框架,围绕四项职能构建:治理(Govern)、映射(Map)、衡量(Measure)和管理(Manage)。

其生成式 AI 概况于 2024 年 7 月发布,将该框架应用于生成式 AI 风险。

ISO/IEC 42001

ISO/IEC 42001 是 AI 管理体系的国际标准,涵盖规范负责任的 AI 开发和使用的政策、角色和流程。认证属自愿性质,由独立认证机构而非 ISO 本身颁发。

证书涵盖的是组织的管理体系,而非某一特定的 AI 产品。

适用于 AI 的美国规则和行业规则

美国没有统一的联邦 AI 法律。相关规则来自各城市、各州,以及适用于 AI 的现行法律法规。

例如,科罗拉多州的 SB26-189 法案将于 2027 年 1 月 1 日生效,对自动化决策技术进行监管;而每当 AI 处理受保护数据时,《加州消费者隐私法案》(CCPA)或 HIPAA 等隐私法律也同样适用。

如何构建 AI 合规计划

构建 AI 合规计划包括六个步骤:盘点 AI 系统、按风险对其分类、将控制措施对应到适用规则、指定负责人、为每个系统编制文档,以及通过审计师可核查的记录对其进行监控。

以下每个步骤的最后都列出了该步骤产生的记录:

  1. 盘点每个 AI 系统。列出组织构建、购买或使用的系统,包括现有软件中的 AI 功能,以及员工未经批准就采用的工具。记录每个系统的用途、使用者及其涉及的数据。
    产出:AI 清单。
  2. 按风险对每个用例进行分类。采用欧盟《人工智能法案》的风险等级等方案,根据每个系统可能造成的危害对其进行评级。例如,根据该法案,设定人寿保险保费的工具属于高风险,而总结内部会议的工具则不属于。
    产出:风险登记册。
  3. 将控制措施对应到适用规则。列出适用于每个系统的法律、标准和内部政策,以及满足每项合规要求的控制措施。例如,有记录的人工审核有助于满足欧盟《人工智能法案》对高风险系统的人工监督要求,以及 NIST AI RMF 对有记录的人工监督流程的要求。
    产出:控制措施映射表。
  4. 指定负责人和人工监督节点。为每个系统指定一名负责人,并确定由人员审核其输出的环节。例如,法务和合规部门负责相关义务,安全部门负责技术控制,业务负责人负责各自的用例,并由一名高管承担总体责任。确保整个组织的人员都知悉相关安排,并建立清晰的沟通渠道。
    产出:每个系统的指定负责人。
  5. 为每个系统编制文档。以模型卡和影响评估等形式,记录每个系统的用途、训练数据、测试情况和已知局限。高风险系统的提供者还必须按照欧盟《人工智能法案》附件 IV 编制技术文档。
    产出:一套系统文档。
  6. 监控、记录日志并保留证据。从一开始就将日志设计为审计证据,以证明系统执行了哪些操作以及由谁进行了审核。欧盟《人工智能法案》要求高风险系统在其整个生命周期内自动记录事件。审计跟踪应记录:
    • 所使用的模型和版本
    • 输入和输出,或其中的特定样本
    • 训练数据或微调数据
    • 人工审核节点及其结果
    • 智能体执行的操作及其使用的权限
    • 每条记录的保留期限

产出:监控记录和审计跟踪。

IBM watsonx.governance 和 OneTrust AI Governance 等专业 AI 合规工具可以接管该计划的部分工作,包括 AI 清单、依据欧盟《人工智能法案》开展的风险评估以及文档编制。

如何审批员工可使用的 AI 工具

在批准 AI 工具之前,请检查以下四项内容:

  • 数据访问:该工具可以读取哪些文件、系统和关联的知识库,以及其中是否包含可能被其泄露的个人数据。
  • 基于输入的训练:供应商是否使用提示词、文件或输出来训练其模型,以及您与供应商签订的合同是否禁止此类行为。
  • 数据保留:供应商会将提示词、文件和对话历史记录保留多长时间,以及您能否缩短保留期限。
  • 托管与传输:供应商在何处存储和处理数据,包括向您所在地区以外的传输。

针对 AI 智能体的合规控制措施

AI 智能体比聊天工具需要更多的控制措施,因为它们会自行决定执行步骤,并通过被授予的工具和权限采取行动。以下三项控制措施可对其加以约束:

  • 最小权限访问:仅为智能体提供其任务所需的工具和权限。根据 OWASP Top 10 for LLM Applications 2026,过度代理(Excessive Agency,即智能体能够执行超出其任务需要的操作)是最主要的安全风险之一。
  • 记录每项操作:记录每次工具调用、访问的数据和使用的权限,以便追溯智能体执行了哪些操作以及为谁执行。
  • 高影响操作需人工批准:对于向组织外部发送数据、转移资金或无法撤销的步骤,要求由人员进行确认。

AI 如何用于合规工作

合规和风险管理团队利用 AI 监控控制措施、评估风险、跟踪监管变化、审阅文件,以及对金融犯罪警报进行分级处理。

在 2026 年 Compliance Week 的一项调查中,193 名合规、道德、风险和审计领域的负责人里,超过 83% 表示正在使用 AI,近 40% 表示其公司已将 AI 部署用于风险评估和监控。

AI 在合规领域的常见用例包括:

  • 持续合规监控与证据收集:AI 执行检查并收集证明其有效的证据(例如,工厂中逾期未做的设备安全检查)。
  • 风险评估与优先级排序:AI 按风险对业务部门或第三方进行排序(例如,新受制裁或面临诉讼风险的供应商)。
  • 监管变化监控:AI 跟踪监管机构发布的内容并总结变化(例如,修订后的反贿赂指南降低了费用政策中的礼品限额)。
  • 文件和政策审查:AI 对照要求比较合同和政策(例如,缺少审计权条款的供应商合同)。
  • 金融犯罪筛查:AI 对交易监控和客户核查警报进行分级处理(例如,与制裁名单姓名匹配但实为他人的情况)。

用于合规的 AI 需要与其他 AI 系统相同的治理。正如英国金融行为监管局于 2026 年 10 月所指出的,“企业须对其开发、采购和部署的 AI 系统负责——包括其输出和结果”,并警告不要让人工审核沦为“走过场”的形式。

在实践中,AI 工具可以处理收集证据或标记监管变化等常规任务,但不应处理承担法律责任的决策,例如决定是否报告可疑活动或如何设计政策。

Perplexity Enterprise 中的数据控制

Perplexity Enterprise 为管理员提供了涵盖输入内容训练、数据访问和数据保留的各项控制:

  • 不使用您的数据进行训练:Perplexity 绝不会使用企业内容训练其 AI 模型,并且其与第三方模型提供商签订的协议也禁止这些提供商使用这些内容进行训练。
  • 访问控制:通过 SSO、SCIM 和基于角色的权限,设定谁可以上传文件和分享答案。
  • 数据保留和审计日志:附加到会话的文件会在七天后删除。拥有 50 个或以上席位、或至少拥有一个 Enterprise Max 席位的组织,还可以设置会话保留期限,并获取用户活动的审计日志。
  • 认证:Perplexity 已通过 SOC 2 Type II 认证,符合 GDPR 要求,并且仅在签署商业伙伴协议(Business Associate Agreement)后才允许处理受保护的健康信息。

如需深入了解这些控制措施,请联系我们的销售团队预约个性化演示。

常见问题

什么是欧盟 AI 合规?

欧盟 AI 合规是指根据您的角色(提供者或部署者)以及每个系统的风险等级,履行《欧盟人工智能法案》规定的义务。这些义务分阶段适用,其中高风险相关义务自 2027 年 12 月 2 日起生效。

什么是符合 HIPAA 的 AI?

符合 HIPAA 的 AI 是指在 HIPAA 针对受保护健康信息所规定的保障措施范围内使用的工具。如果供应商存储或处理此类信息,美国卫生与公众服务部要求事先签署商业伙伴协议。

《欧盟人工智能法案》是否适用于美国公司?

是的。《人工智能法案》适用于在欧盟市场投放 AI 系统的美国公司,以及其 AI 输出在欧盟境内被使用的美国公司。

AI 能取代合规官吗?

AI 无法取代合规官。组织需要对自己的工作负责,而 AI 技术可能会出错,因此合规官仍需仔细审查并批准 AI 的输出结果。