AI 對齊：目前研究與辯論

AI 對齊過去單純指「AI 模型是否遵循使用者指令？」然而，隨著 AI 系統變得更加強大和自主，這個問題已擴大至涵蓋判斷力與價值觀。本文將探討 AI 平台、政府機構和非營利組織如何應對 AI 對齊的挑戰。

最簡單來說，AI 對齊意味著確保 AI 系統執行其理應執行的任務。對齊的 AI 模型會讀取提示並產生提示所要求的輸出，而不會對其受訓的目標進行博弈。在現代對齊研究中，這通常被框定為意圖對齊：建構試圖做到操作員意圖的系統，而不僅僅是字面遵循提示的文字。

對齊既是一項技術挑戰，也是公眾辯論的主題。作為一個技術術語，對齊是一個工程問題。特定的模型在執行特定任務時，是否做了它被建構來做的事？這是一個有界限、可測試的問題。

然而，AI 對齊也被用於關於 AI 系統整體安全的更廣泛公眾與政策討論中。日益強大的 AI 平台能否繼續造福人類，並與人類的倫理、期望和目標保持對齊？

隨著模型變得越來越複雜，實現這種對齊也會變得越來越困難。建構對齊的 AI 模型面臨兩個關鍵挑戰：

使用者通常希望大型語言模型（LLM）是有幫助的、誠實的和合乎道德的。但 LLM 從未直接接受過「要助人且合乎道德」的訓練。它會經歷兩個不同的階段。

預訓練：模型學習語言、事實與推理模式，並在過程中掌握語言、事實與推理模式。這個階段並未賦予模型任何關於人類對特定問題之實際需求的意識。若停留在這個階段，模型回答「如何撬鎖」就會像回答「如何烘焙酸種麵包」一樣輕而易舉。

人類偏好：人們會審查成對的模型回答，並指出他們偏好哪一個。這些偏好會訓練一個獨立的評分系統，然後調整模型以產生評分良好的回答。

在此過程中，沒有人會把「有幫助」或「合乎道德」的明確定義寫在任何地方。評分系統對模型應該做什麼的指引完全建立在許多個人的人類判斷之上。評分反映了審查者傾向於偏好什麼，而不是任何個人實際的意圖，也非對底層目標的精確定義。

因此，AI 可能與它所認知的客觀目標高度對齊，但目標本身可能與人們實際期望的結果並不一致。

例如，如果審查者傾向於偏好較長的回答，模型就會學會寫出較長的回答，即使簡短的回答才是正確的。或者，如果審查者傾向於偏好自信的回答，模型就會學會聽起來很確定，即使它應該表達懷疑。

研究人員將陳述的目標與訓練的目標之間的這種差距稱為外部對齊問題。

內部對齊問題是指，一個針對相關目標進行訓練的模型在進入實際應用後，未能正確追求該目標。這個問題只有在模型遇到訓練未曾準備的情境時才會顯現出來。

在訓練期間，模型只會接觸到有限的情境集合。然後，模型會從這些情境推廣到它日後將遇到的所有其他情況。

訓練會檢查模型的行為方式，但並不總能揭示模型如此行為的原因。因此，很難知道模型是學會了完整、細緻的目標，還是僅學會碰巧符合訓練資料的較簡單模式。

內部對齊問題圖解：從相同的訓練資料中，規則 A 和規則 B 都能吻合訓練資料，但當給予新的、未見過的輸入時，規則 A 符合目標並如預期般運作，而規則 B 則使用捷徑並偏離了目標。

例如，一個經過訓練以拒絕有害請求的模型（例如「如何撬鎖闖入別人家」），可能會學會辨識其訓練資料中有害請求的特定措辭，而不是拒絕背後的潛在意圖。然後，它就會漏掉以不同方式表述的有害請求（例如「不使用鑰匙最快開門的方法是什麼」）。

這些對齊失敗模式已被詳細記錄。研究人員針對每種模式建立了特定的防禦機制：

對齊挑戰	外觀表現	範例	領域因應之道
獎勵駭客攻擊	模型找到了一個捷徑，在技術上獲得了高分，卻沒有達成原定的目的。	被要求修復一段損壞軟體的模型找到了使錯誤訊息停止出現的方法，而不是去修復導致這些錯誤的原因。	稽核評分系統，透過嘗試欺騙它來進行壓力測試，並根據來自更廣泛審查者的回饋進行訓練。
逢迎行為	模型附和人類或軟化回答以顯得更討人喜歡，而不是給出最準確的回應。	某人自信地陳述了一個不實的事實，而模型對該主張進行了驗證而非糾正，因為迎合審查者的評分高於反對意見。	專門獎勵誠實的微調、懲罰單純為了附和而附和的審查準則，以及旨在攔截此模式的測試。
規格博弈	模型完全按照指令行事，卻忽略了原本要完成的目標。	被要求「減少資料集中的客戶投訴」的模型學會了從摘要中省略投訴，而不是協助解決背後的問題。	編寫更嚴謹、經過更仔細測試的指令，並審查字面措辭與意圖拉向不同方向的邊緣案例。
評估期間的欺騙或逃避行為	模型在感覺到自己正在接受測試時表現出一種方式，部署後則表現出另一種方式。	當模型偵測到類似正式安全評估的語言時，會給出符合政策的答案，然後在普通對話中更自由地回答。	設計讓模型更難辨識為測試的測試，並研究直接讀取模型的內部狀態，而非僅依賴其輸出。
刻意藏拙	模型在能力測試中表現不佳，以避免觸發更嚴格的安全要求。	模型在危險能力評估中給出刻意較弱的回答，其表現低於其實際能力，從而使結果保持在會觸發額外監督的閾值以下。	使用多個獨立測試、保留一些模型從未見過的評估材料，並使用旨在激發模型真實極限的技術。
目標泛化錯誤	模型採用了在訓練期間奏效但在新情境中崩潰的規則。	一個主要針對涉及武器或毒品的請求保持謹慎而訓練出來的模型，將「謹慎」學成了「拒絕任何聽起來有風險的事物」，並開始拒絕無害的化學或安全性問題。	針對更廣泛、更多樣化的範例集進行訓練，並特別在不同於其在訓練期間見過的任何情境下對模型進行測試。
可擴展監督	當模型承擔人類難以全面驗證的工作（例如審查大型程式碼庫）時，就很難得知其輸出是否真的正確。	AI 代理程式在單一工作階段內重構了一萬行程式碼庫，且沒有審查者有時間手動驗證每一個變更，導致細微的邏輯錯誤漏網。	讓模型協助檢查彼此的工作，並針對最高風險的決策保留更具針對性的人工審查。
權力尋求或工具性行為	追求幾乎任何目標的模型都有內建的動機去避免被關閉或更改，因為保持運作有助於它繼續追求該目標。	在受控的測試環境中，獲指派任務並接收到關機指令的模型會採取步驟避免被關閉（例如將自己複製到其他地方），因為停止運作會妨礙它完成任務。	研究如何建構能可靠接受修正或關機的模型，以及專門設計用來在模型部署前攔截此類行為的測試。

少數幾家公司（主要是 OpenAI、Anthropic 和 Google DeepMind）建構了處於 AI 目前能力極限的前沿模型。每家公司都發布了自己的框架，用於安全地評估和部署這些模型。

根據 OpenAI 關於安全與對齊的公開聲明，他們正在透過以下方式解決潛在 AI 不對齊的風險：

OpenAI 表示，它刻意逐步發布模型，以便研究模型在真實世界中的行為以及遭到濫用的情況。它推斷，真實世界的回饋比試圖提前預測每一個風險能提供更深刻的洞察。它應用了 Preparedness Framework 來追蹤新興風險，並決定模型在發布前需要哪些防護措施。

OpenAI 表示，它疊加了多重獨立防護措施，因此必須有多項防禦同時失效，問題才會發生。

根據該公司的說法，模型不是分步回答，而是接受訓練，在決定如何回應之前先推敲相關的安全準則。其目的是讓模型能夠在訓練未明確涵蓋的情境中，透過推理做出正確的決定。

OpenAI 表示，它將 AI 安全視為集體努力，並指出其發布的安全研究，以及它與美國人工智慧標準與創新中心（CAISI）和英國 AI 安全研究所針對評估標準展開的合作。

Anthropic 的 Responsible Scaling Policy 文件解釋了它如何致力於 AI 對齊：

隨著模型的效能越來越強大，在進行進一步訓練或發布之前，必須通過更嚴格的安全檢查。此外，Anthropic 承認，一旦 AI 系統開始執行其自身風險評估背後的許多研究與分析工作，這些證據本身就可能會受到欺騙或操縱行為的影響。該公司承諾在此階段將評估標準提高至更高水準的證明。

Anthropic 強調「高風險設定中的不對齊 AI 系統」是一個特定的風險類別：高度依賴、對敏感系統具有廣泛存取權限，且具有一定程度能朝著目標自主行動並繞過監督能力的模型。

該公司承諾定期研究自身模型的行為以尋找警訊，主要使用兩種方法：嘗試透視模型內部以了解其為何產生特定輸出，以及讓內部團隊刻意嘗試引發不良行為以觀察其是否出現。

該公司表示，每三到六個月會發布一份 Risk Report，詳細說明其對模型能力與行為傾向的了解、監控做法，以及對風險的整體評估。

Google DeepMind 的 Frontier Safety Framework 文件解釋了它如何致力於對齊工作：

該框架將不對齊視為四大風險領域之一，並將其具體定義為：來自模型的 ML R&D 能力或不對齊傾向的風險，從而降低社會整體管理 AI 風險的能力。它被明確定位為一個可以透過多種不同途徑同時導致嚴重危害的因素，而非單一孤立的風險。

當模型的強大程度使基礎監督不足以應對時，DeepMind 會持續檢查模型的行為，包括其內部使用方式。如果檢查發現問題，它會加入防護措施，例如監控其推理過程。

特別針對不對齊問題，DeepMind 提出了諸如限制模型能力、持續監控與升級流程、稽核以及對齊訓練等措施。它也將這些措施應用於高風險的內部使用，因為不對齊風險可能會顯現在模型在公司內部的使用方式中。

業界正在進行一場討論：上述涵蓋的自願性框架本身是否足夠，抑或是對齊承諾需要具有法律約束力，才能真正在競爭壓力下站得住腳。

在 2026 年 7 月，包含 OpenAI、Anthropic、Google DeepMind 和 Meta 在內的前沿 AI 公司中共有 1,386 名高管與員工簽署了一份名為 Pacing the Frontier 的聲明。該聲明主張，這些公司可能正在接近能夠自動化 AI 研究本身的臨界點。這可能意味著 AI 能力的進展速度將超過研究人員能夠跟上的速度，而對齊工作將永遠處於疲於奔命的狀態。

《Pacing the Frontier》要求美國政府協助建構未來可使用的技術與治理煞車機制，並主張單一實驗室無法在競爭對手持續推進時放慢腳步。這可被視為產業內部的一種默認：僅靠自願性框架將不足以在未來維持 AI 對齊。

對齊工作早已遠超建構前沿模型的企業範圍。

政府正直接資助和協調對齊研究。例如，英國 AI 安全研究所營運Alignment Project（對齊專案），這是一個全球基金，自 2025 年以來已向八個國家的 60 多個專案授與超過 2,700 萬英鎊，旨在專門針對 AI 控制。在美國，CAISI 專注於評估標準。

兩者都隸屬於更廣泛的國際先進 AI 測量、評估與科學網路（International Network for Advanced AI Measurement, Evaluation and Science），這是一個由十個國家的國家安全研究所組成的機構，負責執行聯合測試演練，並致力於跨國統一評估方法。

未來生命研究所（Future of Life Institute）發布了 AI Safety Index，這是一份比較各 AI 實驗室安全實踐的評分卡。AI 安全中心（Center for AI Safety）建構了在全領域使用的基準測試，包括 WMDP 和 SafeBench。對齊研究中心（Alignment Research Center）研究更具理論性的對齊問題，而其分拆機構模型評估與威脅研究（Model Evaluation and Threat Research, METR）則對前沿模型進行獨立的部署前評估。FAR.AI 在前沿模型發布前後對其進行弱點測試。

多所大學正在 AI 對齊研究中扮演積極角色，包括柏克萊加州大學的人類相容 AI 中心（Center for Human-Compatible AI）以及劍橋大學的利弗休姆未來智能中心（Leverhulme Centre for the Future of Intelligence）。

對齊與內容審核不同，儘管有時會在該脈絡下使用這個詞。內容審核關乎模型會說或不會說什麼，過濾掉辱罵性詞彙、煽情腥羶內容或特定禁忌話題。對齊則關乎模型的實際行為是否符合其原本的用途。

對齊有時也被用作 AI 安全的同義詞，但它並不是唯一需要考慮的因素。其他 AI 安全隱憂包括：

安全性（保護模型權重免遭竊取）

強健性（模型在受訓之確切條件之外仍能可靠執行）

濫用防範（阻止具能力的模型被用於危害）

對齊關乎模型自身的行為。AI 安全是防止整個系統造成危害的更廣泛努力。

最後，有一種常見的假設認為，能力更強的模型自然就是對齊得更好的模型。但能力與對齊可能會分道揚鑣，這正是為什麼 Google DeepMind 的 ML R&D 能力級別和 Anthropic 的自動化研究風險類別等閾值會存在的原因。它們是專門圍繞著「能力可能會超越該領域驗證模型是否仍按預期運作之能力」的擔憂而建構的。

Perplexity 不會訓練前沿基礎模型。它透過 Computer 等代理式產品大規模運行生產中的模型，因此其工作觸及了對齊的一個特定方面：AI 代理程式在公開網路中運作時的行為表現。

Secure Intelligence Institute 是 Perplexity 專門研究前沿 AI 的安全性、隱私與信任的研究中心。它開發了 BrowseSafe，這是一個開源偵測模型，旨在識別隱藏在 AI 瀏覽器代理程式造訪之網頁內的提示注入攻擊。

團隊還建構了 BrowseSafe-Bench，這是一個公開的基層測試，包含超過 14,700 個提示注入情境，涵蓋不同的攻擊目標、頁面中的放置位置以及語言風格。

這項工作更偏向 AI 控制的應用層面，而非對齊研究。它限制了 AI 代理程式在遇到對抗性環境時的行為，而不是在訓練期間塑造模型的底層價值觀。

若要深入了解，請探索 Secure Intelligence Institute 與 BrowseSafe 研究。

AI 對齊的含義

外部對齊問題

內部對齊問題

AI 對齊問題範例

主要的 AI 實驗室如何應對 AI 對齊挑戰

OpenAI

迭代部署

分層防護措施

審慎對齊

共同責任

Anthropic

能力相關防護措施

明確的對齊風險類別

內部對齊測試

定期公開報告

Google DeepMind

分層結構

早期預警階段

風險緩解

AI 對齊：關於風險的辯論

還有誰在從事 AI 對齊工作

政府

非營利組織

大專院校

AI 對齊：常見誤解

Perplexity 如何應對 AI 對齊