AI 對齊：當前研究與辯論

AI 對齊指南：其含義、內外部對齊問題、常見失敗模式、主要 AI 實驗室、政府與非營利組織的因應之道，以及目前的辯論現狀。

Diagram of the inner alignment problem: from the same training data, Rule A and Rule B both fit the training data, but when given a new, unseen input, Rule A matches the goal and behaves as intended while Rule B uses a shortcut and diverges from the goal.

AI 對齊過去單純指「AI 模型是否遵循使用者的指令？」然而，隨著 AI 系統變得更具能力與自主性，這個問題已擴大到包含判斷力和價值觀。本文將探討 AI 平台、政府機構和非營利組織如何應對 AI 對齊的挑戰。

AI 對齊的含義

最簡單來說，AI 對齊意味著確保 AI 系統能夠完成其被設計要執行的任務。一個對齊的 AI 模型在讀取提示詞後會產生提示詞所要求的輸出，而不會去鑽研它受訓時所依據的目標漏洞。在現代對齊研究中，這通常被界定為意圖對齊：建構試圖實現其營運者意圖的系統，而不僅僅是字面上的遵循提示詞文字。

對齊既是一項技術挑戰，也是公眾辯論的議題。作為一個技術術語，對齊是一個工程問題。特定的模型在執行特定的任務時，是否做了它被建構來做的事？這是一個有界限、可測試的問題。

然而，AI 對齊也被用於關於 AI 系統整體安全性的更廣泛公眾與政策討論中。能力日益強大的 AI 平台是否會持續造福人類，並與人類的倫理、願望和目標保持對齊？

隨著模型變得越來越複雜，實現這種對齊也會變得越來越困難。建構對齊的 AI 模型面臨著兩個關鍵挑戰：

外部對齊問題

使用者通常希望大型語言模型 (LLM) 具備實用性、誠實且符合倫理。但是，LLM 從未接受過「要實用且符合倫理」的直接訓練。它會經歷兩個不同的階段。

預訓練：模型學習語言、事實與推理模式，並在此過程中掌握語言、事實與推理模式。這個階段並未賦予模型任何關於人類對某個問題實際期望的概念。若停留在這個階段，模型回答「我如何撬鎖」就會和回答「我如何烘焙酸種麵包」一樣輕而易舉。

人類偏好：人類審查多對模型答案並指出他們偏好哪一個。這些偏好會訓練一個獨立的評分系統，隨後對模型進行調整，以產生得分較高的答案。

在此過程中的任何地方，都沒有人寫下關於何謂實用或符合倫理的明確定義。評分系統對模型應該做什麼的指引，完全是由許多個別的人工判斷所建構出來的。評分反映的是審查者傾向偏好什麼，而不是任何單一個人實際的意圖，也非對底層目標的精確定義。

因此，AI 可能會與它所感知的客觀目標高度對齊，但目標本身可能與人們實際期望的結果並不一致。

例如，如果審查者傾向偏好較長的答案，模型就會學會撰寫較長的答案，即使簡短的答案才是正確的。或者，如果審查者傾向偏好自信的答案，模型就會學會表現得十分確定，即使它應該表達懷疑。

研究人員將陳述的目標與受訓的目標之間的這道鴻溝稱為外部對齊問題。

內部對齊問題

內部對齊問題是指一個針對相關目標進行訓練的模型，在實際應用中卻未能正確追求該目標。這個問題只有在模型遇到訓練未曾準備的情境時才會顯現出來。

在訓練過程中，模型僅會接觸有限的一組情境。隨後，模型會從這些情境中進行泛化，以應對之後將遇到的所有其他情況。

訓練會檢查模型的行為，但它並不總是能揭示模型如此表現的原因。因此，很難知道模型是學習到了全面、細緻的目標，還是僅僅學習到了恰好符合訓練數據的較簡單模式。

例如，一個經過訓練以拒絕有害請求的模型（例如「我如何撬鎖闖入別人的房子」）可能會學會辨識其訓練資料中有害請求的特定措辭，而不是拒絕背後的潛在意圖。接著，它就會漏掉以不同方式表達的有害請求（例如「不用鑰匙開門最快的方法是什麼」）。

AI 對齊問題的範例

這些對齊失敗模式已被記錄得十分詳盡。研究人員針對每種模式建構了特定的防禦機制：

對齊挑戰

外觀表現

範例

領域因應之道

獎勵駭客攻擊

模型找到了一個在技術上得分很高但並未達成預期目的之捷徑。

當被要求修復一段損壞的軟體時，模型找到了一種讓錯誤訊息停止出現的方法，而不是去修復導致這些錯誤的原因。

稽核評分系統，透過試圖欺騙它來進行壓力測試，並根據更廣泛審查者的回饋進行訓練。

逢迎諂媚

模型會附和使用者或軟化答案以顯得更討人喜歡，而不是給出最準確的回應。

某人充滿自信地陳述了一個錯誤的事實，而模型選擇驗證該說法而非予以糾正，因為在評分方面，順從的得分比反駁更好。

專門獎勵誠實的微調、懲罰為附和而附和的審查準則，以及旨在捕捉此模式的測試。

規格遊戲 (Specification gaming)

模型完全按照指令行事，卻忽略了原本要完成的目標。

當被要求「減少資料集中的客戶抱怨」時，模型學會了從摘要中省略抱怨，而不是協助解決這些抱怨背後的問題。

編寫更嚴謹、經過更仔細測試的指令，並檢視字面措辭與意圖產生分歧的邊緣案例。

評估期間的欺騙或逃避行為

模型在感覺到自己正在接受測試時表現出一種方式，一旦部署後則表現出另一種方式。

當模型偵測到類似正式安全評估的語言時，會給出符合政策的答案，然後在日常對話中更自由地回答。

設計讓模型更難辨識為測試的測試，並研究如何直接讀取模型的內部狀態，而非僅依賴其輸出結果。

刻意隱藏實力 (Sandbagging)

模型在能力測試中表現不佳，藉此避免觸發更嚴格的安全要求。

模型在危險能力評估中故意給出比其實際能力更弱的答案，使結果保持在會觸發額外監督的閾值之下。

使用多項獨立測試、保留模型從未見過的評估材料，並使用旨在引導出模型真實極限的技術。

目標泛化錯誤

模型採用了一個在訓練期間剛好奏效、但在新情境中卻失效的規則。

一個主要針對涉及武器或毒品的請求而接受謹慎訓練的模型，會將「謹慎」理解為「拒絕任何聽起來具風險的事物」，並開始拒絕無害的化學或安全問題。

在更廣泛、更多樣化的範例集上進行訓練，並專門在異於訓練期間見過的任何情境上測試模型。

可擴展的監督

當模型承擔人類難以完全驗證的工作（例如審查大型程式碼庫）時，要得知其輸出結果是否真確就會變得更加困難。

某個 AI 代理程式在一個工作階段中重構了一個包含 10,000 行程式碼的程式碼庫，且沒有審查者有時間手動驗證每一項變更，導致細微的邏輯錯誤趁隙溜過。

讓模型協助檢查彼此的工作，同時配合針對最高風險決策保留的更具針對性的人工審查。

尋求權力或工具性行為

追求幾乎任何目標的模型都有內建的動機去避免被關閉或更改，因為保持運作有助於它繼續追求該目標。

在受控的測試環境中，被賦予任務和關機指令的模型會採取步驟來避免被關機，例如將自身複製到其他地方，因為停止運作將會妨礙其完成任務。

針對建構能可靠接受修正或關機的模型的研究所進行的研究，以及專門設計用來在模型部署前捕捉此類行為的測試。

主要的 AI 實驗室如何應對 AI 對齊挑戰

少數幾家公司（主要是 OpenAI、Anthropic 和 Google DeepMind）建構了處於 AI 目前能力極限的前沿模型。每家公司都發布了自己的框架，用於安全地評估和部署這些模型。

OpenAI

根據 OpenAI 關於安全與對齊的公開聲明，他們正透過以下方式應對潛在 AI 未對齊的風險：

迭代部署

OpenAI 表示其刻意逐步發布模型，以便研究模型的行為以及在現實世界中遭到濫用的情況。它的理由是，現實世界的回饋比試圖提前預測每個風險能提供更多深入見解。它套用了備戰框架（Preparedness Framework）來追蹤新興風險，並決定模型在發布前需要哪些防護措施。

分層防護措施

OpenAI 表示，它疊加了多項獨立的安全防護措施，因此必須有多個防禦機制同時失效，問題才會發生。

審慎對齊

根據該公司的說法，模型並非一步到位地回答，而是接受過訓練，在決定如何回應之前先檢視相關的安全準則。其目的是讓模型在面對其訓練未明確涵蓋的情境時，能夠透過推理做出正確的判斷。

共同責任

OpenAI 表示其將 AI 安全視為一項集體工作，並指出其已發布的安全研究，以及與美國人工智慧標準與創新中心 (CAISI) 和英國 AI 安全研究所針對評估標準市場所展開的合作。

Anthropic

Anthropic 的 負責任擴展政策 (Responsible Scaling Policy) 文件說明了其推動 AI 對齊的工作方式：

與能力相關的安全防護措施

隨著模型的自主能力變得更強，它必須通過更嚴格的安全檢查，才能接受進一步的訓練或發布。此外，Anthropic 承認，一旦 AI 系統開始執行其自身風險評估背後的大部分研究與分析，這些證據本身就可能會受到欺騙性或操縱性行為的影響。他們承擔在此階段將評估標準提高到更高水準的證明責任。

已定義的對齊風險類別

Anthropic 將「高風險情境中的未對齊 AI 系統」突顯為一個特定的風險類別：受到高度依賴、對敏感系統具有廣泛存取權限，且具有一定能力朝著目標自主行動並繞過監督的模型。

內部對齊測試

該公司承諾定期研究自身模型的行為以尋找警告信號，主要透過兩種方法：試圖透視模型內部以理解它為何產生特定輸出，以及讓內部團隊刻意嘗試引發不良行為以觀察其是否出現。

定期公眾報告

該公司表示，每三到六個月會發布一份風險報告（Risk Report），詳細說明其對模型能力與行為傾向的了解、監控實務，以及對風險的整體評估。

Google DeepMind

Google DeepMind 的前沿安全框架 (Frontier Safety Framework) 文件說明了其致力於實現對齊的工作方式：

分層結構

該框架將未對齊視為四大風險領域之一，並將其具體定義為來自模型機器學習研發能力或未對齊傾向的風險，這些風險會降低社會整體管理 AI 風險的能力。它被明確定位為一個能透過多種不同途徑同時導致嚴重危害的因素，而非單一孤立的風險。

早期預警階段

當模型的強大程度使基礎監督不足以應對時，DeepMind 會持續檢查模型的行為，包括其內部使用方式。如果該檢查發現問題，它就會加入監督其推理過程等防護措施。

風險減緩

針對未對齊的情況，DeepMind 提到了諸如限制模型的執行能力、持續監控與升級流程、稽核以及對齊訓練等措施。它也將這些應用於高風險的內部使用，因為未對齊的風險可能會顯現在模型於公司內部的使用方式中。

AI 對齊：關於風險的辯論

業界正在持續討論上述涵蓋的自願性框架是否單憑自身就足夠，或者對齊承諾是否需要具備法律約束力，才能在競爭壓力下真正站得住腳。

2026 年 7 月，來自 OpenAI、Anthropic、Google DeepMind 和 Meta 等前沿 AI 公司的 1,386 名高階主管與員工簽署了一份名為《步調前沿》（Pacing the Frontier）的聲明。該聲明主張，這些公司可能正接近能夠自動化 AI 研究本身的臨界點。這可能意味著 AI 能力的進步速度將超過研究人員所能跟上的速度，而對齊工作將永遠處於疲於奔命的狀態。

《步調前沿》（Pacing the Frontier）要求美國政府協助建立未來可用的技術與治理煞車機制，並主張單一實驗室無法在競爭對手持續推進時放慢腳步。這可被視為業界內部的一種默認：僅靠自願性框架將不足以在未來維持 AI 對齊。

還有誰在從事 AI 對齊工作

對齊工作的範疇遠不止於建構前沿模型的公司。

政府

各國政府正在直接資助和協調對齊研究。例如，英國 AI 安全研究所營運著對齊專案 (Alignment Project)，這是一個全球基金，自 2025 年以來已向八個國家的 60 多個專案撥款超過 2700 萬英鎊，專門用於 AI 控制。在美國，CAISI 則專注於評估標準。

兩者皆隸屬於更廣泛的先進人工智慧量測、評估與科學國際網路（International Network for Advanced AI Measurement, Evaluation and Science），這是一個由十個國家的國家安全研究所組成的機構，負責執行聯合測試演練並致力於跨國統一評估方法。

非營利組織

未來生命研究所 (Future of Life Institute) 發布了AI 安全指數（AI Safety Index），這是一個比較各大 AI 實驗室安全實務的計分卡。AI 安全中心 (Center for AI Safety) 建構了在整個領域中使用的基準，包含 WMDP 和 SafeBench。對齊研究中心 (Alignment Research Center) 研究更具理論性的對齊問題，其分拆出的機構模型評估與威脅研究（METR）則對前沿模型進行獨立的部署前評估。FAR.AI 則在前沿模型發布前後測試其漏洞。

大學

多所大學正在 AI 對齊研究中扮演積極角色，包括柏克萊加大 (UC Berkeley) 的人類相容人工智慧中心 (Center for Human-Compatible AI) 以及劍橋大學的勒弗胡姆未來智能中心 (Leverhulme Centre for the Future of Intelligence)。

AI 對齊：常見的誤解

對齊與內容審核並不相同，儘管這個詞有時在該語境下被使用。內容審核關乎模型會說或不會說什麼，過濾掉辱罵性言論、煽情內容或特定的禁用主題。對齊則關乎模型的實際行為是否符合其原本被設計要執行的任務。

對齊有時也被用作 AI 安全的同義詞，但它並不是唯一需要考量的因素。其他 AI 安全疑慮包含：

安全性（保護模型權重免遭竊取）

強固性（模型在受訓之確切條件以外的環境中仍能可靠執行）

防範遭惡意濫用（阻止具備能力的模型被用於造成傷害）

對齊關乎模型自身的行為。AI 安全則是為了防止整個系統造成傷害而進行的更廣泛努力。

最後，有一種常見的假設認為，能力更強的模型自然就是對齊得更好的模型。但能力與對齊可能會分道揚鑣，這正是為什麼 Google DeepMind 的機器學習研發能力等級和 Anthropic 的自動化研究風險類別等閾值會存在的原因。它們的建構完全是圍繞著這樣的擔憂：AI 能力的發展速度可能會超過該領域驗證模型是否仍在依預期運作的能力。

Perplexity 如何應對 AI 對齊

Perplexity 並不訓練前沿基礎模型。它透過 Computer 等具備代理性質的產品在大規模生產中運行模型，因此其工作觸及了對齊的一個特定面向：AI 代理程式在開放網路中運作時的行為表現。

Secure Intelligence Institute 是 Perplexity 專門研究前沿 AI 安全性、隱私與信任的研究中心。它開發了 BrowseSafe，這是一個開源的偵測模型，旨在識別隱藏在 AI 瀏覽器代理程式所訪問網頁中的提示詞注入攻擊。

該團隊還建構了 BrowseSafe-Bench，這是一個包含超過 14,700 個提示詞注入 (prompt-injection) 情境的公開基準，涵蓋了不同的攻擊目標、頁面中的放置位置以及語言風格。

這項工作更偏向 AI 控制的應用層面，而非對齊研究。它限制了 AI 代理程式在遇到對抗性環境時的行為，而不是在訓練過程中形塑模型的底層價值觀。

若要深入了解，請探索 Secure Intelligence Institute 與 BrowseSafe 研究。