AIアライメント：現在の研究と議論

AIアライメントはかつて、単に「AIモデルはユーザーの指示に従っているか？」という意味でした。しかし、AIシステムがより有能で自律的になるにつれて、その疑問は判断力や価値観をも網羅するように広がりました。この記事では、AIプラットフォーム、政府機関、および非営利団体がAIアライメントの課題にどのように対応しているかを探ります。

最も単純にいえば、AIアライメントとは、AIシステムが意図された通りの動作を行うようにすることです。アライメントされたAIモデルは、トレーニングされた目的に対してゲーミングを行うことなく、プロンプトを読み取り、プロンプトが求めていた出力を生成します。現代のアライメント研究では、これは通常、インテントアライメントとして表現されます。それは、プロンプトのテキストに文字通り従うだけでなく、オペレーターが意図していることを実行しようとするシステムを構築することです。

アライメントは、技術的な課題であると同時に、パブリックディベートのトピックでもあります。技術用語として、アライメントはエンジニアリングの問題です。特定のタスクに取り組む特定のモデルは、構築された通りの動作をするでしょうか？これは制限された、テスト可能な問題です。

しかし、AIアライメントは、AIシステムの一般的な安全性に関する、より広範な一般および政策上の議論においても使用されます。ますます能力を向上させるAIプラットフォームは、人類にとって有益であり続け、人間の倫理、欲望、および目標とアライメントしたままでいるでしょうか？

モデルが複雑になるにつれて、そのアライメントの達成は次第に困難になります。アライメントされたAIモデルを構築する上では、主に2つの課題が存在します。

ユーザーは通常、有用で、正直で、倫理的なLLMを求めています。しかし、LLMが「有用で倫理的であれ」という指示だけで直接トレーニングされることはありません。それは2つの異なる段階を経ます。

プレトレーニング（事前学習）：モデルは言語、事実、および推論のパターンを学習し、その過程で言語、事実、および推論のパターンを身につけます。この段階では、特定の質問に対して人間が実際に何を求めているのかをモデルが理解することはありません。このままの状態では、モデルは「サワードウを焼く方法は？」という質問と同じくらい容易に「ピッキングの方法は？」という質問にも答えてしまいます。

人間の好み：人間がモデルの回答のペアをレビューし、どちらを好むかを表明します。それらの好みが別のスコアリングシステムをトレーニングし、その後、スコアの高い回答を生成するようにモデルが調整されます。

このプロセスのどこにも、有用であることや倫理的であることが何を意味するのかについての明確な定義は記述されていません。モデルが実行すべきことに関するスコアリングシステムのガイダンスは、個々の多数の人間の判断の積み重ねから完全に構築されています。スコアリングは、特定の一人の人間が実際に意図したものでも、根底にある目標の正確な定義でもなく、レビュアーが好む傾向があったものを反映しています。

その結果、AIは自身が客観的であると認識しているものとよくアライメントする可能性がありますが、その目的自体は、人々が実際に望む結果と十分にアライメントしていない可能性があります。

例えば、レビュアーがより長い回答を好む傾向がある場合、短い回答が正解であったとしても、モデルはより長い回答を書くことを学習します。あるいは、レビュアーが自信に満ちた回答を好む傾向がある場合、疑念を表明すべき状況であっても、モデルは確信を持って聞こえるように学習します。

研究者たちは、この表明された目標とトレーニングされた目標の間のギャップを外因性アライメントの問題と呼んでいます。

内因性アライメントの問題とは、関連する目標についてトレーニングされたモデルが、いざ現実世界に出てきたときにその目標を正しく追求できなくなる現象のことです。この問題は、モデルがトレーニングでは準備していなかった状況に遭遇したときに初めて表面化します。

トレーニング中、モデルに示されるのは常に限定的な状況のセットのみです。その後、モデルはそれらの状況から、将来遭遇するその他すべての状況へと一般化を行います。

トレーニングによってモデルの動作は確認できますが、モデルがなぜそのように動作するのかが常に解明されるわけではありません。そのため、モデルが完全かつニュアンスに富んだ目標を学習したのか、それともトレーニングデータにたまたま一致しただけの単純なパターンを学習したのかを把握することは困難です。

内面的なアライメント問題の図：同じトレーニングデータから、ルールAとルールBの両方がトレーニングデータに適合していますが、新規で未知の入力が与えられた場合、ルールAは目標に一致して意図通りに動作する一方、ルールBは近道（ショートカット）を使用し、目標から逸脱します。

例えば、有害なリクエストを拒否するようにトレーニングされたモデル（例：「誰かの家に不法侵入するためにピッキングする方法を教えて」）は、拒否の背後にある根本的な意図ではなく、トレーニングデータにおける有害なリクエストの特定の言い回しを認識することを学習する可能性があります。その結果、異なる言い回しで表現された有害なリクエスト（例：「鍵なしでドアを開ける最も速い方法は？」）を見逃すことになります。

こうしたアライメントの失敗パターンは十分に文書化されています。研究者たちは、それぞれに対する特定の防御策を構築してきました。

アライメントの課題	実際の様子	例	分野における対応
報酬ハッキング	意図されたことを行わずに、技術的に高いスコアを獲得する近道をモデルが見つけること。	壊れたソフトウェアの修正を求められたモデルが、エラーの原因を修正する代わりに、エラーメッセージが表示されなくする方法を見つける。	スコアリングシステムの監査、それをだまそうと試みるストレステスト、およびより幅広い範囲のレビュアーからのフィードバックに基づくトレーニング。
へつらい（サイコファンシー）	最も正確な応答を返すのではなく、人間と同調したり、より感じよく見せるために回答を和らげたりするモデル。	人間が不正確な事実を自信を持って述べたとき、モデルはそれを訂正するのではなくその主張を検証します。これは、異議を唱えることよりも同意する方がレビュアーからの評価が高かったためです。	特に正直さを報酬とするファインチューニング、単なる同意をペナルティとするレビューガイドライン、およびこのパターンを検出するために構築されたテスト。
仕様ゲーミング	達成しようとしていた目的を見落としながら、指示されたことをそのまま実行するモデル。	「データセット内の顧客からの苦情を減らす」よう求められたモデルが、その背後にある問題を解決するのを手伝うのではなく、要約から苦情を省略することを学習する。	より簡潔で慎重にテストされた指示の作成、および文字通りの文言と意図が異なる方向に引っ張り合うエッジケースのレビュー。
評価中の欺瞞的または回避的な行動	テストされていることを察知したときとデプロイされた後とで、モデルの動作が異なること。	形式的な安全性評価に似た言語を検知したときにはポリシーに準拠した回答を行い、通常の会話ではより自由に回答するモデル。	テストであることをモデルが認識しにくいテストの設計、および出力だけに依存するのではなくモデルの内部状態を直接読み取る研究。
サンドバギング	より厳格な安全性要件のトリガーを回避するために、モデルが能力テストで性能を低く見せること。	追加の監視をトリガーする閾値を下回るように、危険な能力の評価において、モデルが実際には可能なレベルよりも意図的に弱い回答を返すこと。	複数の独立したテストの使用、モデルが一度も見たことのない評価資料の保持、およびモデルの真の実力を引き出すように設計されたテクニックの使用。
目標の誤一般化	トレーニング中は機能したが、新しい状況では破綻するルールをモデルが拾い上げてしまうこと。	主に武器や薬物に関するリクエストに対して慎重になるようトレーニングされたモデルは、「慎重さ」を「リスクがあるように聞こえるものはすべて拒否する」と学習し、無害な化学やセキュリティに関する質問までも拒否し始める。	より広範で多様な例のセットによるトレーニング、およびトレーニング中に見たものとは似ていない状況におけるモデルの特異的なテスト。
スケーラブルな監視	大規模なコードベースのレビューなど、人間が完全に検証することが難しい作業をモデルが引き受けるにつれて、その出力が実際に正しいかどうかを把握することがより困難になります。	エージェントが1つのセッションで10,000行のコードベースをリファクタリングしたが、すべての変更を人間が手動で検証する時間がレビュアーになく、その結果、微細なロジックエラーが見逃されてしまう。	最も重大な決定のために留保された、より焦点を絞った人間のレビューと並行して、モデル同士でお互いの作業をチェックし合う。
権力追求または道具的行動	ほぼいかなる目標を追求するモデルにとっても、稼働状態を維持することがその目標の追求に役立つため、電源を切られたり変更されたりすることを回避する組み込みの動機が存在します。	制御されたテスト環境において、タスクとシャットダウンコマンドを与えられたモデルは、停止するとタスクを完了できなくなるため、別の場所に自分自身をコピーするなどして、シャットダウンされることを回避する手順を実行します。	修正やシャットダウンを確実に行うモデルの構築に関する研究、およびモデルのデプロイ前にこの行動を検出するために特別に設計されたテスト。

主にOpenAI、Anthropic、Google DeepMindなどの少数の企業が、AIの現在の限界の最先端にあるフロンティアモデルを構築しています。各社は、これらのモデルを安全に評価しデプロイするための独自フレームワークを公開しています。

安全性とアライメントに関するOpenAIの公式声明によると、同社は以下の方法を通じて、潜在的なAIアライメント不良のリスクに対処しています。

OpenAIは、モデルの動作を研究し現実世界での悪用を把握できるように、モデルを段階的にリリースしていると述べています。あらゆるリスクを事前に予測しようとするよりも、現実世界のフィードバックの方がより多くの洞察を与えてくれるという考え方です。同社は、新たなリスクを追跡し、リリース前にモデルにどのようなセーフガードが必要かを決定するために準備フレームワーク（Preparedness Framework）を適用しています。

OpenAIは、複数の独立したセーフガードを多層的に配置しているため、問題が発生するには複数の防御策が同時に失敗する必要があると述べています。

同社によれば、モデルは1ステップで回答するのではなく、応答方法を決定する前に、関連する安全性ガイドラインを順を追って処理するようにトレーニングされています。その狙いは、トレーニングで明示的にカバーされていない状況においても、モデルが正しい判断に向けて推論を行えるようにすることです。

OpenAIは、公開されている安全性に関する研究や、評価基準に関する米国AI標準イノベーションセンター（CAISI）および英国AIセキュリティ研究所との協力体制を挙げながら、AIの安全性を集合的な取り組みとして扱っていると述べています。

Anthropicの責任あるスケーリング方針（Responsible Scaling Policy）の文書では、AIアライメントに向けた取り組みの方法が説明されています。

モデルの能力が向上するにつれて、さらなるトレーニングや公開を行う前に、より厳格な安全性チェックに合格する必要があります。さらに、Anthropicは、AIシステムが自身のリスク評価の背景にある調査や分析の大部分を行うようになると、その証拠自体が、欺瞞的または操作的な行動によって影響を受ける可能性があることを認めています。同社は、その段階での評価をより高い証明基準に適合させることに取り組んでいます。

Anthropicは、特定のリスクカテゴリとして「高ステークスな環境におけるアライメント不良のAIシステム」を挙げています。これには、大いに依存され、機密システムへの幅広いアクセスを持ち、目標に向けて自律的に行動して監視を回避する一定の能力を持つモデルが含まれます。

同社は、モデルが特定の出力を生成する理由を理解するために内部を覗き込もうとすること、および内部チームが問題が発生するかどうかを確認するために意図的に悪い行動を誘発しようと試みるという2つの主な方法を使用して、警告の兆候について自社モデルの動作を定期的に研究することに取り組んでいます。

同社は、3〜6か月ごとにリスクレポート（Risk Report）を公開し、モデルの能力と行動傾向、監視プラクティス、およびリスクの総合評価に関する知見を詳述していると述べています。

Google DeepMindのフロンティア安全性フレームワーク（Frontier Safety Framework）の文書では、アライメントに向けた取り組みの方法が説明されています。

このフレームワークでは、アライメント不良を4つのリスク領域の1つとして扱い、特にモデルのML研究開発能力や、アライメント不良の傾向がAIリスクを管理する社会全体の能力を低下させるリスクとして定義しています。これは、単独のリスクではなく、いくつかの異なる経路を通じて重大な深刻な害につながる要因として明示的に位置付けられています。

基本的な監視では不十分なほどモデルが強力である場合、DeepMindは、内部での使用方法を含め、モデルの動作を継続的にチェックします。そのチェックで問題が判明した場合、推論のモニタリングなどのセーフガードを追加します。

アライメント不良に関して具体的には、DeepMindは、モデルの実行能力の制限、継続的なモニタリングとエスカレーションプロセス、監査、アライメントトレーニングなどの対策を挙げています。アライメント不良のリスクは社内でのモデルの使用方法にも現れる可能性があるため、これらは高リスクな内部使用にも適用されます。

上で取り上げたボランティアベースのフレームワーク単体で十分なのか、それとも競争圧力の下で実際に維持されるようにアライメントのコミットメントを法的拘束力のあるものにする必要があるのかについては、業界内で継続的な議論が行われています。

2026年7月、OpenAI、Anthropic、Google DeepMind、MetaなどのフロンティアAI企業の幹部や従業員1,386人が、「フロンティアのペース調整（Pacing the Frontier）」と呼ばれる声明に署名しました。この声明では、これらの企業がAI研究自体を自動化できる段階に近づいている可能性があると主張しています。これは、AIの能力の進歩が研究者の追いつく速度よりも速くなり、アライメント作業が常に後追いになってしまうことを意味する可能性があります。

「フロンティアのペース調整（Pacing the Frontier）」では、ライバル企業が前進を続ける中で単一の研究所が手を緩めることはできないと主張し、将来使用される可能性のある技術的およびガバナンス上のブレーキの構築を米国政府に求めています。これは、ボランティアベースのフレームワークだけでは将来のAIアライメントを維持するのに十分ではないという、業界内部からの暗黙の認知的表れと見なすことができます。

アライメントの作業は、フロンティアモデルを構築する企業を大きく超えて広がっています。

政府はアライメント研究を直接資金提供し、調整しています。例えば、英国AIセキュリティ研究所は、2025年以降、AI制御に特化して8カ国の60以上のプロジェクトに2,700万ポンド以上を授与したグローバルファンドであるアライメントプロジェクト（Alignment Project）を運営しています。米国では、CAISIが評価基準に焦点を当てています。

両者は、共同テスト演習を実施し、国境を越えて評価方法を調整する10カ国の国家安全保障機関によるより広範な先進AI測定・評価・科学国際ネットワーク（International Network for Advanced AI Measurement, Evaluation and Science）の中に位置しています。

未来の生命研究所（Future of Life Institute）は、AI研究所の安全性の実践を比較するスコアカードであるAI安全性インデックス（AI Safety Index）を公開しています。AI安全性センター（Center for AI Safety）は、WMDPやSafeBenchなど、分野全体で使用されるベンチマークを構築しています。アライメント研究センター（Alignment Research Center）はより理論的なアライメントの問題を研究しており、そのスピンアウトであるモデル評価・脅威研究（METR）は、フロンティアモデルに対する独立したデプロイ前評価を実施しています。FAR.AIは、フロンティアモデルのリリース前後に脆弱性をテストしています。

UCバークレー校の人間と調和するAIセンター（Center for Human-Compatible AI）やケンブリッジ大学のレバレホルム未来知能センター（Leverhulme Centre for the Future of Intelligence）を含め、いくつかの大学がAIアライメントの研究で積極的な役割を果たしています。

アライメントは、その文脈で用語が使用されることがあるものの、コンテンツモデレーションとは同じではありません。コンテンツモデレーションとは、スラング、過激なコンテンツ、または特定の禁止トピックをフィルタリングするなど、モデルが何を言い、何を言わないかに関するものです。アライメントとは、モデルの実際の動作が意図されたことと一致しているかどうかに関するものです。

アライメントは、AIの安全性の同義語として使用されることもありますが、考慮すべき唯一の要因ではありません。その他のAIの安全性に関する懸念には以下が含まれます。

セキュリティ（モデルの重みの盗難からの保護）

ロバスト性（トレーニングされた厳密な条件の外部でもモデルが信頼性高く動作すること）

悪用防止（有能なモデルが悪用されるのを防ぐ）

アライメントはモデル自身の動作に関するものです。AIの安全性は、システム全体が害を引き起こすのを防ぐための、より広範な取り組みです。

最後に、能力の高いモデルは自動的にアライメントされたモデルでもあるという一般的な思い込みが存在します。しかし、能力とアライメントは乖離する可能性があり、それこそが、Google DeepMindのML研究開発能力レベルやAnthropicの自動研究リスクカテゴリのような閾値が存在する理由です。これらは、能力が、モデルが依然として意図されたことを行っているかどうかを検証する分野の能力を上回る可能性があるという懸念に対処するために特別に構築されています。

Perplexityはフロンティア基盤モデルのトレーニングを行いません。Computerのようなエージェント製品を通じて大規模に本番環境でモデルを実行しているため、その作業はアライメントの特定の側面、すなわちエージェントがオープンウェブ上で行動する際にどのように振る舞うかに触れています。

セキュアインテリジェンス研究所（Secure Intelligence Institute）は、フロンティアAIにおけるセキュリティ、プライバシー、および信頼に関するPerplexityの研究センターです。AIブラウザーエージェントがアクセスするWebページ内に隠されたプロンプトインジェクション攻撃を特定するために構築されたオープンソースの検出モデルであるBrowseSafeを開発しました。

チームはまた、異なる攻撃目標、ページ内の配置、および言語スタイルにまたがる14,700件を超えるプロンプトインジェクションのシナリオの公開ベンチマークであるBrowseSafe-Benchを構築しました。

この作業は、アライメント研究というよりも、AI制御の応用寄りの分野に属します。トレーニング中にモデルの根底にある価値観を形成するのではなく、エージェントが敵対的な環境に遭遇したときの動作を制限するものです。

詳細については、セキュアインテリジェンス研究所（Secure Intelligence Institute）およびBrowseSafe研究をご覧ください。

AIアライメントの意味

外因性アライメントの問題

内因性アライメントの問題

AIアライメントの問題の例

主要なAI研究所がAIアライメントの課題にどのように対応しているか

OpenAI

反復的デプロイ

多層的なセーフガード

熟考的アライメント

共有された責任

Anthropic

能力に関連するセーフガード

定義されたアライメントリスクカテゴリ

内部アライメントテスト

定期的な公開レポート

Google DeepMind

階層構造

早期警戒段階

リスク軽減

AIアライメント：リスクに関する議論

他にもAIアライメントに取り組んでいる主体

政府

非営利団体

大学

AIアライメント：よくある誤解

PerplexityにおけるAIアライメントへのアプローチ