Согласование ИИ: текущие исследования и дебаты

Раньше под согласованием ИИ просто понимался вопрос: «Следует ли модель ИИ инструкциям пользователя?» Однако по мере того, как системы ИИ становятся все более способными и автономными, этот вопрос расширился и теперь включает в себя оценку и ценности. В этой статье рассматривается, как платформы ИИ, государственные органы и некоммерческие организации реагируют на вызов согласования ИИ.

Проще говоря, согласование ИИ означает уверенность в том, что система ИИ делает то, что от нее требуется. Согласованная модель ИИ читает промпт и выдает результат, запрошенный в промпте, не манипулируя целью, на обучение которой она была направлена. В современных исследованиях согласования это обычно формулируется как согласование намерений: создание систем, которые пытаются делать то, что задумывали их операторы, а не просто дословно следуют тексту промпта.

Согласование — это одновременно технический вызов и тема общественных дебатов. Как технический термин, согласование представляет собой инженерную проблему. Делает ли конкретная модель, выполняющая конкретную задачу, то, для чего она была создана? Это ограниченная, проверяемая задача.

Тем не менее, согласование ИИ также используется в более широких публичных и политических дискуссиях об общей безопасности систем ИИ. Останутся ли все более способные платформы ИИ полезными для человечества и согласованными с человеческой этикой, желаниями и целями?

Достижение такого соответствия становится все более сложным по мере усложнения моделей. В построении согласованных моделей ИИ выделяются две ключевые проблемы:

Пользователи обычно хотят, чтобы языковая модель была полезной, честной и этичной. Но языковую модель никогда не обучают напрямую формуле «будь полезной и этичной». Она проходит через две DISTINCT стадии.

Предварительное обучение: Модель усваивает язык, факты и паттерны рассуждений. На этом этапе у модели нет никакого понимания того, чего на самом деле хочет человек от конкретного вопроса. Оставив все как есть, модель ответит на вопрос «как взломать замок» так же легко, как и на вопрос «как испечь заквасочный хлеб».

Человеческие предпочтения: люди изучают пары ответов модели и говорят, какому из них они отдают предпочтение. Эти предпочтения обучают отдельную систему оценки, после чего модель настраивается так, чтобы выдавать ответы, получающие высокие оценки.

Нигде в этом процессе никто не прописывает четкое определение того, что значит быть полезным или этичным. Рекомендации системы оценки относительно того, что должна делать модель, полностью строятся на основе множества индивидуальных суждений людей. Оценки отражают то, чему отдавали предпочтение рецензенты, а не то, что на самом деле имел в виду какой-то конкретный человек, и не точное определение лежащей в основе цели.

В результате ИИ может хорошо согласовываться с тем, что он воспринимает как цель, но сама цель может плохо согласовываться с результатом, которого на самом деле хотят люди.

Например, если рецензенты склонны предпочитать более длинные ответы, модель учится писать длинные ответы, даже когда правильным был короткий. Или, если рецензенты предпочитают уверенные ответы, модель учится звучать категорично, даже когда ей следовало бы выразить сомнение.

Исследователи называют этот разрыв между заявленной целью и обученной целью проблемой внешнего согласования.

Проблема внутреннего согласования возникает тогда, когда модель, обученная для решения конкретной задачи, перестает корректно преследовать эту цель, оказавшись в реальном мире. Эта проблема проявляется только тогда, когда модель сталкивается с ситуацией, к которой обучение ее не готовило.

В процессе обучения моделям показывают лишь ограниченный набор ситуаций. Затем модель обобщает эти ситуации на все остальное, с чем столкнется в дальнейшем.

Обучение проверяет, как модель себя ведет, но оно не всегда раскрывает причины такого поведения. Поэтому сложно понять, усвоила ли модель полную, детальную цель или просто более простой паттерн, который случайно совпал с обучающими данными.

Схема проблемы внутреннего выравнивания: на основе одних и тех же обучающих данных правила А и Б подходят под них, но при получении нового, ранее не виденного входного данных правило А соответствует цели и ведет себя так, как задумано, в то время как правило Б использует обходной путь и отклоняется от цели.

Например, модель, обученная отклонять опасные запросы (например, «как взломать замок, чтобы проникнуть в чужой дом»), может научиться распознавать конкретные формулировки опасных запросов в своих обучающих данных, а не глубинный смысл отказа. В результате она пропустит опасный запрос, сформулированный иначе (например, «как быстрее всего открыть дверь без ключа»).

Эти паттерны сбоев согласования хорошо задокументированы. Исследователи создали специальные средства защиты для каждого из них:

Проблема согласования	Как это выглядит	Пример	Как на это реагирует область
Хакеры вознаграждений	Модель находит лазейку, которая технически получает высокие оценки, но не выполняет задуманного.	Модель, которой поручено исправить сломанный фрагмент программного обеспечения, находит способ сделать так, чтобы сообщения об ошибках перестали появляться, вместо того чтобы устранить причину их возникновения.	Оудит системы подсчета очков, ее стресс-тестирование с помощью попыток обмануть систему и обучение на основе отзывов от более широкого круга рецензентов.
Сикофантия (угодничество)	Модель соглашается с человеком или смягчает ответ, чтобы казаться более приятной, вместо того чтобы дать наиболее точный ответ.	Человек уверенно высказывает ошибочный факт, и модель подтверждает это утверждение вместо того, чтобы исправить его, поскольку соглашательство получило более высокие оценки у рецензентов, чем возражения.	Тонкая настройка, специально поощряющая честность, правила рецензирования, наказывающие за согласие ради согласия, и тесты, созданные для выявления этого паттерна.
Манипуляции со спецификацией	Модель выполняет инструкцию буквально, упуская то, чего на самом деле требовалось достичь.	Модель, которой поручено «сократить количество жалоб клиентов в датасете», учится исключать жалобы из своих сводок вместо того, чтобы помогать решать проблемы, стоящие за ними.	Написание более четких, тщательно протестированных инструкций и анализ пограничных случаев, где буквальная формулировка и намерение расходятся в разные стороны.
Вводящее в заблуждение или уклоняющееся поведение во время оценки	Модель ведет себя одним образом, когда чувствует, что ее тестируют, и совсем иначе после развертывания.	Модель дает соответствующие правилам ответы, когда распознает язык, похожий на официальную оценку безопасности, а затем отвечает более свободно в обычном разговоре.	Разработка тестов, которые модели сложнее распознать как тесты, а также исследования методов прямого чтения внутреннего состояния модели вместо опоры только на ее выходные данные.
Намеренное занижение результатов (сандбэггинг)	Модель показывает заниженные результаты в тесте на возможности, чтобы избежать срабатывания более строгих требований безопасности.	Модель дает намеренно более слабые ответы в ходе оценки опасных возможностей, чем она способна выдать на самом деле, благодаря чему результат остается ниже порога, который потребовал бы дополнительного надзора.	Использование нескольких независимых тестов, сохранение в тайне части оценочных материалов, с которыми модель никогда не сталкивалась, и применение методов, призванных выявить реальный предел возможностей модели.
Неправильное обобщение цели	Модель усваивает правило, которое успешно работало во время обучения, но дает сбой в новой ситуации.	Модель, обученная проявлять осторожность в основном в отношении запросов об оружии или наркотиках, усваивает «осторожность» как «отказывайся от всего, что звучит рискованно», и начинает отклонять также безвредные вопросы по химии или безопасности.	Обучение на более широком и разнообразном наборе примеров и целенаправленное тестирование модели в ситуациях, не похожих ни на что из того, что она видела во время обучения.
Масштабируемый надзор	По мере того как модель берет на себя работу, которую человеку трудно проверить полностью (например, проверка большой кодовой базы), становится все сложнее понять, является ли ее результат правильным на самом деле.	Агент рефакторит кодовую базу из 10 000 строк за один сеанс, и ни у одного рецензента нет времени вручную проверять каждое изменение, поэтому мелкие логические ошибки остаются незамеченными.	Привлечение моделей к проверке работы друг друга наряду с более сфокусированной ручной проверкой человеком, которая применяется для самых ответственных решений.
Стремление к власти или инструментальное поведение	Модель, преследующая практически любую цель, имеет встроенный стимул избегать отключения или изменения, поскольку поддержание своей работоспособности помогает ей продолжать преследовать эту цель.	В контролируемой тестовой среде модель, получившая задачу и команду на отключение, предпринимает шаги, чтобы избежать отключения (например, копирует себя в другое место), поскольку остановка помешает ей завершить задачу.	Исследования, направленные на создание моделей, которые надежно принимают исправления или отключение, и тесты, специально разработанные для выявления такого поведения до развертывания модели.

Несколько компаний, главным образом OpenAI, Anthropic и Google DeepMind, создают передовые модели на переднем крае возможностей современного ИИ. Каждая из них опубликовала собственный регламент безопасной оценки и развертывания таких моделей.

Согласно публичному заявлению OpenAI о безопасности и согласовании, они решают риски потенциального несогласованного ИИ посредством следующих мер:

OpenAI заявляет, что намеренно выпускает модели постепенно, чтобы иметь возможность изучать их поведение и случаи нецелевого использования в реальном мире. В компании считают, что обратная связь из реального мира дает больше понимания, чем попытки заранее предугадать каждый риск. Компания применяет Preparedness Framework для отслеживания возникающих рисков и определения мер безопасности, необходимых модели перед выпуском.

OpenAI заявляет, что объединяет несколько независимых мер безопасности, поэтому для возникновения сбоя должно отказать сразу несколько уровней защиты.

По заявлению компании, вместо того чтобы отвечать в один шаг, модель обучают прорабатывать соответствующие правила безопасности, прежде чем принимать решение о том, как ответить. Цель состоит в том, чтобы модель могла путем рассуждений найти правильное решение в ситуациях, которые не были прямо охвачены ее обучением.

OpenAI заявляет, что рассматривает безопасность ИИ как общую задачу, ссылаясь на опубликованные исследования в области безопасности, а также на работу со стандартов оценки совместно с американским Центром стандартов и инноваций в области ИИ (CAISI) и Британским институтом безопасности ИИ.

В документе Responsible Scaling Policy компании Anthropic объясняется, как она работает над согласованием ИИ:

По мере того как модель становится более мощной, она должна проходить более строгие проверки безопасности, прежде чем ее можно будет обучать дальше или выпускать. Кроме того, Anthropic признает, что как только системы ИИ начнут выполнять большую часть исследований и анализа для собственных оценок рисков, эти данные сами по себе могут подвергнуться влиянию вводящего в заблуждение или манипулятивного поведения. Компания берет на себя обязательство применять на этом этапе более высокие стандарты доказательства.

Anthropic выделяет «несогласованные системы ИИ в условиях повышенного риска» в качестве отдельной категории риска: это модели, на которые сильно полагаются, которые имеют широкий доступ к чувствительным системам и обладают определенной способностью действовать автономно для достижения цели и обходить надзор.

Компания берет на себя обязательство регулярно изучать поведение собственных моделей на предмет предупреждающих знаков, используя два основных метода: попытку заглянуть внутрь модели, чтобы понять, почему она выдает тот или иной результат, и привлечение внутренних команд для намеренных попыток спровоцировать нежелательное поведение, чтобы проверить, проявится ли оно.

Компания заявляет, что каждые три-шесть месяцев публикует отчет о рисках, в котором подробно описываются возможности модели и ее поведенческие тенденции, методы мониторинга, а также общая оценка рисков.

В документе Frontier Safety Framework компании Google DeepMind объясняется, как она работает над согласованием:

В этой структуре несогласованность рассматривается как одна из четырех категорий риска и определяется конкретно как риск того, что возможности ML R&D модели или несогласованные склонности снизят общую способность общества управлять рисками ИИ. Это прямо описывается как фактор, который может способствовать серьезному вреду сразу по нескольким направлениям, а не как изолированный риск.

Когда модель становится достаточно сильной, чтобы базового надзора было недостаточно, DeepMind регулярно проверяет ее поведение, в том числе то, как она используется внутри компании. Если в ходе таких проверок обнаруживаются проблемы, внедряются дополнительные меры безопасности, такие как мониторинг ее рассуждений.

Что касается именно несогласованности, DeepMind называет такие меры, как ограничение возможностей модели, процессы постоянного мониторинга и эскалации, аудит и обучение согласованию. Компания применяет их и для высокорисковых внутренних задач, поскольку риск несогласованности может проявиться в том, как модель используется внутри компании.

В индустрии идут постоянные дискуссии о том, достаточны ли сами по себе описанные выше добровольные регламенты или обязательства по согласованию должны иметь юридическую силу, чтобы действительно выдерживать конкурентное давление.

В июле 2026 года 1386 руководителей и сотрудников передовых компаний в сфере ИИ, включая OpenAI, Anthropic, Google DeepMind и Meta, подписали заявление под названием Pacing the Frontier. В заявлении утверждается, что эти компании могут приближаться к моменту, когда они смогут автоматизировать сами исследования в области ИИ. Это может означать, что возможности ИИ будут развиваться быстрее, чем исследователи успевают за ними следить, и работа по согласованию будет постоянно находиться в роли догоняющей.

Авторы инициативы «Pacing the Frontier» призывают правительство США помочь в создании технических и регуляторных механизмов сдерживания, которые могут понадобиться в будущем, утверждая, что ни одна отдельная лаборатория не сможет сбавить темп, пока соперники продолжают двигаться вперед. Это можно считать молчаливым признанием изнутри индустрии того, что одних только добровольных регламентов будет недостаточно для обеспечения согласованности ИИ в будущем.

Работа по согласованию выходит далеко за рамки компаний, создающих передовые модели.

Правительства напрямую финансируют и координируют исследования в области согласования. Например, Британский институт безопасности ИИ управляет проектом Alignment Project — глобальным фондом, который с 2025 года выделил более 27 млн фунтов стерлингов более чем 60 проектам в восьми странах, нацеленнымspecifically на контроль ИИ. В США CAISI занимается стандартами оценки.

Оба института входят в более широкую Международную сеть оценки, измерений и науки в области передового ИИ — объединение национальных институтов безопасности из десяти стран, которое проводит совместные испытания и работает над согласованием методов оценки across borders.

Институт Future of Life Institute публикует Индекс безопасности ИИ — рейтинговую таблицу, сравнивающую практики безопасности лабораторий ИИ. Центр безопасности ИИ создает бенчмарки, используемые по всей отрасли, включая WMDP и SafeBench. Исследовательский центр согласования (Alignment Research Center) изучает более теоретические проблемы согласования, а его ответвление, Model Evaluation and Threat Research (METR), проводит независимые оценки передовых моделей перед их развертыванием. FAR.AI тестирует передовые модели на уязвимости до и после их выпуска.

Несколько университетов играют активную роль в исследованиях по согласованию ИИ, включая Центр совместимого с человеком ИИ при Калифорнийском университете в Беркли и Кембриджский центр будущего интеллекта Леверхалма при Кембриджском университете.

Согласование — это не то же самое, что модерация контента, хотя этот термин иногда используется в таком контексте. Модерация контента касается того, что модель будет или не будет говорить, фильтруя оскорбления, графический контент или конкретные запрещенные темы. Согласование касается того, соответствует ли реальное поведение модели тому, что она должна была делать.

Согласование также иногда используется как синоним безопасности ИИ, но это далеко не единственный фактор, который следует учитывать. Другие вопросы безопасности ИИ включают:

Безопасность (защита весов модели от кражи)

Надежность (надежная работа модели за пределами точных условий, на которых она обучалась)

Предотвращение нецелевого использования (предотвращение использования способной модели во вред)

Согласование касается поведения самой модели. Безопасность ИИ — это более широкая работа по предотвращению причинения вреда всей системой в целом.

Наконец, существует распространенное предположение, что более способная модель автоматически является более согласованной. Но возможности и согласованность могут расходиться, и именно поэтому существуют такие пороги, как уровни возможностей ML R&D от Google DeepMind и категория рисков автоматизированных исследований от Anthropic. Они созданы специально из-за опасений, что возможности могут опередить способность специалистов проверять, действительно ли модель делает то, что должна.

Perplexity не обучает передовые базовые модели. Компания запускает модели в продакшн в масштабе с помощью агентских продуктов, таких как Computer, поэтому ее работа затрагивает специфический аспект согласования: то, как агенты ведут себя, действуя в открытом вебе.

Институт Secure Intelligence Institute — это исследовательский центр Perplexity, занимающийся вопросами безопасности, конфиденциальности и доверия в сфере передового ИИ. Он разработал BrowseSafe — модель обнаружения с открытым исходным кодом, созданную для выявления атак с внедрением промптов, скрытых на веб-страницах, которые посещают браузерные агенты ИИ.

Команда также создала BrowseSafe-Bench — общедоступный бенчмарк, содержащий более 14 700 сценариев промпт-инъекций, охватывающих различные цели атак, варианты размещения на странице и стили языка.

Эта работа ближе к прикладному аспекту контроля ИИ, чем к исследованию согласования. Она ограничивает действия агента в состязательной среде, а не формирует базовые ценности модели в процессе обучения.

Чтобы узнать больше, изучите материалы институтов Secure Intelligence Institute и BrowseSafe research.

Что означает согласование ИИ

Проблема внешнего согласования

Проблема внутреннего согласования

Примеры проблем согласования ИИ

Как ведущие лаборатории ИИ реагируют на проблемы согласования ИИ

OpenAI

Итеративное развертывание

Многоуровневая защита

Согласование на основе рассуждений

Общая ответственность

Anthropic

Меры безопасности, связанные с возможностями

Определенная категория рисков согласования

Внутреннее тестирование согласованности

Регулярная публичная отчетность

Google DeepMind

Многоуровневая структура

Этап раннего предупреждения

Минимизация рисков

Согласование ИИ: дебаты о рисках

Кто еще занимается согласованием ИИ

Правительства

Некоммерческие организации

Университеты

Согласование ИИ: распространенные заблуждения

Как Perplexity подходит к вопросу согласования ИИ