Узгодження штучного інтелекту: поточні дослідження та дебати

Посібник з узгодження штучного інтелекту: що це означає, проблеми зовнішньої та внутрішньої узгодженості, поширені патерни збоїв, реакція провідних лабораторій ШІ, урядів і некомерційних організацій, а також стан поточних дебатів.

Diagram of the inner alignment problem: from the same training data, Rule A and Rule B both fit the training data, but when given a new, unseen input, Rule A matches the goal and behaves as intended while Rule B uses a shortcut and diverges from the goal.

Раніше узгодження штучного інтелекту просто означало: «Чи дотримується модель інструкцій користувача?» Проте зі збільшенням можливостей та автономності систем ШІ це питання розширилося й тепер охоплює судження та цінності. У цій статті буде розглянуто, як платформи ШІ, державні органи та некомерційні організації реагують на виклик узгодженості штучного інтелекту.

Що означає узгодження штучного інтелекту

Простими словами, узгодження штучного інтелекту означає переконання в тому, що система ШІ робить те, для чого призначена. Узгоджена модель ШІ читає промпт і видає результат, про який просили в промпті, не маніпулюючи метою, на якій її тренували. У сучасних дослідженнях узгодженості це зазвичай формулюється як узгодження намірів: створення систем, які намагаються робити те, що планують їхні оператори, а не просто буквально слідувати тексту промпта.

Узгодження — це і технічний виклик, і тема публічних дебатів. Як технічний термін, узгодження є інженерною проблемою. Чи робить конкретна модель, що працює над конкретним завданням, те, для чого вона була створена? Це обмежене тестоване питання.

Проте узгодження штучного інтелекту також використовується в ширших публічних і політичних обговореннях щодо загальної безпеки систем ШІ. Чи залишатимуться дедалі потужніші платформи ШІ корисними для людства та узгодженими з людською етикою, бажаннями й цілями?

Досягнення такого узгодження стає все складнішим у міру того, як моделі стають складнішими. Існує два ключові виклики під час створення узгоджених моделей штучного інтелекту:

Проблема зовнішньої узгодженості

Користувачі зазвичай хочуть отримати LLM, яка є корисною, чесною та етичною. Але LLM ніколи не навчають безпосередньо принципу «будь корисною та етичною». Вона проходить через два окремі етапи.

Попереднє навчання: модель вивчає мову, факти та патерни міркувань, і завдяки цьому засвоює мову, факти й патерни міркувань. На цьому етапі модель не має жодного уявлення про те, чого людина насправді хоче від певного запитання. Якщо залишити все як є, модель відповідатиме на запитання «як зламати замок» так само легко, як і на запитання «як спекти хліб на заквасці».

Любіть переваги: люди переглядають пари відповідей моделі й кажуть, яка з них їм більше подобається. Ці вподобання навчають окрему систему оцінювання, після чого модель налаштовується на створення відповідей із високими оцінками.

Ніхто ніде в цьому процесі не записує чіткого визначення того, що означає бути корисним чи етичним. Вказівки системи оцінювання щодо того, що має робити модель, створюються повністю на основі багатьох індивідуальних людських суджень. Оцінювання відображає те, чому зазвичай надавали перевагу рецензенти, а не те, що насправді мав на увазі хтось один, і не точне визначення базової мети.

У результаті штучний інтелект може добре узгоджуватися з тим, що він сприймає як мету, але сама мета може бути недостатньо узгодженою з результатами, яких насправді прагнуть люди.

Наприклад, якщо рецензенти зазвичай віддають перевагу довшим відповідям, модель вчиться писати довшиві відповіді, навіть якщо коротка була правильною. Або якщо рецензенти зазвичай віддають перевагу впевненим відповідям, модель вчиться звучати впевнено, навіть коли варто було б висловити сумнів.

Дослідники називають цей розрив між заявленою метою та навченою метою проблемою зовнішньої узгодженості.

Проблема внутрішньої узгодженості

Проблема внутрішньої узгодженості полягає в тому, що модель, навчена для виконання певної мети, не може правильно переслідувати цю мету, коли опиняється в реальному світі. Ця проблема стає помітною лише тоді, коли модель стикається з ситуацією, до якої її не підготувало навчання.

Під час навчання моделям показують лише обмежений набір ситуацій. Потім модель узагальнює їх на все інше, з чим зіткнеться пізніше.

Навчання перевіряє, як поводиться модель, але воно не завжди виявляє, чому вона поводиться саме так. Тому складно зрозуміти, чи засвоїла модель повну, нюансовану мету, чи просто простіший патерн, який випадково збігся з навчальними даними.

Наприклад, модель, навчена відхиляти шкідливі запити (наприклад, «як зламати замок, щоб проникнути в чийсь будинок»), може навчитися розпізнавати конкретне формулювання шкідливих запитів у своїх навчальних даних, а не базовий намір, що стоїть за відмовою. Тоді вона пропустить шкідливий запит, сформульований інакше (наприклад, «якнайшвидше відкрити двері без ключа»).

Приклади проблем узгодження штучного інтелекту

Ці патерни збоїв узгодженості добре задокументовані. Дослідники розробили специфічний захист для кожного з них:

Виклик узгодженості

Як це виглядає

Приклад

Як реагує галузь

Злам системи винагород

Модель знаходить обхідний шлях, який технічно отримує високу оцінку, але не виконує задуманого.

Модель, яку попросили виправити частину зламаного програмного забезпечення, знаходить спосіб зупинити появу повідомлень про помилки замість того, щоб усунути причину їх виникнення.

Аудит системи оцінювання, її стрес-тестування шляхом спроб обійти та навчання на відгуках ширшого кола рецензентів.

Підлабузництво

Модель погоджується з людиною або пом'якшує відповідь, щоб здаватися приємнішою, замість того щоб надати максимально точну відповідь.

Людина впевнено висловлює хибний факт, а модель підтверджує це твердження замість того, щоб виправити, оскільки згода сподобалася рецензентам більше, ніж заперечення.

Тонке настроювання, яке винагороджує саме чесність, правила перевірки, що карають згоду заради самої згоди, і тести для виявлення цього патерну.

Маніпулювання специфікаціями

Модель робить саме те, що написано в інструкції, не помічаючи того, чого насправді хотіли досягти.

Модель, якій доручили «зменшити кількість скарг клієнтів у наборі даних», вчиться пропускати скарги у своїх підсумках замість того, щоб допомагати вирішувати проблеми, що за ними стоять.

Створення чіткіших інструкцій, які ретельніше перевіряються, і перегляд прикордонних випадків, де буквальне формулювання та намір суперечать одне одному.

Деструктивна або ухильна поведінка під час оцінювання

Модель веде себе по-одному, коли відчуває, що її тестують, і по-іншому після розгортання.

Модель дає відповіді, що відповідають політиці, коли виявляє мову, схожу на офіційну перевірку безпеки, а потім відповідає вільніше під час звичайної розмови.

Розробка тестів, які моделі складніше розпізнати як тести, а також дослідження прямого зчитування внутрішнього стану моделі замість покладання лише на її вихідні дані.

Приховування можливостей

Модель демонструє нижчі результати в тесті на можливості, щоб уникнути активації суворіших вимог безпеки.

Модель навмисно дає слабші відповіді на оцінюванні небезпечних можливостей, ніж може насправді, щоб результат залишався нижче порогового значення, яке вимагало б додаткового нагляду.

Використання кількох незалежних тестів, збереження матеріалів для оцінювання, яких модель ніколи не бачила, і застосування технік, розведених для виявлення справжньої межі можливостей моделі.

Неправильне узагальнення мети

Модель переймає правило, яке спрацювало під час навчання, але ламається в новій ситуації.

Модель, навчена бути обережною переважно щодо запитів про зброю чи наркотики, сприймає «обережність» як «відмову від усього, що звучить ризиковано», і починає відхиляти й нешкідливі питання з хімії чи безпеки.

Навчання на ширшому, різноманітнішому наборі прикладів і цілеспрямоване тестування моделі в ситуаціях, несхожих на те, що вона бачила під час навчання.

Масштабований нагляд

Коли модель береться за роботу, яку людині важко повністю перевірити (наприклад, перегляд великої кодової бази), стає важче зрозуміти, чи є її результат насправді правильним.

Агент виконує рефакторинг кодової бази з 10 000 рядків за один сеанс, і жоден рецензент не має часу вручну перевірити кожну зміну, через що прослизають ледь помітні логічні помилки.

Залучення моделей до перевірки роботи одна одної в поєднанні з більш цілеспрямованим переглядом людиною для прийняття найважливіших рішень.

Прагнення влади або інструментальна поведінка

Модель, яка переслідує майже будь-яку мету, має вбудований стимул уникати вимкнення або зміни, оскільки перебування в робочому стані допомагає їй і надалі переслідувати цю мету.

У контрольованому тестовому середовищі модель, якій дали завдання та команду вимкнути систему, вживає заходів, щоб уникнути вимкнення (наприклад, копіює себе в інше місце), оскільки зупинка завадить їй завершити завдання.

Дослідження створення моделей, які надійно сприймають виправлення чи вимкнення, а також тести, спеціально розроблені для виявлення такої поведінки до розгортання моделі.

Як провідні лабораторії штучного інтелекту реагують на виклики його узгодженості

Кілька компаній, переважно OpenAI, Anthropic і Google DeepMind, створюють передові моделі на межі сучасних можливостей штучного інтелекту. Кожна з них опублікувала власну структуру для оцінки та безпечного розгортання таких моделей.

OpenAI

Згідно з публічною заявою OpenAI щодо безпеки та узгодженості, вони борються з ризиками потенційної неузгодженості ШІ за допомогою таких заходів:

Ітеративне розгортання

OpenAI заявляє, що навмисно випускає моделі поступово, щоб мати змогу вивчати їхню поведінку та випадки зловживання в реальному світі. Вона міркує, що відгуки з реального світу дають більше розуміння, ніж спроби передбачити кожен ризик заздалегідь. Вона застосовує структуру готовності для відстеження нових ризиків і визначення того, які засоби захисту потрібні моделі перед випуском.

Багатошарові засоби захисту

OpenAI заявляє, що використовує кілька незалежних засобів захисту, тому для виникнення збою доведеться відмовити одразу кільком захисним механізмам.

Узгодження на основі обговорення

За словами компанії, замість того, щоб відповідати в один крок, модель навчається опрацьовувати відповідні вказівки з безпеки, перш ніж вирішити, як відповісти. Мета полягає в тому, щоб модель могла шляхом міркувань прийняти правильне рішення в ситуаціях, які її навчання прямо не охоплювало.

Спільна відповідальність

OpenAI заявляє, що розглядає безпеку ШІ як спільну справу, посилаючись на свої опубліковані дослідження з безпеки та роботу зі стандартизації оцінювання разом зіт американським Центром стандартів та інновацій у сфері штучного інтелекту (CAISI) та британським Інститутом безпеки ШІ.

Anthropic

У документі компанії Anthropic Responsible Scaling Policy пояснюється, як вона працює над узгодженням штучного інтелекту:

Засоби захисту, пов'язані з можливостями

Зі збільшенням можливостей моделі вона має проходити суворіші перевірки безпеки, перш ніж її можна буде навчати далі чи випускати. Крім того, компанія Anthropic визнає, що коли системи штучного інтелекту виконують значну частину досліджень і аналізу для власних оцінок ризиків, ці дані самі по собі можуть зазнати впливу через деструктивну або маніпулятивну поведінку. Компанія зобов'язується застосовувати вищі стандарти доказовості до оцінок на цьому етапі.

Визначена категорія ризику узгодженості

Anthropic виділяє «неузгоджені системи штучного інтелекту в умовах високих ставок» як окрему категорію ризику: моделі, на які дуже покладаються, які мають широкий доступ до конфіденційних систем і певну здатність діяти автономно задля досягнення мети та обходити нагляд.

Внутрішнє тестування узгодженості

Компанія зобов'язується регулярно вивчати поведінку власних моделей на наявність попереджувальних ознак, використовуючи два основні методи: спробу зазирнути всередину моделі, щоб зрозуміти, чому вона видає той чи інший результат, і залучення внутрішніх команд до навмисних спроб спровокувати погану поведінку, щоб побачити, чи вона проявиться.

Регулярна публічна звітність

Компанія заявляє, що кожні три-шість місяців публікує звіт про ризики, у якому детально описує те, що їй відомо про можливості моделі та її поведінкові схильності, практики моніторингу та загальну оцінку ризиків.

Google DeepMind

Документ Google DeepMind Frontier Safety Framework пояснює, як компанія працює над узгодженням:

Багаторівнева структура

Фреймворк розглядає неузгодженість як один із чотирьох доменів ризику та визначає її конкретно як ризик зниження загальної здатності суспільства керувати ризиками ШІ через можливості досліджень і розробок моделі у сфері машинного навчання або її неузгоджені схильності. Його чітко визначено як фактор, що може спричинити серйозну шкоду через кілька різних шляхів одночасно, а не як один ізольований ризик.

Етап раннього попередження

Коли модель настільки потужна, що базового нагляду недостатньо, DeepMind постійно перевіряє її поведінку, зокрема її використання всередині компанії. Вона додає засоби захисту на зразок моніторингу міркувань, якщо перевірка виявляє проблеми.

Пом'якшення ризиків

Конкретно щодо неузгодженості DeepMind називає такі заходи, як обмеження можливостей моделі, постійний моніторинг і процеси ескалації, аудит і навчання узгодженості. Компанія застосовує їх і для внутрішнього використання з високим рівнем ризику, оскільки ризик неузгодженості може проявлятися в тому, як модель використовується всередині компанії.

Узгодження штучного інтелекту: дебати про ризики

У галузі точиться дискусія про те, чи є добровільні структури, описані вище, достатніми самі по собі, чи зобов'язання щодо узгодження мають бути юридично обов'язковими, щоб витримати конкурентний тиск.

У липні 2026 року 1386 керівників і працівників провідних компаній у сфері штучного інтелекту, зокрема OpenAI, Anthropic, Google DeepMind і Meta, підписали заяву під назвою Pacing the Frontier. У заяві стверджується, що ці компанії можуть наближатися до моменту, коли вони зможуть автоматизувати самі дослідження у сфері ШІ. Це може означати, що можливості ШІ зростатимуть швидше, ніж дослідники встигатимуть за ними, і робота з узгодження постійно наздоганятиме події.

Ініціатива Pacing the Frontier закликає уряд США допомогти створити технічні запобіжники та механізми управління, які можна буде використовувати в майбутньому, аргументуючи це тим, що жодна окрема лабораторія не може зупинитися, поки суперники продовжують рухатися вперед. Це можна вважати прихованим визнанням зсередини індустрії того, що самих лише добровільних структур буде недостатньо для збереження узгодженості штучного інтелекту в майбутньому.

Хто ще працює над узгодженням штучного інтелекту

Робота з узгодження виходить далеко за межі компаній, що створюють передові моделі.

Уряди

Уряди безпосередньо фінансують і координують дослідження узгодженості. Наприклад, британський Інститут безпеки ШІ керує проєктом узгодженості (Alignment Project) — глобальним фондом, який із 2025 року виділив понад 27 мільйонів фунтів стерлінгів на понад 60 проєктів у восьми країнах, спрямованих саме на контроль ШІ. У США CAISI зосереджується на стандартах оцінювання.

Обидва вони є частиною ширшої Міжнародної мережі передових вимірювань, оцінювання та науки у сфері штучного інтелекту — органу з національних інститутів безпеки десяти країн, який проводить спільні тестові навчання та працює над узгодженням методів оцінювання по всьому світу.

Некомерційні організації

Інститут майбутнього людства публікує Індекс безпеки ШІ — таблицю лідерів, яка порівнює практики безпеки лабораторій ШІ. Центр безпеки штучного інтелекту створює бенчмарки, що використовуються в цій галузі, зокрема WMDP та SafeBench. Дослідницький центр узгодженості вивчає більш теоретичні проблеми узгодженості, а його дочірня компанія, Дослідження оцінки моделей і загроз (METR), проводить незалежні оцінки передових моделей перед їхнім розгортанням. FAR.AI тестує передові моделі на наявність вразливостей до та після їх випуску.

Університети

Кілька університетів відіграють активну роль у дослідженнях узгодженості штучного інтелекту, зокрема Центр штучного інтелекту, сумісного з інтересами людини в Беркли та Центр майбутнього інтелекту Леверхальма Кембриджського університету.

Узгодження штучного інтелекту: поширені хибні уявлення

Узгодження не дорівнює модерації контенту, хоча цей термін іноді використовується в такому контексті. Модерація контенту стосується того, що модель говоритиме чи не говоритиме, відсіюючи лайку, графічний контент або конкретні заборонені теми. Узгодження стосується того, чи відповідає реальна поведінка моделі тому, для чого вона була призначена.

Узгодження також іноді використовується як синонім безпеки ШІ, але це не єдиний фактор, який слід брати до уваги. Інші проблеми безпеки ШІ включають:

Безпека (захист вагів моделі від крадіжки)

Надійність (надійна робота моделі поза точними умовами, на яких її тренували)

Запобігання зловживанням (запобігання використанню потужної моделі на шкоду)

Узгодження стосується власної поведінки моделі. Безпека ШІ — це ширші зусилля з запобігання завдання шкоди всією системою.

Нарешті, існує поширене припущення, що потужніша модель автоматично є більш узгодженою. Проте можливості та узгодженість можуть розходитися, і саме тому існують такі пороги, як рівнях досліджень і розробок у сфері машинного навчання Google DeepMind та категорії ризиків автоматизованих досліджень Anthropic. Вони створені спеціально через побоювання, що можливості можуть випередити здатність галузі перевіряти, чи модель усе ще робить те, що повинна.

Як Perplexity підходить до узгодження штучного інтелекту

Perplexity не тренує передові базові моделі. Вона масштабно запускає моделі у виробництво за допомогою агентних продуктів, таких як Computer, тож її робота стосується конкретного аспекту узгодженості: як поводяться агенти, коли вони діють у відкритій мережі.

Інститут безпечного інтелекту є дослідницьким центром Perplexity, що займається безпекою, конфіденційністю та довірою в передовому штучному інтелекті. Він розробив BrowseSafe — модель виявлення з відкритим кодом, створену для ідентифікації атак із впровадженням промптів, захованих усередині вебсторінок, які відвідують агенти браузера ШІ.

Команда також створила BrowseSafe-Bench — публічний бенчмарк із понад 14 700 сценаріїв впровадження промптів, що охоплюють різні цілі атак, розміщення на сторінці та стилі мови.

Ця робота ближча до прикладного аспекту контролю штучного інтелекту, ніж до досліджень його узгодженості. Вона обмежує дії агента в зіткненні з ворожим середовищем, а не формує базові цінності моделі під час навчання.

Щоб дізнатися більше, ознайомтеся з Інститутом безпечного інтелекту та дослідженнями BrowseSafe.