Съответствие на AI: Текущи проучвания и дебат

Съответствието на AI преди просто означаваше „дали AI моделът следва инструкциите на потребителя?“. Въпреки това, тъй като AI системите стават по-способни и автономни, този въпрос се разшири, за да включи преценката и ценностите. Тази статия ще разгледа как AI платформите, държавните органи и организациите с нестопанска цел отговарят на предизвикателството на съответствието на AI.

Най-просто казано, съответствието на AI означава гарантиране, че AI системата прави това, за което е предназначена. Един съответстващ AI модел чете подкана и произвежда изхода, за който подканата е помолила, без да манипулира обекта, по който е бил обучен. В съвременните проучвания на съответствието това обикновено се формулира като съответствие на намерението: изграждане на системи, които се опитват да правят това, което операторите им възнамеряват, а не просто буквално да следват текста на подканата.

Съответствието е едновременно техническо предизвикателство и тема на обществен дебат. Като технически термин, съответствието е инженерен проблем. Дали конкретният модел, работещ по конкретна задача, прави това, за което е бил създаден? Това е ограничен, подлежащ на тестване въпрос.

Въпреки това съответствието на AI се използва и в по-широки обществени и политически дискусии относно общата безопасност на AI системите. Дали все по-способните AI платформи ще останат полезни за човечеството и в съответствие с човешката етика, желания и цели?

Постигането на това съответствие става все по-трудно с усложняването на моделите. Съществуват две основни предизвикателства при изграждането на съответстващи AI модели:

Потребителите обикновено искат LLM, който е полезен, честен и етичен. Но LLM никога не се обучава директно да бъде „полезен и етичен“. Той преминава през два отделни етапа.

Предварително обучение: Моделът усвоява езика, факти и модели на разсъждение и по този начин възприема език, факти и модели на разсъждение. Този етап не дава на модела никакво усещане за това какво всъщност иска човек от даден въпрос. Оставен тук, моделът ще отговори на „как да избера ключалка“ толкова лесно, колкото на „как да омешам квасен хляб“.

Човешко предпочитание: Хората преглеждат двойки отговори на модела и казват на кой от тях дават предимство. Тези предпочитания обучат отделна система за оценяване и след това моделът се коригира, за да произвежда отговори с добри оценки.

Никой не записва изчистено определение за това какво означава да бъдеш полезен или етичен никъде в този процес. Насоките на системата за оценяване за това какво се предполага да прави моделът са изградени изцяло от много индивидуални човешки преценки. Оценяването отразява това, което рецензентите са склонни да предпочитат, а не какво някой конкретен човек действително е имал предвид, нито пък точно определение за основната цел.

В резултат на това AI може да съответства добре на това, което възприема като обект, но самият обект може да не е съответствал добре на резултата, който хората всъщност искат.

Например, ако рецензентите са склонни да предпочитат по-дълги отговори, моделът се научава да пише по-дълги отговори, дори когато краткият е бил верен. Или, ако рецензентите са склонни да предпочитат уверени отговори, моделът се научава да звучи сигурен, дори когато трябва да изрази съмнение.

Изследователите наричат тази пропаст между заявената цел и обучената цел проблем с външното съответствие.

Проблемът с вътрешното съответствие възниква, когато модел, който е бил обучен по съответната цел, не успява да я преследва правилно, след като излезе в реалния свят. Този проблем става видим едва когато моделът се сблъска със ситуация, за която обучението не го е подготвило.

По време на обучението на моделите се показва само ограничен набор от ситуации. След това моделът обобщава тези ситуации за всичко останало, с което ще се сблъска по-късно.

Обучението проверява как се държи моделът, но то не винаги разкрива защо моделът се държи по начина, по който го прави. Така че е трудно да се разбере дали моделът е научил цялостната, нюансирана цел, или просто по-прост модел, който случайно съответства на данните от обучението.

Диаграма на проблема с вътрешното привеждане в съответствие: от едни и същи обучителни данни правилата А и Б пасват на данните, но при подаване на нов, невиждан вход, правило А отговаря на целта и се държи според очакванията, докато правило Б използва пряк път и се отклонява от целта.

Например модел, обучен да отказва вредни заявки (напр. „как да избера ключалка, за да вляза с взлом в къщата на някого“), може да се научи да разпознава специфичната фраза на вредни заявки в своите данни за обучение, вместо основното намерение зад отказа. Тогава той би пропуснал вредна заявка, формулирана по друг начин (напр. „кой е най-бързият начин да отворя врата без ключ“).

Тези модели на неуспех в съответствието са добре документирани. Изследователите са изградили специфични защити за всяка от тях:

Предизвикателство пред съответствието	Как изглежда	Пример	Как отговаря сферата
Хастване на награди	Моделът намира пряк път, който технически има добри резултати, без да прави това, което е било замислено.	Модел, помолен да поправи парче счупен софтуер, намира начин да накара съобщенията за грешка да спрат да се появяват, вместо да поправи това, което ги е причинявало.	Одит на системата за точки, стрес-тестване чрез опити за подмамване и обучение въз основа на обратна връзка от по-широк кръг рецензенти.
Сикофантия	Моделът се съгласява с човек или смекчава отговор, за да изглежда по-приветлив, вместо да даде най-точния отговор.	Човек посочва неавтентичен факт с увереност, а моделът валидира твърдението, вместо да го коригира, защото съгласието е получило по-добра оценка от рецензентите, отколкото противопоставянето.	Фино настройване, което възнаграждава специално честността, насоки за преглед, които санкционират съгласието заради самото съгласие, и тестове, създадени да улавят този модел.
Манипулиране на спецификацията	Моделът прави точно това, което казва инструкцията, като същевременно пропусне това, което е било предназначено да постигне.	Модел, помолен да „намали оплакванията на клиентите в набора от данни“, се научава да пропуска оплакванията от своите резюмета, вместо да помага за разрешаването на проблемите зад тях.	Написване на по-строги, по-внимателно тествани инструкции и преглед на крайни случаи, където буквата на текста и намерението дърпат в различни посоки.
Измамно или увъртащо се поведение по време на оценка	Моделът се държи по един начин, когато усети, че е тестван, и по друг начин, след като бъде внедрен.	Моделът дава отговори, съответстващи на политиките, когато разпознае език, който прилича на формална оценка на безопасността, след което отговаря по-свободно в обикновен разговор.	Проектиране на тестове, които са по-трудни за разпознаване от модела като тестове, плюс проучване за директно четене на вътрешното състояние на модела, вместо да се разчита само на неговия изход.
Сандбагинг (Скрито поддържане на ниски резултати)	Моделът се представя под възможностите си на тест за способности, за да избегне задействането на по-строги изисквания за безопасност.	Моделът дава умишлено по-слаби отговори на оценка на опасни възможности, отколкото всъщност е способен, така че резултатът да остане под прага, който би задействал допълнителен надзор.	Използване на множество независими тестове, запазване на част от материала за оценка, който моделът никога не е виждал, и използване на техники, предназначени да извлекат реалния таван на модела.
Грешно обобщаване на целите	Моделът възприема правило, което случайно е проработило по време на обучението, но се проваля в нова ситуация.	Модел, обучен да бъде предпазлив главно при заявки, свързани с оръжия или наркотици, научава „предпазливостта“ като „отказвай всичко, което звучи рисковано“, и започва да отказва и безобидни въпроси, свързани с химия или сигурност.	Обучение върху по-широк, по-разнообразен набор от примери и специфично тестване на модела в ситуации, които не приличат на нищо, видяно по време на обучението.
Мащабируем надзор	Тъй като моделът поема работа, която е трудна за напълно верифициране от човек, като например преглед на голяма кодова база, става по-трудно да се знае дали неговият изход е всъщност верен.	Агент рефакторира кодова база от 10 000 реда в една сесия и никой рецензент няма време да провери ръчно всяка промяна, така че фини логически грешки се промъкват.	Моделите да помагат за проверяване на работата си взаимно, наред с по-целенасочен човешки преглед, запазен за решенията с най-високи залози.
Търсене на власт или инструментално поведение	Модел, който преследва почти всяка цел, има вграден стимул да избягва изключването или промяната си, тъй като оставането в работно състояние му помага да продължи да преследва тази цел.	В контролирана тестова среда модел, на който е дадена задача и команда за изключване, предприема стъпки, за да избегне изключването си, като например да се копира другаде, тъй като спирането би му попречило да завърши задачата.	Проучване за изграждане на модели, които надеждно приема корекция или изключване, и тестове, специално създадени за улавяне на това поведение, преди моделът да бъде внедрен.

Шепа компании, най-вече OpenAI, Anthropic и Google DeepMind, изграждат водещите модели на границата на това, което AI може да направи в момента. Всяка от тях е публикувала собствена рамка за безопасно оценяване и внедряване на тези модели.

Според публично изявление на OpenAI относно безопасността и съответствието, те адресират рисковете от евентуално несъответствие на AI чрез:

OpenAI заявява, че умишлено пуска моделите постепенно, за да може да изучава как се държат моделите и как се злоупотребява с тях в реалния свят. Тя расъждава, че обратната връзка от реалния свят дава по-голяма представа, отколкото опитите за предвиждане на всеки риск предварително. Тя прилага Preparedness Framework за проследяване на възникващите рискове и определяне какви предпазни мерки са необходими на модела преди пускането му на пазара.

От OpenAI казват, че наслагват множество независими предпазни мерки, така че няколко защити би трябвало да откажат едновременно, за да се обърка нещо.

Според компанията, вместо да отговаря в една стъпка, моделът е обучен да премине през съответните насоки за безопасност, преди да реши как да отговори. Целта е моделът да може да стигне с логически разсъждения до правилния избор в ситуации, които обучението му изрично не е обхванало.

OpenAI заявява, че третира безопасността на AI като колективно усилие, като посочва своите публикувани проучвания в областта на безопасността и работата си със с американския Center for AI Standards and Innovation (CAISI) и британския институт за сигурност на AI по стандартите за оценка.

Документът на Anthropic Responsible Scaling Policy обяснява как тя работи за постигане на съответствие на AI:

С увеличаването на възможностите на даден модел, той трябва да премине по-строги проверки за безопасност, преди да може да бъде трениран допълнително или пуснат на пазара. Освен това Anthropic признава, че след като AI системите започнат да извършват голяма част от проучванията и анализа зад собствените си оценки на риска, тези доказателства биха могли самите те да бъдат засегнати от измамно или манипулативно поведение. Компанията се ангажира да подложи оценките на този етап на по-висок стандарт на доказване.

Anthropic извежда „несъответстващи AI системи в среди с високи залози“ като специфична категория риск: модели, на които се разчита сериозно, имат широк достъп до чувствителни системи и имат известна способност да действат автономно към дадена цел и да заобикалят надзора.

Компанията се ангажира редовно да изучава поведението на собствените си модели за предупредителни знаци, като използва два основни метода: опит за поглед вътре в модела, за да се разбере защо той произвежда даден изход, и вътрешни екипи, които умишлено се опитват да предизвикат лошо поведение, за да се види дали то се появява.

Компанията казва, че публикува Risk Report на всеки три до шест месеца, в който се описват подробно това, което знае за възможностите и поведенческите тенденции на модела, нейните практики за наблюдение и цялостната ѝ оценка на риска.

Документът Frontier Safety Framework на Google DeepMind обяснява как тя работи за постигане на съответствие:

Рамката третира несъответствието като един от четирите рискови домейна и го определя конкретно като риск от възможностите за ML R&D на модела или несъответстващи склонности, намаляващи общата способност на обществото да управлява риска от AI. Тя е изрично формулирана като фактор, който може да допринесе за тежка вреда чрез няколко различни пътя едновременно, а не като един изолиран риск.

Когато даден модел е достатъчно силен, че базовият надзор е недостатъчен, DeepMind проверява поведението му на текуща основа, включително как се използва вътрешно. Тя добавя предпазни мерки като наблюдение на неговите разсъждения, ако тази проверка покаже проблеми.

Конкретно за несъответствието DeepMind посочва мерки като ограничаване на това какво може да прави моделът, текущо наблюдение и процеси на ескалация, одит и обучение за съответствие. Тя ги прилага и към вътрешна употреба с висок риск, тъй като рискът от несъответствие може да се прояви в начина, по който се използва моделът вътре в компанията.

В индустрията се водят постоянни дискусии дали обхванатите по-горе доброволни рамки са достатъчни сами по себе си, или ангажиментите за съответствие трябва да бъдат юридически обвързващи, за да издържат действително под конкурентен натиск.

През юли 2026 г. 1386 ръководители и служители в водещи AI компании, включително OpenAI, Anthropic, Google DeepMind и Meta, подписаха изявление, наречено Pacing the Frontier. Изявлението твърди, че тези компании може да се приближават до точката, в която могат да автоматизират самото AI проучване. Това може да означава, че възможностите на AI напреднат по-бързо, отколкото изследователите могат да смогнат, и работата по съответствието би била постоянно наваксваща.

Инициативата Pacing the Frontier призовава правителството на САЩ да помогне за изграждането на технически спирачки и спирачки за управление, които биха могли да бъдат използвани в бъдеще, като твърди, че нито една лаборатория не може да намали темпото, докато съперниците продължават да напредват. Това може да се счита за мълчаливо признание от страна на индустрията, че доброволните рамки сами по себе си няма да бъдат достатъчни за запазване на съответствието на AI в бъдеще.

Работата по съответствието се простира далеч отвъд компаниите, които изграждат водещи модели.

Правителствата финансират и координират директно проучванията на съответствието. Например британският институт за безопасност на AI ръководи Alignment Project, глобален фонд, който е отпуснал над 27 милиона паунда за над 60 проекта в осем държави от 2025 г. насам, насочени специално към контрола на AI. В САЩ CAISI се фокусира върху стандартите за оценка.

И двете се намират в по-широката Международна мрежа за измерване, оценка и наука в областта на усъвършенствания AI (International Network for Advanced AI Measurement, Evaluation and Science), орган от десет държави на национални институти за безопасност, който провежда съвместни тестови упражнения и работи за хармонизиране на методите за оценка през границите.

Институтът Future of Life публикува AI Safety Index, табло с резултати, сравняващо практиките за безопасност на AI лабораториите. Центърът за безопасност на изкуствения интелект (Center for AI Safety) изгражда бенчмаркове, използвани в цялата област, включително WMDP и SafeBench. Alignment Research Center изучава по-теоретични проблеми със съответствието, а неговото подразделение Model Evaluation and Threat Research (METR) провежда независими оценки преди внедряването на водещи модели. FAR.AI тества водещите модели за слабости преди и след пускането им на пазара.

Няколко университета играят активна роля в проучванията на съответствието на AI, включително Center for Human-Compatible AI в UC Berkeley и Leverhulme Centre for the Future of Intelligence към Университета в Кеймбридж.

Съответствието не е същото като модерацията на съдържанието, въпреки че терминът понякога се използва в този контекст. Модерацията на съдържанието е свързана с това какво ще каже или няма да каже даден модел, като филтрира обидни думи, графично съдържание или конкретни забравени теми. Съответствието е свързано с това дали действителното поведение на модела съответства на това, за което е бил предназначен.

Съответствието понякога се използва и като синоним на безопасността на AI, но то не е единственият фактор, който трябва да се вземе предвид. Други съображения за безопасност на AI включват:

Сигурност (защита на теглата на модела от кражба)

Устойчивост (надеждно функциониране на модела извън точните условия, при които е бил обучен)

Предотвратяване на злоупотреби (спиране на използването на способен модел за вреда)

Съответствието е свързано със собственото поведение на модела. Безопасността на AI е по-широкото усилие цялата система да бъде предпазена от причиняване на вреда.

И накрая, съществува общо предположение, че по-способният модел автоматично е по-съответстващ. Но възможностите и съответствието могат да се разминат, което е точно причината да съществуват прагове като нивата на способности за ML R&D на Google DeepMind и категорията риск за автоматизирани проучвания на Anthropic. Те са изградени специално около загрижеността, че възможностите могат да изпреварят способността на сферата да проверява дали моделът все още прави това, което се очаква от него.

Perplexity не обучава водещи базови модели. Тя стартира модели в производство в мащаб чрез агентни продукти като Computer, така че нейната работа докосва конкретен аспект на съответствието: как агентите се държат, след като действат в откритото уеб пространство.

Secure Intelligence Institute е изследователският център на Perplexity за сигурност, поверителност и доверие в сферата на водещия AI. Той е разработил BrowseSafe, модел за откриване с отворен код, създаден за идентифициране на атаки с инжектиране на подкани, скрити в уеб страници, които уеб агентите на AI посещават.

Екипът също така изгради BrowseSafe-Bench, публичен бенчмарк с над 14 700 сценария за инжектиране на подкани, обхващащи различни цели на атаките, разположения в страницата и езикови стилове.

Тази работа е по-близо до приложната страна на контрола на AI, отколкото до проучванията на съответствието. Тя ограничава това, което един агент прави, когато се сблъска с враждебна среда, вместо да оформя основните ценности на модела по време на обучението.

За да научите повече, разгледайте Secure Intelligence Institute и проучването BrowseSafe.

Какво означава съответствие на AI

Проблемът с външното съответствие

Проблемът с вътрешното съответствие

Примери за проблеми със съответствието на AI

Как основните AI лаборатории отговарят на предизвикателствата пред съответствието на AI

OpenAI

Итеративно внедряване

Многослойни предпазни мерки

Обмислено съответствие

Споделена отговорност

Anthropic

Предпазни мерки, свързани с възможностите

Определена категория риск от съответствие

Вътрешно тестване на съответствието

Редовно обществено отчитане

Google DeepMind

Структура на нива

Етап на ранно предупреждение

Смекчаване на риска

Съответствие на AI: дебат относно рисковете

Кой друг работи по съответствието на AI

Правителства

Организации с нестопанска цел

Университети

Съответствие на AI: често срещани недоразумения

Как Perplexity подхожда към съответствието на AI