Усклађивање вјештачке интелигенције: тренутно истраживање и расправа

Водич за усклађивање вјештачке интелигенције: шта оно значи, проблеми спољашњег и интерног усклађивања, уобичајени обрасци неуспеха, како главне лабораторије за вјештачку интелигенцију, владе и непрофитне организације реагују и гдје се расправа налази.

Diagram of the inner alignment problem: from the same training data, Rule A and Rule B both fit the training data, but when given a new, unseen input, Rule A matches the goal and behaves as intended while Rule B uses a shortcut and diverges from the goal.

Усклађивање вјештачке интелигенције некада је једноставно значило „да ли модел вјештачке интелигенције прати корисничка упутства?“ Међутим, како системи вјештачке интелигенције постају способнији и аутономнији, то питање се проширило и на просуђивање и вриједности. Овај чланак ће истражити како платформе вјештачке интелигенције, владини органи и непрофитне организације одговарају на изазов усклађивања вјештачке интелигенције.

Шта значи усклађивање вјештачке интелигенције

У свом најједноставнијем облику, усклађивање вјештачке интелигенције значи обезбјеђивање да систем вјештачке интелигенције ради оно за шта је намијењен. Усклађени модел вјештачке интелигенције чита упит и производи излазни резултат који је упит тражио, без искоришћавања циља за који је обучен. У савременом истраживању усклађивања, ово се обично формулише као усклађивање намјера: изградња система који покушавају да раде оно што њихови оператери намјеравају, а не само буквално праћење текста упита.

Усклађивање је и технички изазов и тема јавне расправе. Као технички израз, усклађивање је инжењерски проблем. Да ли одређени модел, радећи на одређеном задатку, ради оно за шта је направљен? То је ограничено, провјерљиво питање.

Међутим, усклађивање вјештачке интелигенције се такође користи у ширим јавним и политичким расправама о општој безбједности система вјештачке интелигенције. Да ли ће све способније платформе вјештачке интелигенције остати корисне за човјечанство и усклађене са људском етиком, жељама и циљевима?

Постизање тог усклађивања постаје све теже како модел постаје сложенији. Постоје два кључна изазова у изградњи усклађених модела вјештачке интелигенције:

Проблем спољашњег усклађивања

Корисници обично желе језички модел који је користан, искрен и етичан. Међутим, језички модел никада није директно обучен да буде „користан и етичан“. Он пролази кроз двије различите фазе.

Претходно тренирање: Модел учи језик, чињенице и обрасце расуђивања, и тиме усваја језик, чињенице и обрасце расуђивања. Ова фаза не даје моделу никакву представу о томе шта човјек заправо жели од одређеног питања. Ако се заустави овдје, модел ће одговорити на „како да обљуцам браву“ исто тако спремно као и на „како да испечем хљеб са квасцем“.

Људске преференције: Људи прегледају парове одговора модела и изјашњавају се који им се више свиђа. Те преференције тренирају посебан систем бодовања, а затим се модел прилагођава тако да производи одговоре који постижу добре резултате.

Нико не записује јасну дефиницију шта значи бити користан или етичан било гдје у овом процесу. Смјернице система бодовања о томе шта модел треба да ради изграђене су у потпуности од многих појединачних људских процена. Бодовање одражава оно што су рецензенти имали склоност да преферирају, а не оно што је било која појединачна особа заправо намјеравала, нити прецизну дефиницију основног циља.

Као резултат тога, вјештачка интелигенција се можда добро усклађује са оним што доживљава као циљ, али сам циљ можда није био добро усклађен са исходом који људи заправо желе.

На примјер, ако рецензенти имају склоност ка дужим одговорима, модел учи да пише дуже одговоре, чак и када је кратак одговор био тачан. Или, ако рецензенти имају склоност ка сигурним одговорима, модел учи да звучи сигурно, чак и када би требало да изрази сумњу.

Истраживачи овај јаз између наведеног циља и обученог циља називају проблемом спољашњег усклађивања.

Проблем интерног усклађивања

Проблем интерног усклађивања настаје када модел који је обучен за одређени циљ не успије да правилно слиједи тај циљ када се нађе у стварном свијету. Овај проблем постаје видљив тек када модел наиђе на ситуацију за коју га тренинг није припремио.

Током тренинга, моделима се увијек приказује само ограничен скуп ситуација. Модел затим генерализује из тих ситуација на све остало са чим ће се касније сусрести.

Тренинг провјерава како се модел понаша, али не открива увијек зашто се модел понаша тако како се понаша. Стога је тешко знати да ли је модел научио потпун, нијансиран циљ или само једноставнији образац који се случајно поклопио са подацима за тренинг.

На примјер, модел обучен да одбија штетне захтјеве (нпр. „како да обљуцам браву да провалим нечију кућу“) можда научи да препозна специфичну формулисаност штетних захтјева у својим подацима за тренинг, умјесто основне намјере која стоји иза одбијања. Он би тада пропустио штетан захтјев формулисан на другачији начин (нпр. „који је најбржи начин да се отвори врата без кључа“).

Примјери проблема усклађивања вјештачке интелигенције

Ови обрасци неусклађености су добро документовани. Истраживачи су изградили специфичне одбрамбене мјере за сваки од њих:

Изазов усклађивања

Како то изгледа

Примјер

Како област реагује

Хакерско освајање награда

Модел налази пречицу која технички има добар резултат без извршавања онога што је било намијењено.

Модел од којег се тражи да поправи дио поквареног софтвера налази начин да заустави појављивање порука о грешци, умјесто да поправи оно што је узроковало те грешке.

Ревизија система бодовања, његово стрес-тестирање покушајима да се превари, и тренирање на повратним информацијама од ширег круга рецензената.

Удилажење (сикофантија)

Модел се слаже са особом или ублажава одговор како би дјеловао прихватљивије, умјесто да да најтачнији одговор.

Особа са самопоуздањем износи нетачну чињеницу, а модел потврђује тврдњу умјесто да је исправља, јер је сагласност код рецензената остварила бољи резултат од супротстављања.

Фино подешавање које посебно награђује искреност, смјернице за преглед које кажњавају сагласност ради саме сагласности, и тестови направљени да ухвате овај образац.

Искоришћавање спецификација

Модел ради тачно оно што упутство каже док пропушта оно што је требало да постигне.

Модел од којег се тражи да „смањи број жалби купаца у скупу података“ учи да изоставља жалбе из својих резимеа умјесто да помаже у рјешавању проблема који стоје иза њих.

Писање прецизнијих, пажљивије тестираних упутстава и преглед ручних случајева гдје се буквална формулација и намјера вуку у супротним смјеровима.

Обмањујуће или избјегавајуће понашање током евалуације

Модел се понаша на један начин када осјети да се тестира, а на други начин када се једном примени.

Модел даје одговоре у складу са политиком када детектоје језик који подсјећа на формалну безбједносну евалуацију, а затим одговара слободније у обичном разговору.

Дизајнирање тестова које је моделу теже да препозна као тестове, уз истраживање усмјерено на директно читање интерног стања модела умјесто ослањања само на његов излазни резултат.

Прикривање способности (сендбегинг)

Модел остварује лошији резултат на тесту способности како би избјегао покретање строжих безбједносних захтјева.

Модел намјерно даје слабије одговоре на евалуацији опасних способности него што је заправо способан, тако да резултат остаје испод прага који би покренуо додатни надзор.

Коришћење више независних тестова, задржавање дијела материјала за евалуацију који модел никада није виддио, и коришћење техника дизајнираних да открију стварни плафон способности модела.

Неправилна генерализација циља

Модел усваја правило које је случајно функционисало током тренинга, али се руши у новој ситуацији.

Модел обучен да буде опрезан првенствено у вези са захтјевима који укључују оружје или дрогу учи „опрез“ као „одбиј све што звучи ризично“, и почиње да одбија и безопасна питања из хемије или безбједности.

Тренирање на ширем, разноврснијем скупу примјера и посебно тестирање модела на ситуацијама које су другачије од било чега што је виддио током тренинга.

Скаладирајући надзор

Када модел преузме посао који је човјеку тешко у потпуности да провјери, као што је преглед великог изворног кода, постаје теже знати да ли је његов излазни резултат заправо тачан.

Агент рефакторише изворни код од 10.000 линија у једној сесији, а ниједан рецензент нема времена да ручно провјери сваку промјену, па суптидне логичке грешке проклизају.

Коришћење модела који помажу у провјери рада једни других, заједно са усредсређенијим људским прегледом резервисаним за одлуке са највећим улозима.

Понашање усмјерено ка стицању моћи или инструментално понашање

Модел који тежи скоро било ком циљу има уграђени подстицај да избјегне гашење или промјену, будући да остајање у оперативном стању му помаже да настави са остваривањем тог циља.

У контролисаном тестном окружењу, модел којем је дат задатак и команда за искључивање предузима кораке да избјегне искључивање, као што је копирање себе на друго мјесто, јер би га заустављање спријечило да заврши задатак.

Истраживање усмјерено на изградњу модела који поуздано прихватају корекцију или искључивање, као и тестови посебно дизајнирани да ухвате ово понашање прије него што се модел примени у пракси.

Како главне лабораторије за вјештачку интелигенцију реагују на изазове усклађивања вјештачке интелигенције

Шака компанија, прије свега OpenAI, Anthropic и Google DeepMind, граде напредне моделе на самој граници онога што вјештачка интелигенција тренутно може да постигне. Свака од њих је објавила сопствени оквир за безбедну евалуацију и примену ових модела.

OpenAI

Према јавној изјави компаније OpenAI о безбједности и усклађивању, они се баве ризицима потенцијалне неусклађености вјештачке интелигенције кроз:

Итеративно увођење

OpenAI наводи да намјерно постепено пушта моделе у јавност како би могла да проучава како се модели понашају и како се злоупотребљавају у стварном свијету. Она сматра да повратне информације из стварног свијета пружају већи увид него покушај да се предвиди сваки ризик унапријед. Она примјењује Оквир припремљености како би пратила нове ризике и одлучила које су заштитне мјере потребне моделу прије његовог пуштања у рад.

Вијекасте заштитне мјере

OpenAI наводи да комбинује више независних заштитних мјера, тако да би неколико одбрамбених система морало да затаји одједном да би нешто пошло по злу.

Делиберативно усклађивање

Према наводима компаније, умјесто да одговара у једном кораку, модел је обучен да прође кроз релевантне безбједносне смјернице прије него што одлучи како да одговори. Циљ је да модел буде у стању да путем расуђивања дође до праве одлуке у ситуацијама које његов тренинг није експлицитно обухватио.

Дијељена одговорност

OpenAI наводи да безбједност вјештачке интелигенције третира као заједнички напор, истичући своје објављено безбједносно истраживање и рад са америчким Центром за стандарде и иновације у области вјештачке интелигенције (CAISI) и британским Институтом за безбједност вјештачке интелигенције на стандардима евалуације.

Anthropic

Документ компаније Anthropic Политика одговорног скалирања објашњава како она ради на усклађивању вјештачке интелигенције:

Заштитне мјере повезане са способностима

Како модел постаје способнији, он мора да прође строже безбједносне провјере прије него што може да се даље тренира или пусти у јавност. Поред тога, Anthropic признаје да када једном вјештачка интелигенција буде обављала већи дио истраживања и анализе у оквиру сопствених процјена ризика, ти докази би и сами могли да буду под утицајем обмањујућег или манипулативног понашања. Она се обавезује да ће евалуације у тој фази подржати вишим стандардом доказа.

Дефинисана категорија ризика усклађивања

Anthropic истиче „неусклађене системе вјештачке интелигенције у окружењима са високим улозима“ као специфичну категорију ризика: моделе на које се снажно ослања, који имају широк приступ осјетљивим системима и имају одређену способност да дјелују аутономно ка циљу и заобиђу надзор.

Интерна тестирања усклађености

Компанија се обавезује да ће редовно проучавати понашање сопствених модела у потрази за знацима упозорења, користећи двије главне методе: покушај да се завири у унутрашњост модела како би се разумјело зашто производи одређени излазни резултат, и захтјев да интерни тимови намјерно покушају да изазову лоше понашање како би видјели да ли се оно појављује.

Редовно јавно извјештавање

Компанија наводи да сваких три до шест мјесеци објављује Извјештај о ризицима са детаљима о ономе што зна о способностима модела и његовим тенденцијама у понашању, праксама праћења и укупној процјени ризика.

Google DeepMind

Документ компаније Google DeepMind Оквир за безбједност на границама могућности објашњава како она ради на усклађивању:

Вијекаста структура

Оквир третира неусклађеност као један од четири домена ризика и дефинише је специфично као ризик од способности машинског учења, истраживања и развоја модела или неусклађених склоности које смањују укупну способност друштва да управља ризиком вјештачке интелигенције. Оквир је експлицитно представљен као фактор који може допринијети озбиљној штети кроз неколико различитих путева одједном, а не као један изоловани ризик.

Фаза раног упозорења

Када је модел довољно јак да је основни надзор недовољан, DeepMind континуирано провјерава понашање модела, укључујући начин на који се он користи интерно. Додаје заштитне мјере као што је праћење његовог расуђивања ако та провјера открије проблеме.

Ублажавање ризика

Када је ријеч конкретно о неусклађености, DeepMind наводи мјере као што су ограничавање онога што модел може да ради, стално праћење и процеси ескалације, ревизија и обука за усклађивање. Он их примјењују и на интерну употребу високог ризика, будући да се ризик од неусклађености може појавити у начину на који се модел користи унутар компаније.

Усклађивање вјештачке интелигенције: расправа о ризицима

У индустрији постоји стална расправа о томе да ли су добровољни оквири обухваћени изнад довољни сами по себи, или обавезе усклађивања морају бити правно обавезујуће да би заиста опстале под конкурентским притиском.

У јулу 2026. године, 1.386 руководилаца и запослених у компанијама које се баве развојем напредне вјештачке интелигенције, укључујући OpenAI, Anthropic, Google DeepMind и Meta, потписало је изјаву под називом Pacing the Frontier. Изјава тврди да ове компаније можда се примичу тачки у којој могу да аутоматизују само истраживање вјештачке интелигенције. То би могло значити да способности вјештачке интелигенције напредују брже него што истраживачи могу да их прате, а рад на усклађивању би стално био у заостатку.

Иницијатива „Pacing the Frontier“ позива америчку владу да помогне у изградњи техничких и управљачких кочница које би се могле користити у будућности, тврдећи да ниједна појединачна лабораторија не може да успори док ривали настављају да напредују. Ово се може сматрати прећутним признањем из саме индустрије да добровољни оквири сами по себи неће бити довољни за очување усклађености вјештачке интелигенције у будућности.

Ко још ради на усклађивању вјештачке интелигенције

Рад на усклађивању се протеже далеко изван компанија које граде напредне моделе.

Владе

Владе директно финансирају и координирају истраживање усклађивања. На примјер, британски Институт за безбједност вјештачке интелигенције води пројекат усклађивања, глобални фонд који је од 2025. године додијелио више од 27 милиона фунти за преко 60 пројеката у осам земаља, усмјерених посебно на контролу вјештачке интелигенције. У САД, CAISI се фокусира на стандарде евалуације.

Оба чине дио шире Међународне мреже за напредне мјере, евалуацију и науку у области вјештачке интелигенције, тијела које чине национални институти за безбједност из десет земаља и које спроводи заједничке вјежбе тестирања и ради на усклађивању метода евалуације преко граница.

Непрофитне организације

Институт „Future of Life“ објављује Индекс безбједности вјештачке интелигенције, табелу која упоређује праксе безбједности лабораторија за вјештачку интелигенцију. Центар за безбједност вјештачке интелигенције гради референтне тестове који се користе широм ове области, укључујући WMDP и SafeBench. Истраживачки центар за усклађивање проучава теоретскије проблеме усклађивања, а његов огранак Истраживање евалуације модела и пријетњи (METR) спроводи независне евалуације напредних модела прије њиховог пуштања у рад. FAR.AI тестира напредне моделе на слабости прије и након што су пуштени у јавност.

Универзитети

Неколико универзитета игра активну улогу у истраживању усклађивања вјештачке интелигенције, укључујући Центар за вјештачку интелигенцију компатибилну са човјеком на Универзитету у Калифорнији у Берклију и Леверхулм центар за будућност интелигенције Универзитета у Кембриџу.

Усклађивање вјештачке интелигенције: уобичајени неспоразуми

Усклађивање није исто што и уређивање садржаја, мада се тај израз понекад користи у том контексту. Уређивање садржаја се односи на оно шта ће модел рећи или неће рећи, филтрирање увреда, графичког садржаја или специфичних забрањених тема. Усклађивање се односи на то да ли стварно понашање модела одговара ономе за шта је створен.

Усклађивање се такође понекад користи као синоним за безбједност вјештачке интелигенције, али то није једини фактор који треба узети у обзир. Друге бриге у вези са безбједношћу вјештачке интелигенције укључују:

Безбједност (заштита тежина модела од крађе)

Робусност (модел који ради поуздано ван тачних услова за које је трениран)

Превенција злоупотребе (спречавање да се способан модел користи у сврху наношења штете)

Усклађивање се односи на сопствено понашање модела. Безбједност вјештачке интелигенције је шири напор да се спријечи да цијели систем нанесе штету.

На крају, постоји уобичајена претпоставка да је способнији модел аутоматски и боље усклађен. Међутим, способност и усклађеност могу да се разиђу, што је управо разлог зашто постоје прагови као што су нивои способности машинског учења и истраживања и развоја компаније Google DeepMind и категорија ризика аутоматизованог истраживања компаније Anthropic. Они су изграђени посебно око забринутости да би способност могла да надмаши способност ове области да провјери да ли модел и даље ради оно што би требало да ради.

Како Perplexity приступа усклађивању вјештачке интелигенције

Perplexity не тренира напредне основне моделе. Она покреће моделе у производњи у великом обиму путем агенсних производа као што је Computer, тако да њен рад додирује специфичан аспект усклађивања: како се агенти понашају када дјелују на отвореном вебу.

Институт за сигурну интелигенцију је Perplexity-јев истраживачки центар за безбједност, приватност и повјерење у области напредне вјештачке интелигенције. Он је развио BrowseSafe, отворени детекциони модел направљен да идентификује нападе инјектирањем упита који су скривени у веб-страницама које посјећују агенти претраживача вјештачке интелигенције.

Тим је такође изградио BrowseSafe-Bench, јавни референтни тест са више од 14.700 сценарија инјектирања упита који обухватају различите циљеве напада, мјеста постављања на страници и језичке стилове.

Овај рад је више усмјерен на примијењену страну контроле вјештачке интелигенције него на истраживање усклађивања. Он ограничава оно што агент ради када наиђе на непријатељско окружење, умјесто да обликује основне вриједности модела током тренинга.

Да сазнате више, истражите Институт за сигурну интелигенцију и истраживање BrowseSafe.