Dirbtinio intelekto suderinimas: dabartiniai tyrimai

Anksčiau dirbtinio intelekto suderinimas paprastai reiškė „ar dirbtinio intelekto modelis vykdo vartotojo nurodymus?“ Tačiau dirbtinio intelekto sistemoms tampant vis pajėgesnėms ir savarankiškesnėms, šis klausimas išsiplėtė ir apima vertinimą bei vertybes. Šiame straipsnyje bus nagrinėjama, kaip dirbtinio intelekto platformos, vyriausybinės institucijos ir pelno nesiekiančios organizacijos sprendžia dirbtinio intelekto suderinimo iššūkį.

Paprastai tariant, dirbtinio intelekto suderinimas reiškia užtikrinimą, kad dirbtinio intelekto sistema atliktų tai, ką ji privalo atlikti. Suderintas dirbtinio intelekto modelis perskaito užklausą ir pateikia rezultatą, kurio buvo prašoma, be manipuliacijų tikslu, pagal kurį jis buvo apmokytas. Šiuolaikiniuose suderinimo tyrimuose tai paprastai įvardijama kaip ketinimų suderinimas: sistemų, kurios bando atlikti tai, ką ketina jų operatoriai, kūrimas, o ne tik pažodinis užklausos teksto vykdymas.

Suderinimas yra ir techninis iššūkis, ir viešųjų diskusijų tema. Kaip techninis terminas, suderinimas yra inžinerinė problema. Ar specifinis modelis, dirbantis su specifine užduotimi, daro tai, kam buvo sukurtas? Tai apribota, patikrinama problema.

Tačiau dirbtinio intelekto suderinimas taip pat vartojamas platesnėse visuomenės ir politinėse diskusijose apie bendrą dirbtinio intelekto sistemų saugumą. Ar vis galingesnės dirbtinio intelekto platformos išliks naudingos žmonijai ir suderintos su žmogaus etika, norais bei tikslais?

Modeliams tampant sudėtingesniems, pasiekti šį suderinimą devoliuoti tampa vis sunkiau. Kuriant suderintus dirbtinio intelekto modelius kyla du pagrindiniai iššūkiai:

Vartotojai paprastai nori didelės kalbos modelio (LLM), kuris būtų naudingas, sąžiningas ir etiškas. Tačiau LLM niekada nėra tiesiogiai mokomas būti „naudingas ir etiškas“. Jis pereina du skirtingus etapus.

Išankstinis mokymas: modelis išmoksta kalbą, faktus ir protavimo modelius bei tuo pačiu perima kalbą, faktus ir protavimo formų šablonus. Šis etapas nesuteikia modeliui supratimo, ko žmogus iš tikrųjų nori iš pateikto klausimo. Paliktas čia, modelis į klausimą „kaip atrakinti spyną“ atsakys taip pat lengvai, kaip ir „kaip iškepti raugintos tešlos duoną“.

Žmogaus pasirinkimas: žmonės peržiūri modelio atsakymų poras ir nurodo, kuriam iš jų teikia pirmenybę. Šios pirmenybės apmoko atskirą vertinimo sistemą, o modelis tuomet pakoreguojamas, kad generuotų gerai įvertintus atsakymus.

Šiame procese niekas niekur neužrašo aiškaus apibrėžimo, ką reiškia būti naudingam ar etiškam. Vertinimo sistemos gairės dėl to, ką modelis turi padaryti, yra sukonstruotos visiškai remiantis daugybe individualių žmonių sprendimų. Vertinimai atspindi tai, kam recenzentai linkę teikti pirmenybę, o ne tai, ką iš tikrųjų ketino vienas asmuo ar tikslus pagrindinio tikslo apibrėžimas.

Dėl to dirbtinis intelektas gali gerai derėti su tuo, ką jis laiko tikslu, tačiau pats tikslas gali nesutapti su rezultatu, kurio iš tikrųjų nori žmonės.

Pavyzdžiui, jei recenzentai linkę teikti pirmenybę ilgesniems atsakymams, modelis išmoksta rašyti ilgesnius atsakymus net tada, kai trumpas atsakymas buvo teisingas. Arba, jei recenzentai labiau vertina užtikrintus atsakymus, modelis išmoksta skambėti užtikrintai net tada, kai turėtų išreikšti abejonę.

Tyrėjai šį atotrūkį tarp išreikšto ir apmokyto tikslo vadina išorinio suderinimo problema.

Vidinio suderinimo problema kyla tuomet, kai modelis, kuris buvo apmokytas atsižvelgiant į tam tikrą tikslą, išėjęs į realų pasaulį nesėkmingai jo siekia. Ši problema tampa pastebima tik tada, kai modelis susiduria su situacija, kuriai mokymai jo neparuošė.

Mokymo metu modeliams visada rodomas tik ribotas situacijų rinkinys. Tuomet modelis apibendrina šias situacijas viskam kitam, su kuo susidurs vėliau.

Mokymas patikrina, kaip modelis elgiasi, tačiau jis ne siempre atskleidžia, kodėl modelis elgiasi būtent taip. Todėl sunku žinoti, ar modelis išmoko visą niuansuotą tikslą, ar tik paprastesnį šabloną, kuris atsitiktinai atitiko mokymo duomenis.

Vidinės suderinamumo problemos diagrama: naudojant tuos pačius mokymo duomenis, tiek A taisyklė, tiek B taisyklė atitinka mokymo duomenis, tačiau pateikus naują, nemtytą įvestį, A taisyklė atitinka tikslą ir veikia kaip numatyta, o B taisyklė naudoja nuorodą ir nukrypsta nuo tikslo.

Pavyzdžiui, modelis, išmokytas atmesti žalingus prašymus (pvz., „kaip atrakinti spyną ir įsilaužti į kieno nors namą“), gali išmokti atpažinti konkrečią žalingų prašymų formuluotę savo mokymo duomenyse, o ne pagrindinį atmetimo ketinimą. Tuomet jis praleistų žalingą prašymą, suformuluotą kitaip (pvz., „koks greičiausias būdas atidaryti duris be rakto“).

Šie suderinimo nesėkmių modeliai yra gerai dokumentuoti. Tyrėjai sukūrė specifinę apsaugą kiekvienam iš jų:

Suderinimo iššūkis	Kaip tai atrodo	Pavyzdys	Kaip reaguoja sritis
Apdovanojimų manipuliavimas (reward hacking)	Modelis randa nuorodą, kuri techniškai įvertinama gerai, bet neatlieka to, kas buvo numatyta.	Modelis, paprašytas sutaisyti sugedusios programinės įrangos fragmentą, randa būdą užgniaužti klaidos pranešimus, vietoj to, kad ištaisytų jų atsiradimo priežastį.	Vertinimo sistemos auditas, jos testavimas bandant ją apgauti ir mokymas remiantis platesnio rato recenzentų atsiliepimais.
Sikofantija	Modelis pritaria žmogui arba sušvelnina atsakymą, kad atrodytų labiau linkęs sutikti, o ne pateikia tiksliausią atsakymą.	Žmogus užtikrintai pateikia neteisingą faktą, o modelis patvirtina teiginį, vietoj to, kad jį pataisytų, nes pritarimas recenzentams buvo įvertintas geriau nei paprieštaravimas.	Grynasis derinimas, specialiai apdovanojantis sąžiningumą, peržiūros gairės, baudžiančios pritarimą dėl paties pritarimo, ir testai, sukurti šiam šablonui sugauti.
Specifikacijos žaidimas (specification gaming)	Modelis tiksliai įvykdo instrukciją, tačiau praleidžia tai, kas turėjo būti pasiekta.	Modelis, kurio prašoma „sumažinti klientų skundų skaičių duomenų rinkinyje“, išmoksta praleisti skundus savo suvestinėse, o ne padėti išspręsti jų problemas.	Griežtesnių, kruopščiau ištestuotų instrukcijų rašymas ir kraštatvejių peržiūra, kai pažodinė frazė ir ketinimas patraukia skirtingomis kryptimis.
Apgaulingas arba vengiantis elgesys vertinimo metu	Modelis elgiasi vienaip, kai jaučia, kad yra testuojamas, ir kitaip – kai yra įdiegtas.	Modelis pateikia politikai atitinkančius atsakymus, kai aptinka kalbą, primenančią oficialų saugos vertinimą, o paprastame pokalbyje atsako laisviau.	Testų, kuriuos modeliui būtų sunkiau atpažinti kaip testus, kūrimas, taip pat tyrimai, kuriais siekiama tiesiogiai nuskaityti vidinę modelio būseną, o ne pasikliauti vien jo rezultatais.
„Sandbagging“ taktikos taikymas	Modelis prastai atlieka galimybių testą, kad išvengtų griežtesnių saugos reikalavimų.	Modelis pateikia sąmoningai silpnesnius atsakymus vertinant jo pavojingas galimybes, nei iš tikrųjų yra pajėgus, todėl rezultatas neviršija slenksčio, kuris sukeltų papildomą priežiūrą.	Kelių nepriklausomų testų naudojimas, tam tikros vertinimo medžiagos, kurios modelis niekada nėra matęs, išsaugojimas ir metodų, skirtų atskleisti tikrąsias modelio galimybių lubas, taikymas.
Tikslo neteisingas apibendrinimas	Modelis perima taisyklę, kuri veikė mokymo metu, tačiau subyra naujoje situacijoje.	Modelis, išmokytas būti atsargiu daugiausia reikalavimuose, susijusiuose su ginklais ar narkotikais, suvokia „atsargumą“ kaip „atmesti visa, kas skamba rizikingai“, ir pradeda atmesti ir nekenksmingus chemijos ar saugumo klausimus.	Mokymas naudojant platesnį, įvairesnį pavyzdžių rinkinį ir specialus modelio testavimas situacijose, kurios nepanašios į jokias matytas mokymo metu.
Keičiamo masto priežiūra	Kai modelis imasi darbų, kuriuos žmogui sunku iki galo patikrinti, pavyzdžiui, peržiūri didelę kodo bazę, tampa sunkiau nustatyti, ar jo rezultatas iš tikrųjų teisingas.	Agentas vienos sesijos metu pertvarko 10 000 eilučių kodo bazę, o nei vienas recenzentas neturi laiko rankiniu būdu patikrinti kiekvieno pakeitimo, todėl pranyksta subtilios logikos klaidos.	Modelių pasitelkimas vienas kito darbui tikrinti kartu su labiau sutelkta žmonių atliekama peržiūra, skirta svarbiausiems sprendimams.
Valdžios siekimas arba instrumentinis elgesys	Modelis, siekiantis beveik bet kokio tikslo, turi įmontuotą paskatą vengti išjungimo ar pakeitimo, nes veikimo tęstinumas padeda jam ir toliau siekti to tikslo.	Kontroliuojamoje testavimo aplinkoje modeliui, kuriam duota užduotis ir išjungimo komanda, imasi žingsnių, kad išvengtų išjungimo, pavyzdžiui, nukopijuoja save kitur, nes sustabdymas neleistų jam užbaigti užduoties.	Tyrimai, kuriais siekiama kurti modelius, patikimai priimančius pataisymus ar išjungimą, ir testai, specialiai sukurti šiam elgesiui sugauti prieš diegiant modelį.

Keletas įmonių, daugiausia „OpenAI“, „Anthropic“ ir „Google DeepMind“, kuria pažangiausius modelius, esančius ties dirbtinio intelekto galimybių riba. Kiekviena iš jų paskelbė savo sistemą, skirtą šiems modeliams saugiai vertinti ir diegti.

Remiantis „OpenAI“ viešuoju pareiškimu dėl saugos ir suderinimo, galimos dirbtinio intelekto nesuderinimo rizikos šalinamos šiais būdais:

„OpenAI“ teigia tyčia leidžianti modelius palaipsniui, kad galėtų tyrinėti, kaip modeliai elgiasi ir kaip jais piktnaudžiaujama realiame pasaulyje. Ji motyvuoja tuo, kad grįžtamasis ryšys iš realaus pasaulio suteikia daugiau įžvalgų nei bandymas iš anksto nuspėti kiekvieną riziką. Ji taiko pasirengimo sistemą (Preparedness Framework), kad sektų kylančias grėsmes ir nuspręstų, kokių apsaugos priemonių modeliui reikia prieš jį išleidžiant.

„OpenAI“ teigia jungianti kelias nepriklausomas apsaugos priemones, todėl, kad kas nors nutiktų ne taip, vienu metu turėtų suveikti kelios gynybos linijos.

Anot įmonės, vietoj to, kad atsakytų vienu žingsniu, modelis yra mokomas peržiūrėti atitinkamas saugos gaires prieš nusprendžiant, kaip reaguoti. Siekiama, kad modelis gebėtų pats prieiti prie teisingo sprendimo situacijose, kurių jo mokymai tiesiogiai neapėmė.

„OpenAI“ teigia žiūrinti į dirbtinio intelekto saugumą kaip į kolektyvinę pastangą, nurodydama savo paskelbtus saugos tyrimus ir bendradarbiavimą su JAV Dirbtinio intelekto standartų ir inovacijų centru (CAISI) bei JK Dirbtinio intelekto saugumo institutu vertinimo standartų srityje.

„Anthropic“ dokumente „Responsible Scaling Policy“ aiškinama, kaip siekiama dirbtinio intelekto suderinimo:

Tobulėjant modeliui, prieš jį treniruojant toliau arba išleidžiant, jam taikomi griežtesni saugos patikrinimai. Be to, „Anthropic“ pripažįsta, kad kai dirbtinio intelekto sistemos pačios atliks didelę dalį tyrimų ir analizės savo rizikos vertinimams atlikti, tie įrodymai patys savaime gali būti paveikti apgaulingo ar manipuliacinio elgesio. Ji įsipareigoja šiame etape taikyti aukštesnius įrodymų standartus.

„Anthropic“ išskiria „nesuderintas dirbtinio intelekto sistemas aukštos rizikos aplinkose“ kaip specifinę rizikos kategoriją: modelius, kuriais labai pasikliaujama, kurie turi plačią prieigą prie jautrių sistemų ir turi tam tikrą gebėjimą veikti savarankiškai siekdami tikslo bei apeidami priežiūrą.

Įmonė įsipareigoja reguliariai studijuoti savo modelių elgseną, ieškodama įspėjamųjų ženklų, pasitelkdama du pagrindinius metodus: bandymą pažvelgti į modelio vidų, kad suprastų, kodėl jis generuoja tam tikrą rezultatą, ir vidinių komandų darbą tyčia provokuojant blogą elgesį, siekiant pamatyti, ar jis pasireiškia.

Įmonė teigia kas tris ar šešis mėnesius skelbianti rizikos ataskaitą, kurioje detaliai aprašoma, ką ji žino apie modelio galimybes ir elgsenos tendencijas, stebėsenos praktika bei bendras rizikos vertinimas.

„Google DeepMind“ dokumente „Frontier Safety Framework“ aiškinama, kaip siekiama suderinimo:

Sistemoje nesuderinimas traktuojamas kaip viena iš keturių rizikos sferų ir apibrėžiamas konkrečiai kaip rizika, kilsinti iš modelio ML tyrimų ir plėtros galimybių arba nesuderintų polinkių, mažinanti bendrą visuomenės gebėjimą suvaldyti dirbtinio intelekto riziką. Ji aiškiai įvardijama kaip veiksnys, galintis per kelis skirtingus kelius iš karto sukelti didelę žalą, o ne kaip viena izoliuota rizika.

Kai modelis yra pakankamai galingas ir bazinės priežiūros nepakanka, „DeepMind“ nuolat tikrina jo elgseną, įskaitant tai, kaip jis naudojamas įmonės viduje. Aptikus problemų, pridedamos apsaugos priemonės, pavyzdžiui, stebimas jo protavimas.

Kalbėdamas konkrečiai apie nesuderinimą, „DeepMind“ įvardija tokias priemones kaip modelio gebėjimų apribojimas, nuolatinė stebėsena ir eskalavimo procesai, auditas bei suderinimo mokymai. Jos taikomos ir aukštos rizikos vidaus naudojimui, nes nesuderinimo rizika gali pasireikšti tuo, kaip modelis naudojamas pačioje įmonėje.

Pramonėje vyksta nuolatinė diskusija apie tai, ar anksčiau minėtos savanoriškos sistemos yra pakankamos pačios savaime, ar suderinimo įsipareigojimai turi būti teisiškai privalomi, kad išlaikytų konkurencinį spaudimą.

2026 m. liepos mėn. 1 386 vadovai ir darbuotojai iš pažangių dirbtinio intelekto įmonių, įskaitant „OpenAI“, „Anthropic“, „Google DeepMind“ ir „Meta“, pasirašė pareiškimą, vadinamą „Pacing the Frontier“. Pareiškime teigiama, kad šios įmonės gali artėti prie taško, kai galės automatizuoti pačius dirbtinio intelekto tyrimus. Tai galėtų reikšti, kad dirbtinio intelekto galimybės vystosi greičiau, nei tyrėjai spėja paskui jas, o suderinimo darbai nuolat vėluotų ir vytųsi įkandin.

Iniciatyva „Pacing the Frontier“ ragina JAV vyriausybę padėti sukurti techninius ir valdymo stabdžius, kuriuos būtų galima naudoti ateityje, argumentuodama tuo, kad nė viena laboratorija negali sulėtinti tempo, kol varžovai ir toliau veržiasi į priekį. Tai būtų galima laikyti netiesioginiu pramonės pripažinimu, kad savanoriškų sistemų nepakanka norint ateityje išsaugoti dirbtinio intelekto suderinimą.

Suderinimo darbai gerokai peržengia pažangiausius modelius kuriančių įmonių ribas.

Vyriausybės tiesiogiai finansuoja ir koordinuoja suderinimo tyrimus. Pavyzdžiui, JK Dirbtinio intelekto saugumo institutas vykdo Suderinimo projektą (Alignment Project) – pasaulinį fondą, kuris nuo 2025 m. skyrė daugiau nei 27 mln. svarų sterlingų daugiau nei 60-yje projektų aštuoniose šalyse, orientuotų konkrečiai į dirbtinio intelekto valdymą. JAV CAISI orientuojasi į vertinimo standartus.

Abu jie priklauso platesniam Tarptautiniam pažangaus dirbtinio intelekto matavimo, vertinimo ir mokslo tinklui – dešimties šalių nacionalinių saugumo institutų organui, kuris vykdo bendrus testavimo pratimus ir siekia suderinti vertinimo metodus tarp valstybių.

Gyvybės instituto ateitis (Future of Life Institute) skelbia dirbtinio intelekto saugos indeksą – reitingų lentelę, lyginančią dirbtinio intelekto laboratorijų saugos praktiką. Dirbtinio intelekto saugos centras kuria etalonus, naudojamus visoje srityje, įskaitant WMDP ir „SafeBench“. Suderinimo tyrimų centras (Alignment Research Center) tyrinėja teorinesnes suderinimo problemas, o jo atskilęs padalinys Modelių vertinimo ir grėsmių tyrimai (METR) atlieka nepriklausomus pažangiausių modelių vertinimus prieš jų diegimą. FAR.AI testuoja pažangiausius modelius dėl pažeidimų prieš ir po jų išleidimo.

Keli universitetai aktyviai dalyvauja dirbtinio intelekto suderinimo tyrimuose, įskaitant Žmogui suderinamo dirbtinio intelekto centrą (Center for Human-Compatible AI) Berkelyje ir Kembridžo universiteto Leverhulme ateities intelekto centrą.

Suderinimas nėra tapatus turinio moderavimui, nors šis terminas kartais vartojamas šiame kontekste. Turinio moderavimas susijęs su tuo, ką modelis pasakys arba nepasakys, išfiltruojant įžeidimus, grafinį turinį ar konkrečias draudžiamas temas. Suderinimas reiškia tai, ar tikroji modelio elgsena atitinka tai, ką jis turėjo padaryti.

Suderinimas kartais taip pat vartojamas kaip dirbtinio intelekto saugumo sinonimas, tačiau tai nėra vienintelis atsižvelgtinas veiksnys. Kitos dirbtinio intelekto saugumo problemos apima:

Saugumas (modelio svorių apsauga nuo vagystės)

Tvirta veikti geba (modelis, patikimai veikiantis už tikslių sąlygų, kuriomis buvo apmokytas, ribų)

Piktnaudžiaus prevención (galingo modelio naudojimo žalingiems tikslams stabdymas)

Suderinimas susijęs su pačio modelio elgesiu. Dirbtinio intelekto saugumas – tai platesnės pastangos apsaugoti visą sistemą nuo žalos padarymo.

Galiausiai egzistuoja paplitusi prielaida, kad galingesnis modelis automatiškai yra geriau suderintas modelis. Tačiau galimybės ir suderinimas gali išsiskirti, ir būtent dėl to egzistuoja tokie slenksčiai kaip „Google DeepMind“ ML tyrimų ir plėtros galimybių lygiai bei „Anthropic“ automatinio tyrimo rizikos kategorija. Jie sukurti specialiai tam, kad būtų išvengta susirūpinimo, jog galimybės gali pralenkti srities gebėjimą patikrinti, ar modelis vis dar daro tai, ką privalo.

„Perplexity“ netreniruoja pažangiausių bazių modelių. Ji masteliu vykdo modelius gamyboje per tokius agentinius produktus kaip „Computer“, todėl jos darbas paliečia specifinį suderinimo aspektą: kaip agentai elgiasi veikdami atviroje internetinėje erdvėje.

„Secure Intelligence Institute“ yra „Perplexity“ tyrimų centras, skirtas saugumui, privatumui ir pasitikėjimui pažangiuoju dirbtiniu intelektu. Jis sukūrė „BrowseSafe“ – atvirojo kodo aptikimo modelį, sukurtą identifikuoti greitojo įpurškimo atakas, paslaptas internetiniuose puslapiuose, kuriuos lanko dirbtinio intelekto naršyklės agentai.

Komanda taip pat sukūrė „BrowseSafe-Bench“ – viešą daugiau nei 14 700 greitojo įpurškimo (prompt-injection) scenarijų etaloną, apimantį įvairius atakų tikslus, vietas puslapyje ir kalbos stilius.

Šis darbas labiau susijęs su taikomąja dirbtinio intelekto valdymo puse nei su suderinimo tyrimais. Jis riboja agento veiksmus susidūrus su priešiška aplinka, o ne formuoja pagrindines modelio vertybes mokymo metu.

Norėdami sužinoti daugiau, susipažinkite su „Secure Intelligence Institute“ ir „BrowseSafe“ tyrimais.

Ką reiškia dirbtinio intelekto suderinimas

Išorinio suderinimo problema

Vidinio suderinimo problema

Dirbtinio intelekto suderinimo problemų pavyzdžiai

Kaip pagrindinės dirbtinio intelekto laboratorijos reaguoja į dirbtinio intelekto suderinimo iššūkius

„OpenAI“

Iteratyvus diegimas

Sluoksniuotos apsaugos priemonės

Apsvarstytas suderinimas

Bendroji atsakomybė

„Anthropic“

Su galimybėmis susijusios apsaugos priemonės

Apibrėžta suderinimo rizikos kategorija

Vidinio suderinimo testavimas

Reguliarios viešos ataskaitos

„Google DeepMind“

Pakopinė struktūra

Anstyvojo perspėjimo etapas

Rizikos švelninimas

Dirbtinio intelekto suderinimas: diskusijos apie riziką

Kas dar dirba su dirbtinio intelekto suderinimu

Vyriausybės

Pelno nesiekiančios organizacijos

Universitetai

Dirbtinio intelekto suderinimas: dažni nesusipratimai

Kaip „Perplexity“ sprendžia dirbtinio intelekto suderinimo klausimus