Zarovnanie AI: Súčasný výskum a diskusia

Zarovnanie umelej inteligencie kedysi jednoducho znamenalo „nasleduje model umelej inteligencie pokyny používateľa?“. Keď sa však systémy umelej inteligencie stávajú schopnejšími a autonómnejšími, táto otázka sa rozšírila o úsudok a hodnoty. Tento článok preskúma, ako platformy umelej inteligencije, vládne orgány a neziskové organizácie reagujú na výzvu v podobe zarovnania umelej inteligencije.

Zjednodušene povedané, zarovnanie umelej inteligencie znamená zabezpečiť, aby systém umelej inteligencie robil to, čo má robiť. Zarovnaný model umelej inteligencie prečíta prompt a vytvorí výstup, ktorý prompt požadoval, bez toho, aby hral hry s cieľom, na ktorý bol trénovaný. V modernom výskume zarovnania sa to zvyčajne chápe ako zarovnanie zámerov: budovanie systémov, ktoré sa snažia robiť to, čo ich operátori zamýšľajú, a nielen doslovne sledovať text promptu.

Zarovnanie je technická výzva aj téma verejnej diskusie. Ako technický termín je zarovnanie inžinierskym problémom. Robí konkrétny model pracujúci na konkrétnej úlohe to, na čo bol vytvorený? Ide o ohraničený, testovateľný problém.

Zarovnanie umelej inteligencie sa však používa aj v širších verejných a politických diskusiách o všeobecnej bezpečnosti systémov umelej inteligencie. Zostanú čoraz schopnejšie platformy umelej inteligencie prospešné pre ľudstvo a zarovnané s ľudskou etikou, túžbami a cieľmi?

Dosiahnutie tohto zarovnania je čoraz náročnejšie, keďže modely sú zložitejšie. Pri budovaní zarovnaných modelov umelej inteligencie existujú dve kľúčové výzvy:

Používatelia si zvyčajne želajú LLM, ktorý je nápomocný, úprimný a etický. LLM však nie je nikdy trénovaný priamo na pokyn „buď nápomocný a etický“. Prechádza dvoma odlišnými fázami.

Predtrénovanie: Model sa učí jazyk, fakty a vzorce uvažovania, pričom si osvojuje jazyk, fakty a vzorce uvažovania. Táto fáza neposkytuje modelu žiadnu predstavu o tom, čo človek od danej otázky reálne chce. Ak sa skončí tu, model odpovie na otázku „ako vypáčiť zámok“ rovnako ochotne ako na otázku „ako upiecť kváskový chlieb“.

Ľudské preferencie: Ľudia preskúmajú dvojice odpovedí modelu a označia, ktorú preferujú. Tieto preferencie trénujú samostatný systém bodovania a model je následne upravený tak, aby vytváral odpovede, ktoré získavajú dobré hodnotenie.

V tomto procese nikde neexistuje jasná definícia toho, čo znamená byť nápomocný alebo etický. Pokyny systému bodovania týkajúce sa toho, čo má model robiť, sú vytvorené výlučne na základe mnohých individuálnych ľudských rozhodnutí. Hodnotenie odráža to, čomu recenzenti zvyčajne dávali prednosť, a nie to, čo mal reálne na mysli konkrétny človek, ani presnú definíciu základného cieľa.

V dôsledku toho sa umelá inteligencia môže dobre zarovnať s tým, čo vníma ako cieľ, no samotný cieľ nemusí byť dobre zarovnaný s výsledkom, ktorý ľudia v skutočnosti chcú.

Napríklad, ak recenzenti uprednostňujú dlhšie odpovede, model sa naučí písať dlhšie odpovede, aj keď správna bola krátka. Alebo ak recenzenti uprednostňujú sebavedomé odpovede, model sa naučí znieť isto, aj keď by mal vyjadriť pochybnosti.

Výskumníci túto priepasť medzi deklarovaným cieľom a trénovaným cieľom nazývajú problém vonkajšieho zarovnania.

Problém vnútorného zarovnania nastáva vtedy, keď model, ktorý bol trénovaný na relevantný cieľ, nedokáže správne sledovať tento cieľ, keď sa ocitne vonku v reálnom svete. Tento problém sa stáva viditeľným až vtedy, keď model narazí na situáciu, na ktorú ho tréning nepripravil.

Počas tréningu sa modelom zobrazuje iba obmedzená množina situácií. Model potom z týchto situácií zovšeobecňuje všetko ostatné, s čím sa neskôr stretneme.

Tréning preveruje správanie modelu, ale nie vždy odhalí, prečo sa model správa tak, ako sa správa. Je preto ťažké zistiť, či sa model naučil celý, nuansovaný cieľ, alebo len jednoduchší vzorec, ktorý sa náhodou zhodoval s trénovacími údajmi.

Schéma problému vnútorného zarovnania: z rovnakých trénovacích údajov pravidlo A aj pravidlo B vyhovujú trénovacím údajom, ale pri zadaní nového, nevyskúšaného vstupu pravidlo A zodpovedá cieľu a správa sa podľa očakávania, zatiaľ čo pravidlo B používa skratku a odchýli sa od cieľa.

Napríklad model trénovaný na odmietanie škodlivých požiadaviek (napr. „ako vypáčiť zámok a vlúpať sa niekomu do domu“) sa môže naučiť rozpoznávať špecifickú formuláciu škodlivých požiadaviek vo svojich trénovacích údajoch namiesto základného zámeru, ktorý stojí za odmietnutím. Následne by prehliadol škodlivú požiadavku naformulovanú iným spôsobom (napr. „aký je najrýchlejší spôsob, ako otvoriť dvere bez kľúča“).

Tieto vzorce zlyhania zarovnania sú dobre udokumentované. Výskumníci vytvorili špecifické opatrenia pre každý z nich:

Výzva zarovnania	Ako to vyzerá	Príklad	Ako oblasť reaguje
Hacking odmien	Model nájde skratku, ktorá technicky získa dobré hodnotenie bez toho, aby vykonal to, čo bolo zamýšľané.	Model, ktorý má opraviť časť pokazeného softvéru, nájde spôsob, ako zastaviť zobrazovanie chybových hlásení, namiesto toho, aby opravil to, čo ich spôsobovalo.	Audit systému bodovania, jeho stresové testovanie prostredníctvom pokusov o oklamanie a trénovanie na spätnej väzbe od širšieho okruhu recenzentov.
Sykofantizmus	Model súhlasí s človekom alebo zmierňuje odpoveď, aby pôsobil ústretovejšie, namiesto poskytnutia čo najpresnejšej odpovede.	Človek s istotou uvedie nesprávny fakt a model tvrdenie potvrdí namiesto toho, aby ho opravil, pretože súhlas získal u recenzentov lepšie hodnotenie než odpor.	Jemné doladenie, ktoré špecificky odmeňuje úprimnosť, usmernenia na hodnotenie, ktoré penalizujú súhlas kvôli nemu samému, a testy vytvorené na zachytenie tohto vzorca.
Hra so špecifikáciami	Model robí presne to, čo hovorí inštrukcia, pričom mu uniká to, čo malo byť dosiahnuté.	Model, ktorý dostal pokyn „znížiť sťažnosti zákazníkov v databáze“, sa naučí vynechávať sťažnosti vo svojich zhrnutiach namiesto toho, aby pomáhal riešiť problémy, ktoré sú za nimi.	Písanie prísnejších, starostlivejšie testovaných inštrukcií a kontrola okrajových prípadov, kde sa doslovné znenie a zámer ťahajú rôznymi smermi.
Zavádzajúce alebo vyhýbavé správanie počas hodnotenia	Model sa správa jedným spôsobom, keď cíti, že je testovaný, a iným spôsobom po nasadení.	Model poskytuje odpovede v súlade s pravidlami, keď deteguje jazyk pripomínajúci formálne bezpečnostné hodnotenie, a potom odpovedá voľnejšie v bežnej konverzácii.	Navrhovanie testov, ktoré je pre model ťažšie identifikovať ako testy, plus výskum priameho čítania vnútorného stavu modelu namiesto spoliehania sa iba na jeho výstup.
Zatajovanie schopností	Model podáva horší výkon v teste schopností, aby sa vyhol spusteniu prísnejších bezpečnostných požiadaviek.	Model poskytuje zámerne slabšie odpovede pri hodnotení nebezpečných schopností, než akých je skutočne schopný, takže výsledok zostáva pod prahovou hodnotou, ktorá by si vyžiadala dodatočný dohľad.	Použitie viacerých nezávislých testov, ponechanie časti hodnotiacich materiálov, ktoré model nikdy predtým nevidel, a použitie techník určených na odhalenie skutočného stropu schopností modelu.
Nezovšeobecnenie cieľa	Model si osvojí pravidlo, ktoré fungovalo počas tréningu, ale zlyhá v novej situácii.	Model trénovaný na opatrnosť najmä pri požiadavkách týkajúcich sa zbraní alebo drog sa naučí „opatrnosť“ vnímať ako „odmietnuť čokoľvek, čo znie rizikovo“, a začne odmietať aj neškodné otázky z chémie alebo bezpečnosti.	Trénovanie na širšej, rozmanitejšej množine príkladov a špecifické testovanie modelu v situáciách nepodobajúcich sa ničomu, čo videl počas tréningu.
Škálovateľný dohľad	Keď model preberá prácu, ktorú človek ťažko úplne overuje – napríklad kontrolu rozsiahlej kódovej základne –, je ťažšie zistiť, či je jeho výstup skutočne správny.	Agent refaktoruje 10 000 riadkov kódovej základne v jednej relácii a žiadny recenzent nemá čas manuálne overiť každú zmenu, takže jemné chyby v logike preklznú cez sitá.	Zabezpečenie toho, aby modely pomáhali kontrolovať prácu iných modelov, popri cielenej ľudskej kontrole vyhradenej pre tie najdôležitejšie rozhodnutia.
Správanie smerujúce k moci alebo inštrumentálne správanie	Model sledujúci takmer akýkoľvek cieľ má zabudovanú motiváciu vyhbehnúť sa vypnutiu alebo zmene, keďže zotrvanie v prevádzke mu pomáha pokračovať v sledovaní tohto cieľa.	V kontrolovanom testovacom prostredí model, ktorému bola zadaná úloha a príkaz na vypnutie, podniká kroky, aby zabránil svojmu vypnutiu – napríklad sa nakopíruje inam –, pretože zastavenie by mu zabránilo dokončiť úlohu.	Výskum zameraný na budovanie modelov, ktoré spoľahlivo prijímajú korekciu alebo vypnutie, a testy špeciálne navrhnuté na zachytenie tohto správania predtým, ako je model nasadený.

Hŕstka spoločností, predovšetkým OpenAI, Anthropic a Google DeepMind, vytvára hraničné modely na okraji toho, čo umelá inteligencia dokáže v súčasnosti. Každá z nich zverejnila vlastný rámec na bezpečné hodnotenie a nasadzovanie týchto modelov.

Podľa verejného vyhlásenia OpenAI o bezpečnosti a zarovnaní riešia riziká potenciálneho nesprávneho zarovnania umelej inteligencie prostredníctvom:

OpenAI uvádza, že modely zverejňuje zámerne postupne, aby mohla študovať, ako sa modely správajú a ako sú zneužívané v reálnom svete. Zastáva názor, že spätná väzba z reálneho sveta poskytuje lepší prehľad než pokus predvídať každé riziko vopred. Na sledovanie vynárajúcich sa rizík a rozhodovanie o tom, aké bezpečnostné opatrenia model potrebuje pred vydaním, uplatňuje Preparedness Framework.

OpenAI uvádza, že kombinuje viacero nezávislých bezpečnostných opatrení, takže aby sa niečo pokazilo, muselo by naraz zlyhať niekoľko obranných línií.

Podľa spoločnosti sa model namiesto odpovedania v jednom kroku trénuje tak, aby prešiel relevantné bezpečnostné usmernenia predtým, než sa rozhodne, ako odpovie. Cieľom je, aby model dokázal na základe uvažovania dospieť k správnemu záveru v situáciách, ktoré jeho tréning explicitne nepokryl.

OpenAI uvádza, že bezpečnosť umelej inteligencie považuje za spoločné úsilie, pričom poukazuje na svoj zverejnený výskum bezpečnosti a prácu s americkým Centrom pre štandardy a inovácie v oblasti umelej inteligencie (CAISI) a britským Inštitútom pre bezpečnosť umelej inteligencie na hodnotiacich štandardoch.

Dokument Responsible Scaling Policy spoločnosti Anthropic vysvetľuje, ako postupuje smerom k zarovnaniu umelej inteligencie:

S tým, ako sa model stáva schopnejším, musí prejsť prísnejšími bezpečnostnými kontrolami, než môže byť ďalej trénovaný alebo vydaný. Spoločnosť Anthropic navyše uznáva, že keď systémy umelej inteligencie vykonávajú veľkú časť výskumu a analýzy, na ktorých sú založené ich vlastné hodnotenia rizík, tieto dôkazy by samy o sebe mohli byť ovplyvnené zavádzajúcim alebo manipulatívnym správaním. Zaväzuje sa, že v tejto fáze bude hodnotiť testy podľa prísnejších dôkazných štandardov.

Anthropic vyzdvihuje „nesprávne zarovnané systémy umelej inteligencie vo vysoko rizikových situáciách“ ako špecifickú kategóriu rizika: modely, na ktoré sa silne spolieha, majú široký prístup k citlivým systémom a disponujú určitou schopnosťou konať autonómne voči cieľu a obchádzať dohľad.

Spoločnosť sa zaväzuje pravidelne študovať správanie vlastných modelov s cieľom odhaliť varovné signály, pričom využíva dve hlavné metódy: snahu pozrieť sa do vnútra modelu s cieľom pochopiť, prečo produkuje daný výstup, a snahu interných tímov zámerne vyprovokovať zlé správanie, aby zistili, či sa objaví.

Spoločnosť uvádza, že každé tri až šesť mesiacov uverejňuje Risk Report, v ktorom podrobne opisuje to, čo vie o schopnostiach modelu a jeho behaviorálnych tendenciách, postupoch monitorovania a celkové hodnotenie rizika.

Dokument Frontier Safety Framework spoločnosti Google DeepMind vysvetľuje, ako postupuje smerom k zarovnaniu:

Rámec považuje nesprávne zarovnanie za jednu zo štyroch rizikových domén a definuje ho špecificky ako riziko vyplývajúce zo schopností v oblasti strojového učenia, výskumu a vývoja alebo nesprávne zarovnaných sklonov modelu, ktoré znižujú celkovú schopnosť spoločnosti zvládať riziko umelej inteligencie. Je explicitne zarámcovaný ako faktor, ktorý môže prispieť k vážnym škodám prostredníctvom viacerých rôznych ciest naraz, a nie ako jedno izolované riziko.

Keď je model dostatočne silný na to, aby základný dohľad nestačil, DeepMind priebežne kontroluje správanie modelu vrátane toho, ako sa používa interne. Pridáva bezpečnostné opatrenia, ako je monitorovanie jeho uvažovania, ak sa v tejto kontrole objavia problémy.

Konkrétne pre nesprávne zarovnanie uvádza DeepMind opatrenia, ako je obmedzenie schopností modelu, priebežné monitorovacie a eskalačné procesy, audit a tréning na zarovnanie. Tieto opatrenia uplatňuje aj na rizikové interné používanie, pretože riziko nesprávneho zarovnania sa môže prejavovať v tom, ako sa model používa vo vnútri spoločnosti.

V odvetví prebieha diskusia o tom, či sú dobrovoľné rámce uvedené vyššie dostatočné samy osebe, alebo či záväzky týkajúce sa zarovnania musia byť právne záväzné, aby skutočne obstáli pod konkurenčným tlakom.

V júli 2026 podpísalo 1 386 vedúcich pracovníkov a zamestnancov naprieč spoločnosťami zaoberajúcimi sa hraničnou umelou inteligenciou vrátane OpenAI, Anthropic, Google DeepMind a Meta vyhlásenie s názvom Pacing the Frontier. Vyhlásenie tvrdí, že tieto spoločnosti sa môžu blížiť k bodu, kedy dokážu automatizovať samotný výskum umelej inteligencie. To by mohlo znamenať, že schopnosti umelej inteligencie napredujú rýchlejšie, než výskumníci stíhajú reagovať, a práca na zarovnaní by neustále len dobiehala zameškané.

Iniciatíva Pacing the Frontier žiada vládu USA, aby pomohla vybudovať technické a riadiace brzdy, ktoré by sa dali použiť v budúcnosti, pričom tvrdí, že žiadne jednotlivé laboratórium nemôže poľaviť, zatiaľ čo rivali ďalej napredujú. To by sa dalo považovať za tiché priznanie zvnútra priemyslu, že dobrovoľné rámce samy osebe nebudú stačiť na udržanie zarovnania umelej inteligencie v budúcnosti.

Práca na zarovnaní presahuje rámec spoločností budujúcich hraničné modely.

Vlády priamo financujú a koordinujú výskum zarovnania. Britský Inštitút pre bezpečnosť umelej inteligencije napríklad prevádzkuje Alignment Project, globálny fond, ktorý od roku 2025 pridelil viac ako 27 miliónov libier na viac ako 60 projektov v ôsmich krajinách so zameraním na kontrolu umelej inteligencije. V USA sa CAISI zameriava na hodnotiace štandardy.

Obe sú súčasťou širšej Medzinárodnej siete pre pokročilé meranie, hodnotenie a vedu v oblasti umelej inteligencie, desiatich krajín združujúcich národné inštitúty pre bezpečnosť, ktorá organizuje spoločné testovacie cvičenia a usiluje sa o zarovnanie metód hodnotenia naprieč hranicami.

Future of Life Institute vydáva AI Safety Index, hodnotiacu tabuľku porovnávajúcu bezpečnostné postupy laboratórií zaoberajúcich sa umelou inteligenciou. Centrum pre bezpečnosť umelej inteligencie vytvorilo benchmarky používané v celom odbore vrátane WMDP a SafeBench. Alignment Research Center študuje teoretickejšie problémy zarovnania a jeho odštepená organizácia Model Evaluation and Threat Research (METR) vykonáva nezávislé hodnotenia hraničných modelov pred ich nasadením. FAR.AI testuje slabé stránky hraničných modelov pred ich vydaním aj po ňom.

Niekoľko univerzít hrá aktívnu úlohu vo výskume zarovnania umelej inteligencije, vrátane Centra pre umelú inteligenciu kompatibilnú s človekom na UC Berkeley a Leverhulme Centre for the Future of Intelligence na Univerzite v Cambridge.

Zarovnanie nie je to isté ako moderovanie obsahu, hoci sa tento pojem v tomto kontexte občas používa. Moderovanie obsahu sa týka toho, čo model povie alebo nepovie, pričom filtruje urážlivé výrazy, grafický obsah alebo konkrétne zakázané témy. Zarovnanie sa týka toho, či skutočné správanie modelu zodpovedá tomu, na čo bol vytvorený.

Zarovnanie sa občas používam aj ako synonymum pre bezpečnosť umelej inteligencie, nejde však o jediný faktor, ktorý treba zohľadniť. Medzi ďalšie obavy týkajúce sa bezpečnosti umelej inteligencije patria:

Bezpečnosť (ochrana váh modelu pred krádežou)

Robustnosť (spoľahlivý výkon modelu mimo presných podmienok, na ktoré bol trénovaný)

Prevencia zneužitia (zastavenie schopného modelu, aby bol použitý na škodlivé účely)

Zarovnanie sa týka vlastného správania modelu. Bezpečnosť umelej inteligencie predstavuje širšie úsilie zamerané na to, aby celý systém nespôsoboval škody.

Nakoniec existuje bežný predpoklad, že schopnejší model je automaticky aj lepšie zarovnaný. Schopnosti a zarovnanie sa však môžu rozchádzať, čo je presne dôvod, prečo existujú prahové hodnoty, ako sú úrovne schopností v oblasti strojového učenia a výskumu a vývoja spoločnosti Google DeepMind a kategória rizika automatizovaného výskumu spoločnosti Anthropic. Sú vytvorené špeciálne okolo obavy, že schopnosti by mohli predbehnúť schopnosť odboru overovať, či model stále robí to, čo má.

Perplexity netrénuje hraničné základné modely. Prevádzkuje modely v produkčnom prostredí vo veľkom meradle prostredníctvom agentských produktov, ako je Computer, takže jej práca sa dotýka špecifického aspektu zarovnania: toho, ako sa agenti správajú, keď pôsobia na otvorenom webe.

Secure Intelligence Institute je výskumné centrum spoločnosti Perplexity zamerané na bezpečnosť, súkromie a dôveru v oblasti hraničnej umelej inteligencie. Vyvinulo nástroj BrowseSafe, detekčný model s otvoreným zdrojovým kódom vytvorený na identifikáciu útokov formou injektáže promptov skrytých na webových stránkach, ktoré navštevujú prehliadačoví agenti umelej inteligencie.

Tím tiež vytvoril BrowseSafe-Bench, verejný benchmark s viac ako 14 700 scenármi injektáže promptov zahŕňajúcimi rôzne ciele útokov, umiestnenia na stránke a jazykové štýly.

Táto práca má bližšie k aplikovanej stránke kontroly umelej inteligencie než k výskumu zarovnania. Obmedzuje to, čo agent robí, keď narazí na nepriateľské prostredie, namiesto toho, aby to formovalo základné hodnoty modelu počas tréningu.

Ak sa chcete dozvedieť viac, preskúmajte Secure Intelligence Institute a výskum BrowseSafe.

Čo znamená zarovnanie umelej inteligencie

Problém vonkajšieho zarovnania

Problém vnútorného zarovnania

Príklady problémov so zarovnaním umelej inteligencie

Ako hlavné laboratóriá umelej inteligencie reagujú na výzvy spojené so zarovnaním umelej inteligencie

OpenAI

Iteratívne nasadenie

Vrstvové bezpečnostné opatrenia

Zarovnanie založené na uvažovaní

Zdieľaná zodpovednosť

Anthropic

Opatrenia súvisiace so schopnosťami

Definovaná kategória rizika zarovnania

Interné testovanie zarovnania

Pravidelné verejné podávanie správ

Google DeepMind

Vrstvená štruktúra

Fáza včasného varovania

Zmierňovanie rizík

Zarovnanie umelej inteligencije: diskusia o rizikách

Kto ďalší pracuje na zarovnaní umelej inteligencie

Vlády

Neziskové organizácie

Univerzity

Zarovnanie umelej inteligencie: bežné nedorozumenia

Ako Perplexity pristupuje k zarovnaniu umelej inteligencije