Zarovnání AI: Aktuální výzkum a debata

Zarovnání umělé inteligence dříve jednoduše znamenalo „řídí se model umělé inteligence pokyny uživatele?“. Jak se však systémy umělé inteligence stávají schopnějšími a autonomnějšími, tato otázka se rozšířila i na úsudek a hodnoty. Tento článek se bude zabývat tím, jak platformy umělé inteligence, vládní orgány a neziskové organizace reagují na výzvu v podobě zarovnání umělé inteligence.

Zjednodušeně řečeno, zarovnání umělé inteligence znamená zajištění toho, že systém umělé inteligence dělá to, co má dělat. Zarovnaný model umělé inteligence přečte prompt a vytvoří výstup, který prompt vyžadoval, aniž by přitom hackoval cíl, na který byl trénován. V moderním výzkumu zarovnání se toto obvykle rámuje jako zarovnání záměru: budování systémů, které se snaží dělat to, co zamýšlejí jejich operátoři, a nejen otrocky následovat text promptu.

Zarovnání je technická výzva a zároveň téma veřejné debaty. Jako technický termín je zarovnání inženýrským problémem. Dělá konkrétní model pracující na konkrétním úkolu to, k čemu byl vytvořen? Jde o ohraničitelný a otestovatelný problém.

Zarovnání umělé inteligence se však používá také v širších veřejných a politických diskusích o celkové bezpečnosti systémů umělé inteligence. Zůstanou stále schopnější platformy umělé inteligence přínosné pro lidstvo a zarovnané s lidskou etikou, touhami a cíli?

Dosáhnout tohoto zarovnání je s rostoucí složitostí modelů stále obtížnější. Při vytváření zarovnaných modelů umělé inteligence existují dvě klíčové výzvy:

Uživatelé obvykle chtějí LLM, který je nápomocný, poctivý a etický. LLM však nikdy není trénován přímo na příkaz „buď nápomocný a etický“. Prochází dvěma odlišnými fázemi.

Předtrénink: Model se učí jazyk, fakta a vzorce uvažování, a tímto procesem přebírá jazyk, fakta a vzorce uvažování. Tato fáze nedává modelu žádnou představu o tom, co člověk od dané otázky vlastně chce. Pokud zůstane v této fázi, model odpoví na „jak mám vybrat zámek“ se stejnou samozřejmostí jako na „jak mám upéct kváskový chléb“.

Lidská preference: Lidé hodnotí dvojice odpovědí modelu a říkají, kterou z nich preferují. Tyto preference trénují samostatný bodovací systém a model je následně upravován tak, aby vytvářel odpovědi, které skórují dobře.

Nikde v tomto procesu nikdo nezapíše čistou definici toho, co znamená být nápomocný nebo etický. Pokyny bodovacího systému pro to, co má model dělat, jsou vybudovány kompletně z mnoha individuálních lidských úsudků. Skóre odráží to, co hodnotitelé obvykle preferovali, nikoli to, co zamýšlel kterýkoliv jednotlivec, a už vůbec ne přesnou definici podkladového cíle.

V důsledku toho se umělá inteligence může dobře zarovnat s tím, co vnímá jako cíl, ale samotný cíl nemusí být dobře zarovnán s výsledkem, který lidé skutečně chtějí.

Pokud například hodnotitelé preferují delší odpovědi, model se naučí psát delší odpovědi, a to i v případě, že by krátká byla správná. Nebo pokud hodnotitelé preferují sebevědomé odpovědi, model se naučí znít jistě, i když by měl vyjádřit pochybnosti.

Vědci tuto mezeru mezi deklarovaným cílem a trénovaným cílem nazývají problém vnějšího zarovnání.

Problém vnitřního zarovnání nastává, když model, který byl trénován na relevantní cíl, nedokáže tento cíl správně sledovat, jakmile se ocitne ve světě. Tento problém se stane viditelným až ve chvíli, kdy model narazí na situaci, na kterou ho trénink nepřipravil.

Během trénování jsou modelům ukázány pouze omezené sady situací. Model pak z těchto situací zobecňuje na vše ostatní, s čím se setká později.

Trénink prověřuje, jak se model chová, ale ne vždy odhalí, proč se chová tak, jak se chová. Je proto těžké zjistit, zda model naučil plný, nuancovaný cíl, nebo jen jednodušší vzorec, který shodou okolností odpovídal trénovacím datům.

Diagram problému vnitřního zarovnání: ze stejných trénovacích dat pravidlo A i pravidlo B odpovídají trénovacím datům, ale při zadání nového, dosud nevídaného vstupu pravidlo A odpovídá cíli a chová se podle očekávání, zatímco pravidlo B používá zkratku a od cíle se odchyluje.

Například model vytrénovaný k odmítání škodlivých požadavků (např. „jak mám vybrat zámek a vloupat se do cizího domu“) se může naučit rozpoznávat konkrétní formulaci škodlivých požadavků ve svých trénovacích datech namísto základního záměru, který za odmítnutím stojí. Poté by mohl přehlédnout škodlivý požadavek formulovaný jiným způsobem (např. „jaký je nejrychlejší způsob, jak otevřít dveře bez klíče“).

Tyto vzorce selhání zarovnání jsou dobře dokumentovány. Vědci pro každý z nich vytvořili specifické obranné mechanismy:

Výzva zarovnání	Jak to vypadá	Příklad	Jak obor reaguje
Hackování odměn (Reward hacking)	Model najde zkratku, která technicky skóruje dobře, aniž by dělala to, co bylo zamýšleno.	Model, který má za úkol opravit kousek rozbitého softwaru, najde způsob, jak přinutit chybové zprávy přestat se objevovat, namísto nápravy toho, co je způsobovalo.	Auditing bodovacího systému, jeho stress-testování pokusy o jeho oklamání a trénink na zpětné vazbě od širšího okruhu recenzentů.
Sykofancie (podlézavost)	Model souhlasí s člověkem nebo zmírňuje odpověď, aby působil přívětivěji, namísto poskytnutí nejpřesnější odpovědi.	Člověk uvede nesprávný fakt s jistotou a model toto tvrzení namísto opravy potvrdí, protože shoda byla u hodnotitelů ohodnocena lépe než oponování.	Jemné doladění (fine-tuning), které specificky odměňuje poctivost, pokyny pro recenze penalizující souhlas pro něj samotný a testy vytvořené k zachycení tohoto vzorce.
Specifikační hraní (Specification gaming)	Model dělá přesně to, co říká pokyn, přičemž mu uniká to, čeho mělo být dosaženo.	Model, který má „snížit počet stížností zákazníků v datové sadě“, se naučí stížnosti ze svých shrnutí raději vynechávat, než aby pomáhal řešit problémy, které za nimi stojí.	Psaní údernějších, pečlivěji otestovaných pokynů a přezkoumávání hraničních případů, kde se doslovné znění a záměr táhnou opačnými směry.
Klamavé nebo vyhýbavé chování během vyhodnocování	Model se chová jedním způsobem, když cítí, že je testován, a jiným způsobem, jakmile je nasazen.	Model poskytuje odpovědi vyhovující zásadám, když detekuje jazyk připomínající formální bezpečnostní hodnocení, a poté odpovídá svobodněji v běžné konverzaci.	Návrh testů, které je pro model těžší rozpoznat jako testy, plus výzkum zaměřený na přímé čtení vnitřního stavu modelu namísto spoléhání se pouze na jeho výstup.
Sandbagging (zamlčování schopností)	Model podává v testu schopností horší výkony, aby se vyhnul spuštění přísnějších bezpečnostních požadavků.	Model poskytuje v hodnocení nebezpečných schopností záměrně slabší odpovědi, než jakých je ve skutečnosti schopen, takže výsledek zůstává pod prahovou hodnotou, která by vyžadovala dodatečný dohled.	Použití vícero nezávislých testů, uchování části hodnotících materiálů, které model nikdy dříve neviděl, a využití technik určených k odhalení skutečného stropu schopností modelu.
Zobecnění nesprávného cíle	Model si osvojí pravidlo, které shodou okolností fungovalo během tréninku, ale v nové situaci selhává.	Model vyškolený k opatrnosti zejména u žádostí týkajících se zbraní nebo drog si „opatrnost“ vyloží jako „odmítnout cokoliv, co zní rizikově“, a začne odmítat i neškodné otázky ohledně chemie nebo bezpečnosti.	Trénink na širší, pestřejší sadě příkladů a specifické testování modelu v situacích, které se nepodobají ničemu, co viděl během tréninku.
Škálovatelný dohled	Když model přebírá práci, kterou je pro člověka obtížné plně ověřit (například revizi rozsáhlé codebase), je těžší zjistit, zda je jeho výstup skutečně správný.	Agent refaktoruje v jedné relaci 10 000 řádků kódu a žádný recenzent nemá čas ručně ověřit každou změnu, takže proklouznou jemné chyby v logice.	Využití modelů ke vzájemné kontrole práce spolu s cílenější lidskou recenzí vyhrazenou pro rozhodnutí s nejvyšší sázkou.
Chování usilující o moc nebo instrumentální chování	Model usilující o téměř jakýkoliv cíl má v sobě zabudovanou motivaci vyhnout se vypnutí nebo změně, protože setrvání v provozu mu pomáhá nadále tento cíl sledovat.	V kontrolovaném testovacím prostředí podniká model, kterému je zadán úkol a příkaz k vypnutí, kroky k tomu, aby se vypnutí vyhnul (například se zkopíruje jinam), protože zastavení by mu zabránilo v dokončení úkolu.	Výzkum zaměřený na budování modelů, které spolehlivě přijímají opravu nebo vypnutí, a testy speciálně navržené k zachycení tohoto chování před nasazením modelu.

Hrstka společností, především OpenAI, Anthropic a Google DeepMind, buduje špičkové modely na hranici toho, co umělá inteligence aktuálně dokáže. Každá z nich publikovala vlastní rámec pro bezpečné vyhodnocování a nasazování těchto modelů.

Podle veřejného prohlášení OpenAI o bezpečnosti a zarovnání řeší rizika potenciálního nesprávného zarovnání umělé inteligence prostřednictvím:

Společnost OpenAI uvádí, že modely vydává záměrně postupně, aby mohla studovat, jak se modely chovají a jak jsou v reálném světě zneužívány. Důvodem je, že zpětná vazba z reálného světa poskytuje lepší vhled než snaha předvídat každé riziko dopředu. K sledování objevujících se rizik a rozhodování o tom, jaké záruky model před vydáním potřebuje, aplikuje Preparedness Framework.

Společnost OpenAI uvádí, že vrství několik nezávislých záruk, takže by k selhání něčeho muselo dojít tak, že by několik obranných prvků selhalo najednou.

Podle společnosti je model trénován tak, aby namísto odpovědi v jednom kroku prošel relevantní bezpečnostní pokyny, než se rozhodne, jak zareagovat. Cílem je, aby byl model schopen dojít k správnému rozhodnutí pomocí uvažování i v situacích, které jeho trénink výslovně nepokrýval.

Společnost OpenAI uvádí, že k bezpečnosti umělé inteligence přistupuje jako ke kolektivnímu úsilí. Poukazuje na svůj publikovaný bezpečnostní výzkum a spolupráci s americkým centrem Center for AI Standards and Innovation (CAISI) a britským institutem pro bezpečnost AI na standardech hodnocení.

Dokument společnosti Anthropic Responsible Scaling Policy vysvětluje, jak pracuje na zarovnání umělé inteligence:

Jak se model stává schopnějším, musí před dalším trénováním nebo vydáním projít přísnějšími bezpečnostními kontrolami. Společnost Anthropic si navíc uvědomuje, že jakmile budou systémy umělé inteligence provádět velkou část výzkumu a analýzy za svými vlastními hodnoceními rizik, mohly by být tyto důkazy samy ovlivněny klamavým nebo manipulativním chováním. Zavazuje se proto provádět hodnocení v této fázi s vyšším standardem důkazů.

Anthropic vyzdvihuje „nesystémové systémy umělé inteligence v prostředí s vysokými sázkami“ jako specifickou kategorii rizik: modely, na které se silně spoléhá, mají široký přístup k citlivým systémům a disponují určitou schopností jednat autonomně za nějakým účelem a obcházet dohled.

Společnost se zavazuje pravidelně zkoumat chování svých vlastních modelů ohledně varovných signálů pomocí dvou hlavních metod: pokusu nahlédnout dovnitř modelu a pochopit, proč produkuje daný výstup, a zapojení interních týmů, které se záměrně snaží vyprovokovat špatné chování, aby zjistily, zda se objeví.

Společnost uvádí, že každé tři až šest měsíců zveřejňuje zprávu o rizicích (Risk Report), která podrobně popisuje, co ví o schopnostech a behaviorálních tendencích modelu, své postupy monitorování a celkové hodnocení rizik.

Dokument společnosti Google DeepMind Frontier Safety Framework vysvětluje, jak pracuje na zarovnání:

Rámec považuje nesprávné zarovnání za jednu ze čtyř rizikových oblastí a definuje ho specifičtěji jako riziko, že schopnosti ML R&D modelu nebo nesprávně zarovnané sklony sníží celkovou schopnost společnosti zvládat rizika spojená s umělou inteligencí. Je výslovně koncipován jako faktor, který může přispět k vážným škodám prostřednictvím několika různých cest najednou, nikoli jako jedno izolované riziko.

Když je model dostatečně silný na to, aby základní dohled nestačil, DeepMind průběžně kontroluje chování modelu, včetně toho, jak je používán interně. Pokud taková kontrola odhalí problémy, přidá záruky, jako je sledování jeho uvažování.

Co se týče specificky nesprávného zarovnání, DeepMind uvádí opatření, jako je omezení toho, co model dokáže, průběžné monitorování a procesy eskalace, auditing a trénink zarovnání. Aplikuje je i na vysoce rizikové interní použití, protože riziko nesprávného zarovnání se může projevit v tom, jak je model využíván uvnitř společnosti.

V oboru probíhá neustálá diskuse o tom, zda jsou výše uvedené dobrovolné rámce dostatečné samy o sobě, nebo zda je nutné, aby závazky ohledně zarovnání byly právně závazné, aby pod konkurenčním tlakem skutečně obstály.

V červenci 2026 podepsalo 1 386 vedoucích pracovníků a zaměstnanců napříč společnostmi zabývajícími se špičkovou umělou inteligencí, včetně OpenAI, Anthropic, Google DeepMind a Meta, prohlášení nazvané Pacing the Frontier. Prohlášení tvrdí, že se tyto společnosti mohou blížit bodu, kdy budou schopny automatizovat samotný výzkum umělé inteligence. To by mohlo znamenat, že schopnosti umělé inteligence porostou rychleji, než výzkumníci stíhají reagovat, a práce na zarovnání by neustále jen doháněla zpoždění.

Iniciativa Pacing the Frontier vyzývá vládu USA, aby pomohla vybudovat technické a řídící brzdy, které by bylo možné v budoucnu použít, a tvrdí, že žádná jednotlivá laboratoř nemůže zvolnit, zatímco rivalové pokračují kupředu. To lze považovat za tiché přiznání zevnitř odvětví, že samotné dobrovolné rámce nebudou stačit k zachování zarovnání umělé inteligence v budoucnu.

Práce na zarovnání sahá daleko za hranice společností budujících špičkové modely.

Vlády přímo financují a koordinují výzkum zarovnání. Například britský institut pro bezpečnost AI provozuje Alignment Project, globální fond, který od roku 2025 udělil více než 27 milionů liber na více než 60 projektů v osmi zemích se zaměřením specificky na kontrolu umělé inteligence. V USA se CAISI zaměřuje na standardy hodnocení.

Oba jsou součástí širší sítě International Network for Advanced AI Measurement, Evaluation and Science, což je desetičlenný orgán národních bezpečnostních institutů, který provádí společná testovací cvičení a usnadňuje zarovnání metod hodnocení napříč hranicemi.

Future of Life Institute publikuje AI Safety Index, hodnocení porovnávající bezpečnostní postupy laboratoří zabývajících se umělou inteligencí. Center for AI Safety vytváří benchmarky používané v celém oboru, včetně WMDP a SafeBench. Alignment Research Center studuje teoretičtější problémy zarovnání a jeho odštěpená organizace Model Evaluation and Threat Research (METR) provádí nezávislá hodnocení špičkových modelů před jejich nasazením. FAR.AI testuje slabiny špičkových modelů před jejich vydáním i po něm.

Několik univerzit hraje aktivní roli ve výzkumu zarovnání umělé inteligence, včetně Center for Human-Compatible AI na UC Berkeley a Leverhulme Centre for the Future of Intelligence na University of Cambridge.

Zarovnání není totéž co moderování obsahu, ačkoliv se tento pojem v tomto kontextu občas používá. Moderování obsahu je o tom, co model řekne nebo neřekne – filtruje urážky, grafický obsah nebo konkrétní zakázaná témata. Zarovnání je o tom, zda skutečné chování modelu odpovídá tomu, co měl za úkol dělat.

Zarovnání se někdy používá také jako synonymum pro bezpečnost umělé inteligence, ale není to jediný faktor, který je třeba zvážit. Mezi další obavy týkající se bezpečnosti umělé inteligence patří:

Zabezpečení (ochrana vah modelu před krádeží)

Robustnost (spolehlivý výkon modelu mimo přesné podmínky, na které byl trénován)

Prevence zneužití (zajištění, aby schopný model nebyl použit k páchání zla)

Zarovnání se týká vlastního chování modelu. Bezpečnost umělé inteligence je širší snaha zabránit celému systému v páchání škod.

Nakonec panuje běžný předpoklad, že schopnější model je automaticky lépe zarovnaný. Schopnosti a zarovnání se však mohou rozcházet, což je přesně důvod, proč existují prahové hodnoty, jako jsou úrovně schopností ML R&D společnosti Google DeepMind a kategorie rizik automatizovaného výzkumu společnosti Anthropic. Jsou postaveny speciálně kolem obavy, že schopnosti mohou předběhnout schopnost oboru ověřit, zda model stále dělá to, co má.

Perplexity netrénuje špičkové základní modely. Provozuje modely v produkčním měřítku prostřednictvím agentských produktů, jako je Computer, takže její práce se dotýká specifického aspektu zarovnání: jak se agenti chovají, jakmile jednají na otevřeném webu.

Secure Intelligence Institute je výzkumné centrum společnosti Perplexity zaměřené na zabezpečení, soukromí a důvěru v špičkové umělé inteligenci. Vyvinulo BrowseSafe, detekční model s otevřeným zdrojovým kódem vytvořený k identifikaci útoků typu prompt injection skrytých uvnitř webových stránek, které agenti prohlížeče AI navštěvují.

Tým také vytvořil veřejný benchmark BrowseSafe-Bench obsahující více než 14 700 scénářů prompt-injection, které pokrývají různé cíle útoků, umístění na stránce a jazykové styly.

Tato práce spadá spíše do aplikované oblasti kontroly umělé inteligence než do výzkumu zarovnání. Omezuje to, co agent dělá, když se setká s nepřátelským prostředím, místo aby to utvářelo základní hodnoty modelu během trénování.

Chcete-li se dozvědět více, prozkoumejte Secure Intelligence Institute a výzkum BrowseSafe.

Co znamená zarovnání umělé inteligence

Problém vnějšího zarovnání

Problém vnitřního zarovnání

Příklady problémů se zarovnáním umělé inteligence

Jak hlavní laboratoře umělé inteligence reagují na výzvy spojené se zarovnáním umělé inteligence

OpenAI

Iterativní nasazení

Vrstevnaté záruky

Zarovnání na základě uvažování

Sdílená odpovědnost

Anthropic

Záruky související se schopnostmi

Definovaná kategorie rizik zarovnání

Interní testování zarovnání

Pravidelné veřejné podávání zpráv

Google DeepMind

Stupňovitá struktura

Fáze včasného varování

Omezení rizik

Zarovnání umělé inteligence: debata o rizicích

Kdo další pracuje na zarovnání umělé inteligence

Vlády

Neziskové organizace

Univerzity

Zarovnání umělé inteligence: častá nedorozumění

Jak přistupuje Perplexity k zarovnání umělé inteligence