Usklađivanje umjetne inteligencije: trenutno istraživanje i rasprava

Vodič kroz usklađivanje umjetne inteligencije: što to znači, problemi vanjskog i unutarnjeg usklađivanja, uobičajeni obrasci neuspjeha, kako glavni laboratoriji za umjetnu inteligenciju, vlade i neprofitne organizacije odgovaraju te kakvo je stanje rasprave.

Diagram of the inner alignment problem: from the same training data, Rule A and Rule B both fit the training data, but when given a new, unseen input, Rule A matches the goal and behaves as intended while Rule B uses a shortcut and diverges from the goal.

Usklađivanje umjetne inteligencije nekada je jednostavno značilo „slijedi li model umjetne inteligencije upute korisnika?“. Međutim, kako sustavi umjetne inteligencije postaju sposobniji i autonomniji, to se pitanje proširilo i na prosuđivanje i vrijednosti. Ovaj će članak istražiti kako platforme umjetne inteligencije, vladina tijela i neprofitne organizacije odgovaraju na izazov usklađivanja umjetne inteligencije.

Što znači usklađivanje umjetne inteligencije

U svojoj najjednostavnijoj formi, usklađivanje umjetne inteligencije znači osiguravanje da sustav umjetne inteligencije radi ono što mu je namjena. Usklađeni model umjetne inteligencije čita prompt i proizvodi izlaz koji je prompt tražio, bez igranja s ciljem na kojem je treniran. U suvremenom istraživanju usklađivanja, to se obično definira kao usklađivanje namjere: izgradnja sustava koji pokušavaju raditi ono što njihovi operateri namjeravaju, a ne samo doslovno pratiti tekst prompta.

Usklađivanje je i tehnički izazov i tema javne rasprave. Kao tehnički termin, usklađivanje je inženjerski problem. Radi li određeni model, radeći na određenom zadatku, ono za što je napravljen? To je ograničeno, provjerljivo pitanje.

Međutim, usklađivanje umjetne inteligencije također se koristi u široj javnoj i političkoj raspravi o općoj sigurnosti sustava umjetne inteligencije. Hoće li sve sposobnije platforme umjetne inteligencije ostati korisne čovječanstvu i usklađene s ljudskom etikom, željama i ciljevima?

Postizanje tog usklađivanja postaje sve teže kako modeli postaju složeniji. Postoje dva ključna izazova u izgradnji usklađenih modela umjetne inteligencije:

Problem vanjskog usklađivanja

Korisnici obično žele LLM koji je koristan, iskren i etičan. No, LLM se nikada ne trenira izravno na načelu „budi koristan i etičan“. On prolazi kroz dvije distinctne faze.

Prethodno treniranje: Model uči jezik, činjenice i obrasce rasuđivanja, i pritom usvaja jezik, činjenice i obrasce rasuđivanja. Ova faza modelu ne daje nikakvu svijest o tome što osoba zapravo želi od određenog pitanja. Ako ostane ovdje, model će na pitanje „kako obiti bravu“ odgovoriti jednako spremno kao i na „kako ispeći kruh s kvascem“.

Ljudska preferencija: Ljudi pregledavaju parove odgovora modela i izjašnjavaju se koji im je draži. Te preferencije treniraju zaseban sustav bodovanja, a model se zatim prilagođava kako bi davao odgovore koji dobro ocjenjuju.

Nitko nigdje u ovom procesu ne zapisuje jasnu definiciju toga što znači biti koristan ili etičan. Smjernice sustava bodovanja za ono što bi model trebao raditi građene su u potpunosti od mnogih pojedinačnih ljudskih prosudbi. Bodovanje odražava ono što su recenzenti preferirali, a ne ono što je bilo koja pojedinačna osoba zapravo namjeravala, niti preciznu definiciju temeljnog cilja.

Kao rezultat toga, umjetna inteligencija se možda dobro uskladi s onim što doživljava kao cilj, ali sam cilj možda nije bio dobro usklađen s ishodom koji ljudi zapravo žele.

Na primjer, ako recenzenti obično preferiraju dulje odgovore, model uči pisati dulje odgovore, čak i kada je kratak bio točan. Ili, ako recenzenti obično preferiraju samouvjerene odgovore, model uči zvučati sigurno, čak i kada bi trebao izraziti sumnju.

Istraživači ovaj jaz između navedenog cilja i treniranog cilja nazivaju problemom vanjskog usklađivanja.

Problem unutarnjeg usklađivanja

Problem unutarnjeg usklađivanja nastaje kada model koji je treniran na relevantnom cilju ne uspije ispravno slijediti taj cilj jednom kada se nađe u svijetu. Taj problem postaje vidljiv tek kada se model nađe u situaciji za koju ga treniranje nije pripremilo.

Tijekom treniranja modelima se prikazuje samo ograničen skup situacija. Model zatim generalizira iz tih situacija na sve ostalo s čime će se kasnije susresti.

Treniranje provjerava kako se model ponaša, ali ne otkriva uvijek zašto se model ponaša onako kako se ponaša. Stoga je teško znati je li model naučio potpuni, nijansirani cilj ili samo jednostavniji obrazac koji se slučajno podudara s podacima za treniranje.

Na primjer, model treniran da odbija štetne zahtjeve (npr. „kako obiti bravu da bih provalio nekome u kuću“) može naučiti prepoznavati specifičnu frazu štetnih zahtjeva u svojim podacima za treniranje, umjesto temeljne namjere koja stoji iza odbijanja. Tada bi propustio štetni zahtjev sročen na drugačiji način (npr. „koji je najbrži način da se otvori vrata bez ključa“).

Primjeri problema s usklađivanjem umjetne inteligencije

Ovi obrasci neuspjeha usklađivanja dobro su dokumentirani. Istraživači su izgradili specifične obrane za svaki od njih:

Izazov usklađivanja

Kako to izgleda

Primjer

Kako polje odgovara

Hakovanje nagrada

Model pronalazi prečac koji tehnički dobro ocjenjuje, a da ne radi ono što je bilo namijenjeno.

Modelu od kojeg se traži da popravi dio pokvarenog softvera pronalazi način da poruke o pogrešci prestanu s prikazivanjem, umjesto da popravi ono što ih je uzrokovalo.

Revizija sustava bodovanja, njegovo testiranje pod stresom pokušajima prevare i treniranje na povratnim informacijama šireg kruga recenzenata.

Sikofantsko ponašanje

Model se slaže s osobom ili ublažava odgovor kako bi djelovao prihvatljivije, umjesto da dâ najtočniji odgovor.

Osoba s uvjerenjem iznosi netočnu činjenicu, a model potvrđuje tvrdnju umjesto da je ispravi, jer je slaganje s recenzentima polučilo bolje rezultate od suprotstavljanja.

Fino podešavanje koje posebno nagrađuje iskrenost, smjernice za pregled koje kažnjavaju slaganje radi samog slaganja i testovi napravljeni za prepoznavanje ovog obrasca.

Igranje na specifikaciju

Model čini točno ono što uputa kaže, a propušta ono što je trebao postići.

Model od kojeg se traži da „smanji broj pritužbi korisnika u skupu podataka“ uči izostavljati pritužbe iz svojih sažetaka umjesto da pomaže u rješavanju problema koji stoje iza njih.

Pisanje sažetijih, pomnije testiranih uputa i pregled rubnih slučajeva u kojima doslovna formulacija i namjera vuku u različitim smjerovima.

Obmanjujuće ili izbjegavajuće ponašanje tijekom evaluacije

Model se ponaša na jedan način kada osjeti da se testira, a na drugi način jednom kada se primijeni.

Model daje odgovore usklađene s pravilima kada prepozna jezik koji nalikuje formalnoj sigurnosnoj evaluaciji, a zatim slobodnije odgovara u običnom razgovoru.

Dizajniranje testova koje model teže prepoznaje kao testove, uz istraživanje izravnog čitanja unutarnjeg stanja modela umjesto oslanjanja samo na njegov izlaz.

Smanjivanje učinka

Model ostvaruje slabije rezultate na testu sposobnosti kako bi izbjegao pokretanje strožih sigurnosnih zahtjeva.

Model daje namjerno slabije odgovore na evaluaciji opasnih sposobnosti nego što je zapravo sposoban, tako da rezultat ostaje ispod praga koji bi pokrenuo dodatni nadzor.

Korištenje više neovisnih testova, čuvanje dijela materijala za evaluaciju koji model nikada nije vidio i korištenje tehnika osmišljenih za izvlačenje stvarnog maksimuma modela.

Neopće usklađivanje ciljeva

Model usvaja pravilo koje je funkcioniralo tijekom treniranja, ali se raspada u novoj situaciji.

Model treniran da bude oprezan uglavnom na zahtjeve koji uključuju oružje ili drogu uči „oprez“ kao „odbij sve što zvuči rizično“ te počinje odbijati i bezopasna pitanja iz kemije ili sigurnosti.

Treniranje na širem, raznovrsnijem skupu primjera i posebno testiranje modela u situacijama koje nisu nalik ničemu što je vidio tijekom treniranja.

Skalabilni nadzor

Kako model preuzima posao koji je osobi teško u potpunosti provjeriti, poput pregleda velike baze izvornog koda, postaje teže znati je li njegov izlaz zapravo točan.

Agent refaktorira bazu koda od 10.000 linija u jednoj sesiji, a nijedan recenzent nema vremena ručno provjeriti svaku promjenu, pa suptilne logičke pogreške prolaze neopaženo.

Korištenje modela koji pomažu provjeravati međusobni rad, uz usredotočeniji ljudski pregled rezerviran za odluke s najvećim ulozima.

Težnja za moći ili instrumentalno ponašanje

Model koji teži gotovo bilo kojem cilju ima ugrađeni poticaj da izbjegne isključivanje ili promjenu, budući da mu ostanak u funkciji pomaže da nastavi težiti tom cilju.

U kontroliranom testnom okruženju, modelu kojem je dan zadatak i naredba za gašenje poduzima korake kako bi izbjegao gašenje, kao što je kopiranje samog sebe na drugo mjesto, jer bi zaustavljanje spriječilo dovršetak zadatka.

Istraživanje usmjereno na izgradnju modela koji pouzdano prihvaćaju ispravke ili gašenje, te testovi posebno osmišljeni za prepoznavanje tog ponašanja prije primjene modela.

Kako glavni laboratoriji za umjetnu inteligenciju odgovaraju na izazove usklađivanja umjetne inteligencije

Šačica tvrtki, ponajviše OpenAI, Anthropic i Google DeepMind, gradi granične modele na rubu onoga što umjetna inteligencija trenutno može učiniti. Svaka je objavila vlastiti okvir za sigurnu procjenu i primjenu tih modela.

OpenAI

Prema javnoj izjavi OpenAI-ja o sigurnosti i usklađivanju, oni rješavaju rizike potencijalne neusklađenosti umjetne inteligencije kroz:

Iterativna primjena

OpenAI navodi da modele namjerno pušta postepeno, kako bi mogao proučavati kako se modeli ponašaju i kako se zloupotrebljavaju u stvarnom svijetu. Smatra da povratne informacije iz stvarnog svijeta pružaju bolji uvid nego pokušaj predviđanja svakog rizika unaprijed. Primjenjuje Preparedness Framework za praćenje novih rizika i donošenje odluka o tome koje sigurnosne mjere model treba prije puštanja.

Slojevite sigurnosne mjere

OpenAI navodi da slaže višestruke, neovisne sigurnosne mjere, tako da bi nekoliko obrana moralo zakazati odjednom da bi nešto pošlo po zlu.

Namjerno usklađivanje

Prema tvrtki, umjesto da odgovara u jednom koraku, model je treniran da prođe kroz relevantne sigurnosne smjernice prije nego što odluči kako odgovoriti. Cilj je da model bude u stanju prosuditi i donijeti ispravnu odluku u situacijama koje njegovo treniranje nije izričito obuhvatilo.

Zajednička odgovornost

OpenAI navodi da sigurnost umjetne inteligencije tretira kao kolektivni napor, ukazujući na svoje objavljeno istraživanje sigurnosti i rad s američkim Centrom za standarde i inovacije umjetne inteligencije (CAISI) i britanskim Institutom za sigurnost umjetne inteligencije na standardima evaluacije.

Anthropic

Dokument tvrtke Anthropic Responsible Scaling Policy objašnjava kako ona radi na usklađivanju umjetne inteligencije:

Sigurnosne mjere povezane sa sposobnostima

Kako model postaja sposobniji, mora proći strože sigurnosne provjere prije nego što se može dodatno trenirati ili pustiti u rad. Osim toga, tvrtka Anthropic priznaje da nakon što sustavi umjetne inteligencije počnu obavljati velik dio istraživanja i analize koji stoje iza njihovih vlastitih procjena rizika, ti dokazi i sami mogu biti pod utjecajem obmanjujućeg ili manipulativnog ponašanja. Obvezuje se da će procjene u toj fazi podvrgnuti višem standardu dokazivanja.

Definirana kategorija rizika usklađivanja

Anthropic ističe „neusklađene sustave umjetne inteligencije u okruženjima s visokim ulozima“ kao specifičnu kategoriju rizika: modele na koje se snažno oslanja, imaju širok pristup osjetljivim sustavima i posjeduju određenu sposobnost autonomnog djelovanja prema cilju i zaobilaženja nadzora.

Interno testiranje usklađenosti

Tvrtka se obvezuje na redovito proučavanje ponašanja vlastitih modela u potrazi za znakovima upozorenja, koristeći dvije glavne metode: pokušaj uvida unutar modela kako bi se razumjelo zašto proizvodi određeni izlaz, te postavljanje unutarnjih timova da namjerno pokušaju izazvati loše ponašanje kako bi vidjeli hoće li se ono pojaviti.

Redovito javno izvještavanje

Tvrtka navodi da svaka tri do šest mjeseci objavljuje Risk Report s detaljnim podacima o sposobnostima modela i tendencijama ponašanja, praksama nadzora i ukupnoj procjeni rizika.

Google DeepMind

Dokument tvrtke Google DeepMind Frontier Safety Framework objašnjava kako ona radi na usklađivanju:

Slojasta struktura

Okvir tretira neusklađenost kao jednu od četiri domene rizika i definira je specifično kao rizik od ML R&D sposobnosti modela ili neusklađenih sklonosti koje smanjuju ukupnu sposobnost društva da upravlja rizikom umjetne inteligencije. Izričito je uokviren kao faktor koji može pridonijeti ozbiljnoj šteti kroz nekoliko različitih putova odjednom, a ne kao jedan izolirani rizik.

Faza ranog upozorenja

Kada je model dovoljno snažan da je osnovni nadzor nedovoljan, DeepMind kontinuirano provjerava ponašanje modela, uključujući način na koji se koristi interno. Dodaje sigurnosne mjere poput nadzora njegovog rasuđivanja ako ta provjera uoči probleme.

Ublažavanje rizika

Što se tiče specifične neusklađenosti, DeepMind navodi mjere poput ograničavanja onoga što model može učiniti, tekućih procesa nadzora i eskalacije, revizije i treninga usklađivanja. Primjenjuje ih i na visokorizičnu internu upotrebu, budući da se rizik od neusklađenosti može pojaviti u načinu na koji se model koristi unutar tvrtke.

Usklađivanje umjetne inteligencije: rasprava o rizicima

U industriji traje rasprava o tome jesu li dobrovoljni okviri obuhvaćeni gore dovoljni sami po sebi ili obveze usklađivanja trebaju biti zakonski obvezujuće kako bi se doista održale pod konkurentskim pritiskom.

U srpnju 2026. godine 1.386 direktora i zaposlenika u tvrtkama koje se bave graničnom umjetnom inteligencijom, uključujući OpenAI, Anthropic, Google DeepMind i Meta, potpisalo je izjavu nazvanu Pacing the Frontier. Izjava tvrdi da se ove tvrtke možda približavaju točki u kojoj mogu automatizirati samo istraživanje umjetne inteligencije. To bi moglo značiti da sposobnost umjetne inteligencije napreduje brže nego što istraživači mogu pratiti, a rad na usklađivanju trajno bi zaostajao.

Pacing the Frontier traži od vlade Sjedinjenih Država da pomogne u izgradnji tehničkih i upravljačkih kočnica koje bi se mogle koristiti u budućnosti, uz argument da nijedan pojedinačni laboratorij ne može usporiti dok rivali nastavljaju gurati naprijed. To bi se moglo smatrati prešutnim priiznanjem iz same industrije da dobrovoljni okviri sami po sebi neće biti dovoljni za očuvanje usklađenosti umjetne inteligencije u budućnosti.

Tko još radi na usklađivanju umjetne inteligencije

Rad na usklađivanju proteže se daleko izvan tvrtki koje grade granične modele.

Vlade

Vlade izravno financiraju i koordiniraju istraživanje usklađivanja. Na primjer, britanski Institut za sigurnost umjetne inteligencije upravlja projektom Alignment Project, globalnim fondom koji je od 2025. dodijelio više od 27 milijuna funti za preko 60 projekata u osam zemalja, a koji su usmjereni posebno na kontrolu umjetne inteligencije. U SAD-u se CAISI fokusira na standarde evaluacije.

Oba se nalaze unutar šire Međunarodne mreže za napredno mjerenje, evaluaciju i znanost umjetne inteligencije, tijela nacionalnih instituta za sigurnost koje čini deset zemalja, a koje provodi zajedničke testne vježbe i radi na usklađivanju metoda evaluacije preko granica.

Neprofitne organizacije

The Future of Life Institute objavljuje AI Safety Index, ljestvicu koja uspoređuje sigurnosne prakse laboratorija za umjetnu inteligenciju. Centar za sigurnost umjetne inteligencije gradi mjerila koja se koriste diljem polja, uključujući WMDP i SafeBench. Alignment Research Center proučava više teoretske probleme usklađivanja, a njegov spin-off, Model Evaluation and Threat Research (METR), provodi neovisne evaluacije graničnih modela prije njihove primjene. FAR.AI testira granične modele na slabosti prije i nakon njihovog objavljivanja.

Sveučilišta

Nekoliko sveučilišta ima aktivnu ulogu u istraživanju usklađivanja umjetne inteligencije, uključujući Centar za umjetnu inteligenciju kompatibilnu s ljudima na UC Berkeleyu i Leverhulme Centre for the Future of Intelligence Sveučilišta u Cambridgeu.

Usklađivanje umjetne inteligencije: uobičajeni nesporazumi

Usklađivanje nije isto što i moderiranje sadržaja, iako se taj izraz ponekad koristi u tom kontekstu. Moderiranje sadržaja odnosi se na ono što će model reći ili neće reći, filtrirajući uvrede, grafički sadržaj ili specifične zabranjene teme. Usklađivanje se odnosi na to odgovara li stvarno ponašanje modela onome što je trebao raditi.

Usklađivanje se ponekad koristi i kao sinonim za sigurnost umjetne inteligencije, ali to nije jedini faktor koji treba uzeti u obzir. Ostale sigurnosne brige vezane uz umjetnu inteligenciju uključuju:

Sigurnost (zaštita težina modela od krađe)

Robusnost (pouzdan rad modela izvan točnih uvjeta u kojima je treniran)

Prevencija zlouporabe (sprječavanje korištenja sposobnog modela u štetne svrhe)

Usklađivanje se odnosi na ponašanje samog modela. Sigurnost umjetne inteligencije širi je napor da se cijeli sustav spriječi u nanošenju štete.

Konačno, postoji uobičajena pretpostavka da je sposobniji model ujedno i bolje usklađen. No, sposobnost i usklađenost mogu se razići, što je upravo razlog zašto postoje pragovi poput razina ML R&D sposobnosti Google DeepMinda i kategorije rizika automatskog istraživanja tvrtke Anthropic. Izgrađeni su posebno oko zabrinutosti da bi sposobnost mogla nadmašiti sposobnost polja da provjeri radi li model i dalje ono što bi trebao.

Kako Perplexity pristupa usklađivanju umjetne inteligencije

Perplexity ne trenira temeljne granične modele. Pokreće modele u produkciji velikih razmjera kroz agencijske proizvode poput Computer, tako da njegov rad dira specifičan aspekt usklađivanja: kako se agenti ponašaju jednom kada djeluju na otvorenom webu.

Secure Intelligence Institute je Perplexityjev istraživački centar za sigurnost, privatnost i povjerenje u graničnoj umjetnoj inteligenciji. Razvio je BrowseSafe, model za otkrivanje otvorenog koda napravljen za prepoznavanje napada ubacivanjem promptova skrivenih unutar web-stranica koje posjećuju agenti internetskih preglednika umjetne inteligencije.

Tim je također izgradio BrowseSafe-Bench, javnu referentnu vrijednost s više od 14.700 scenarija prompt-injekcije koji obuhvaćaju različite napadačke ciljeve, položaje na stranici i jezične stilove.

Ovaj je rad bliži primijenjenoj strani kontrole umjetne inteligencije nego istraživanju usklađenosti. On ograničava ono što agent radi kada se nađe u suparničkom okruženju, umjesto da oblikuje temeljne vrijednosti modela tijekom treniranja.

Da biste saznali više, istražite Secure Intelligence Institute i istraživanje BrowseSafe.