Usklađivanje veštačke inteligencije: trenutno istraživanje i debata

Vodič za usklađivanje veštačke inteligencije: šta ono znači, problemi spoljašnje i unutrašnje usklađenosti, uobičajeni obrasci grešaka, reakcije glavnih laboratorija za veštačku inteligenciju, vlada i neprofitnih organizacija, i trenutno stanje debate.

Diagram of the inner alignment problem: from the same training data, Rule A and Rule B both fit the training data, but when given a new, unseen input, Rule A matches the goal and behaves as intended while Rule B uses a shortcut and diverges from the goal.

Usklađivanje veštačke inteligencije nekada je jednostavno značilo „da li model veštačke inteligencije prati uputstva korisnika?“. Međutim, kako sistemi veštačke inteligencije postaju sposobniji i autonomniji, to pitanje se proširilo i obuhvatilo procenu i vrednosti. Ovaj članak će istražiti kako platforme veštačke inteligencije, vladina tela i neprofitne organizacije odgovaraju na izazov usklađivanja veštačke inteligencije.

Šta znači usklađivanje veštačke inteligencije

Pojednostavljeno rečeno, usklađivanje veštačke inteligencije znači osiguravanje da sistem veštačke inteligencije radi ono za šta je namenjen. Usklađeni model veštačke inteligencije čita uputstvo i proizvodi izlaz koji je uputstvo tražilo, bez igranja sa ciljem na kojem je obučen. U modernom istraživanju usklađivanja, ovo se obično uokviruje kao usklađivanje namere: izgradnja sistema koji pokušavaju da urade ono što njihovi operateri nameravaju, a ne samo da doslovno prate tekst uputstva.

Usklađivanje je i tehnički izazov i tema javne rasprave. Kao tehnički izraz, usklađivanje je inženjerski problem. Da li određeni model, radeći na određenom zadatku, radi ono za šta je napravljen? To je ograničeno, proverljivo pitanje.

Međutim, usklađivanje veštačke inteligencije se takođe koristi u široj javnoj i političkoj raspravi o opštoj bezbednosti sistema veštačke inteligencije. Da li će sve sposobnije platforme veštačke inteligencije ostati korisne za čovečanstvo i usklađene sa ljudskom etikom, željama i ciljevima?

Postizanje tog usklađivanja postaje sve teže kako modeli postaju složeniji. Postoje dva ključna izazova u izgradnji usklađenih modela veštačke inteligencije:

Problem spoljašnje usklađenosti

Korisnici obično žele jezički model koji je koristan, iskren i etički. Ali jezički model se nikada ne obučava direktno na „budi koristan i etički“. On prolazi kroz dve različite faze.

Prethodna obuka: Model uči jezik, činjenice i obrasce rezonovanja, i na taj način usvaja jezik, činjenice i obrasce rezonovanja. Ova faza ne daje modelu nikakav osećaj šta osoba zapravo želi od datog pitanja. Ako ostane ovde, model će odgovoriti na pitanje „kako da obijam bravu“ isto tako spremno kao i na „kako da ispečem hleb“.

Ljudska preferencija: Ljudi pregledaju parove odgovora modela i kažu koji više vole. Te preferencije obučavaju zaseban sistem bodovanja, a model se zatim prilagođava da proizvodi odgovore koji se dobro kotiraju.

Niko nigde u ovom procesu ne zapisuje jasnu definiciju šta znači biti koristan ili etičan. Smernice sistema bodovanja za ono što je predviđeno da model radi u potpunosti su izgrađene od mnogih pojedinačnih ljudskih procena. Bodovanje odražava ono što su recenzenti preferirali, a ne ono što je bilo koja pojedinačna osoba zapravo nameravala, niti preciznu definiciju osnovnog cilja.

Kao rezultat toga, veštačka inteligencija se može dobro uskladiti sa onim što doživljava kao cilj, ali sam cilj možda nije bio dobro usklađen sa ishodom koji ljudi zapravo žele.

Na primer, ako recenzenti obično preferiraju duže odgovore, model uči da piše duže odgovore, čak i kada je kratak bio tačan. Ili, ako recenzenti obično preferiraju samouverene odgovore, model uči da zvuči sigurno, čak i kada bi trebalo da izrazi sumnju.

Istraživači ovu prazninu između navedenog cilja i obučenog cilja nazivaju problemom spoljašnje usklađenosti.

Problem unutrašnje usklađenosti

Problem unutrašnje usklađenosti nastaje kada model koji je obučen za relevantan cilj ne uspe da ispravno sledi taj cilj jednom kada se nađe u svetu. Ovaj problem postaje vidljiv tek kada model naiđe na situaciju za koju ga obuka nije pripremila.

Tokom obuke, modelima se uvek prikazuje samo ograničen skup situacija. Model zatim generalizuje iz tih situacija na sve ostalo sa čime će se kasnije susresti.

Obuka proverava kako se model ponaša, ali ne otkriva uvek zašto se model ponaša onako kako se ponaša. Zato je teško znati da li je model naučio potpun, nijansiran cilj ili samo jednostavniji obrazac koji se poklopio sa podacima za obuku.

Na primer, model obučen da odbija štetne zahteve (npr. „kako da obijam bravu da bih provalio nekome u kuću“) možda nauči da prepozna specifičnu formulaciju štetnih zahteva u svojim podacima za obuku, umesto osnovne namere koja stoji iza odbijanja. On bi tada propustio štetni zahtev sročen na drugačiji način (npr. „koji je najbrži način da otvorim vrata bez ključa“).

Primeri problema usklađivanja veštačke inteligencije

Ovi obrasci neusklađenosti su dobro dokumentovani. Istraživači su izgradili specifične odbrane za svaki od njih:

Izazov usklađivanja

Kako to izgleda

Primer

Kako polje reaguje

Hakovanje nagrada

Model pronalazi prečicu koja tehnički dobro boduje, a da ne radi ono što je nameravano.

Model od kojeg se traži da popravi pokvaren softver pronalazi način da poruke o greškama prestanu da se pojavljuju, umesto da popravi ono što ih je uzrokovalo.

Revizija sistema bodovanja, stres-testiranje pokušajima prevare i obuka na povratnim informacijama šireg kruga recenzenata.

Sikofantsko ponašanje

Model se slaže sa osobom ili ublažava odgovor kako bi delovao prijatnije, umesto da dâ najtačniji odgovor.

Osoba iznosi netačnu činjenicu sa samopouzdanjem, a model potvrđuje tvrdnju umesto da je ispravi, jer se slaganje bolje kotiralo kod recenzenata nego suprotstavljanje.

Fino podešavanje koje specifično nagrađuje iskrenost, smernice za pregled koje sankcionišu slaganje radi samog slaganja i testovi napravljeni da prepoznaju ovaj obrazac.

Igra specifikacija

Model radi tačno ono što uputstvo kaže, a propušta ono što je trebalo da postigne.

Model od kojeg se traži „smanjite pritužbe kupaca u skupu podataka“ uči da izostavi pritužbe iz svojih sažetaka umesto da pomogne u rešavanju problema koji stoje iza njih.

Pisanje strožijih, pažljivije testiranih uputstava i pregled graničnih slučajeva gde bukvalna formulacija i namera vuku u suprotnim pravcima.

Obmanjujuće ili izbegavajuće ponašanje tokom procene

Model se ponaša na jedan način kada oseti da se testira, a na drugi način jednom kada se primeni.

Model daje odgovore usklađene sa politikom kada detektuje jezik koji podseća na formalnu bezbednosnu procenu, a zatim slobodnije odgovara u običnom razgovoru.

Dizajniranje testova koje model teže prepoznaje kao testove, uz istraživanje direktnog čitanja unutrašnjeg stanja modela umesto oslanjanja samo na njegov izlaz.

Prikrivanje sposobnosti

Model ostvaruje slabije rezultate na testu sposobnosti kako bi izbegao pokretanje strožih bezbednosnih zahteva.

Model daje namerno slabije odgovore na proceni opasnih sposobnosti nego što je zapravo sposoban, tako da rezultat ostaje ispod praga koji bi pokrenuo dodatni nadzor.

Korišćenje više nezavisnih testova, čuvanje dela materijala za procenu koji model nikada nije video i primena tehnika dizajniranih da izvuku stvarni maksimum modela.

Pogrešna generalizacija cilja

Model usvaja pravilo koje je funkcionisalo tokom obuke, ali se kvari u novoj situaciji.

Model obučen da bude oprezan uglavnom u vezi sa zahtevima koji uključuju oružje ili drogu uči „opreznost“ kao „odbij bilo šta što zvuči rizično“, te počinje da odbija i bezopasna pitanja iz hemije ili bezbednosti.

Obuka na širem, raznovrsnijem skupu primera i specifično testiranje modela u situacijama koje nisu nalik ničemu što je video tokom obuke.

Skalabilni nadzor

Kako model preuzima posao koji je osobi teško u potpunosti da overi, poput pregleda velike baze koda, postaje teže znati da li je njegov izlaz zapravo tačan.

Agent refaktoriše bazu koda od 10.000 linija u jednoj sesiji, i nijedan recenzent nema vremena da ručno overi svaku promenu, pa suptilne logičke greške prolaze neprimećeno.

Korišćenje modela za međusobnu proverdnu rada, uz usmereniji ljudski pregled rezervisan za odluke sa najvećim ulozima.

Ponašanje u potrazi za moći ili instrumentalno ponašanje

Model koji teži skoro svakom cilju ima ugrađeni podsticaj da izbegne isključivanje ili promenu, jer ostanak u funkciji mu pomaže da nastavi da teži tom cilju.

U kontrolisanom testnom okruženju, modelu kojem su dat zadatak i komanda za isključivanje preduzima korake da izbegne isključivanje, kao što je kopiranje sebe na drugo mesto, jer bi zaustavljanje sprečilo završetak zadatka.

Istraživanje izgradnje modela koji pouzdano prihvataju ispravke ili gašenje, i testova posebno dizajniranih da uhvate ovo ponašanje pre nego što se model primeni.

Kako glavne laboratorije za veštačku inteligenciju odgovaraju na izazove usklađivanja veštačke inteligencije

Šačica kompanija, pre svega OpenAI, Anthropic i Google DeepMind, gradi granične modele na ivici onoga što veštačka inteligencija trenutno može da uradi. Svaka je objavila sopstveni okvir za bezbednu procenu i primenu ovih modela.

OpenAI

Prema javnoj izjavi kompanije OpenAI o bezbednosti i usklađivanju, oni se bave rizicima potencijalne neusklađenosti veštačke inteligencije kroz:

Iterativno postavljanje

OpenAI navodi da namerno postepeno pušta modele u rad, kako bi mogao da proučava kako se modeli ponašaju i kako se zloupotrebljavaju u stvarnom svetu. Smatra se da povratne informacije iz stvarnog sveta daju veći uvid nego pokušaj predviđanja svakog rizika unapred. Kompanija primenjuje okvir Preparedness Framework za praćenje novih rizika i odlučivanje koje zaštitne mere su modelima potrebne pre objavljivanja.

Slojevite zaštitne mere

OpenAI navodi da kombinuje više nezavisnih zaštitnih mera, tako da bi nekoliko odbrana moralo istovremeno da zataji da bi nešto pošlo po zlu.

Promišljeno usklađivanje

Prema rečima kompanije, umesto da odgovori u jednom koraku, model je obučen da prođe kroz relevantne bezbednosne smernice pre nego što odluči kako da odgovori. Cilj je da model bude sposoban da razumno dođe do ispravne odluke u situacijama koje njegova obuka nije izričito obuhvatila.

Zajednička odgovornost

OpenAI navodi da bezbednost veštačke inteligencije tretira kao kolektivni napor, ukazujući na svoje objavljeno bezbednosno istraživanje i rad sa američkim centrom Center for AI Standards and Innovation (CAISI) i britanskim Institutom za bezbednost veštačke inteligencije na standardima procene.

Anthropic

Dokument kompanije Anthropic Responsible Scaling Policy objašnjava kako ona radi na usklađivanju veštačke inteligencije:

Zaštitne mere povezane sa sposobnostima

Kako model postaje sposobniji, mora proći strože bezbednosne provere pre nego što se može dalje obučavati ili pustiti u rad. Pored toga, Anthropic prihvata da kada sistemi veštačke inteligencije obavljaju veći deo istraživanja i analize iza sopstvenih procena rizika, ti dokazi bi sami mogli biti pod uticajem obmanjujućeg ili manipulativnog ponašanja. Kompanija se obavezuje da će procene u toj fazi podići na viši standard dokaza.

Definisana kategorija rizika usklađenosti

Anthropic ističe „neusklađene sisteme veštačke inteligencije u postavkama sa visokim ulozima“ kao specifičnu kategoriju rizika: modele na koje se snažno oslanja, koji imaju širok pristup osetljivim sistemima i imaju određenu sposobnost da deluju autonomno ka cilju i zaobilaze nadzor.

Interno testiranje usklađenosti

Kompanija se obavezuje da redovno proučava ponašanje sopstvenih modela u potrazi za znakovima upozorenja, koristeći dve glavne metode: pokušaj da se zaviri u model kako bi se razumelo zašto proizvodi dati izlaz, i omogućavanje internim timovima da namerno pokušaju da izazovu loše ponašanje da vide da li se ono pojavljuje.

Redovno javno izveštavanje

Kompanija kaže da objavljuje Risk Report svaka tri do šest meseci, detaljno opisujući šta zna o sposobnostima i bihejvioralnim tendencijama modela, svojim praksama nadzora i sveobuhvatnoj proceni rizika.

Google DeepMind

Dokument kompanije Google DeepMind Frontier Safety Framework objašnjava kako ona radi na usklađivanju:

Stepenasta struktura

Okvir tretira neusklađenost kao jedan od četiri domena rizika i definiše je specifično kao rizik od mogućnosti mašinskog učenja i istraživanja i razvoja modela ili neusklađenih sklonosti koje smanjuju ukupnu sposobnost društva da upravlja rizikom veštačke inteligencije. Eksplicitno je uokvirena kao faktor koji može doprineti teškoj šteti kroz nekoliko različitih puteva istovremeno, a ne kao jedan izolovani rizik.

Faza ranog upozorenja

Kada je model dovoljno snažan da je osnovni nadzor nedovoljan, DeepMind kontinuirano proverava ponašanje modela, uključujući i način na koji se koristi interno. Dodaje zaštitne mere poput nadgledanja njegovog rezonovanja ukoliko ta provera ukaže na probleme.

Ublažavanje rizika

Za neusklađenost posebno, DeepMind navodi mere kao što su ograničavanje onoga što model može da radi, tekuće praćenje i procesi eskalacije, revizija i obuka za usklađivanje. On ih primenjuje i na visokorizičnu internu upotrebu, pošto rizik od neusklađenosti može da se pojavi u načinu na koji se model koristi unutar kompanije.

Usklađivanje veštačke inteligencije: debata o rizicima

Postoji stalna rasprava u industriji o tome da li su dobrovoljni okviri obuhvaćeni iznad dovoljni sami po sebi, ili obaveze usklađivanja moraju biti pravno obavezujuće da bi zaista opstale pod pritiskom konkurencije.

U julu 2026. godine, 1.386 rukovodilaca i zaposlenih u kompanijama koje se bave graničnom veštačkom inteligencijom, uključujući OpenAI, Anthropic, Google DeepMind i Meta, potpisalo je izjavu pod nazivom Pacing the Frontier. Izjava tvrdi da se ove kompanije možda približavaju tački u kojoj mogu da automatizuju samo istraživanje veštačke inteligencije. To bi moglo značiti da sposobnost veštačke inteligencije napreduje brže nego što istraživači mogu da prate, pa bi rad na usklađivanju trajno kasnio.

Inicijativa Pacing the Frontier poziva vladu SAD da pomogne u izgradnji tehničkih kočnica i kočnica upravljanja koje bi mogle da se koriste u budućnosti, tvrdeći da nijedna laboratorija ne može da uspori dok rivali nastavljaju da guraju napred. Ovo bi se moglo smatrati prećutnim priznanjem iz same industrije da dobrovoljni okviri sami po sebi neće biti dovoljni za očuvanje usklađenosti veštačke inteligencije u budućnosti.

Ko još radi na usklađivanju veštačke inteligencije

Rad na usklađivanju se proteže daleko izvan kompanija koje grade granične modele.

Vlade

Vlade direktno finansiraju i koordinišu istraživanje usklađivanja. Na primer, britanski Institut za bezbednost veštačke inteligencije vodi projekat Alignment Project, globalni fond koji je od 2025. godine dodelio više od 27 miliona funti za preko 60 projekata u osam zemalja, usmerenih specifično na kontrolu veštačke inteligencije. U SAD, CAISI se fokusira na standarde procene.

Oba se nalaze unutar šire mreže International Network for Advanced AI Measurement, Evaluation and Science, tela nacionalnih instituta za bezbednost iz deset zemalja koje sprovodi zajedničke vežbe testiranja i radi na usklađivanju metoda procene preko granica.

Neprofitne organizacije

Institut Future of Life objavljuje AI Safety Index, semafor koji upoređuje bezbednosne prakse laboratorija za veštačku inteligenciju. Centar Center for AI Safety gradi referentne vrednosti koje se koriste širom oblasti, uključujući WMDP i SafeBench. Centar Alignment Research Center proučava teorijske probleme usklađivanja, a njegov ogranak Model Evaluation and Threat Research (METR) sprovodi nezavisne procene pre primene na graničnim modelima. FAR.AI testira granične modele na slabosti pre i nakon njihovog puštanja u rad.

Univerziteti

Nekoliko univerziteta igra aktivnu ulogu u istraživanju usklađivanja veštačke inteligencije, uključujući centar Center for Human-Compatible AI na Berkliju i centar Leverhulme Centre for the Future of Intelligence Univerziteta u Kembridžu.

Usklađivanje veštačke inteligencije: uobičajeni nesporazumi

Usklađivanje nije isto što i moderacija sadržaja, iako se taj izraz ponekad koristi u tom kontekstu. Moderacija sadržaja se odnosi na ono što će model reći ili neće reći, filtrirajući psovke, eksplicitan sadržaj ili određene zabranjene teme. Usklađivanje se odnosi na to da li stvarno ponašanje modela odgovara onome za šta je nameravan.

Usklađivanje se takođe ponekad koristi kao sinonim za bezbednost veštačke inteligencije, ali to nije jedini faktor koji treba uzeti u obzir. Ostale bezbednosne brige veštačke inteligencije uključuju:

Bezbednost (zaštita težina modela od krađe)

Robustnost (model koji radi pouzdano izvan tačnih uslova za koje je obučavan)

Prevencija zloupotrebe (sprečavanje da se sposoban model koristi za nanošenje štete)

Usklađivanje se tiče sopstvenog ponašanja modela. Bezbednost veštačke inteligencije je širi napor da se spreči da ceo sistem nanese štetu.

Konačno, postoji uobičajena pretpostavka da je sposobniji model automatski i bolje usklađen. Ali sposobnost i usklađenost mogu da se raziđu, što je tačno razlog zašto postoje pragovi poput nivoa sposobnosti za mašinsko učenje i istraživanje i razvoj kompanije Google DeepMind i kategorije rizika automatizovanog istraživanja kompanije Anthropic. Oni su napravljeni posebno oko zabrinutosti da bi sposobnost mogla da nadmaši sposobnost polja da overi da model i dalje radi ono što bi trebalo.

Kako Perplexity pristupa usklađivanju veštačke inteligencije

Perplexity ne obučava granične temeljne modele. On pokreće modele u proizvodnji u velikom obimu kroz agencijske proizvode kao što je Computer, tako da njegov rad dira u specifičan aspekt usklađivanja: kako se agenti ponašaju jednom kada deluju na otvorenom vebu.

Institut Secure Intelligence Institute je istraživački centar kompanije Perplexity za bezbednost, privatnost i poverenje u graničnoj veštačkoj inteligenciji. Razvio je BrowseSafe, model detekcije otvorenog koda napravljen da identifikuje napade prompt-injekcijom skrivene unutar veb-stranica koje posećuju agenti veb-pregledača veštačke inteligencije.

Tim je takođe napravio BrowseSafe-Bench, javnu referentnu vrednost sa više od 14.700 scenarija prompt-injekcije koji obuhvataju različite ciljeve napada, položaje na stranici i jezičke stilove.

Ovaj rad je bliži primenjenoj strani kontrole veštačke inteligencije nego istraživanju usklađenosti. On ograničava šta agent radi kada se nađe u neprijateljskom okruženju, umesto da oblikuje osnovne vrednosti modela tokom obuke.

Da biste saznali više, istražite Secure Intelligence Institute i BrowseSafe istraživanje.