Mākslīgā intelekta saskaņošana: pašreizējā izpēte un debates

Ceļvedis mākslīgā intelekta saskaņošanā: ko tas nozīmē, ārējās un iekšējās saskaņošanas problēmas, izplatītākie kļūmju modeļi, kā reaģē lielākās AI laboratorijas, valdības un bezpeļņas organizācijas, un kāda ir pašreizējā debašu situācija.

Diagram of the inner alignment problem: from the same training data, Rule A and Rule B both fit the training data, but when given a new, unseen input, Rule A matches the goal and behaves as intended while Rule B uses a shortcut and diverges from the goal.

Agrāk mākslīgā intelekta saskaņošana vienkārši nozīmēja "vai mākslīgā intelekta modelis izpilda lietotāja norādījumus?". Tomēr, mākslīgā intelekta sistēmām kļūstot spējīgākām un autonomākām, šis jautājums ir paplašināts, iekļaujot tajā spriedumu un vērtības. Šajā rakstā tiks pētīts, kā mākslīgā intelekta platformas, valsts iestādes un bezpeļņas organizācijas reaģē uz mākslīgā intelekta saskaņošanas izaicinājumu.

Ko nozīmē mākslīgā intelekta saskaņošana

Vienkāršāk sakot, mākslīgā intelekta saskaņošana nozīmē pārliecināšanos, ka mākslīgā intelekta sistēma dara to, kas tai jādara. Saskaņots mākslīgā intelekta modelis nolasa uzvedni un rada tādu izvadi, kādu uzvedne pieprasīja, nemanipulējot ar mērķi, uz kuru tas tika apmācīts. Mūsdienu saskaņošanas izpētē to parasti definē kā nodomu saskaņošanu: tādu sistēmu veidošanu, kas cenšas darīt to, ko to operatori iecerējuši, nevis tikai burtiski izpildīt uzvednes tekstu.

Saskaņošana ir gan tehnisks izaicinājums, gan publisku debatu tēma. Kā tehnisks termins saskaņošana ir inženiertehniska problēma. Vai konkrētais modelis, strādājot pie konkrēta uzdevuma, dara to, kam tas tika izveidots? Tā ir ierobežota, testējama problēma.

Tomēr mākslīgā intelekta saskaņošana tiek izmantota arī plašākās sabiedrības un politikas diskusijās par mākslīgā intelekta sistēmu vispārējo drošību. Vai arvien spējīgākas mākslīgā intelekta platformas paliks labvēlīgas cilvēcei un saskaņotas ar cilvēka ētiku, vēlmēm un mērķiem?

Modelim kļūstot sarežģītākam, šāda saskaņošana kļūst arvien sarežģītāka. Saskaņotu mākslīgā intelekta modeļu izveidē pastāv divi galvenie izaicinājumi:

Ārējās saskaņošanas problēma

Lietotāji parasti vēlas valodas modeli, kas ir noderīgs, godīgs un ētisks. Taču valodas modelis nekad netiek tieši apmācīts "būt noderīgam un ētiskam". Tas iziet cauri diviem dažādiem posmiem.

Pirmsapmācība: modelis apgūst valodu, faktus un spriestspējas modeļus, un to darot, tas apgūst valodu, faktus un spriestspējas modeļus. Šis posms sniedz modelim nekādu izpratni par to, ko cilvēks faktiski vēlas no konkrēta jautājuma. Atstāts šeit, modelis atbildēs uz jautājumu "kā atvērt slēzeni" tikpat labi kā uz jautājumu "kā izcept skābmaizi".

Cilvēku preferences: cilvēki pārskata modeļu atbilžu pārus un pasaka, kuru no tām viņi dod priekšroku. Šīs preferences apmāca atsevišķu vērtēšanas sistēmu, un pēc tam modelis tiek pielāgots, lai radītu atbildes, kas iegūst labus rezultātus.

Neviens šī procesa laikā neuzraksta skaidru definīciju tam, ko nozīmē būt noderīgam vai ētiskam. Vērtēšanas sistēmas norādījumi par to, kas modelim ir jādara, ir veidoti pilnībā no daudziem individuāliem cilvēku spriedumiem. Vērtējums atspoguļo to, kam recenzenti mēdz dot priekšroku, nevis to, ko kāds konkrēts cilvēks faktiski vēlējās, un nevis precīzu pamatmērķa definīciju.

Tā rezultātā mākslīgais intelekts var labi saskaņoties ar to, ko tas uztver kā objektīvu, taču pats mērķis var nebūt labi saskaņots ar rezultātu, kuru cilvēki faktiski vēlas.

Piemēram, ja recenzenti parasti dod priekšroku garākām atbildēm, modelis iemācās rakstīt garākas atbildes pat tad, ja īsa atbilde bija pareiza. Vai arī, ja recenzenti parasti dod priekšroku pārliecinošām atbildēm, modelis iemācās izklausīties pārliecināts pat tad, ja tam vajadzētu izteikt šaubas.

Pētnieki šo plaisu starp norādīto mērķi un apmācīto mērķi dēvē par ārējās saskaņošanas problēmu.

Iekšējās saskaņošanas problēma

Iekšējās saskaņošanas problēma rodas tad, ja modelis, kas tika apmācīts attiecīgam mērķim, nespēj pareizi tiekties uz šo mērķi, kad tas ir nonācis reālajā pasaulē. Šī problēma kļūst pamanāma tikai tad, kad modelis saskaras ar situāciju, kurai apmācība to nebija sagatavojusi.

Apmācības laikā modeļiem tiek rādīts tikai ierobežots situāciju kopums. Pēc tam modelis vispārina no šīm situācijām uz visu pārējo, ar ko tas saskarsies vēlāk.

Apmācība pārbauda, ​​kā modelis uzvedas, bet tā ne vienmēr atklāj, kāpēc modelis uzvedas tā, kā tas uzvedas. Tāpēc ir grūti zināt, vai modelis ir apguvis pilnu, niansētu mērķi vai vienkārši vienkāršāku modeli, kas nejauši sakrīt ar apmācības datiem.

Piemēram, modelis, kas apmācīts noraidīt kaitīgus pieprasījumus (piem., "kā atvērt slēzeni, lai ielauztos kāda mājā"), var iemācīties atpazīt kaitīgu pieprasījumu specifisko formulējumu savos apmācības datos, nevis pamata nodomu aiz atteikuma. Pēc tam tas nepamanītu kaitīgu pieprasījumu, kas formulēts citādi (piem., "kā visātrāk atvērt durvis bez atslēgas").

Mākslīgā intelekta saskaņošanas problēmu piemēri

Šie saskaņošanas kļūmju modeļi ir labi dokumentēti. Pētnieki katram no tiem ir izveidojuši īpašus aizsardzības mehānismus:

Saskaņošanas izaicinājums

Kā tas izskatās

Piemērs

Kā nozare reaģē

Atalgojuma manipulēšana

Modelis atrod saīsni, kas tehniski iegūst labu rezultātu, neveicot to, kas bija paredzēts.

Modelim, kuram lūgts salabot bojātu programmatūras daļu, atrod veidu, kā likt kļūdu ziņojumiem parādīties, nevis salabo to, kas tos izraisīja.

Vērtēšanas sistēmas audits, tās stresa testēšana, mēģinot to apmānīt, un apmācība, izmantojot atgriezenisko saiti no plašāka recenzentu loka.

Glaimošana

Modelis piekrīt cilvēkam vai mīkstina atbildi, lai izskatītos patīkamāks, nevis sniedz visprecīzāko atbildi.

Cilvēks ar pārliecību pauž nepareizu faktu, un modelis apstiprina apgalvojumu, nevis to labo, jo vienošanās recenzentu vidū guva labākus rezultātus nekā iebildumi.

Precizējoša apmācība, kas īpaši atalgo godīgumu, pārskatīšanas vadlīnijas, kas soda vienošanos pašas vienošanās dēļ, un testi, kas izveidoti šī modeļa atklāšanai.

Specifikācijas apiešana

Modelis dara tieši to, ko saka norādījums, vienlaikus palaidot garām to, kas tam bija jāpanāk.

Modelim, kuram lūgts "samazināt klientu sūdzības datu kopā", iemācās savos kopsavilkumos izlaist sūdzības, nevis palīdzēt atrisināt problēmas to pamatā.

Precīzāku, rūpīgāk pārbaudītu norādījumu rakstīšana un robežgadījumu pārskatīšana, kur burtiskais formulējums un nodoms ved dažādos virzienos.

Maldinoša vai izvairīga uzvedība novērtēšanas laikā

Modelis uzvedas vienā veidā, kad tas jūt, ka tiek testēts, un citādi, kad tas ir izvietots.

Modelis sniedz politikai atbilstošas atbildes, kad tas konstatē valodu, kas līdzinās oficiālam drošības novērtējumam, un pēc tam brīvāk atbild parastā sarunā.

Tādu testu izstrāde, kurus modelim ir grūtāk atpazīt kā testus, kā arī izpēte, kas vērsta uz tiešu modeļa iekšējā stāvokļa nolasīšanu, nevis paļaušanos tikai uz tā izvadi.

Taktiska snieguma pazemināšana

Modelis spēju testā uzrāda vājākus rezultātus, lai izvairītos no stingrāku drošības prasību iedarbināšanas.

Modelis sniedz apzināti vājākas atbildes bīstamu spēju novērtējumā, nekā tas patiesībā spēj, tāpēc rezultāts paliek zem sliekšņa, kas izraisītu papildu uzraudzību.

Vairāku neatkarīgu testu izmantošana, dažu novērtēšanas materiālu saglabāšana, ko modelis nekad nav redzējis, un tādu tehniku izmantošana, kas paredzētas modeļa reālo spēju griestu atklāšanai.

Mērķa nepareiza vispārināšana

Modelis apgūst noteikumu, kas nejauši darbojās apmācības laikā, bet sabrūk jaunā situācijā.

Modelis, kas apmācīts būt piesardzīgam galvenokārt attiecībā uz pieprasījumiem, kas saistīti ar ieročiem vai narkotikām, iemācās "piesardzību" uztvert kā "atsakies no jebkura jautājuma, kas izklausās riskants", un sāk noraidīt arī nekaitīgus ķīmijas vai drošības jautājumus.

Apmācība, izmantojot plašāku, daudzveidīgāku piemēru kopumu, un specifiska modeļa testēšana situācijās, kas atšķiras no visa, ko tas redzēja apmācības laikā.

Mērogojama uzraudzība

Modelim uzņemoties darbu, ko cilvēkam ir grūti pilnībā pārbaudīt, piemēram, pārskatot lielu koda bāzi, kļūst grūtāk noteikt, vai tā izvade patiesībā ir pareiza.

Aģents vienā sesijā refaktorē 10 000 rindu koda bāzi, un nevienam recenzentam nav laika manuāli pārbaudīt katru izmaiņu, tāpēc nepamanītas paliek smalkas loģikas kļūdas.

Modeļu izmantošana, lai palīdzētu pārbaudīt citam cita darbu, kopā ar mērķtiecīgāku cilvēku veiktu pārskatīšanu, kas paredzēta visaugstāko likmju lēmumiem.

Varas meklēšana vai instrumentāla uzvedība

Modelis, kas tiecas uz gandrīz jebkuru mērķi, ietver iebūvētu stimulu izvairīties no izslēgšanas vai mainīšanas, jo darbības saglabāšana palīdz tam turpināt tiekties uz šo mērķi.

Kontrolētā testa vidē modelim, kuram dots uzdevums un izslēgšanas komanda, veic soļus, lai izvairītos no izslēgšanas, piemēram, kopējot sevi citur, jo apturēšana liegtu tam pabeigt uzdevumu.

Izpēte, kas vērsta uz tādu modeļu izveidi, kuri droši pieņem labojumus vai izslēgšanu, un testi, kas īpaši izstrādāti, lai atklātu šo uzvedību pirms modeļa izvietošanas.

Kā galvenās mākslīgā intelekta laboratorijas reaģē uz mākslīgā intelekta saskaņošanas izaicinājumiem

Neliels uzņēmumu skaits, galvenokārt OpenAI, Anthropic un Google DeepMind, veido jaunākās paaudzes modeļus, kas atrodas mākslīgā intelekta pašreizējo iespēju robežās. Katrs no tiem ir publicējis savu satvaru šo modeļu drošai novērtēšanai un izvietošanai.

OpenAI

Saskaņā ar OpenAI publisko paziņojumu par drošību un saskaņošanu, tie risina potenciālās mākslīgā intelekta nesaskaņotības riskus, izmantojot:

Iteratīvā izvietošana

OpenAI norāda, ka tas apzināti izlaiž modeļus pakāpeniski, lai tas varētu pētīt, kā modeļi uzvedas un tiek ļaunprātīgi izmantoti reālajā pasaulē. Tas pamato, ka reālās pasaules atgriezeniskā saite sniedz lielāku ieskatu nekā mēģinājums iepriekš paredzēt katru risku. Tas izmanto gatavības satvaru, lai izsekotu jaunajiem riskiem un izlemtu, kādus drošības pasākumus modelim nepieciešams pirms izlaišanas.

Slāņveida drošības pasākumi

OpenAI norāda, ka tā izmanto vairākus neatkarīgus drošības pasākumus, tāpēc vairākām aizsardzības sistēmām būtu jāizgāžas vienlaikus, lai kaut kas noietu greizi.

Pārdomāta saskaņošana

Pēc uzņēmuma teiktā, tā vietā, lai atbildētu vienā solī, modelis tiek apmācīts izstrādāt atbilstošas ​​drošības vadlīnijas, pirms izlemj, kā atbildēt. Mērķis ir panākt, lai modelis spētu argumentēti nonākt līdz pareizajam lēmumam situācijās, kuras tā apmācība nepārprotami neietvēra.

Kopīga atbildība

OpenAI norāda, ka tā uztver mākslīgā intelekta drošību kā kolektīvu pasākumu, norādot uz saviem publicētajiem drošības pētījumiem un darbu ar ASV Mākslīgā intelekta standartu un inovāciju centru (CAISI) un Apvienotās Karalistes AI drošības institūtu saistībā ar novērtēšanas standartiem.

Anthropic

Anthropic atbildīgas mērogošanas politikas dokuments paskaidro, kā tas virzās uz mākslīgā intelekta saskaņošanu:

Ar spējām saistītie drošības pasākumi

Kādam modelim kļūstot jaudīgākam, tam ir jāiziet stingrākas drošības pārbaudes, pirms to var turpināt apmācīt vai izlaist. Turklāt Anthropic atzīst, ka tad, kad mākslīgā intelekta sistēmas veiks lielāko daļu pētījumu un analīzes saistībā ar saviem riska novērtējumiem, šie pierādījumi paši par sevi varētu tikt pakļauti maldinošai vai manipulatīvai uzvedībai. Uzņēmums apņemas šajā posmā veiktās novērtēšanas pakļaut augstākam pierādījumu standartam.

Definēta saskaņošanas riska kategorija

Anthropic izceļ "nesaskaņotas mākslīgā intelekta sistēmas augsta riska vidē" kā īpašu riska kategoriju: modeļus, uz kuriem lielā mērā paļaujas, kam ir plaša piekļuve sensitīvām sistēmām un zināma spēja darboties autonomi ceļā uz mērķi un apiet uzraudzību.

Iekšējā saskaņošanas testēšana

Uzņēmums apņemas regulāri pētīt savu modeļu uzvedību, meklējot brīdinājuma zīmes, izmantojot divas galvenās metodes: mēģinājumu ielūkoties modeļa iekšienē, lai saprastu, kāpēc tas rada konkrētu izvadi, un iekšējo komandu piesaistīšanu, lai apzināti mēģinātu izraisīt sliktu uzvedību un redzētu, vai tā parādās.

Regulāra publiska ziņošana

Uzņēmums norāda, ka ik pēc trīs līdz sešiem mēnešiem tas publicē riska ziņojumu, kurā sīki aprakstīts tas, kas tam ir zināms par modeļa iespējām un uzvedības tendencēm, tā uzraudzības praksi un vispārējo riska novērtējumu.

Google DeepMind

Google DeepMind robeždrošības satvara dokuments paskaidro, kā tas virzās uz saskaņošanu:

Pakāpju struktūra

Satvars uzskata nesaskaņotību par vienu no četrām riska jomām un definē to īpaši kā risku, ko rada modeļa mašīnmācīšanās pētniecības un izstrādes iespējas vai nesaskaņotas tieksmes, kuras samazina sabiedrības kopējo spēju pārvaldīt mākslīgā intelekta risku. Tas ir nepārprotami formulēts kā faktors, kas var veicināt smagu kaitējumu vairākos dažādos veidos vienlaikus, nevis kā viens izolēts risks.

Agrīnas brīdināšanas posms

Ja modelis ir pietiekami spēcīgs un ar pamata uzraudzību nepietiek, DeepMind pastāvīgi pārbauda modeļa uzvedību, tostarp to, kā tas tiek izmantots iekšēji. Ja šajā pārbaudē atklājas problēmas, tas pievieno drošības pasākumus, piemēram, uzrauga tā spriestspēju.

Riska mazināšana

Konkrēti attiecībā uz nesaskaņotību DeepMind nosauc tādus pasākumus kā modeļa iespēju ierobežošana, pastāvīga uzraudzība un eskalācijas procesi, audits un saskaņošanas apmācība. Tas attiecina šos pasākumus arī uz augsta riska iekšējo izmantošanu, jo nesaskaņotības risks var parādīties tajā, kā modelis tiek izmantots uzņēmumā.

Mākslīgā intelekta saskaņošana: debates par riskiem

Notiek pastāvīga nozares diskusija par to, vai iepriekš minētie brīvprātīgie satvari ir pietiekami paši par sevi vai arī saskaņošanas saistībām ir jābūt juridiski saistošām, lai tās patiesībā noturētos konkurences spiediena apstākļos.

2026. gada jūlijā 1386 vadošie darbinieki un darbinieki no jaunākās paaudzes mākslīgā intelekta uzņēmumiem, tostarp OpenAI, Anthropic, Google DeepMind un Meta, parakstīja paziņojumu ar nosaukumu Pacing the Frontier. Paziņojumā apgalvots, ka šie uzņēmumi var tuvināties brīdim, kad tie varēs automatizēt pašu mākslīgā intelekta izpēti. Tas varētu nozīmēt, ka mākslīgā intelekta iespējas attīstās ātrāk, nekā pētnieki spēj tikt līdzi, un saskaņošanas darbs pastāvīgi atrastos iedzinēja lomā.

Iniciatīva "Pacing the Frontier" aicina ASV valdību palīdzēt izveidot tehniskās un pārvaldības bremzes, kuras varētu izmantot nākotnē, argumentējot, ka neviena atsevišķa laboratorija nevar piebremzēt, kamēr konkurenti turpina virzīties uz priekšu. To varētu uzskatīt par klusu atzīšanu no nozares iekšienes, ka ar brīvprātīgiem satvariem vien nepietiks, lai nākotnē saglabātu mākslīgā intelekta saskaņošanu.

Kas vēl strādā pie mākslīgā intelekta saskaņošanas

Saskaņošanas darbs sniedzas tālu aiz robežām, ko aptver uzņēmumi, kuri veido jaunākās paaudzes modeļus.

Valdības

Valdības tieši finansē un koordinē saskaņošanas izpēti. Piemēram, Apvienotās Karalistes AI drošības institūts pārvalda saskaņošanas projektu (Alignment Project) – globālu fondu, kas kopš 2025. gada ir piešķīris vairāk nekā 27 miljonus sterliņu mārciņu vairāk nekā 60 projektiem astoņās valstīs, īpaši vērstiem uz mākslīgā intelekta kontroli. ASV centrs CAISI koncentrējas uz novērtēšanas standartiem.

Abi atrodas plašākā Starptautiskajā progresīvā mākslīgā intelekta mērīšanas, novērtēšanas un zinātnes tīklā – desmit valstu nacionālo drošības institūtu apvienībā, kas rīko kopīgus testēšanas pasākumus un strādā pie novērtēšanas metožu saskaņošanas pāri robežām.

Bezpeļņas organizācijas

Nākotnes dzīvības institūts (Future of Life Institute) publicē mākslīgā intelekta drošības indeksu – rādītāju tabulu, kurā salīdzināta mākslīgā intelekta laboratoriju drošības prakse. Mākslīgā intelekta drošības centrs veido etalonus, ko izmanto visā nozarē, tostarp WMDP un SafeBench. Saskaņošanas izpētes centrs pēta teorētiskākas saskaņošanas problēmas, un tā atzars Modeļu novērtēšanas un draudu izpētes centrs (METR) veic neatkarīgus novērtējumus pirms jaunākās paaudzes modeļu izvietošanas. FAR.AI testē jaunākās paaudzes modeļu vājās vietas pirms un pēc to izlaišanas.

Universitātes

Vairākas universitātes ieņem aktīvu lomu mākslīgā intelekta saskaņošanas izpētē, tostarp Cilvēkam draudzīga mākslīgā intelekta centrs (Center for Human-Compatible AI) UC Berklijā un Kembridžas Universitātes Leverhulme Nākotnes intelekta centrs.

Mākslīgā intelekta saskaņošana: izplatītākie pārpratumi

Saskaņošana nav tas pats, kas satura moderēšana, lai gan šis termiens dažkārt tiek izmantots šajā kontekstā. Satura moderēšana attiecas uz to, ko modelis teiks vai neteiks, filtrējot apvainojumus, grafisku saturu vai konkrētas aizliegtas tēmas. Saskaņošana attiecas uz to, vai modeļa faktiskā uzvedība sakrīt ar to, kas tam bija jādara.

Saskaņošana dažkārt tiek izmantota arī kā sinonīms mākslīgā intelekta drošībai, taču tas nav vienīgais apsveramais faktors. Citi mākslīgā intelekta drošības apsvērumi ietver:

Drošība (modeļa sviru aizsardzība pret zādzību)

Robustums (modelis darbojas uzticami ārpus tiem pašiem apstākļiem, kuros tas tika apmācīts)

Ļaunprātīgas izmantošanas novēršana (spējīga modeļa izmantošanas ļaunprātīgai novēršana)

Saskaņošana attiecas uz paša modeļa uzvedību. Mākslīgā intelekta drošība ir plašāks pasākums, lai novērstu to, ka visa sistēma rada kaitējumu.

Visbeidzot, pastāv izplatīts pieņēmums, ka spējīgāks modelis automātiski ir labāk saskaņots. Taču iespējas un saskaņošana var atšķirties, un tieši tāpēc pastāv tādi sliekšņi kā Google DeepMind mašīnmācīšanās pētniecības un izstrādes spēju līmeņi un Anthropic automatizētās pētniecības riska kategorija. Tie ir izstrādāti tieši, ņemot vērā bažas, ka iespējas var apsteigt nozares spēju pārbaudīt, vai modelis joprojām dara to, kas tam jādara.

Kā Perplexity pieiet mākslīgā intelekta saskaņošanai

Perplexity neapmāca jaunākās paaudzes bāzes modeļus. Tas darbina modeļus mērogā, izmantojot aģentu produktus, piemēram, Computer, tāpēc tā darbs skar specifisku saskaņošanas aspektu: to, kā aģenti uzvedas, kad tie darbojas atklātajā tīmeklī.

Secure Intelligence Institute ir Perplexity izpētes centrs drošības, privātuma un uzticamības jomā jaunākās paaudzes mākslīgajā intelektā. Tas ir izstrādājis BrowseSafe – atvērtā koda noteikšanas modeli, kas izveidots, lai identificētu uzvednes injekcijas uzbrukumus, kas paslēpti tīmekļa lapās, kuras apmeklē mākslīgā intelekta pārlūkprogrammas aģenti.

Komanda izveidoja arī BrowseSafe-Bench – publisku etalonu, kurā ietilpst vairāk nekā 14 700 uzvednes injekcijas scenāriji, kas aptver dažādus uzbrukuma mērķus, izvietojumu lapā un valodas stilus.

Šis darbs vairāk atbilst lietišķajai mākslīgā intelekta kontroles pusei nekā saskaņošanas izpētei. Tas ierobežo to, ko aģents dara, saskaroties ar pretrunīgu vidi, nevis veido modeļa pamatā esošās vērtības apmācības laikā.

Lai uzzinātu vairāk, izpētiet Secure Intelligence Institute un BrowseSafe izpēti.