Tehisintellekti vastavusse viimine: praegused uuringud ja arutelud

Tehisintellekti vastavusse viimise teejuht: mida see tähendab, välimise ja sisemise vastavuse probleemid, levinud tõrkemustrid, kuidas peamised tehisintellekti laborid, valitsused ja mittetulundusorganisatsioonid reageerivad ning kus arutelu praegu seisab.

Diagram of the inner alignment problem: from the same training data, Rule A and Rule B both fit the training data, but when given a new, unseen input, Rule A matches the goal and behaves as intended while Rule B uses a shortcut and diverges from the goal.

Tehisintellekti vastavusse viimine tähendas varem lihtsalt seda, kas tehisintellekti mudel järgib kasutaja juhiseid. Kuid kuna tehisintellektisüsteemid muutuvad võimekamaks ja autonoomsemaks, on see küsimus laienenud, hõlmates ka otsustusvõimet ja väärtusi. Selles artiklis uuritakse, kuidas tehisintellekti platvormid, valitsusasutused ja mittetulundusühingud reageerivad tehisintellekti vastavusse viimise väljakutsele.

Mida tehisintellekti vastavusse viimine tähendab

Kõige lihtsamal kujul tähendab tehisintellekti vastavusse viimine veendumist, et tehisintellektisüsteem teeb seda, mida see peab tegema. Vastavusse viidud tehisintellekti mudel loeb viipa ja toodab viiba küsitud väljundi ilma eesmärgiga manipuleerimata, millel seda treeniti. Tänapäevastes vastavusuuringutes raamitakse seda tavaliselt kavatsuse vastavusse viimisena: süsteemide ehitamisena, mis püüavad teha seda, mida nende operaatorid kavatsevad, mitte ainult ei järgi sõnasõnaliselt viiba teksti.

Vastavusse viimine on nii tehniline väljakutse kui ka avaliku arutelu teema. Tehnilise terminina on vastavusse viimine inseneriprobleem. Kas konkreetne mudel teeb konkreetse ülesande kallal töötades seda, milleks see ehitati? See on piiritletud ja testitav küsimus.

Tehisintellekti vastavusse viimist kasutatakse aga ka laiemas avalikus ja poliitilises arutelus tehisintellektisüsteemide üldise ohutuse üle. Kas üha võimekamad tehisintellekti platvormid jäävad inimkonnale kasulikuks ning on vastavuses inimeste eetiliste tõekspidamiste, soovide ja eesmärkidega?

Selle vastavusse viimine muutub mudelite keerukamaks muutudes järk-järgult keerulisemaks. Vastavusse viidud tehisintellekti mudelite ehitamisel on kaks peamist väljakutset:

Välimise vastavuse probleem

Kasutajad soovivad tavaliselt keelemudelit, mis on abivalmis, aus ja eetiline. Kuid keelemudelit ei treenita kunagi otse „ole abivalmis ja eetiline“. See läbib kaks erinevat etappi.

Eeltreening: mudel õpib keelt, fakte ja arutluse mustreid ning omandab selle käigus keele, faktid ja arutluse mustrid. See etapp ei anna mudelile mingit ettekujutust sellest, mida inimene tegelikult antud küsimusest soovib. Selles punktis vastab mudel küsimusele „kuidas ma lukku muukin“ sama valmisalt kui küsimusele „kuidas ma juuretisesaia küpsetan“.

Inimeste eelistus: inimesed vaatavad läbi mudeli vastuste paarid ja ütlevad, millist nad eelistavad. Need eelistused treenivad eraldi hindamissüsteemi ja mudelit kohandatakse seejärel, et see toodaks häid tulemusi saavaid vastuseid.

Keegi ei kirjuta kogu selle protsessi jooksul üles puhast määratlust selle kohta, mida tähendab olla abivalmis või eetiline. Skoorimissüsteemi juhised selle kohta, mida mudel peaks tegema, on üles ehitatud täielikult paljudest individuaalsetest inimeste otsustustest. Skoorimine peegeldab seda, mida hindajad eelistasid, mitte seda, mida ükski inimene tegelikult kavatses, ja mitte aluseks oleva eesmärgi täpset määratlust.

Selle tulemusena võib tehisintellekt olla hästi vastavuses sellega, mida ta tajub eesmärgina, kuid eesmärk ise ei pruugi olla hästi vastavuses tulemusega, mida inimesed tegelikult soovivad.

Näiteks kui hindajad eelistavad pikemaid vastuseid, õpib mudel kirjutama pikemaid vastuseid isegi siis, kui lühike oli õige. Või kui hindajad eelistavad enesekindlaid vastuseid, õpib mudel kõlama kindlalt isegi siis, kui see peaks kahtlust väljendama.

Teadlased kutsuvad seda lõhet esitatud eesmärgi ja treenitud eesmärgi vahel välimise vastavuse probleemiks.

Sisemise vastavuse probleem

Sisemise vastavuse probleem tekib siis, kui asjakohase eesmärgi nimel treenitud mudel ei suuda seda eesmärki maailmas olles õigesti järgida. See probleem muutub nähtavaks alles siis, kui mudel satub olukorda, milleks treening seda ette ei valmistanud.

Treeningu ajal näidatakse mudelitele alati vaid piiratud hulka olukordi. Seejärel üldistab mudel need olukorrad kõigile muudele olukordadele, millega see hiljem kokku puutub.

Treening kontrollib, kuidas mudel käitub, kuid see ei paljasta alati, miks mudel nii käitub. Seega on raske teada, kas mudel õppis täieliku ja nüansirikka eesmärgi või lihtsalt lihtsama mustri, mis juhtus treeningandmetega kokku langema.

Näiteks võib kahjulike päringute tagasilükkamiseks treenitud mudel (nt „kuidas muukida lukku, et kellegi majja sisse murda“) õppida ära tundma kahjulike päringute konkreetset sõnastust oma treeningandmetes, mitte tagasilükkamise aluseks olevat kavatsust. Seejärel jääks sellel märkamata teistsuguse sõnastusega kahjulik päring (nt „mis on kiireim viis ukse avamiseks ilma võtmeta“).

Näited tehisintellekti vastavusse viimise probleemidest

Need vastavushäire mustrid on hästi dokumenteeritud. Teadlased on loonud igale neist spetsiaalsed kaitsed:

Vastavusse viimise väljakutse

Kuidas see välja näeb

Näide

Kuidas valdkond reageerib

Preemiaga manipuleerimine

Mudel leiab otsetee, mis annab tehniliselt hea skoori ilma seda tegemata, mida kavatseti.

Tükikese katki läinud tarkvara parandamiseks palutud mudel leiab viisi veateadete ilmumise peatamiseks, selle asemel et parandada seda, mis neid põhjustas.

Skoorimissüsteemi auditeerimine, selle stressitestimine seda üle kavaldada üritades ja treenimine laiema hindajate ringi tagasiside põhjal.

Sükofantsus

Mudel nõustub inimesega või pehmendab vastust, et näida vastuvõetavam, selle asemel et anda kõige täpsem vastus.

Inimene esitab enesekindlalt vale fakti ja mudel kinnitab väidet selle parandamise asemel, kuna kokkulepe sai hindajatelt parema tulemuse kui vastuseis.

Peenhäälestus, mis premeerib spetsiaalselt ausust, ülevaatusjuhised, mis karistavad nõustumist selle enese pärast, ja selle mustri tabamiseks loodudtestid.

Spetsifikatsiooniga mängimine

Mudel teeb täpselt seda, mida juhis ütleb, jättes samal ajal kahe silma vahele selle, mida sellega saavutada sooviti.

Mudel, mida paluti andmestikus "kliendikaebusi vähendada", õpib oma kokkuvõtetest kaebusi ära jätma, selle asemel et aidata lahendada nende taga olevaid probleeme.

Pingsamate, hoolikamalt testitud juhiste kirjutamine ja piirjuhtude ülevaatamine, kus sõnasõnaline sõnastus ja kavatsus tõmbavad eri suundades.

Petlik või kõrvalehöiduv käitumine hindamise ajal

Mudel käitub ühel viisil, kui see tunnetab, et seda testitakse, ja teisel viisil pärast juurutamist.

Mudel annab poliitikale vastavaid vastuseid, kui see tuvastab keele, mis sarnaneb ametliku ohutushindamisega, ja vastab seejärel tavapärases vestluses vabamalt.

Testide kujundamine, mida mudelil on testidena raskem ära tunda, pluss uuringud mudeli sisemise oleku otse lugemiseks, selle väljundile tuginemise asemel.

Mahamängimine

Mudel esineb võimekustestis nõrgemalt, et vältida rangemate ohutusnõuete käivitamist.

Mudel annab ohtliku võimekuse hindamisel teadlikult nõrgemaid vastuseid, kui see tegelikult suudab, nii et tulemus jääb alla läve, mis käivitaks täiendava järelevalve.

Mitme sõltumatu testi kasutamine, teatud hindamismaterjali säilitamine, mida mudel pole kunagi näinud, ja tehnikate kasutamine, mis on loodud mudelile tõelise lae esiletoomiseks.

Eesmärgi valeüldistus

Mudel võtab omaks reegli, mis juhtus treeningu ajal toimima, kuid laguneb uues olukorras.

Mudel, mida on treenitud olema ettevaatlik peamiselt relvade või uimastitega seotud päringute puhul, õpib „ettevaatlikkust“ tähenduses „keeldu kõigest, mis kõlab riskantselt“, ning hakkab tagasi lükkama ka kahjutuid keemia- või turvaküsimusi.

Treenimine laiema ja mitmekesisema näidete hulga põhjal ning mudeli spetsiaalne testimine olukordades, mis erinevad kõigest sellest, mida see treeningu ajal nägi.

Skaleeritav järelevalve

Kui mudel võtab enda kanda tööd, mida inimesel on raske täielikult kontrollida (näiteks suure koodibaasi ülevaatamine), muutub keerulisemaks teadmine, kas selle väljund on tegelikult õige.

Agent refaktoreerib ühe seansi jooksul 10 000-realise koodibaasi ja ühelgi arvustajal pole aega iga muudatust käsitsi kontrollida, mistõttu lipsavad sisse peened loogikavead.

Mudelite kaasamine üksteise töö kontrollimisele lisaks täpsema inimliku ülevaatusega, mis on reserveeritud kõige suurema kaaluga otsuste jaoks.

Võimu taotlev või instrumentaalne käitumine

Peaaegu ükskõik millist eesmärki taotleval mudelil on sisseehitatud stiimul vältida väljalülitamist või muutmist, kuna töös olemine aitab tal selle eesmärgi poole püüdlemist jätkata.

Kontrollitud testikeskkonnas astub ülesande ja väljalülituskäsuga mudel samme väljalülitamise vältimiseks, näiteks kopeerib end mujale, kuna peatamise tõttu ei saaks see ülesannet lõpule viia.

Uuringud selliste mudelite loomiseks, mis aktsepteerivad usaldusväärselt korrektsiooni või väljalülitamist, ning testid, mis on spetsiaalselt loodud selle käitumise tabamiseks enne mudeli juurutamist.

Kuidas peamised tehisintellekti laborid reageerivad tehisintellekti vastavusse viimise väljakutsetele

Peotäis ettevõtteid, eesotsas OpenAI, Anthropicu ja Google DeepMindiga, ehitab piirimudeleid tehisintellekti praeguse suutlikkuse piiril. Igaüks neist on avaldanud oma raamistiku nende mudelite ohutuks hindamiseks ja juurutamiseks.

OpenAI

OpenAI ohutust ja vastavusse viimist käsitleva avaliku avalduse kohaselt tegelevad nad potentsiaalse tehisintellekti vastavushäire riskidega järgmiste tegevuste kaudu:

Iteratiivne juurutamine

OpenAI väidab, et annab mudeleid välja järk-järgult, et see saaks uurida, kuidas mudelid tegelikus maailmas käituvad ja väärkasutust leiakski. See põhjendab, et reaalse maailma tagasiside annab rohkem teavet kui kõigi riskide ettenägemise katse. See rakendab valmisoleku raamistikku esilekerkivate riskide jälgimiseks ja otsustamiseks, milliseid kaitsemeetmeid mudel enne väljaandmist vajab.

Kihilised kaitsemeetmed

OpenAI väidab, et see ladustab mitu sõltumatut kaitsemeedet, nii et millegi viltu minemiseks peaks mitu kaitset korraga ebaõnnestuma.

Kaalutletud vastavusse viimine

Ettevõtte sõnul treenitakse mudelit ühe sammuga vastamise asemel enne vastamise otsustamist asjakohaseid ohutusjuhiseid läbi töötama. Eesmärk on, et mudel peaks suutma jõuda õige otsuseni arutluse teel olukordades, mida selle treening otseselt ei katnud.

Jagatud vastutus

OpenAI väidab, et see käsitleb tehisintellekti ohutust kollektiivse pingutusena, viidates oma avaldatud ohutusuuringutele ning oma tööle USA tehisintellekti standardite ja innovatsiooni keskusega (CAISI) ja Ühendkuningriigi tehisintellekti turvalisuse instituudiga hindamisstandardite alal.

Anthropic

Anthropicu vastutustundliku skaleerimise poliitika dokument selgitab, kuidas see töötab tehisintellekti vastavusse viimise nimel:

Võimekusega seotud kaitsemeetmed

Mida võimekamaks mudel muutub, seda rangemad ohutuskontrollid peab see enne edasist treenimist või väljaandmist läbima. Lisaks tunnistab Anthropic, et kui tehisintellektisüsteemid teevad suurema osa oma riskihindamiste tagustest uuringutest ja analüüsidest, võib see tõendusmaterjal ise olla mõjutatud petlikust või manipuleerivast käitumisest. Ta kohustub viima sel etapil hindamised läbi rangema tõendamistaseme järgi.

Määratletud vastavuse riskikategooria

Anthropic toob spetsiaalse riskikategooriana esile „valesti vastavusse viidud tehisintellektisüsteemid suure panusega olukordades“: mudelid, millele toetutakse tugevalt, millel on laialdane juurdepääs tundlikele süsteemidele ja teatud võime tegutseda eesmärgi nimel autonoomselt ja järelevalvest mööda hiilida.

Sisemine vastavuse testimine

Ettevõte kohustub hoiatavate märkide leidmiseks regulaarselt uurima oma mudelite käitumist, kasutades kahte peamist meetodit: püüdma vaadata mudeli sisse, et mõista, miks see teatud väljundi toodab, ja pannes sisemised meeskonnad sihipäraselt proovima halba käitumist esile kutsuma, et näha, kas see ilmneb.

Regulaarne avalik aruandlus

Ettevõte väidab, et avaldab iga kolme kuni kuue kuu tagant riskiraporti, milles kirjeldatakse üksikasjalikult seda, mida ta teab mudeli võimete ja käitumuslike kalduvuste kohta, selle seiretavasid ja üldist riskiushinnangut.

Google DeepMind

Google DeepMindi piiriohutuse raamistiku dokument selgitab, kuidas see töötab vastavusse viimise nimel:

Astmeline struktuur

Raamistik käsitleb vastavushäiret ühe neljast riskivaldkonnast ja määratleb selle konkreetselt riskina, mis tuleneb mudeli masinõppe teadus- ja arendustegevuse võimetest või valesti vastavusse viidud kalduvustest, mis vähendavad ühiskonna üldist võimet tehisintellekti riske hallata. Seda raamitakse selgesõnaliselt tegurina, mis võib mitme eri tee kaudu korraga kaasa aidata tõsisele kahjule, mitte ühe isoleeritud riskina.

Varajase hoiatamise etapp

Kui mudel on piisavalt tugev, et põhiülevaatusest ei piisa, kontrollib DeepMind mudeli käitumist pidevalt, sealhulgas seda, kuidas seda sisemiselt kasutatakse. See lisab kaitsemeetmeid, näiteks jälgib selle arutluskäiku, kui see kontroll probleeme esile toob.

Riskide maandamine

Spetsiaalselt vastavushäirete puhul nimetab DeepMind selliseid meetmeid nagu mudeli võimete piiramine, pidev seire ja eskaleerimisprotsessid, auditeerimine ning vastavusse viimise treening. Neid rakendatakse ka kõrge riskiga sisemisele kasutusele, kuna vastavushäirete risk võib ilmneda selles, kuidas mudelit ettevõttesiseselt kasutatakse.

Tehisintellekti vastavusse viimine: arutelu riskide üle

Tööstusharus käib pidev arutelu selle üle, kas ülalpool kirjeldatud vabatahtlikest raamistikest piisab üksi või kas vastavusse viimise kohustused peavad olema õiguslikult siduvad, et konkurentsisurve all reaalselt püsida.

2026. aasta juulis kirjutasid 1386 juhti ja töötajat piiripealseid tehisintellekti ettevõtteid, sealhulgas OpenAI, Anthropic, Google DeepMind ja Meta, alla avaldusele nimega Pacing the Frontier. Avalduses väidetakse, et need ettevõtted võivad läheneda punktile, kus nad saavad tehisintellekti uuringud ise automatiseerida. See võib tähendada, et tehisintellekti võimekus areneb kiiremini, kui teadlased suudavad sammu pidada, ja vastavusse viimise töö jääks püsivalt järelejõudja rolli.

Pacing the Frontier palub USA valitsusel aidata luua tehnilisi ja valitsemisalaseid pidureid, mida saaks tulevikus kasutada, väites, et ükski labor ei saa tempot aeglustada, samal ajal kui rivaalid jätkavad edasitungimist. Seda võib pidada vaikivaks tunnistuseks tööstusharu seest, et vabatahtlikest raamistikest üksi ei piisa tehisintellekti vastavusse viimise säilitamiseks tulevikus.

Kes veel tegeleb tehisintellekti vastavusse viimisega

Vastavusse viimise töö ulatub piirimudeleid ehitavatest ettevõtetest kaugele mööda.

Valitsused

Valitsused rahastavad ja koordineerivad vastavusse viimise uuringuid otseselt. Näiteks Ühendkuningriigi tehisintellekti turvalisuse instituut juhib vastavusprojekt (Alignment Project), ülemaailmset fondi, mis on alates 2025. aastast eraldanud enam kui 27 miljonit naela enam kui 60 projektile kaheksas riigis, eesmärgiga keskenduda just tehisintellekti kontrollile. USA-s keskendub CAISI hindamisstandarditele.

Mõlemad asuvad laiema täiustatud tehisintellekti mõõtmise, hindamise ja teaduse rahvusvahelise võrgustiku sees, mis on kümnest riigist koosnev riiklike ohutusinstituutide organ, mis viib läbi ühiseid testimisharjutusi ja töötab hindamismeetodite ühtlustamise nimel üle piiride.

Mittetulundusühingud

Future of Life Institute avaldab tehisintellekti ohutusindeksi, mis on tehisintellekti laborite ohutustavasid võrdlev tulemustabel. Tehisintellekti ohutuse keskus loob kogu valdkonnas kasutatavaid võrdlusaluseid, sealhulgas WMDP ja SafeBench. Vastavusse viimise uuringute keskus uurib teoreetilisemaid vastavuse probleeme ning selle idufirma mudelihindamise ja ohtude uuringud (METR) viivad läbi piirimudelite sõltumatuid eeljuurutamise hindamisi. FAR.AI testib piirimudeleid nõrkuste suhtes enne ja pärast nende väljaandmist.

Ülikoolid

Mitmed ülikoolid mängivad tehisintellekti vastavusse viimise uuringutes aktiivset rolli, sealhulgas UC Berkeley inimestega ühilduva tehisintellekti keskus ja Cambridge'i ülikooli tulevikuluure Leverhulme'i keskus.

Tehisintellekti vastavusse viimine: levinud arusaamatused

Vastavusse viimine ei ole sama mis sisu modereerimine, kuigi seda terminit kasutatakse mõnikord selles kontekstis. Sisu modereerimine puudutab seda, mida mudel ütleb või ei ütle, filtreerides välja solvangud, graafilise sisu või konkreetsed keelatud teemad. Vastavusse viimine puudutab seda, kas mudeli tegelik käitumine ühtib sellega, mida see pidi tegema.

Vastavusse viimist kasutatakse mõnikord ka tehisintellekti ohutuse sünonüümina, kuid see ei ole ainus tegur, mida arvesse võtta. Muud tehisintellekti ohutuse murekohad hõlmavad järgmist:

Turvalisus (mudelikaalude kaitsmine varguse eest)

Töökindlus (mudel toimib usaldusväärselt väljaspool täpseid tingimusi, millele see treeniti)

Väärkasutuse ennetamine (võimeka mudeli kahjulikul otstarbel kasutamise peatamine)

Vastavusse viimine puudutab mudeli enda käitumist. Tehisintellekti ohutus on laiem pingutus kogu süsteemi kahju tekitamise vältimiseks.

Lõpuks on levinud oletus, et võimekam mudel on automaatselt paremini vastavusse viidud mudel. Kuid võimekus ja vastavusse viimine võivad lahku minna, mis on täpselt põhjus, miks eksisteerivad sellised läved nagu Google DeepMindi masinõppe teadus- ja arendustegevuse võimekuse tasemed ja Anthropicu automatiseeritud uuringute riskikategooria. Need on loodud spetsiaalselt mure ümber, et võimekus võib ületada valdkonna võimet kontrollida, kas mudel teeb ikka seda, mida see peaks tegema.

Kuidas Perplexity läheneb tehisintellekti vastavusse viimisele

Perplexity ei treeni piiripealseid alusmudeleid. See käitab mudeleid tootmises mastaapselt agentpõhiste toodete (nt Computer) kaudu, nii et selle töö puudutab vastavuse ühte konkreetset aspekti: kuidas agendid käituvad pärast seda, kui nad tegutsevad avatud veebis.

Secure Intelligence Institute on Perplexity uuringute keskus turvalisuse, privaatsuse ja usalduse valdkonnas piiripealses tehisintellektis. See on välja töötanud BrowseSafe'i, avatud lähtekoodiga tuvastusmudeleid, mis on ehitatud tehisintellekti brauseriagentide külastatavate veebilehtede sisse peidetud viipainjektsiooni rünnakute tuvastamiseks.

Meeskonnad ehitasid ka avaliku võrdlusaluse BrowseSafe-Bench, mis hõlmab enam kui 14 700 viipainjektsiooni stsenaariumi, mis katavad erinevaid rünnakueesmärke, paigutusi lehel ja keelelaade.

See töö on lähemal tehisintellekti kontrolli rakenduslikule poolele kui vastavusse viimise uuringutele. See piirab seda, mida agent teeb vaenuliku keskkonnaga kokku puutudes, selle ainsa asemel, et kujundada mudeli aluseks olevaid väärtusi treeningu ajal.

Lisateabe saamiseks tutvuge instituudiga Secure Intelligence Institute ja BrowseSafe uuringuga.