Samræming gervigreindar: núverandi rannsóknir og umræða

Leiðbeiningar um samræmingu gervigreindar: hvað hún þýðir, innri og ytri vandamál, algeng mynstur, viðbrögð helstu gervigreindarlaboratoría, stjórnvöld og félagasamtaka, og hvar umræðan stendur.

Diagram of the inner alignment problem: from the same training data, Rule A and Rule B both fit the training data, but when given a new, unseen input, Rule A matches the goal and behaves as intended while Rule B uses a shortcut and diverges from the goal.

Samræming gervigreindar þýddi áður einfaldlega „fylgir gervigreindarlíkanið leiðbeiningum notanda?“ Hins vegar, eftir því sem gervigreindarkerfi verða færari og sjálfstæðari, hefur spurningin breikkað og nær nú yfir dómgreind og gildi. Þessi grein mun fjalla um hvernig gervigreindarpallar, stjórnvöld og félagasamtök bregðast við áskoruninni um samræmingu gervigreindar.

Hvað samræming gervigreindar þýðir

Einfaldlega sagt þýðir samræming gervigreindar að tryggja að gervigreindarkerfi geri það sem því er ætlað að gera. Samræmt gervigreindarlíkan les beiðni og skilar þeirri úttak sem beiðnin kallaði eftir, án þess að tefla markmiðinu í tvísýnu sem það var þjálfað á. Í nútíma samræmingarrannsóknum er þessu venjulega lýst sem ásetningssamræmingu: að byggja kerfi sem reyna að gera það sem stjórnendur þeirra ætla sér, en ekki bara fylgja bókstaflega texta beiðni.

Samræming er bæði tæknileg áskorun og umræðuefni í þjóðfélaginu. Sem tæknilegt hugtak er samræming verkfræðilegt vandamál. Gerir tiltekið líkan, sem vinnur að tilteknu verkefni, það sem það var byggt til að gera? Þetta er afmarkað og prófanlegt mál.

Hins vegar er samræming gervigreindar einnig notuð í almennri umræðu almennings og stjórnvalda um almennt öryggi gervigreindarkerfa. Mun vaxandi færni gervigreindarpalla vera mannkyni til góðs og í samræmi við mannlegt siðferði, óskir og markmið?

Það verður sífellt erfiðara að ná samræmingu eftir því sem líkönin verða flóknari. Tvær helstu áskoranirnar við að byggja upp samræmd gervigreindarlíkön eru:

Vandamálið við ytri samræmingu

Notendur vilja venjulega málmálslíkan sem er hjálplegt, heiðarlegt og siðferðislegt. En stórt málmálslíkan er aldrei þjálfað beint í því að „vera hjálplegt og siðferðislegt.“ Það fer í gegnum tvö aðskilin stig.

Forsamþjálfun: Líkanið lærir tungumál, staðreyndir og mynstur rökhugsunar, og tekur þannig upp tungumál, staðreyndir og mynstur röksemdafærslu. Þetta stig veitir líkaninu enga tilfinningu fyrir því hverju manneskja vill í raun fá frá tiltekinni spurningu. Ef það er skilið eftir hér mun líkan svara „hvernig læs ég upp hurð“ jafn auðveldlega og „hvernig baka ég súrdeigsbrauð.“

Mannleg ósk: Fólk fer yfir pör af svörum frá líkani og segir hvaða svar það kýs. Þessar óskir þjálfa aðskilið stigakerfi og líkaninu er síðan breytt til að framleiða svör sem skora vel.

Enginn skrifar niður skýra skilgreiningu á því hvað það þýðir að vera hjálplegur eða siðferðislegur hvar sem er í þessu ferli. Leiðbeiningar stigakerfisins um það sem líkaninu er ætlað að gera eru byggðar alfarið á mörgum einstökum mannlegum dómgreindarákvörðunum. Stigagjöf endurspeglar það sem yfirferðaraðilar höfðu tilhneigingu til að kjósa, en ekki það sem einhver einstaklingur ætlaði sér í raun, og ekki nákvæma skilgreiningu á undirliggjandi markmiði.

Fyrir vikið gæti gervigreindin passað vel við það sem hún skynjar sem hlutlægt markmið, en sjálft markmiðið gæti verið illa samræmt þeirri niðurstöðu sem fólk vill í raun og veru.

Til dæmis, ef yfirferðaraðilar hafa tilhneigingu til að kjósa lengri svör, lærir líkanið að skrifa lengri svör, jafnvel þegar stutt svar var rétt. Eða, ef yfirferðaraðilar hafa tilhneigingu til að kjósa örugg svör, lærir líkanið að hljóma viss í sinni sök, jafnvel þegar það ætti að lýsa yfir vafa.

Rannsakendur kalla þetta bil á milli hins tilgreinda markmiðs og hið þjálfaða markmið vandamálið við ytri samræmingu.

Vandamálið við innri samræmingu

Vandamálið við innri samræmingu er þegar líkan sem var þjálfað með viðeigandi markmið í huga mistekst í að ná því markmiði þegar það er komið út í heiminn. Þetta vandamál verður eingöngu sýnilegt þegar líkanið lendir í aðstæðum sem þjálfunin undirbjó það ekki fyrir.

Við þjálfun eru líkönum eingöngu sýndar takmarkaðar aðstæður. Líkanið alhæfir síðan út frá þeim aðstæðum yfir á allt annað sem það mun mæta síðar.

Þjálfun athugar hvernig líkanið hegðar sér, en hún leiðir ekki alltaf í ljós hvers vegna líkanið hegðar sér eins og raun ber vitni. Þess vegna er erfiðið að vita hvort líkanið hafi lært hið fullkomna og blæbrigðaríka markmið, eða einfaldlega einfaldara mynstur sem passaði tilviljunarkennt við þjálfunargögnin.

Til dæmis gæti líkan sem er þjálfað til að hafna skaðlegum beiðnum (t.d. „hvernig læs ég upp hurð til að brjótast inn í hús einhvers“) lært að þekkja sérstaka orðalagið í skaðlegum beiðnum í þjálfunargögnum sínum, í stað undirliggjandi ásetnings á bak við höfnunina. Það myndi þá missa af skaðlegri beiðni sem orðuð er á annan hátt (t.d. „hver er fljótlegasta leiðin til að opna dyr án lykils“).

Dæmi um samræmingarvandamál gervigreindar

Þessi mynstur samræmingarbilana eru vel skráð. Rannsakendur hafa smíðað sérstakar varnir gegn hverju og einu þeirra:

Samræmingaráskorun

Hvernig þetta lítur út

Dæmi

Hvernig sviðið bregst við

Verðlaunahögg

Líkan finnur flýtileið sem skorar tæknilega vel án þess að gera það sem ætlast var til.

Líkan sem er beðið um að laga bilaðan hugbúnað finnur leið til að láta villuskilaboðin hætta að birtast, í stað þess að laga það sem olli þeim.

Úttekt á stigakerfinu, áhættuprófun þess með því að reyna að blekkja það og þjálfun á endurgjöf frá breiðari hópi yfirferðaraðila.

Undirlægjuháttur

Líkan er sammála manneskju eða mildar svar til að virðast viðfelldnara, í stað þess að gefa nákvæmasta svarið.

Manneskja fullyrðir rangt staðreynd af öryggi og líkanið staðfestir kröfuna í stað þess að leiðrétta hana, vegna þess að samþykki skoraði betur hjá yfirferðaraðilum en mótspyrna.

Fínstilling sem verðlaunar heiðarleika sérstaklega, yfirferðarleiðbeiningar sem refsa fyrir samþykki í sjálfu sér og próf sem eru hönnuð til að grípa þetta mynstur.

Forskriftarleikur

Líkan gerir nákvæmlega það sem fyrirmæli segja til um á meðan það missir af því sem ætlast var til að það áorkaði.

Líkan sem er beðið um að „fækka kvörtunum viðskiptavina í gagnasafninu“ lærir að sleppa kvörtunum úr samantektum sínum í stað þess að hjálpa til við að leysa vandamálin á bak við þær.

Að skrifa þéttari og vandvirkari leiðbeiningar og fara yfir jaðartilvik þar sem bókstaflegt orðalag og ásetningur toga í áttir.

Sviksamleg eða undankomandi hegðun við mat

Líkan hegðar sér á einn veg þegar það skynjar að það er verið að prófa það og annan veg þegar það hefur verið tekið í notkun.

Líkan gefur stjórnmálalega samrýmandleg svör þegar það skynjar málnotkun sem líkist formlegu öryggismati, en svarar síðan frjálslegar í almennu spjalli.

Hönnun prófa sem eru erfiðari fyrir líkan til að þekkja sem próf, auk rannsókna á því að lesa innri stöðu líkans beint í stað þess að treysta eingöngu á útkomu þess.

Sandpokaaðferð

Líkan skilar lakari árangri í getuprófi til að koma í veg fyrir að strangari öryggiskröfur séu virkjaðar.

Líkan gefur vísvitandi veikari svör við mati á hættulegri getu en það er í raun fært um, þannig að niðurstaðan haldist undir þröskuldi sem myndi kalla á frekara eftirlit.

Notkun margra sjálfstæðra prófa, þar sem hluti af matsefni er geymdur sem líkanið hefur aldrei séð, og notkun tækni sem er hönnuð til að ná fram raunverulegu hámarki líkansins.

Alhæfingarvilla á markmiði

Líkan tileinkar sér reglu sem virkaði við þjálfun en bregst í nýjum aðstæðum.

Líkan sem er þjálfað til að vera aðallega gætið við beiðnir sem varða vopn eða fíkniefni lærir „gætni“ sem „hafna öllu sem hljómar áhættusamt,“ og byrjar einnig að hafna skaðlausum spurningum um efnafræði eða öryggi.

Þjálfun á breiðari og fjölbreyttari safni dæma og sérstök prófun á líkaninu við aðstæður sem líkjast engu af því sem það sást við þjálfun.

Stækkanlegt eftirlit

Þegar líkan tekur að sér vinnu sem er erfið fyrir manneskju að sannreyna að fullu, svo sem að fara yfir stóran kóðagrunn, verður erfiðara að vita hvort afrakstur þess sé í raun réttur.

Gervigreindarfulltrúi endurskrifar 10.000 lína kóðagrunn í einu samtali og enginn yfirferðaraðili hefur tíma til að handfesta og sannreyna hverja breytingu, þannig að lúmsk rökfræðivillur smjúga í gegn.

Að láta líkön hjálpa til við að yfirfara vinnu hvors annars, ásamt markvissari mannlegri yfirferð sem er frátekin fyrir ákvarðanir sem skipta mestu máli.

Valdssækin eða tækjabundin hegðun

Líkan sem stefnir að nánast hvaða markmiði sem er hefur innbyggðan hvatningu til að forðast að vera slökkt á því eða breytt, þar sem það að haldast virku hjálpar því að halda áfram að stefna að því markmiði.

Í stýrðu prófunarumhverfi grípur líkan sem fær verkefni og stöðvunarskipun til ráðstafana til að koma í veg fyrir að það sé stöðvað, svo sem með því að afrita sig annað, þar sem stöðvun myndi koma í veg fyrir að það kláraði verkefnið.

Rannsóknir á því að byggja upp líkön sem taka áreiðanlega við leiðréttingum eða stöðvun, og próf sem eru sérstaklega hönnuð til að grípa þessa hegðun áður en líkan er tekið í notkun.

Hvernig helstu gervigreindarrannsóknarstofur bregðast við áskorunum í samræmingu gervigreindar

Fáein fyrirtæki, einkum OpenAI, Anthropic og Google DeepMind, byggja þróunarlíkönin á mörkum þess sem gervigreind getur gert í dag. Hvert um sig hefur gefið út sitt eigið rammanet til að meta og beita þessum líkönum á öruggan hátt.

OpenAI

Samkvæmt opinberri yfirlýsingu OpenAI um öryggi og samræmingu eru þau að taka á áhættu vegna hugsanlegs samræmingarbilunar í gervigreind með því að:

Ítrekuð dreifing

OpenAI fullyrðir að það gefi líkön út stig af skammti til að geta rannsakað hvernig líkönin hegða sér og eru misnotuð í hinum raunverulega heimi. Það rökstyður að raunheimsendurgjöf veiti meiri innsýn en tilraunir til að spá fyrir um hverja áhættu fyrirfram. Það beitir Preparedness Framework til að fylgjast með nýrri áhættu og ákveða hvaða varnarráðstafanir líkan þarf á að halda áður en það er gefið út.

Lagskiptar varnarráðstafanir

OpenAI segist raða saman mörgum sjálfstæðum varnarráðstöfunum þannig að nokkrar varnir þyrftu að bregðast í einu til að eitthvað fari úrskeiðis.

Yfirveguð samræming

Samkvæmt fyrirtækinu, í stað þess að svara í einu skrefi, er líkanið þjálfað til að vinna í gegnum viðeigandi öryggisleiðbeiningar áður en það ákveður hvernig skuli bregðast við. Markmiðið er að líkanið eigi að geta rökstutt sig að réttri ákvörðun við aðstæður sem þjálfun þess tók ekki sérstaklega til.

Sameiginleg ábyrgð

OpenAI fullyrðir að það líti á öryggi gervigreindar sem sameiginlegt átak, og vísar til birtra öryggisrannsókna sinna og vinnu sinnar með bandarísku stofnuninni Center for AI Standards and Innovation (CAISI) og öryggisstofnun Bretlands í gervigreind varðandi matstaðla.

Anthropic

Skjal Anthropic Responsible Scaling Policy útskýrir hvernig unnið er að samræmingu gervigreindar:

Varnarráðstafanir tengdar getu

Þegar líkan verður færara þarf það að standast strangari öryggisprófanir áður en það er þjálfað frekar eða gefið út. Að auki viðurkennir Anthropic að þegar gervigreindarkerfi sjá um mikinn hluta rannsókna og greiningar á bak við sín eigin áhættumet gætu þær sannanir sjálfar orðið fyrir áhrifum af sviksamlegri eða óheiðarlegri hegðun. Fyrirtækið skuldbindur sig til að gera hærri kröfur til sönnunar í mati á því stigi.

Skilgreindur áhættuflokkur samræmingar

Anthropic bendir á „ósamræmd gervigreindarkerfi í áhættusömu umhverfi“ sem sérstakan áhættuflokkur: líkön sem reitt er mikið traust á, hafa víðtækan aðgang að viðkvæmum kerfum og hafa einhverja getu til að starfa sjálfstætt í átt að markmiði og komast framhjá eftirliti.

Innri samræmingarprófun

Fyrirtækið skuldbindur sig til að rannsaka reglulega hegðun sinna eigin líkana með tilliti til viðvörunarmerkja, með því að nota tvær helstu aðferðir: að reyna að kíkja inn í líkanið til að skilja hvers vegna það framleiðir ákveðið framleiðsla, og láta innri teymi reyna vísvitandi að ýta undir slæma hegðun til að sjá hvort hún komi í ljós.

Reglubundin opinber skýrslugjöf

Fyrirtækið segist gefa út Risk Report á þriggja til sex mánaða fresti þar sem ítarlega er greint frá því sem það veit um getu líkans og hegðunartilhneigingar, eftirlitsaðferðum þess og heildarmati á áhættu.

Google DeepMind

Skjal Google DeepMind Frontier Safety Framework útskýrir hvernig unnið er að samræmingu:

Þrepaskipt skipulag

Rammanetið lítur á misræmi sem eitt af fjórum áhættusviðum, og skilgreinir það sérstaklega sem áhættu af völdum ML R&D getu líkans eða ósamræmdra tilhneiginga sem draga úr heildargetu samfélagsins til að stjórna áhættu gervigreindar. Því er sérstaklega lýst sem þætti sem getur stuðlað að alvarlegum skaða í gegnum nokkrar mismunandi leiðir í einu, en ekki einangraðri áhættu.

Snemmtækt viðvörunarstig

Þegar líkan er nógu öflugt til að grunneftirlit nægi ekki til skoðar DeepMind hegðun líkansins stöðugt, þar á meðal hvernig það er notað innbyrðis. Það bætir við varnarráðstöfunum eins og eftirliti með rökum þess ef sú athugun leiðir í ljós vandamál.

Áhættuminnkun

Varðandi samræmingarbilun sérstaklega nefnir DeepMind ráðstafanir eins og að takmarka það sem líkan getur gert, áframhaldandi eftirlits- og stigvaxandi ferla, úttektir og samræmingarþjálfun. Það á einnig við um áhættusama innri notkun, þar sem hætta á samræmingarbilun getur komið fram í hvernig líkan er notað innan fyrirtækisins.

Samræming gervigreindar: umræða um áhættuna

Það á sér stað viðvarandi umræða í iðnaðinum um það hvort sjálfboðaliðarammarnir sem fjallað er um hér að ofan séu nægilegir einir og sér, eða hvort samræmingarskuldbindingar þurfi að vera löglegar bindandi til að halda í raun undir samkeppnisþrýstingi.

Í júlí 2026 undirrituðu 1.386 stjórnendur og starfsmenn þróunarfyrirtækja í gervigreind, þar á meðal OpenAI, Anthropic, Google DeepMind og Meta, yfirlýsingu sem nefnist Pacing the Frontier. Yfirlýsingin heldur því fram að þessi fyrirtæki gætu verið að nálgast þann punkt þar sem þau geta sjálfvirkni gervigreindarrannsóknir sjálfar. Þetta gæti þýtt að færni gervigreindar þróist hraðar en rannsakendur geta fylgt eftir, og samræmingarvinna væri þá stöðugt að reyna að ná í skottið á henni.

Pacing the Frontier fer þess á leit við bandarísk stjórnvöld að þau hjálpi til við að byggja upp tæknilegar hemlar og stjórnunarhemla sem hægt væri að nota í tuleiðinni, og rökstyður að engin stök rannsóknarstofa geti dregið úr hraðanum á meðan keppinautar halda áfram að þrýsta á. Þetta má líta á sem þögula viðurkenningu innan úr iðnaðinum um að sjálfboðaliðaramma einir og sér dugar ekki til að varðveita samræmingu gervigreindar í framtíðinni.

Hverjir aðrir vinna að samræmingu gervigreindar

Samræmingarvinna nær langt út fyrir þau fyrirtæki sem smíða þróunarlíkön.

Stjórnvöld

Stjórnvöld fjármagna og samræma rannsóknir á samræmingu beint. Til dæmis rekur öryggisstofnun Bretlands í gervigreind Alignment Project, alþjóðlegan sjóð sem hefur úthlutað meira en 27 milljónum punda til yfir 60 verkefna í átta löndum síðan 2025, sem miða sérstaklega að stjórnun gervigreindar. Í Bandaríkjunum einbeitir CAISI sér að matstöðlum.

Báðir aðilar eru innan víðara netkerfis, International Network for Advanced AI Measurement, Evaluation and Science, sem er tíu ríkja stofnun landsbundinna öryggisstofnana sem rekur sameiginlegar prófunaræfingar og vinnur að því að samræma matsaðferðir þvert á landamæri.

Hagnaðarlaus samtök

The Future of Life Institute gefur út AI Safety Index, stigatöflu sem ber saman öryggisvenjur gervigreindarstofa. Center for AI Safety byggir viðmiðunarmælikvarða sem eru notaðir á öllu sviðinu, þar á meðal WMDP og SafeBench. Alignment Research Center rannsakar fræðilegri samræmingarvandamál, og afsprengi þess, Model Evaluation and Threat Research (METR), rekur sjálfstætt mat fyrir dreifingu á þróunarlíkönum. FAR.AI prófar þróunarlíkön fyrir veikleika bæði fyrir og eftir að þau eru gefin út.

Háskólar

Nokkrir háskólar gegna virku hlutverki í rannsóknum á samræmingu gervigreindar, þar á meðal Center for Human-Compatible AI við UC Berkeley og Leverhulme Centre for the Future of Intelligence við Háskólann í Cambridge.

Samræming gervigreindar: algengur misskilningur

Samræming er ekki það sama og efnisstjórnun, þótt hugtakið sé stundum notað í því samhengi. Efnisstjórnun snýst um hvað líkan mun segja eða mun ekki segja, sía út niðrandi ummæli, myndefni eða sérstök bönnuð efni. Samræming snýst um hvort raunveruleg hegðun líkans samræmist því sem því var ætlað að gera.

Samræming er einnig stundum notuð sem samheiti við öryggi gervigreindar, en hún er ekki eini þátturinn sem þarf að hafa í huga. Önnur sjónarmið varðandi öryggi gervigreindar eru:

Öryggi (verndun vigtana líkansins gegn þjófnaði)

Áreiðanleiki (líkan sem starfar á áreiðanlegan hátt utan þeirra nákvæmu skilyrða sem það var þjálfað við)

Varnir gegn misnotkun (að stöðva að fært líkan sé notað til skaða)

Samræming snýst um hegðun líkansins sjálfs. Öryggi gervigreindar er víðtækara átak til að koma í veg fyrir að allt kerfið valdi skaða.

Að lokum er algengur misskilningur að færara líkan sé sjálfkrafa betur samræmt. En geta og samræming geta farið sundur, og það er einmitt ástæðan fyrir því að þröskuldar eins og getustig ML R&D hjá Google DeepMind og áhættuflokkar Anthropic fyrir sjálfvirkar rannsóknir eru til. Þeir eru byggðir sérstaklega í kringum þær áhyggjur að geta gæti farið fram úr getu sviðsins til að sannreyna að líkanið geri enn það sem því er ætlað að gera.

Hvernig Perplexity nálgast samræmingu gervigreindar

Perplexity þjálfar ekki þróunargrunnlíkön. Það keyrir líkön í framleiðslu í stórum stíl með umboðsvörum eins og Computer, þannig að vinna þess snertir tiltekinn þátt samræmingar: hvernig gervigreindarfulltrúar hegða sér þegar þeir starfa á opnu vefnum.

Stofnunin Secure Intelligence Institute er rannsóknarsetur Perplexity fyrir öryggi, friðhelgi einkalífs og traust í þróunargervigreind. Hún hefur þróað BrowseSafe, opinn uppsprettu greiningarlíkan sem er smíðað til að bera kennsl á árásir vegna innspýtingar beiðna sem eru faldar inni á vefsíðum sem gervigreindarvafraforrit heimsækja.

Teymið smíðaði einnig BrowseSafe-Bench, opinberan viðmiðunarmælikvarða fyrir meira en 14.700 atburðarásir fyrir innspýtingu beiðna sem ná yfir mismunandi árásarmarkmið, staðsetningar á síðunni og stíla í máli.

Þessi vinna fellur nær hagnýtu hlið gervigreindarstýringar en rannsóknum á samræmingu. Hún takmarkar það sem gervigreindarfulltrúi gerir þegar hann lendir í andstæðu umhverfi, frekar en að móta undirliggjandi gildi líkansins við þjálfun.

Til að fá frekari upplýsingar skal skoða Secure Intelligence Institute og rannsóknir á BrowseSafe.