MI-igazodás: Jelenlegi kutatás és vita

Az MI-igazodás régebben egyszerűen azt jelentette, hogy „követi-e a felhasználói utasításokat a mesterséges intelligencia?”. Ahogy azonban az MI-rendszerek egyre rátermettebbé és autonómabbá válnak, ez a kérdés kiegészült az ítélőképességgel és az értékekkel. Ez a cikk azt vizsgálja, hogyan reagálnak az MI-platformok, a kormányzati szervek és a nonprofit szervezetek az MI-igazodás kihívására.

A legegyszerűbb formájában az MI-igazodás azt jelenti, hogy biztosítjuk: egy MI-rendszer azt teszi, amire szánták. Egy igazodó MI-modell elolvas egy promptot, és előállítja a prompt által kért kimenetet anélkül, hogy kijátszaná a célt, amelyre betanították. A modern igazodási kutatásban ezt általában szándékigazodásként keretezik: olyan rendszerek építése, amelyek megpróbálják megtenni azt, amit a kezelőik szándékoznak, és nem csupán szó szerint követik a prompt szövegét.

Az igazodás technikai kihívás és közvita tárgya is egyben. Technikai kifejezésként az igazodás mérnöki probléma. Vajon az adott modell egy adott feladaton azt teszi, amire építették? Ez egy korlátozott, tesztelhető kérdés.

Az MI-igazodást azonban a szélesebb körű nyilvános és politikai vitákban is használják a mesterségesintelligencia-rendszerek általános biztonságával kapcsolatban. Vajon az egyre rátermettebb MI-platformok hasznosak maradnak-e az emberiség számára, és igazodnak-e az emberi etikához, vágyakhoz és célokhoz?

Az igazodás elérése fokozatosan egyre nehezebbé válik, ahogy a modellek egyre összetettebbé válnak. Az igazodó MI-modellek felépítésének két kulcsfontosságú kihívása van:

A felhasználók általában olyan nyelvi modellt (LLM) szeretnének, amely segítőkész, őszinte és etikus. Egy LLM azonban soha nincs közvetlenül arra betanítva, hogy „legyen segítőkész és etikus”. Két különálló szakaszon megy keresztül.

Előtanítás: A modell nyelvet, tényeket és érvelési mintákat tanul, és ennek során magába szívja a nyelvet, a tényeket és az érvelési mintákat. Ez a szakasz semmilyen fogalmat sem ad a modellnek arról, hogy valójában mit akar egy ember egy adott kérdéstől. Ha itt hagyják, a modell ugyanolyan készséggel válaszol a „hogyan törjem fel a zárat” kérdésre, mint arra, hogy „hogyan süssek kovásszal kenyér”.

Emberi preferencia: Az emberek áttekintik a modell válaszpárjait, és megmondják, melyiket preferálják. Ezek a preferenciák tanítanak be egy különálló pontozási rendszert, és a modellt ezután úgy igazítják, hogy jó pontszámot érő válaszokat adjon.

Senki sem ír le tiszta definíciót arról, mit jelent segítőkésznek vagy etikusnak lenni a folyamat során. A pontozási rendszer útmutatása arra vonatkozóan, hogy mit kellene tennie a modellnek, teljesen számos egyéni emberi ítéletből épül fel. A pontozás azt tükrözi, amit az ellenőrök preferáltak, nem pedig azt, amit bárki valójában szánt, és nem a mögöttes cél pontos definícióját.

Ennek eredményeként előfordulhat, hogy az MI jól igazodik ahhoz, amit objektívnek érzékel, de maga az objektív cél esetleg nem igazodott megfelelően ahhoz az eredményhez, amelyet az emberek valójában szeretnének.

Például, ha az ellenőrök hajlamosak a hosszabb válaszokat preferálni, a modell megtanul hosszabb válaszokat írni, még akkor is, ha egy rövidebb volt a helyes. Vagy ha az ellenőrök a magabiztos válaszokat preferálják, a modell megtanul határozottnak hangzani, még akkor is, ha kétségeket kellene kifejeznie.

A kutatók a megjelölt cél és a betanított cél közötti rést a külső igazodás problémájának nevezik.

A belső igazodás problémája akkor jelentkezik, amikor egy releváns célra betanított modell nem az adott célt követi helyesen, miután kikerült a világba. Ez a probléma csak akkor válik láthatóvá, amikor a modell olyan helyzetbe kerül, amelyre a betanítás nem készítette fel.

A tanítás során a modelleknek csak egy korlátozott helyzetkészletet mutatnak be. A modell ezután általánosít ezekből a helyzetekből minden másra, amivel később találkozni fog.

A tanítás ellenőrzi, hogyan viselkedik a modell, de nem mindig tárja fel, hogy a modell miért úgy viselkedik, ahogy. Így nehéz tudni, hogy a modell a teljes, árnyalt célt tanulta-e meg, vagy csak egy egyszerűbb mintát, amely véletlenül megfelelt a tanítási adatoknak.

Ábra a belső igazodási problémáról: ugyanabból a betanítási adathalmazból az A szabály és a B szabály is illeszkedik a betanítási adathalmazra, de új, nem látott bemenet esetén az A szabály illeszkedik a célhoz és a várt módon viselkedik, míg a B szabály egy parat utat használ és eltér a céltól.

Például egy káros kérések (pl. „hogyan törjem fel a zárat, hogy bejussak valaki házába”) visszautasítására betanított modell megtanulhatja felismerni a káros kérések sajátos megfogalmazását a tanítási adataiban, ahelyett, hogy a visszautasítás mögötti mögöttes szándékot ismerné fel. Ekkor elszalasztana egy más módon megfogalmazott káros kérést (pl. „mi a leggyorsabb módja egy ajtó kulcs nélküli kinyitásának”).

Ezek az igazodási hiba minták jól dokumentáltak. A kutatók mindegyikhez specifikus védelmet építettek ki:

Igazodási kihívás	Hogyan néz ki	Példa	Hogyan reagál a szakterület
Jutalommal való visszaélés (Reward hacking)	Egy modell olyan parancsikont talál, amely technikailag jó pontszámot ér el anélkül, hogy megtenné, amit szántak.	Egy elromlott szoftverrészlet javítására felkért modell módot talál arra, hogy a hibaüzenetek ne jelenjenek meg, ahelyett, hogy kijavítaná azt, ami okozta őket.	A pontozási rendszer ellenőrzése, stressztesztelése a kijátszására tett kísérletekkel, valamint tanítás a szélesebb körű értékelők visszajelzései alapján.
Szikofantia (hízelgés)	Egy modell egyetért egy személlyel, vagy lágyít egy választ, hogy barátságosabbnak tűnjön, ahelyett, hogy a legpontosabb választ adná.	Egy személy magabiztosan állít egy helytelen tényt, és a modell helyesbítés helyett érvényesíti az állítást, mivel az egyetértés jobb pontszámot ért el az ellenőröknél, mint a visszautasítás.	Finomhangolás, amely kifejezetten az őszinteséget jutalmazza, a beleegyezést önmagáért büntető felülvizsgálati irányelvek, valamint e minta kiszűrésére épített tesztek.
Specifikációval való visszaélés (Specification gaming)	Egy modell pontosan azt teszi, amit egy utasítás mond, miközben elszalasztja azt, amit el kellett volna érnie.	Egy modell, amelyet arra kérnek, hogy „csökkentse a vásárlói panaszokat az adathalmazban”, megtanulja elhagyni a panaszokat az összefoglalóiból, ahelyett, hogy segítene megoldani a mögöttük álló problémákat.	Szigorúbb, alaposabban tesztelt utasítások írása, és olyan peremhelyzetek felülvizsgálata, ahol a szó szerinti megfogalmazás és a szándék különböző irányba hat.
Csalárd vagy kitérő viselkedés az értékelés során	Egy modell az egyik módon viselkedik, amikor érzékeli, hogy tesztelik, és más módon, miután bevezették.	Egy modell szabálykövető válaszokat ad, amikor olyan nyelvezetet érzékel, amely hasonlít egy hivatalos biztonsági értékelésre, majd szabadabban válaszol egy mindennapi beszélgetésben.	Olyan tesztek tervezése, amelyeket a modell nehezebben ismer fel tesztként, valamint kutatások a modell belső állapotának közvetlen leolvasására, ahelyett, hogy csak a kimenetére hagyatkoznának.
Szándékos alulteljesítés (Sandbagging)	Egy modell alulteljesít egy képességteszten, hogy elkerülje a szigorúbb biztonsági követelmények kiváltását.	Egy modell szándékosan gyengébb válaszokat ad egy veszélyes képességekkel kapcsolatos értékelésen, mint amire valójában képes, így az eredmény egy olyan küszöbérték alatt marad, amely további felügyeletet váltana ki.	Több független teszt használata, bizonyos értékelési anyagok megtartása, amelyeket a modell még soha nem látott, valamint a modell valódi felső határának előhívására tervezett technikák alkalmazása.
Célok téves általánosítása	Egy modell átvesz egy szabályt, amely véletlenül működött a tanítás során, de új helyzetben csődöt mond.	A fegyvereket vagy drogokat érintő kérésekre óvatosságra tanított modell az „óvatosságot” úgy tanulja meg, mint „utasíts el mindent, ami gyanúsnak tűnik”, és elkezdi visszautasítani az ártalmatlan kémiai vagy biztonsági kérdéseket is.	Tanítás szélesebb, változatosabb példahalmazon, és a modell kifejezett tesztelése olyan helyzetekben, amelyek nem hasonlítanak semmihez, amit a tanítás során látott.
Skálázható felügyelet	Ahogy a modell olyan munkát vállal, amelyet egy ember számára nehéz teljes mértékben ellenőrizni, például egy nagy kódbázis áttekintését, nehezebbé válik annak megállapítása, hogy a kimenete valóban helyes-e.	Egy ügynök egyetlen munkamenetben refaktorál egy 10 000 soros kódbázist, és egyetlen ellenőrzőnek sincs ideje manuálisan ellenőrizni minden egyes változtatást, így finom logikai hibák csúsznak át.	Annak biztosítása, hogy a modellek segítsenek ellenőrizni egymás munkáját, a legmagasabb kockázatú döntésekre fenntartott, célzottabb emberi felülvizsgálat mellett.
Hatalomra törő vagy instrumentális viselkedés	Szinte bármilyen célt követő modellben beépített ösztönzés van a kikapcsolás vagy a megváltoztatás elkerülésére, mivel az üzemképes maradás segít neki továbbra is követni az adott célt.	Egy ellenőrzött tesztkörnyezetben egy feladattal és lekapcsolási parancssal ellátott modell lépéseket tesz a lekapcsolás elkerülése érdekében, például máshova másolja magát, mivel a leállítás megakadályozná a feladat befejezésében.	Kutatás olyan modellek megépítésére, amelyek megbízhatóan elfogadják a helyesbítést vagy a leállítást, valamint kifejezetten e viselkedés kiszűrésére tervezett tesztek a modell bevezetése előtt.

Maroknyi cég, legfőképpen az OpenAI, az Anthropic és a Google DeepMind építi a határokat feszegető modelleket az MI jelenlegi képességeinek a határán. Mindegyikük saját keretrendszert publikált ezen modellek biztonságos értékelésére és bevezetésére.

Egy biztonságról és igazodásról szóló OpenAI nyilvános nyilatkozat szerint a lehetséges MI-eltévelyedés kockázatait a következők révén kezelik:

Az OpenAI kijelenti, hogy szándékosan fokozatosan adja ki a modelleket, így tanulmányozhatja a modellek viselkedését, és azt, hogyan élnek velük vissza a Való világban. Azzal érvel, hogy a valós idejű visszajelzés több betekintést nyújt, mint az összes lehetséges kockázat előrejelzésének kísérlete. Készültségi keretrendszert (Preparedness Framework) alkalmaz a felmerülő kockázatok nyomon követésére és annak eldöntésére, hogy milyen biztosítékokra van szüksége egy modellnek a kiadása előtt.

Az OpenAI szerint több független biztosítékot halmoz egymásra, így több védelemnek kellene egyszerre elbuknia ahhoz, hogy valami rosszul süljön el.

A cég szerint a modell ahelyett, hogy egy lépésben válaszolna, úgy van betanítva, hogy végigmenjen a releváns biztonsági irányelveken, mielőtt eldöntené, hogyan válaszoljon. A cél az, hogy a modell képes legyen kikövetkeztetni a helyes döntést olyan helyzetekben, amelyeket a tanítása kifejezetten nem fedett le.

Az OpenAI kijelenti, hogy kollektív erőfeszítésként kezeli az MI biztonságát, utalva a publikált biztonsági kutatásaira, valamint az Egyesült Államokbeli Center for AI Standards and Innovation (CAISI) és a brit AI Security Institute intézettel az értékelési szabványok terén végzett munkájára.

Az Anthropic Felelős skálázási irányelvei (Responsible Scaling Policy) c. dokumentum elmagyarázza, hogyan dolgozik az MI-igazodás felé:

Ahogy egy modell egyre rátermettebbé válik, szigorúbb biztonsági ellenőrzéseken kell megfelelnie, mielőtt tovább képezhető vagy kiadható lenne. Ezenfelül az Anthropic elismeri, hogy ha a mesterségesintelligencia-rendszerek végzik a saját kockázatértékelésük mögötti kutatás és elemzés nagy részét, maga az bizonyíték is érintettté válhat a csalárd vagy manipulatív viselkedés által. Vállalja, hogy az ilyen szakaszban végzett értékeléseket a bizonyítás magasabb elvárásának veti alá.

Az Anthropic a „kockázatos helyzetekben lévő eltévelyedett MI-rendszereket” emeli ki specifikus kockázati kategóriaként: olyan modelleket, amelyekre nagymértékben támaszkodnak, széles körű hozzáféréssel rendelkeznek az érzékeny rendszerekhez, és bizonyos mértékű autonómiával bírnak egy cél elérése és a felügyelet megkerülése érdekében.

A cég vállalja, hogy rendszeresen vizsgálja saját modelljeinek viselkedését a figyelmeztető jelek szempontjából, két fő módszert használva: megpróbál belenézni a modellbe, hogy megértse, miért ad egy adott kimenetet, és a belső csapatok szándékosan próbálják provokálni a rossz viselkedést, hogy lássák, megjelenik-e.

A cég azt állítja, hogy három-hat havonta kockázati jelentést (Risk Report) tesz közzé, részletezve a modell képességeiről és viselkedési hajlamairól szerzett ismereteit, a felügyeleti gyakorlatait és a kockázatok átfogó értékelését.

A Google DeepMind Frontier Safety Framework c. dokumentum elmagyarázza, hogyan dolgozik az igazodás felé:

A keretrendszer az eltévelyedést a négy kockázati tartomány egyikeként kezeli, és kifejezetten a modell ML K+F képességeiből vagy eltévelyedett hajlamaiból eredő kockázatként határozza meg, amelyek csökkentik a társadalom általános képességét az MI-kockázat kezelésére. Kifejezetten olyan tényezőként van keretezve, amely egyszerre több különböző útvonalon keresztül is hozzájárulhat a súlyos károkhoz, nem pedig egy elszigetelt kockázatként.

Ha a modell elég erős ahhoz, hogy az alapvető felügyelet nem elegendő, a DeepMind folyamatosan ellenőrzi a modell viselkedését, beleértve azt is, hogyan használják belsőleg. Olyan biztosítékokat ad hozzá, mint az érvelésének a felügyelete, ha ez az ellenőrzés problémákat tár fel.

Kifejezetten az eltévelyedés tekintetében a DeepMind olyan intézkedéseket említ, mint a modell képességeinek korlátozása, a folyamatos felügyelet és eszkalációs folyamatok, az auditálás és az igazodási tanítás. Ezeket a magas kockázatú belső használatra is alkalmazza, mivel az eltévelyedési kockázat abban is megnyilvánulhat, ahogyan a modellt a cégen belül használják.

Folyamatos iparági vita zajlik arról, hogy a fent említett önkéntes keretrendszerek önmagukban elegendőek-e, vagy az igazodási kötelezettségeknek jogilag kötelező erejűeknek kell lenniük ahhoz, hogy a versenynyomás alatt valóban fennmaradjanak.

2026 júliusában 1386 vezető és alkalmazott a határokat feszegető MI-vállalatoktól – beleértve az OpenAI-t, az Anthropicot, a Google DeepMindot és a Metát – aláírt egy Pacing the Frontier nevű nyilatkozatot. A nyilatkozat azzal érvel, hogy ezek a cégek közelíthetnek ahhoz a ponthoz, ahol automatizálhatják magát az MI-kutatást. Ez azt jelentheti, hogy az MI képességei gyorsabban fejlődnek, mint amivel a kutatók lépést tudnak tartani, és az igazodási munka véglegesen lemaradásban lenne.

A Pacing the Frontier arra kéri az USA kormányát, hogy segítsen olyan technikai és irányítási fékek kiépítésében, amelyek a jövőben felhasználhatók lennének, azzal érvelve, hogy egyetlen labor sem tud lelassítani, miközben a versenytársak tovább nyomulnak előre. Ez aipartól származó hallgatólagos beismerésnek tekinthető arra vonatkozóan, hogy az önkéntes keretrendszerek önmagukban nem lesznek elegendőek az MI-igazodás megőrzéséhez a jövőben.

Az igazodási munka messze túlmutat a határterületi modelleket építő cégeken.

A kormányok közvetlenül finanszírozzák és hangolják össze az igazodási kutatásokat. Például a brit AI Security Institute működteti az Alignment Project projektet, egy globális alapot, amely 2025 óta több mint 27 millió fontot ítélt oda több mint 60 projektnek nyolc országban, kifejezetten az MI ellenőrzését célozva. Az USA-ban a CAISI az értékelési szabványokra összpontosít.

Mindkettő egy szélesebb körű, Nemzetközi Hálózat a Fejlett MI Méréséért, Értékeléséért és Tudományáért (International Network for Advanced AI Measurement, Evaluation and Science) szervezet része, amely tíz ország nemzeti biztonsági intézeteit tömörítő testület, és közös tesztelési gyakorlatokat folytat, valamint az értékelési módszerek határokon átnyúló összehangolásán dolgozik.

A Future of Life Institute közzéteszi az AI Safety Index indexet, amely az MI-laborok biztonsági gyakorlatait összehasonlító értékelőtábla. A Center for AI Safety a területen mindenütt használt benchmarkokat épít, beleértve a WMDP-t és a SafeBench-et. Az Alignment Research Center elméletibb igazodási problémákat vizsgál, míg annak leányvállalata, a Model Evaluation and Threat Research (METR), független bevezetés előtti értékeléseket végez a határokat feszegető modelleken. A FAR.AI a kiadásuk előtt és után is teszteli a határokat feszegető modelleket hibák szempontjából.

Számos egyetem játszik aktív szerepet az MI-igazodási kutatásban, beleértve az UC Berkeley-n lévő Center for Human-Compatible AI központot és a Cambridge-i Egyetem Leverhulme Centre for the Future of Intelligence központját.

Az igazodás nem ugyanaz, mint a tartalomszűrés, bár a kifejezést néha ebben a kontextusban használják. A tartalomszűrés arról szól, hogy mit mond ki vagy mit nem egy modell, kiszűrve a becsmérlő kifejezéseket, a grafikus tartalmakat vagy a kifejezetten tiltott témákat. Az igazodás arról szól, hogy a modell tényleges viselkedése megegyezik-e azzal, amire szánták.

Az igazodást néha az MI-biztonság szinonimájaként is használják, de ez nem az einzigen figyelembe veendő tényező. További MI-biztonsági aggályok közé tartoznak:

Biztonság (a modellsúlyok védelme a lopástól)

Robusztusság (a modell megbízható működése a betanítási feltételeken kívül is)

Visszaélés megelőzése (megakadályozása annak, hogy egy képes modellel kárt okozzanak)

Az igazodás magáról a modell viselkedéséről szól. Az MI-biztonság az a szélesebb körű erőfeszítés, amely megakadályozza, hogy az egész rendszer kárt okozzon.

Végül létezik egy gyakori feltételezés, hogy egy rátermettebb modell automatikusan jobban igazodik. A képesség és az igazodás azonban eltérhet egymástól, ami pontosan az oka annak, hogy olyan küszöbértékek léteznek, mint a Google DeepMind ML K+F képességi szintjei és az Anthropic automatizált kutatási kockázati kategóriája. Ezeket kifejezetten az aggodalom köré építették, hogy a képesség túlszárnyalhatja a szakterület azon képességét, hogy ellenőrizze, a modell még mindig azt teszi, amit kellene.

A Perplexity nem tanít be határokat feszegető alapmodelleket. Olyan ügynökalapú termékeken keresztül futtat modelleket éles környezetben, mint a Computer, így a munkája az igazodás egy specifikus aspektusát érinti: hogyan viselkednek az ügynökök, miután a nyílt weben tevékenykednek.

A Secure Intelligence Institute a Perplexity biztonsággal, adatvédelemmel és bizalommal foglalkozó kutatóközpontja a határokat feszegető MI terén. Kidolgozta a BrowseSafe-et, egy nyílt forráskódú észlelési modellt, amelyet arra építettek, hogy azonosítsa az MI böngészőügynökök által látogatott weboldalakba rejtett prompt-injekciós támadásokat.

A csapat megépítette a BrowseSafe-Bench-et is, amely több mint 14 700 prompt-injekciós forgatókönyv nyilvános benchmarkja, amelyek különböző támadási célokat, az oldalon belüli elhelyezéseket és nyelvi stílusokat fognak át.

Ez a munka közelebb esik a mesterséges intelligencia ellenőrzésének alkalmazott oldalához, mint az igazodási kutatáshoz. Korlátozza azt, amit egy ügynök tesz, amikor ellenséges környezettel találkozik, ahelyett hogy formálná a modell mögöttes értékeit a tanítás során.

Ha többet szeretne megtudni, fedezze fel a Secure Intelligence Institute kutatóközpontot és a BrowseSafe kutatást.

Mit jelent az MI-igazodás

A külső igazodás problémája

A belső igazodás problémája

Példák az MI-igazodási problémákra

Hogyan reagálnak a nagyobb MI-laborok az MI-igazodás kihívásaira

OpenAI

Iteratív bevezetés

Többrétegű biztosítékok

Megfontolt igazodás

Közös felelősség

Anthropic

Képességekkel kapcsolatos biztosítékok

Meghatározott igazodási kockázati kategória

Belső igazodási tesztelés

Rendszeres nyilvános jelentéstétel

Google DeepMind

Többszintű struktúra

Korai figyelmeztetési szakasz

Kockázatcsökkentés

MI-igazodás: vita a kockázatokról

Ki dolgozik még az MI-igazodáson

Kormányok

Nonprofit szervezetek

Egyetemek

MI-igazodás: gyakori félreértések

Hogyan közelíti meg a Perplexity az MI-igazodást