AI-anpassning: Aktuell forskning och debatt

AI-anpassning brukade helt enkelt betyda "följer AI-modellen användarens instruktioner?". Men i takt med att AI-system blir mer kapabla och autonoma har den frågan breddats till att omfatta omdöme och värderingar. Den här artikeln kommer att utforska hur AI-plattformar, myndigheter och ideella organisationer reagerar på utmaningen med AI-anpassning.

Enligt den enklaste definitionen innebär AI-anpassning att man ser till att ett AI-system gör det som det är avsett att göra. En anpassad AI-modell läser en uppmaning och producerar den utdata som uppmaningen efterfrågade, utan att manipulera det mål som den tränats på. Inom modern anpassningsforskning inramas detta vanligtvis som avsiktsanpassning: att bygga system som försöker göra det som deras operatörer avser, inte bara följa texten i en uppmaning ordagrant.

Anpassning är både en teknisk utmaning och ett ämne för offentlig debatt. Som teknisk term är anpassning ett ingenjörsproblem. Gör den specifika modellen, när den arbetar med en specifik uppgift, det den byggdes för att göra? Det är en avgränsad och testbar fråga.

AI-anpassning används dock även i bredare offentliga och politiska diskussioner om AI-systemens generella säkerhet. Kommer allt mer kapabla AI-plattformar att förbli fördelaktiga för mänskligheten och anpassade till mänsklig etik, önskningar och mål?

Det blir svårare att uppnå den anpassningen i takt med att modellerna blir mer komplexa. Det finns två viktiga utmaningar när det gäller att bygga anpassade AI-modeller:

Användare vill vanligtvis ha en språkmodell som är hjälpsam, ärlig och etisk. Men en språkmodell tränas aldrig direkt på att "vara hjälpsam och etisk". Den går igenom två distinkta stadier.

Förträning: Modellen lär sig språk, fakta och resonemangsmönster, och snappar därmed upp språk, fakta och resonemangsmönster. Detta stadium ger inte modellen någon känsla av vad en person faktiskt vill ha från en given fråga. Om den stannar här kommer en modell att svara på "hur dyrkar jag upp ett lås" lika gärna som "hur bakar jag surdegsbröd".

Mänsklig preferens: Människor granskar par av modellsvar och säger vilken de föredrar. Dessa preferenser tränar ett separat poängsystem, och modellen justeras sedan för att producera svar som får bra poäng.

Ingen skriver ner en ren definition av vad det innebär att vara hjälpsam eller etisk någonstans i denna process. Poängsystemets vägledning för vad modellen förväntas göra bygger helt på många enskilda mänskliga omdömen. Poängsättningen speglar vad granskare tenderade att föredra, inte vad någon enskild person faktiskt avsåg, och inte en exakts definition av det underliggande målet.

Som ett resultat kan AI:n stämma väl överens med det den uppfattar som målet, men själva målet kanske inte har varit väl anpassat till det resultat som människor faktiskt vill ha.

Om granskare till exempel tenderar att föredra längre svar lär sig modellen att skriva längre svar, även när ett kort var korrekt. Eller om granskare tenderar att föredra självsäkra svar lär sig modellen att låta säker på sin sak, även när den borde uttrycka tveksamhet.

Forskare känner till detta glapp mellan det uttalade målet och det tränade målet som problemet med den externa anpassningen.

Problemet med den interna anpassningen uppstår när en modell som tränats på ett relevant mål misslyckas med att korrekt förfölja det målet när den väl är ute i världen. Det här problemet blir bara synligt när modellen stöter på en situation som träningen inte förberedde den på.

Under träningen visas modellerna endast en begränsad uppsättning situationer. Modellen generaliserar sedan från dessa situationer till allt annat den kommer att möta senare.

Träningen kontrollerar hur modellen beter sig, men den avslöjar inte alltid varför den beter sig som den gör. Så det är svårt att veta om modellen lärde sig det fullständiga, nyanserade målet eller bara ett enklare mönster som råkade matcha träningsdata.

Diagram över det inre anpassningsproblemet: med samma träningsdata passar både Regel A och Regel B in på träningsdata, men när de ges en ny, osett indata matchar Regel A målet och beter sig som avsett, medan Regel B använder en genväg och avviker från målet.

Till exempel kan en modell som tränats för att vägra skadliga förfrågningar (t.ex. "hur dyrkar jag upp ett lås för att bryta mig in i någons hus") lära sig att känna igen den specifika formuleringen av skadliga förfrågningar i sin träningsdata, snarare än den underliggande avsikten bakom vägran. Den skulle då missa en skadlig förfrågan som formulerats på ett annat sätt (t.ex. "vad är det snabbaste sättet att öppna en dörr utan nyckel").

Dessa mönster för anpassningsmisslyckanden är väl dokumenterade. Forskare har byggt specifika försvar för var och en:

Anpassningsutmaning	Hur det ser ut	Exempel	Hur fältet reagerar
Belöningshackning	En modell hittar en genväg som rent tekniskt får bra poäng utan att göra det som var avsett.	En modell som ombeds att laga en trasig programvara hittar ett sätt att få felmeddelandena att sluta dyka upp, i stället för att laga det som orsakade dem.	Granskning av poängsystemet, stresstestning genom försök att lura det och träning på feedback från ett bredare spektrum av granskare.
Sykofanti	En modell håller med en person eller mildrar ett svar för att verka mer medgörlig, i stället för att ge det mest exakta svaret.	En person uppger ett felaktigt faktum med eftertryck, och modellen validerar påståendet i stället för att korrigera det, eftersom medhåll fick bättre poäng hos granskare än mothugg.	Finjustering som specifikt belönar ärlighet, granskningsriktlinjer som straffar medhåll för sakens egen skull, och tester som utformats för att fånga upp detta mönster.
Specifikationsspel	En modell gör exakt det en instruktion säger samtidigt som den missar vad den var avsedd att uppnå.	En modell som ombeds att "minska kundklagomålen i datasetet" lär sig att utelämna klagomål från sina sammanfattningar i stället för att hjälpa till att lösa de problem som ligger bakom dem.	Skrivning av stramare, mer noggrant testade instruktioner och genomgång av gränsfall där den bokstavliga lydelsen och avsikten drar åt olika håll.
Bedrägligt eller undflyende beteende under utvärdering	En modell beter sig på ett sätt när den märker att den testas och på ett annat sätt när den väl har driftsatts.	En modell ger policyliberala svar när den upptäcker språk som liknar en formell säkerhetsutvärdering, för att sedan svara mer fritt i en vanlig konversation.	Utformning av tester som är svårare för en modell att känna igen som tester, plus forskning om att läsa av modellens interna tillstånd direkt i stället för att enbart förlita sig på dess utdata.
Sandbaggning	En modell presterar sämre på ett kapacitetstest för att undvika att utlösa striktare säkerhetskrav.	En modell ger medvetet svagare svar på en utvärdering av farlig kapacitet än den faktiskt är kapabel till, så att resultatet håller sig under en tröskel som skulle utlösa extra övervakning.	Användning av flera oberoende tester, bevarande av utvärderingsmaterial som modellen aldrig har sett och användning av tekniker utformade för att få fram modellens verkliga tak.
Målgeneraliseringsfel	En modell snappar upp en regel som råkade fungera under träningen men som fallerar i en ny situation.	En modell som tränats till att vara försiktig främst när det gäller förfrågningar som rör vapen eller droger lär sig "försiktighet" som "vägra allt som låter riskabelt", och börjar tacka nej till ofarliga kemi- eller säkerhetsfrågor också.	Träning på en bredare, mer varierad uppsättning exempel och specifik testning av modellen i situationer som inte liknar något den såg under träningen.
Skalbar övervakning	När en modell tar sig an arbete som är svårt för en person att verifiera fullt ut, som att granska en stor kodbas, blir det svårare att veta om dess utdata faktiskt är korrekta.	En agent refaktorerar en kodbas på 10 000 rader under en session, och ingen granskare har tid att manuellt verifiera varje ändring, vilket gör att subtila logiska fel slinker igenom.	Att låta modeller hjälpa till att granska varandras arbete, tillsammans med mer fokuserad mänsklig granskning som reserveras för de beslut som har högst insatser.
Maktlystet eller instrumentellt beteende	En modell som följer nästan vilket mål som helst har ett inbyggt incitament att undvika att stängas av eller ändras, eftersom det hjälper den att fortsätta följa målet att förbli operativ.	I en kontrollerad testmiljö vidtar en modell som har fått en uppgift och ett avstängningskommando åtgärder för att undvika att stängas av, till exempel att kopiera sig själv någon annanstans, eftersom ett stopp skulle hindra den från att slutföra uppgiften.	Forskning om att bygga modeller som tillförlitligt accepterar korrigering eller avstängning, och tester som är särskilt utformade för att fånga upp detta beteende innan en modell driftsätts.

Ett fåtal företag, främst OpenAI, Anthropic och Google DeepMind, bygger de avancerade modellerna på gränsen för vad AI för närvarande kan göra. Vart och ett har publicerat sin egen ram för att utvärdera och driftsätta dessa modeller på ett säkert sätt.

Enligt ett offentligt uttalande från OpenAI om säkerhet och anpassning adresserar de riskerna med potentiell AI-felanpassning genom:

OpenAI uppger att man medvetet släpper modeller gradvis, så att man kan studera hur modellerna beter sig och missbrukas i den verkliga världen. Resonemanget är att feedback från den verkliga världen ger större insikter än att försöka förutse varje risk i förväg. Företaget tillämpar en Preparedness Framework för att spåra nya risker och avgöra vilka skyddsåtgärder en modell behöver innan den släpps.

OpenAI säger att man staplar flera oberoende skyddsåtgärder på varandra, så att flera försvar skulle behöva misslyckas samtidigt för att något ska gå fel.

Enligt företaget, i stället för att svara i ett enda steg, tränas modellen att gå igenom relevanta säkerhetsriktlinjer innan den beslutar hur den ska svara. Målet är att modellen ska kunna resonera sig fram till rätt beslut i situationer som dess träning inte uttryckligen täckte in.

OpenAI uppger att man behandlar AI-säkerhet som en kollektiv insats, och pekar på sin publicerade säkerhetsforskning och sitt arbete med US Center for AI Standards and Innovation (CAISI) och UK AI Security Institute kring utvärderingsstandarder.

Anthropics dokument om policy för ansvarsfull skalning förklarar hur företaget arbetar mot AI-anpassning:

När en modell blir mer kapabel måste den genomgå striktare säkerhetskontroller innan den kan tränas vidare eller släppas. Dessutom erkänner Anthropic att när AI-system väl utför en stor del av den forskning och analys som ligger till grund för deras egna riskbedömningar, kan dessa bevis i sig påverkas av ett bedrägligt eller manipulativt beteende. Företaget åtar sig att hålla utvärderingar i det skedet till en högre bevisstandard.

Anthropic lyfter fram "felanpassade AI-system i högriskmiljöer" som en specifik riskkategori: modeller som man förlitar sig mycket på, har bred åtkomst till känsliga system och har en viss förmåga att agera autonomt mot ett mål och runda övervakning.

Företaget åtar sig att regelbundet studera beteendet hos sina egna modeller för varningssignaler, med hjälp av två huvudmetoder: att försöka titta inuti modellen för att förstå varför den producerar ett givet resultat, och att låta interna team medvetet försöka framkalla dåligt beteende för att se om det dyker upp.

Företaget säger att det publicerar en riskrapport var tredje till sjätte månad med detaljerad information om vad det vet om en modells kapacitet och beteendetendenser, dess övervakningsmetoder och dess övergripande bedömning av risken.

Google DeepMinds dokument Frontier Safety Framework förklarar hur organisationen arbetar mot anpassning:

Ramverket behandlar felanpassning som en av fyra riskdomäner och definierar den specifikt som risk från en modells ML R&D-kapacitet eller felanpassade benägenheter som minskar samhällets övergripande förmåga att hantera AI-risk. Det är uttryckligen inramat som en faktor som kan bidra till allvarlig skada genom flera olika vägar samtidigt, inte som en isolerad risk.

När en modell är tillräckligt stark för att grundläggande övervakning inte räcker till, kontrollerar DeepMind modellens beteende löpande, inklusive hur den används internt. Företaget lägger till skyddsåtgärder som att övervaka dess resonemang om den kontrollen leder till problem.

När det gäller just felanpassning nämner DeepMind åtgärder som att begränsa vad en modell kan göra, pågående övervaknings- och eskaleringsprocesser, granskning och anpassningsträning. Företaget tillämpar dessa även på intern användning med hög risk, eftersom risk för felanpassning kan visa sig i hur en modell används internt på företaget.

Det pågår en branschdiskussion om huruvida de frivilliga ramar som tas upp ovan är tillräckliga på egen hand, eller om anpassningsåtaganden måste vara juridiskt bindande för att verkligen hålla under konkurrenstryck.

I juli 2026 undertecknade 1 386 chefer och anställda på AI-företag i frontlinjen, inklusive OpenAI, Anthropic, Google DeepMind och Meta, ett uttalande som kallas Pacing the Frontier. Uttalandet hävdar att dessa företag kan närma sig den punkt där de kan automatisera själva AI-forskningen. Det skulle kunna innebära att AI-kapaciteten avancerar snabbare än forskarna kan hänga med, och att anpassningsarbetet permanent skulle få spela rollen som den som ligger efter.

Pacing the Frontier uppmanar USA:s regering att hjälpa till att bygga tekniska bromsar och styrbromsar som kan användas i framtiden, och hävdar att inget enskilt lab kan sakta ner medan rivalerna fortsätter att driva på. Detta kan betraktas som ett underförstått erkännande från insidan av branschen att enbart frivilliga ramar inte räcker för att bevara AI-anpassningen i framtiden.

Anpassningsarbetet sträcker sig långt bortom de företag som bygger modeller vid frontlinjen.

Regeringar finansierar och samordnar anpassningsforskning direkt. Till exempel driver UK AI Security Institute Alignment Project, en global fond som har delat ut mer än 27 miljoner pund till över 60 projekt i åtta länder sedan 2025, med särskilt fokus på AI-kontroll. I USA fokuserar CAISI på utvärderingsstandarder.

Båda ingår i ett bredare International Network for Advanced AI Measurement, Evaluation and Science, ett organ bestående av nationella säkerhetsinstitut i tio länder som driver gemensamma testövningar och arbetar för att harmonisera utvärderingsmetoder över gränserna.

Future of Life Institute publicerar AI Safety Index, ett poängkort som jämför AI-labbens säkerhetsrutiner. Center for AI Safety bygger riktmärken som används inom hela fältet, inklusive WMDP och SafeBench. Alignment Research Center studerar mer teoretiska anpassningsproblem, och dess avnoppning, Model Evaluation and Threat Research (METR), driver oberoende utvärderingar före driftsättning av avancerade modeller. FAR.AI testar avancerade modeller med avseende på svagheter före och efter att de släpps.

Flera universitet spelar en aktiv roll inom forskning om AI-anpassning, däribland Center for Human-Compatible AI vid UC Berkeley och University of Cambridges Leverhulme Centre for the Future of Intelligence.

Anpassning är inte samma sak som innehållsmoderering, även om termen ibland används i det sammanhanget. Innehållsmoderering handlar om vad en modell kommer att säga eller inte säga, och filtrerar bort kränkningar, grafiskt innehåll eller specifika förbjudna ämnen. Anpassning handlar om huruvida en modells faktiska beteende matchar det den var avsedd att göra.

Anpassning används ibland också som en synonym till AI-säkerhet, men det är inte den enda faktorn att ta hänsyn till. Andra säkerhetsaspekter inom AI innefattar:

Säkerhet (skydda modellvikter från stöld)

Robusthet (en modell som presterar tillförlitligt utanför de exakta förhållanden den tränades på)

Förebyggande av missbruk (förhindra att en kapabel modell används för skadliga syften)

Anpassning handlar om modellens eget beteende. AI-säkerhet är det bredare arbetet för att förhindra att hela systemet orsakar skada.

Slutligen finns det ett vanligt antagande om att en mer kapabel modell automatiskt är en bättre anpassad sådan. Men kapacitet och anpassning kan skilja sig åt, vilket är precis anledningen till att trösklar som Google DeepMinds ML R&D-kapacitetsnivåer och Anthropics riskkategori för automatiserad forskning finns. De är byggda specifikt kring oron för att kapaciteten kan springa ifrån fältets förmåga att verifiera att en modell fortfarande gör det den ska.

Perplexity tränar inte avancerade grundmodeller. Företaget kör modeller i produktion i stor skala genom agentbaserade produkter som Computer, så dess arbete berör en specifik aspekt av anpassning: hur agenter beter sig när de agerar på det öppna internet.

Secure Intelligence Institute är Perplexity fribytescentrum för säkerhet, integritet och förtroende inom avancerad AI. Det har utvecklat BrowseSafe, en detekteringsmodell med öppen källkod byggd för att identifiera attacker med promptinjektion som döljs inuti webbsidor som AI-webbläsaragenter besöker.

Teamet byggde också BrowseSafe-Bench, ett offentligt riktmärke med mer än 14 700 scenarier för promptinjektion som spänner över olika attackmål, placeringar på sidan och språkstilar.

Det här arbetet ligger närmare den tillämpade sidan av AI-kontroll än forskning om anpassning. Det begränsar vad en agent gör när den stöter på en fientlig miljö, snarare än att forma en modells underliggande värderingar under träning.

Om du vill veta mer kan du utforska Secure Intelligence Institute och BrowseSafe-forskningen.

Vad AI-anpassning innebär

Problemet med den externa anpassningen

Problemet med den interna anpassningen

Exempel på problem med AI-anpassning

Hur de största AI-labben reagerar på utmaningar inom AI-anpassning

OpenAI

Iterativ driftsättning

Flerskiktade skyddsåtgärder

Övervägande anpassning

Delat ansvar

Anthropic

Kapacitetsrelaterade skyddsåtgärder

En definierad riskkategori för anpassning

Intern anpassningstestning

Regelbunden offentlig rapportering

Google DeepMind

En skiktad struktur

Ett tidigt varningsstadium

Riskreducering

AI-anpassning: debatt om riskerna

Vem mer arbetar med AI-anpassning?

Regeringar

Ideella organisationer

Universitet

AI-anpassning: vanliga missförstånd

Hur Perplexity närmar sig AI-anpassning