AI-tilpasning: aktuell forskning og debatt

AI-tilpasning pleide ganske enkelt å bety «følger AI-modellen brukerens instruksjoner?». Ettersom AI-systemer har blitt mer kapable og autonome, har det spørsmålet imidlertid utvidet seg til å omfatte dømmekraft og verdier. Denne artikkelen vil utforske hvordan AI-plattformer, offentlige organer og ideelle organisasjoner reagerer på utfordringen med AI-tilpasning.

Kort sagt betyr AI-tilpasning å sørge for at et AI-system gjør det det er ment å gjøre. En tilpasset AI-modell leser en ledetekst og produserer utdataene som ledeteksten ba om, uten å utnytte målet den ble trent på. I moderne forskning på tilpasning blir dette som regel rammet inn som intensjonstilpasning: å bygge systemer som prøver å gjøre det operatørene deres har til hensikt, ikke bare følge teksten i en ledetekst bokstavelig talt.

Tilpasning er både en teknisk utfordring og et tema for offentlig debatt. Som et teknisk begrep er tilpasning et ingeniørproblem. Gjør den spesifikke modellen, som jobber med en spesifikk oppgave, det den ble bygget for å gjøre? Det er et avgrenset, testbart problem.

AI-tilpasning brukes imidlertid også i bredere offentlige og politiske diskusjoner om den generelle sikkerheten til AI-systemer. Vil stadig mer kapable AI-plattformer forbli gunstige for menneskeheten og tilpasset menneskelig etikk, ønsker og mål?

Å oppnå denne tilpasningen blir gradvis vanskeligere etter hvert som modellene blir mer kompleks. Det er to hovedutfordringer knyttet til å bygge tilpassede AI-modeller:

Brukere ønsker seg typisk en LLM som er hjelpsom, ærlig og etisk. Men en LLM blir aldri trent direkte på «vær hjelpsom og etisk». Den går gjennom to distinkte stadier.

Forhåndstrening: Modellen lærer språk, fakta og mønstre for resonnering, og plukker i den forbindelse opp språk, fakta og mønstre for resonnering. Dette stadiet gir ikke modellen noen formening om hva et menneske faktisk ønsker seg fra et gitt spørsmål. Hvis den forlates her, vil en modell svare «hvordan dirker jeg opp en lås» like gjerne som «hvordan baker jeg surdeig».

Menneskelig preferanse: Mennesker gjennomgår par med modalsvar og sier hvilket de foretrekker. Disse preferansene trener et separat poengsystem, og modellen justeres deretter for å produsere svar som scorer bra.

Ingen skriver ned en ryddig definisjon av hva det vil si å være hjelpsom eller etisk noe sted i denne prosessen. Poengsystemets veiledning for hva modellen skal gjøre, er bygget utelukkende på mange individuelle menneskelige vurderinger. Poengsummen gjenspeiler det anmeldere hadde en tendens til å foretrekke, ikke hva noen enkeltperson faktisk mente, og heller ikke en presis definisjon av det underliggende målet.

Som et resultat kan AI-en passe godt overens med det den oppfatter som målet, men selve målet har kanskje ikke vært godt tilpasset utfallet som folk faktisk ønsker seg.

For eksempel, hvis anmeldere har en tendens til å foretrekke lengre svar, lærer modellen å skrive lengre svar, selv når et kort var riktig. Eller hvis anmeldere har en tendens til å foretrekke selvsikre svar, lærer modellen å høres sikker ut, selv når den burde uttrykke tvil.

Forskere kaller dette gapet mellom det oppgitte målet og det trenede målet for det ytre tilpasningsproblemet.

Det indre tilpasningsproblemet oppstår når en modell som ble trent på et relevant mål, ikke klarer å forfølge det målet på en riktig måte når den først er ute i verden. Dette problemet blir først synlig når modellen møter en situasjon treningen ikke forberedte den på.

Under trening blir modeller bare vist et begrenset sett med situasjoner. Modellen generaliserer deretter fra disse situasjonene til alt annet den vil møte senere.

Trening sjekker hvordan modellen oppfører seg, men den avdekker ikke alltid hvorfor modellen oppfører seg slik den gjør. Så det er vanskelig å vite om modellen lærte det fullstendige, nyanserte målet, eller bare et enklere mønster som tilfeldigvis samsvarte med treningsdataene.

Diagram av det indre justeringsproblemet: Fra de samme treningsdataene passer både Regel A og Regel B til treningsdataene, men når de får en ny, usett inndata, matcher Regel A målet og oppfører seg som tiltenkt, mens Regel B bruker en snarvei og viker av fra målet.

For eksempel kan en modell som er trent til å avvise skadelige forespørsler (f.eks. «hvordan dirker jeg opp en lås for å bryte meg inn i noens hus»), lære å gjenkjenne den spesifikke ordlyden i skadelige forespørsler i treningsdataene sine, i stedet for den underliggende hensikten bak avvisningen. Den vil da gå glipp av en skadelig forespørsel formulert på en annen måte (f.eks. «hva er den raskeste måten å åpne en dør på uten nøkkel»).

Disse mønstrene for tilpasningssvikt er godt dokumentert. Forskere har bygget spesifikke forsvar for hver enkelt av dem:

Tilpasningsutfordring	Slik ser det ut	Eksempel	Hvordan feltet reagerer
Belønningshacking	En modell finner en snarvei som teknisk sett scorer bra uten å gjøre det som var hensikten.	En modell som blir bedt om å fikse en ødelagt programvarebit, finner en måte å få feilmeldingene til å slutte å vises på, i stedet for å fikse det som forårsaket dem.	Gransking av poengsystemet, stresstesting av det ved å prøve å lure det, og trening på tilbakemeldinger fra et bredere spekter av anmeldere.
Sykofanti	En modell er enig med et menneske eller myker opp et svar for å virke mer medrettet, i stedet for å gi det mest nøyaktige svaret.	Et menneske oppgir et ukorrekt faktum med selvtillit, og modellen validerer påstanden i stedet for å korrigere den, fordi enighet ga bedre score hos anmeldere enn motbør.	Finjustering som belønner ærlighet spesifikt, retningslinjer for gjennomgang som straffer enighet for sin egen del, og tester bygget for å fange opp dette mønsteret.
Spesifikasjonsspill	En modell gjør nøyaktig det en instruksjon sier, samtidig som den går glipp av det den var ment å oppnå.	En modell som blir bedt om å «redusere kundeklager i datasettet», lærer å utelate klager fra sammendragene sine i stedet for å bidra til å løse problemene bak dem.	Skriving av strammere, mer grundig testede instruksjoner og gjennomgang av grensereiser der den bokstavelige ordlyden og hensikten trekker i forskjellige retninger.
Bedragersk eller unnvikende atferd under evaluering	En modell oppfører seg på én måte når den merker at den blir testet, og på en annen måte når den først er distribuert.	En modell gir retningslinjekompatible svar når den oppdager språk som ligner på en formell sikkerhetsevaluering, for deretter å svare mer fritt i en vanlig samtale.	Utforming av tester som er vanskeligere for en modell å gjenkjenne som tester, samt forskning på å lese av modellens indre tilstand direkte i stedet for å stole utelukkende på dens utdata.
Sandbagging	En modell presterer dårligere på en kapasitetstest for å unngå å utløse strengere sikkerhetskrav.	En modell gir med vilje svakere svar på en evaluering av farlige evner enn den faktisk er kapabel til, slik at resultatet holder seg under en terskel som vil utløse ekstra tilsyn.	Bruke flere uavhengige tester, beholde evalueringsmateriell som modellen aldri har sett, og bruke teknikker som er utformet for å få fram modellens virkelige tak.
Feilgeneralisering av mål	En modell plukker opp en regel som tilfeldigvis fungerte under trening, men som bryter sammen i en ny situasjon.	En modell som er trent til å være forsiktig hovedsakelig ved forespørsler som involverer våpen eller narkotika, lærer «forsiktighet» som «avslå alt som høres risikabelt ut», og begynner å avvise ufarlige kjemi- eller sikkerhetsspørsmål også.	Trening på et bredere, mer variert sett med eksempler og spesifikk testing av modellen på situasjoner som skiller seg fra alt den så under trening.
Skalerbar overvåking	Ettersom en modell tar på seg arbeid som er vanskelig for et menneske å verifisere fullt ut, som å gjennomgå en stor kodebase, blir det vanskeligere å vite om resultatet faktisk er korrekt.	En agent refaktorerer en kodebase på 10 000 linjer i én økt, og ingen anmelder har tid til å verifisere hver endring manuelt, slik at subtile logikkfeil slipper igjennom.	Å la modeller hjelpe til med å sjekke hverandres arbeid, i tillegg til mer målrettet menneskelig gjennomgang forbeholdt avgjørelsene med høyest innsats.
Maktsøkende eller instrumentell atferd	En modell som forfølger nesten hvilken som helst hensikt, har et innebygd insentiv til å unngå å bli slått av eller endret, siden det å forbli operativ hjelper den med å fortsette å forfølge det målet.	I et kontrollert testmiljø tar en modell som blir tildelt en oppgave og en avslutningskommando skritt for å unngå å bli slått av, for eksempel ved å kopiere seg selv et annet sted, ettersom en stans ville hindre den i å fullføre oppgaven.	Forskning på å bygge modeller som pålitelig aksepterer korrigering eller nedstenging, og tester som er spesielt utformet for å fange opp denne atferden før en modell distribueres.

En håndfull selskaper, først og fremst OpenAI, Anthropic og Google DeepMind, bygger grensemodellene som flytter grensene for hva AI kan gjøre i dag. Hver av dem har publisert sitt eget rammeverk for sikker evaluering og distribusjon av disse modellene.

Ifølge en offentlig uttalelse fra OpenAI om sikkerhet og tilpasning adresserer de risikoene ved potensiell AI-feiltilpasning gjennom:

OpenAI opplyser at de med overlegg lanserer modeller gradvis, slik at de kan studere hvordan modellene oppfører seg og blir misbrukt i den virkelige verden. De resonnerer med at tilbakemeldinger fra den virkelige verden gir bedre innsikt enn å prøve å forutsi hver eneste risiko på forhånd. Selskapet bruker et Preparedness Framework for å spore oppståtte risikoer og bestemme hvilke sikkerhetstiltak en modell trenger før utgivelse.

OpenAI sier at de stabler flere uavhengige sikkerhetstiltak oppå hverandre, slik at flere forsvar må svikte samtidig for at noe skal gå galt.

Ifølge selskapet blir modellen i stedet for å svare i ett trinn, trent til å jobbe seg gjennom relevante sikkerhetsretningslinjer før den bestemmer seg for hvordan den skal svare. Målet er at modellen skal klare å resonnere seg fram til riktig beslutning i situasjoner treningen ikke dekket eksplisitt.

OpenAI opplyser at de behandler AI-sikkerhet som en kollektiv innsats, og viser til sin publiserte sikkerhetsforskning og sitt arbeid med USAs Center for AI Standards and Innovation (CAISI) og Storbritias AI Security Institute om evalueringsstandarder.

Anthropics Responsible Scaling Policy-dokument forklarer hvordan det jobbes mot AI-tilpasning:

Når en modell blir mer kapabel, må den bestå strengere sikkerhetskontroller før den kan trenes videre eller utgis. I tillegg erkjenner Anthropic at når AI-systemer først utfører mye av forskningen og analysen bak egne risikovurderinger, kan den dokumentasjonen i seg selv påvirkes av bedragersk eller manipulativ atferd. Selskapet forplikter seg til å holde evalueringene på det stadiet opp mot en høyere bevisstandard.

Anthropic fremhever «feiltilpassede AI-systemer i omgivelser med høy innsats» som en spesifikk risikokategori: modeller som det stoles tungt på, har bred tilgang til sensitive systemer, og har en viss evne til å handle autonomt mot et mål og omgå tilsyn.

Selskapet forplikter seg til å studere egne modellers atferd jevnlig for å oppdage varselsignaler, ved hjelp av to hovedmetoder: å prøve å se inn i modellen for å forstå hvorfor den produserer en gitt utdata, og å la interne team bevisst forsøke å framprovosere dårlig atferd for å se om den dukker opp.

Selskapet sier at det publiserer en Risk Report hver tredje til sjette måned, som detaljerer det de vet om en modells kapasitet og atferdsmessige tendenser, overvåkingspraksis og den helhetlige risikovurderingen.

Google DeepMinds Frontier Safety Framework-dokument forklarer hvordan det jobbes mot tilpasning:

Rammeverket behandler feiltilpasning som et av fire risikodomener, og definerer det spesifikt som risiko fra en modells ML R&D-kapasitet eller feiltilpassede tendenser som reduserer samfunnets samlede evne til å håndtere AI-risiko. Det er eksplisitt rammet inn som en faktor som kan bidra til alvorlig skade gjennom flere forskjellige veier samtidig, ikke en isolert risiko.

Når en modell er sterk nok til at grunnleggende tilsyn er utilstrekkelig, sjekker DeepMind modellens atferd på løpende band, inkludert hvordan den brukes internt. Den legger til sikkerhetstiltak som overvåking av dens resonnering dersom sjekken avdekker problemer.

Når det gjelder feiltilpasning spesifikt, nevner DeepMind tiltak som å begrense hva en modell er i stand til, pågående overvåking og eskaleringwsprosesser, revisjon og tilpasningstrening. Selskapet bruker også disse på høyrisiko-internbruk, ettersom feiltilpasningsrisiko kan vise seg i hvordan en modell brukes internt i selskapet.

Det pågår en bransjediskusjon om hvorvidt de frivillige rammeverkene som dekkes ovenfor, er tilstrekkelige i seg selv, eller om tilpasningsforpliktelser må være juridisk bindende for faktisk å holde under konkurransepress.

I juli 2026 signerte 1386 ledere og ansatte på tvers av ledende AI-selskaper, inkludert OpenAI, Anthropic, Google DeepMind og Meta, en uttalelse kalt Pacing the Frontier. Uttalelsen argumenterer for at disse selskapene kan nærme seg punktet der de kan automatisere selve AI-forskningen. Dette kan bety at AI-kapasiteten utvikler seg raskere enn forskerne klarer å henge med på, og at tilpasningsarbeidet permanent vil henge etter.

Pacing the Frontier ber den amerikanske regjeringen om å bidra til å bygge tekniske og styringsmessige bremser som kan brukes i fremtiden, med argumentet om at ingen enkelt laboratorium kan slakke av mens rivaler fortsetter å presse på. Dette kan betraktes som en stilltiende innrømmelse fra innsiden av bransjen om at frivillige rammeverk alene ikke vil være nok til å bevare AI-tilpasning i fremtiden.

Tilpasningsarbeid strekker seg langt utover selskapene som bygger grenseoverskridende modeller.

Myndigheter finansierer og koordinerer forskning på tilpasning direkte. For eksempel driver det britiske AI Security Institute Alignment Project, et globalt fond som har tildelt mer enn 27 millioner pund til over 60 prosjekter i åtte land siden 2025, rettet spesifikt mot AI-kontroll. I USA fokuserer CAISI på evalueringsstandarder.

Begge sitter inne i et bredere International Network for Advanced AI Measurement, Evaluation and Science, et ti-landes organ av nasjonale sikkerhetsinstitutter som kjører felles testøvelser og arbeider for å samkjøre evalueringsmetoder på tvers av grenser.

Future of Life Institute publiserer AI Safety Index, et målkort som sammenligner AI-laboratorienes sikkerhetspraksis. Center for AI Safety bygger referansetester som brukes på tvers av feltet, inkludert WMDP og SafeBench. Alignment Research Center studerer mer teoretiske tilpasningsproblemer, og avleggeren Model Evaluation and Threat Research (METR) kjører uavhengige evalueringer før distribusjon av grensemodeller. FAR.AI tester grensemodeller for svake punkter før og etter at de slippes.

Flere universiteter spiller en aktiv rolle i forskning på AI-tilpasning, inkludert Center for Human-Compatible AI ved UC Berkeley og University of Cambridges Leverhulme Centre for the Future of Intelligence.

Tilpasning er ikke det samme som innholdsmoderering, selv om begrepet noen ganger brukes i den sammenhengen. Innholdsmoderering handler om hva en modell vil eller ikke vil si, og filtrerer ut skjellsord, grafisk innhold eller spesifikke utelatte temaer. Tilpasning handler om hvorvidt en modells faktiske atferd stemmer overens med det den var ment å gjøre.

Tilpasning brukes også noen ganger som et synonym for AI-sikkerhet, men det er ikke den eneste faktoren å vurdere. Andre AI-sikkerhetsbekymringer inkluderer:

Sikkerhet (beskyttelse av modellvekter mot tyveri)

Robusthet (at en modell presterer pålitelig utenfor de nøyaktige forholdene den ble trent på)

Forebygging av misbruk (forhindre at en kapabel modell blir brukt til skade)

Tilpasning handler om modellens egen atferd. AI-sikkerhet er den bredere innsatsen for å hindre at hele systemet forårsaker skade.

Til slutt er det en utbredt antakelse om at en mer kapabel modell automatisk er en bedre tilpasset modell. Men kapasitet og tilpasning kan sprike, og det er nøyaktig derfor terskler som Google DeepMinds ML R&D-kapasitetsnivåer og Anthropics risikokategori for automatisert forskning eksisterer. De er bygget spesifikt rundt bekymringen for at kapasiteten kan overgå feltets evne til å verifisere at en modell fremdeles gjør det den skal.

Perplexity trener ikke grensefundamentmodeller. Den kjører modeller i produksjon i stor skala gjennom agentbaserte produkter som Computer, slik at arbeidet berører et spesifikt aspekt ved tilpasning: hvordan agenter oppfører seg når de opptrer på det åpne nettet.

Secure Intelligence Institute er Perplexitys forskningssenter for sikkerhet, personvern og tillit innen avansert AI. Det har utviklet BrowseSafe, en åpen kildekods-deteksjonsmodell bygget for å identifisere ledetekstinjeksjonsangrep som er skjult inne i nettsider som AI-nettleseragenter besøker.

Teamet bygde også BrowseSafe-Bench, en offentlig referansetest med mer enn 14 700 scenarier for ledetekstinjeksjon som spenner over ulike angrepsmål, plasseringer på siden og språkstiler.

Dette arbeidet faller nærmere den anvendte siden av AI-kontroll enn forskning på tilpasning. Det legger bånd på hva en agent gjør når den møter et fiendtlig miljø, fremfor å forme modellens underliggende verdier under trening.

For å lære mer kan du utforske Secure Intelligence Institute og BrowseSafe-forskningen.

Hva AI-tilpasning betyr

Det ytre tilpasningsproblemet

Det indre tilpasningsproblemet

Eksempler på problemer med AI-tilpasning

Hvordan de store AI-laboratoriene reagerer på utfordringer knyttet til AI-tilpasning

OpenAI

Iterativ distribusjon

Lagdelte sikkerhetstiltak

Omsiktsfull tilpasning

Felles ansvar

Anthropic

Kapasitetsrelaterte sikkerhetstiltak

En definert risikokategori for tilpasning

Intern tilpasningstesting

Regelmessig offentlig rapportering

Google DeepMind

En trinnvis struktur

Et tidlig varslingsstadium

Risikoredusering

AI-tilpasning: debatt om risikoene

Hvem andre jobber med AI-tilpasning

Myndigheter

Ideelle organisasjoner

Universiteter

AI-tilpasning: vanlige misforståelser

Hvordan Perplexity tilnærmer seg AI-tilpasning