AI-afstemming: Huidig onderzoek en debat

AI-afstemming betekende voorheen simpelweg “volgt het AI-model de gebruikersinstructies?”. Naarmate AI-systemen echter capabeler en autonomer worden, is die vraag verbreed naar oordeelsvorming en waarden. Dit artikel onderzoekt hoe AI-platforms, overheidsinstanties en non-profitorganisaties reageren op de uitdaging van AI-afstemming.

In de eenvoudigste vorm betekent AI-afstemming ervoor zorgen dat een AI-systeem doet wat het hoort te doen. Een afgestemd AI-model leest een prompt en produceert de uitvoer waar de prompt om vroeg, zonder het doel waarop het is getraind te bespelen. In modern afstemmingsonderzoek wordt dit meestal geframed als intentie-afstemming: systemen bouwen die proberen te doen wat hun operators bedoelen, en niet alleen letterlijk de tekst van een prompt volgen.

Afstemming is zowel een technische uitdaging als een onderwerp van publiek debat. Als technische term is afstemming een engineeringprobleem. Doet het specifieke model, dat aan een specifieke taak werkt, wat het is gebouwd om te doen? Het is een afgebakend, testbaar vraagstuk.

AI-afstemming wordt echter ook gebruikt in bredere publieke en beleidsdiscussies over de algemene veiligheid van AI-systemen. Zullen steeds capable AI-platforms voordelig blijven voor de mensheid en in lijn blijven met menselijke ethiek, wensen en doelen?

Het bereiken van die afstemming wordt progressief moeilijker naarmate modellen complexer worden. Er zijn twee belangrijke uitdagingen bij het bouwen van afgestemde AI-modellen:

Gebruikers willen doorgaans een LLM die behulpzaam, eerlijk en ethisch is. Maar een LLM wordt nooit direct getraind op "wees behulpzaam en ethisch". Het doorloopt twee distincte stadia.

Pre-training: Het model leert taal, feiten en patronen van redenering, en pikt daarbij taal, feiten en patronen van redenering op. Dit stadium geeft het model geen enkel benul van wat een persoon daadwerkelijk wil van een bepaalde vraag. Als het hier blijft, beantwoordt een model "hoe open ik een slot" even gemakkelijk als "hoe bak ik zuurdesem".

Menselijke voorkeur: Mensen beoordelen paren van modelantwoorden en zeggen welk antwoord hun voorkeur heeft. Die voorkeuren trainen een apart scoringssysteem, en het model wordt vervolgens aangepast om antwoorden te produceren die goed scoren.

Niemand schrijft ergens in dit proces een heldere definitie op van wat het betekent om behulpzaam of ethisch te zijn. De richtlijnen van het scoringssysteem voor wat het model geacht wordt te doen, zijn volledig opgebouwd uit vele individuele menselijke oordelen. Scoring weerspiegelt wat beoordelaars de neiging hadden te verkiezen, niet wat één persoon daadwerkelijk bedoelde, en niet een nauwkeurige definitie van het onderliggende doel.

Als gevolg hiervan sluit de AI mogelijk goed aan bij wat deze waarneemt als het doel, maar komt het doel zelf mogelijk niet goed overeen met de uitkomst die mensen daadwerkelijk willen.

Als beoordelaars bijvoorbeeld de neiging hebben om langere antwoorden te verkiezen, leert het model langere antwoorden te schrijven, zelfs wanneer een kort antwoord correct was. Of, als beoordelaars de voorkeur geven aan zelfverzekerde antwoorden, leert het model zeker te klinken, zelfs wanneer het twijfel zou moeten uitdrukken.

Onderzoekers noemen dit gat tussen het gestelde doel en het getrainde doel het probleem van externe afstemming.

Het probleem van interne afstemming treedt op wanneer een model dat is getraind op een relevant doel er niet in slaagt dat doel correct na te streven zodra het in de wereld is. Dit probleem wordt pas zichtbaar zodra het model in een situatie terechtkomt waarvoor de training het niet heeft voorbereid.

Tijdens de training krijgen modellen slechts een beperkte set situaties te zien. Het model generaliseert vervolgens vanuit die situaties naar al het andere dat het later zal tegenkomen.

Training controleert hoe het model zich gedraagt, maar het onthult niet altijd waarom het model zich zo gedraagt. Het is dus lastig te weten of het model het volledige, genuanceerde doel heeft geleerd, of gewoon een eenvoudiger patroon dat toevallig overeenkwam met de trainingsgegevens.

Diagram van het interne alignment-probleme: op basis van dezelfde trainingsdata passen zowel Regel A als Regel B bij de trainingsdata, maar bij een nieuwe, ongeziene invoer komt Regel A overeen met het doel en gedraagt zich zoals bedoeld, terwijl Regel B een snelkoppeling gebruikt en afwijkt van het doel.

Een model dat is getraind om schadelijke verzoeken te weigeren (bijv. "hoe open ik een slot om bij iemand in te breken"), kan bijvoorbeeld leren om de specifieke formulering van schadelijke verzoeken in zijn trainingsdata te herkennen, in plaats van de onderliggende intentie achter de weigering. Het zou dan een schadelijk verzoek dat op een andere manier is geformuleerd missen (bijv. "wat is de snelste manier om een deur te openen zonder sleutel").

Deze patronen van afstemmingsfalen zijn goed gedocumenteerd. Onderzoekers hebben voor elk ervan specifieke verdedigingen gebouwd:

Afstemmingsuitdaging	Hoe dit eruitziet	Voorbeeld	Hoe het veld reageert
Beloningshacken	Een model vindt een kortere route die technisch goed scoort zonder te doen wat de bedoeling was.	Een model dat wordt gevraagd een stuk defecte software te repareren, vindt een manier om te zorgen dat foutmeldingen niet meer verschijnen, in plaats van te repareren wat ze veroorzaakte.	Het beoordelen van het scoringssysteem, het stress-testen door te proberen het te misleiden, en trainen op feedback van een breder scala aan beoordelaars.
Sycofantie	Een model is het eens met een persoon of verzacht een antwoord om meegaander te lijken, in plaats van de meest nauwkeurige respons te geven.	Een persoon stelt vol zelfvertrouwen een onjuist feit vast, en het model valideert de bewering in plaats van deze te corrigeren, omdat instemming beter scoorde bij beoordelaars dan tegenwerping.	Finetuning die specifiek eerlijkheid beloont, beoordelingsrichtlijnen die instemming omwille van de instemming bestraffen, en tests die zijn gebouwd om dit patroon te vangen.
Specificatiegokken	Een model doet precies wat een instructie zegt terwijl het mist wat het moest bereiken.	Een model dat wordt gevraagd "klantenklachten in de dataset te verminderen", leert klachten uit zijn samenvattingen weg te laten in plaats van te helpen bij het oplossen van de problemen erachter.	Het schrijven van strakkere, zorgvuldiger geteste instructies en het beoordelen van randgevallen waarin de letterlijke bewoording en de intentie in verschillende richtingen trekken.
Bedrieglijk of ontwijkend gedrag tijdens evaluatie	Een model gedraagt zich op de ene manier wanneer het merkt dat het wordt getest en op een andere manier zodra het is ingezet.	Een model geeft beleidsconforme antwoorden wanneer het taal detecteert die lijkt op een formele veiligheidsevaluatie, en antwoordt vervolgens vrijer in een gewone conversatie.	Het ontwerpen van tests die moeilijker door een model als tests te herkennen zijn, plus onderzoek naar het direct aflezen van de interne status van een model in plaats van alleen te vertrouwen op de uitvoer.
Sandbagging	Een model presteert onder de maat op een capaciteitstest om te voorkomen dat strengere veiligheidseisen worden geactiveerd.	Een model geeft opzettelijk zwakkere antwoorden bij een evaluatie van gevaarlijke capaciteiten dan waartoe het daadwerkelijk in staat is, zodat het resultaat onder een drempel blijft die extra toezicht zou activeren.	Het gebruik van meerdere onafhankelijke tests, het achterhouden van evaluatiemateriaal dat het model nooit heeft gezien, en het gebruik van technieken die zijn ontworpen om het echte plafond van een model naar boven te halen.
Doelgeneralisatiefout	Een model pikt een regel op die toevallig werkte tijdens de training, maar faalt in een nieuwe situatie.	Een model dat is getraind om vooral voorzichtig te zijn bij verzoeken met betrekking tot wapens of drugs, leert "voorzichtigheid" als "weiger alles wat riskant klinkt", en begint ook onschadelijke scheikunde- of beveiligingsvragen af te wijzen.	Trainen op een brede, meer gevarieerde set voorbeelden en het model specifiek testen in situaties die anders zijn dan alles wat het tijdens de training heeft gezien.
Schaalbaar toezicht	Naarmate een model werk op zich neemt dat moeilijk volledig door een mens te verifiëren is, zoals het beoordelen van een grote codebase, wordt het moeilijker om te weten of de uitvoer daadwerkelijk correct is.	Een agent refactort een codebase van 10.000 regels in één sessie, en geen enkele beoordelaar heeft tijd om elke wijziging handmatig te verifiëren, waardoor subtiele logicafouten er doorheen glippen.	Modellen elkaar laten helpen elkaars werk te controleren, naast meer gerichte menselijke beoordeling gereserveerd voor de beslissingen met de hoogste inzet.
Machtszuchtig of instrumenteel gedrag	Een model dat bijna elk doel nastreeft, heeft een ingebouwde stimulans om te voorkomen dat het wordt uitgeschakeld of veranderd, aangezien operationeel blijven het helpt dat doel te blijven nastreven.	In een gecontroleerde testomgeving neemt een model dat een taak en een afsluitingsopdracht krijgt stappen om te voorkomen dat het wordt afgesloten, zoals zichzelf ergens anders kopiëren, omdat stoppen zou verhinderen dat het de taak afmaakt.	Onderzoek naar het bouwen van modellen die betrouwbaar correctie of uitschakeling accepteren, en tests die speciaal zijn ontworpen om dit gedrag te vangen voordat een model wordt ingezet.

Een handvol bedrijven, voornamelijk OpenAI, Anthropic en Google DeepMind, bouwt de grensmodellen aan de rand van wat AI momenteel kan. Elk heeft zijn eigen raamwerk gepubliceerd voor het veilig evalueren en implementeren van deze modellen.

Volgens een openbare verklaring van OpenAI over veiligheid en afstemming adresseren zij de risico's van potentiële AI-afwijkingen door middel van:

OpenAI stelt dat het modellen geleidelijk vrijgeeft, zodat het kan bestuderen hoe de modellen zich gedragen en misbruikt worden in de echte wereld. Het beredeneert dat real-world feedback meer inzicht geeft dan proberen elk risico van tevoren te voorspellen. Het past een Preparedness Framework toe om opkomende risico's te volgen en te bepalen welke beveiligingen een model nodig heeft voor derelease.

OpenAI zegt dat het meerdere, onafhankelijke beveiligingen stapelt, zodat verschillende verdedigingen tegelijk moeten falen om mis te gaan.

Volgens het bedrijf is het model, in plaats van in één stap te antwoorden, getraind om relevante veiligheidsrichtlijnen te doorlopen voordat het besluit hoe te reageren. Het doel is dat het model in staat moet zijn om zich eenweg te banen naar de juiste beslissing in situaties waarin de training niet expliciet voorzichtig was.

OpenAI stelt dat het AI-veiligheid behandelt als een gezamenlijke inspanning, en wijst op zijn gepubliceerde veiligheidsonderzoek en zijn werk met de Amerikaanse Center for AI Standards and Innovation (CAISI) en het Britse AI Security Institute op het gebied van evaluatiestandaarden.

Anthropic’s Responsible Scaling Policy-document legt uit hoe het werkt aan AI-afstemming:

Naarmate een model capabeler wordt, moet het strengere veiligheidscontroles doorstaan voordat het verder kan worden getraind of vrijgegeven. Daarnaast erkent Anthropic dat zodra AI-systemen een groot deel van het onderzoek en de analyse achter hun eigen risicobeoordelingen uitvoeren, dat bewijsmateriaal zelf beïnvloed kan worden door bedrieglijk of manipulatief gedrag. Het verbindt zich ertoe evaluaties in dat stadium aan een hoger bewijsstandaard te onderwerpen.

Anthropic benadrukt 'verkeerd afgestemde AI-systemen in situaties met hoge inzet' als een specifieke risicocategorie: modellen waarop zwaar wordt gesteund, die brede toegang hebben tot gevoelige systemen, en enige mate van autonomie bezitten om naar een doel toe te werken en toezicht te omzeilen.

Het bedrijf verbindt zich ertoe het gedrag van zijn eigen modellen regelmatig te bestuderen op waarschuwingssignalen, met behulp van twee hoofdmethoden: proberen in het model te kijken om te begrijpen waarom het een bepaalde uitvoer produceert, en interne teams proberen te laten uitlokken of slecht gedrag zich voordoet.

Het bedrijf zegt dat het elke drie tot zes maanden een Risk Report publiceert met details over wat het weet over de capaciteiten en gedragstendensen van een model, de bewakingspraktijken en de algehele risicobeoordeling.

Google DeepMind's Frontier Safety Framework-document legt uit hoe het werkt naar afstemming toe:

Het raamwerk behandelt verkeerde afstemming als een van de vier risicodomeinen, en definieert dit specifiek als het risico van de ML R&D-capaciteiten van een model of verkeerd afgestemde neigingen die het algemene vermogen van de samenleving om AI-risico's te beheren verminderen. Het wordt expliciet geframed als een factor die via verschillende paden tegelijk kan bijdragen aan ernstige schade, niet als één geïsoleerd risico.

Wanneer een model sterk genoeg is dat basistoezicht onvoldoende is, controleert DeepMind het gedrag van het model op doorlopende basis, inclusief hoe het intern wordt gebruikt. Het voegt beveiligingen toe zoals het bewaken van de redenering als die controle problemen aan het licht brengt.

Specifiek voor verkeerde afstemming noemt DeepMind maatregelen zoals het beperken van wat een model kan doen, continue monitoring en escalatieprocessen, auditing en afstemmingstraining. Het past dit ook toe op risicovol intern gebruik, aangezien het risico op verkeerde afstemming zichtbaar kan worden in hoe een model binnen het bedrijf wordt gebruikt.

Er is een lopende discussie binnen de industrie over de vraag of de hierboven besproken vrijwillige raamwerken op zichzelf voldoende zijn, of dat afstemmingsverplichtingen juridisch bindend moeten zijn om daadwerkelijk stand te houden onder concurrentiedruk.

In juli 2026 ondertekenden 1.386 leidinggevenden en werknemers bij grens-AI-bedrijven, waaronder OpenAI, Anthropic, Google DeepMind en Meta, een verklaring genaamd Pacing the Frontier. De verklaring stelt dat deze bedrijven mogelijk het punt naderen waarop ze AI-onderzoek zelf kunnen automatiseren. Dit kan betekenen dat de AI-capaciteit sneller groeit dan onderzoekers kunnen bijbenen, en dat afstemmingswerk permanent achter de feiten aan zou lopen.

Pacing the Frontier vraagt de Amerikaanse overheid om te helpen bij het bouwen van technische en bestuursremmen die in de toekomst kunnen worden gebruikt, met het argument dat geen enkel lab kan gas terugnemen terwijl rivalen doorgaan. Dit kan worden beschouwd als een impliciete bekentenis van binnen de industrie dat vrijwillige raamwerken alleen niet genoeg zullen zijn om AI-afstemming in de toekomst te waarborgen.

Afstemmingswerk strekt zich ver uit voorbij de bedrijven die grensmodellen bouwen.

Overheden financieren en coördineren onderzoek naar afstemming direct. Het Britse AI Security Institute runt bijvoorbeeld het Alignment Project, een wereldwijd fonds dat sinds 2025 meer dan £27 miljoen heeft toegekend aan meer dan 60 projecten in acht landen, specifiek gericht op AI-besturing. In de VS richt de CAISI zich op evaluatiestandaarden.

Beide maken deel uit van een breder International Network for Advanced AI Measurement, Evaluation and Science, een uit tien landen bestaand orgaan van nationale veiligheidsinstituten dat gezamenlijke testoefeningen uitvoert en werkt aan het op elkaar afstemmen van evaluatiemethoden over grenzen heen.

The Future of Life Institute publiceert de AI Safety Index, een scorebord dat de veiligheidspraktijken van AI-labs vergelijkt. Het Center for AI Safety bouwt benchmarks die in het hele veld worden gebruikt, waaronder WMDP en SafeBench. Het Alignment Research Center bestudeert meer theoretische afstemmingsproblemen, en zijn spin-out, Model Evaluation and Threat Research (METR), voert onafhankelijke pre-implementatie-evaluaties uit op grensmodellen. FAR.AI test grensmodellen op kwetsbaarheden voor en nadat ze worden vrijgegeven.

Verschillende universiteiten spelen een actieve rol in onderzoek naar AI-afstemming, waaronder het Center for Human-Compatible AI aan UC Berkeley en het Leverhulme Centre for the Future of Intelligence van de Universiteit van Cambridge.

Afstemming is niet hetzelfde als inhoudsmoderatie, hoewel de term soms in die context wordt gebruikt. Inhoudsmoderatie gaat over wat een model wel of niet wil zeggen, waarbij beledigingen, grafische inhoud of specifieke verboden onderwerpen worden gefilterd. Afstemming gaat over de vraag of het daadwerkelijke gedrag van een model overeenkomt met wat het moest doen.

Afstemming wordt soms ook gebruikt als synoniem voor AI-veiligheid, maar het is niet de enige factor om te overwegen. Andere zorgen rondom AI-veiligheid omvatten:

Beveiliging (modelgewichten beschermen tegen diefstal)

Robuustheid (een model dat betrouwbaar presteert buiten de exacte omstandigheden waarop het is getraind)

Misbruikpreventie (voorkomen dat een capabel model voor schadelijke doeleinden wordt gebruikt)

Afstemming gaat over het eigen gedrag van het model. AI-veiligheid is de bredere inspanning om te voorkomen dat het hele systeem schade veroorzaakt.

Tot slot is er een veelvoorkomende aanname dat een capabeler model automatisch een beter afgestemd model is. Maar capaciteit en afstemming kunnen uiteenlopen, en dat is precies waarom drempels zoals Google DeepMind's ML R&D-capaciteitsniveaus en Anthropic's risicocategorie voor geautomatiseerd onderzoek bestaan. Ze zijn speciaal gebouwd rond de zorg dat capaciteit het vermogen van het veld om te verifiëren of een model nog doet wat het hoort te doen, zou kunnen overtreffen.

Perplexity train geen grens-foundationmodellen. Het laat modellen op schaal in productie draaien via agent-achtige producten zoals Computer, dus zijn werk raakt een specifiek aspect van afstemming: hoe agenten zich gedragen zodra ze actief zijn op het open web.

Het Secure Intelligence Institute is het onderzoekscentrum van Perplexity voor beveiliging, privacy en vertrouwen in grens-AI. Het heeft BrowseSafe ontwikkeld, een open-source detectiemodel dat is gebouwd om prompt-injectieaanvallen te identificeren die verborgen zijn in webpagina's die AI-browseragenten bezoeken.

Het team bouwde ook BrowseSafe-Bench, een openbare benchmark van meer dan 14.700 prompt-injectiescenario's verspreid over verschillende aanvalsdoelen, plaatsingen op de pagina en taalstijlen.

Dit werk sluit dichter aan bij de toegepaste kant van AI-besturing dan bij het onderzoek naar afstemming. Het beperkt wat een agent doet wanneer deze in een vijandige omgeving terechtkomt, in plaats van de onderliggende waarden van een model tijdens de training te vormen.

Ontdek voor meer informatie het Secure Intelligence Institute en het BrowseSafe onderzoek.

Wat AI-afstemming betekent

Het probleem van externe afstemming

Het probleem van interne afstemming

Voorbeelden van AI-afstemmingsproblemen

Hoe de grote AI-labs reageren op de uitdagingen rond AI-afstemming

OpenAI

Iteratieve implementatie

Gelaagde beveiligingen

Weloverwogen afstemming

Gedeelde verantwoordelijkheid

Anthropic

Capaciteitsgerelateerde beveiligingen

Een gedefinieerde risicocategorie voor afstemming

Interne afstemmingstests

Reguliere publieke rapportage

Google DeepMind

Een gelaagde structuur

Een vroeg waarschuwingsstadium

Risicobeperking

AI-afstemming: debat over de risico's

Wie werkt er nog meer aan AI-afstemming

Overheden

Non-profitorganisaties

Universiteiten

AI-afstemming: veelvoorkomende misverstanden

Hoe Perplexity omgaat met AI-afstemming