Allineamento dell'IA: ricerca e dibattito attuali

Una guida all'allineamento dell'IA: cosa significa, i problemi di allineamento esterno e interno, i pattern di fallimento comuni, come i principali laboratori di IA, governi e organizzazioni no-profit stanno rispondendo e a che punto è il dibattito.

Diagram of the inner alignment problem: from the same training data, Rule A and Rule B both fit the training data, but when given a new, unseen input, Rule A matches the goal and behaves as intended while Rule B uses a shortcut and diverges from the goal.

In passato, l'allineamento dell'IA significava semplicemente "il modello di IA segue le istruzioni dell'utente?". Tuttavia, man mano che i sistemi di IA diventano più capaci e autonomi, questa domanda si è ampliata fino a includere il giudizio e i valori. Questo articolo esplorerà come le piattaforme di IA, gli enti governativi e le organizzazioni no-profit stanno rispondendo alla sfida dell'allineamento dell'IA.

Cosa significa allineamento dell'IA

Nella sua forma più semplice, l'allineamento dell'IA significa assicurarsi che un sistema di IA faccia ciò che è destinato a fare. Un modello di IA allineato legge un prompt e produce l'output richiesto dal prompt, senza manipolare l'obiettivo su cui è stato addestrato. Nella moderna ricerca sull'allineamento, questo viene solitamente inquadrato come allineamento degli intenti: costruire sistemi che cercano di fare ciò che i loro operatori intendono, non limitandosi a seguire letteralmente il testo di un prompt.

L'allineamento è sia una sfida tecnica che un argomento di dibattito pubblico. Come termine tecnico, l'allineamento è un problema ingegneristico. Il modello specifico, che lavora su un compito specifico, fa ciò per cui è stato creato? È un problema delimitato e verificabile.

Tuttavia, l'allineamento dell'IA viene utilizzato anche in più ampie discussioni pubbliche e politiche sulla sicurezza generale dei sistemi di IA. Le piattaforme di IA, sempre più capaci, rimarranno benefiche per l'umanità e allineate con l'etica, i desideri e gli obiettivi umani?

Raggiungere tale allineamento diventa progressivamente più difficile man mano che i modelli diventano più complessi. Ci sono due sfide chiave nella costruzione di modelli di IA allineati:

Il problema dell'allineamento esterno

Gli utenti in genere desiderano un LLM che sia utile, onesto ed etico. Ma un LLM non viene mai addestrato direttamente a "essere utile ed etico". Attraversa due fasi distinte.

Pre-addestramento: il modello apprende il linguaggio, i fatti e i pattern di ragionamento e, così facendo, acquisisce linguaggio, fatti e pattern di ragionamento. Questa fase non dà al modello alcuna percezione di ciò che una persona desidera realmente da una determinata domanda. Fermandosi qui, un modello risponderà a "come scasso una serratura" con la stessa facilità con cui risponde a "come preparo un pane a lievitazione naturale".

Preferenza umana: le persone esaminano coppie di risposte del modello e dicono quale preferiscono. Tali preferenze addestrano un sistema di punteggio separato e il modello viene quindi regolato per produrre risposte che ottengono un buon punteggio.

Nessuno scrive una definizione chiara di cosa significhi essere utili o etici in qualsiasi punto di questo processo. Le linee guida del sistema di punteggio su ciò che il modello dovrebbe fare sono costruite interamente a partire da molteplici valutazioni individuali umane. Il punteggio riflette ciò che i revisori tendevano a preferire, non ciò che una singola persona intendeva realmente, e non una definizione precisa dell'obiettivo sottostante.

Di conseguenza, l'IA potrebbe allinearsi bene con ciò che percepisce come l'obiettivo, ma l'obiettivo stesso potrebbe non essere stato ben allineato con il risultato che le persone desiderano realmente.

Ad esempio, se i revisori tendono a preferire risposte più lunghe, il modello impara a scrivere risposte più lunghe, anche quando una risposta breve sarebbe stata corretta. Oppure, se i revisori tendono a preferire risposte sicure, il modello impara a sembrare certo, anche quando dovrebbe esprimere dubbi.

I ricercatori chiamano questo divario tra l'obiettivo dichiarato e l'obiettivo addestrato il problema dell'allineamento esterno.

Il problema dell'allineamento interno

Il problema dell'allineamento interno si verifica quando un modello addestrato su un obiettivo pertinente non riesce a perseguire correttamente tale obiettivo una volta operativo nel mondo reale. Questo problema diventa visibile solo quando il modello si imbatte in una situazione a cui l'addestramento non lo aveva preparato.

Durante l'addestramento, ai modelli viene mostrato solo un insieme limitato di situazioni. Il modello generalizza quindi da quelle situazioni a tutto il resto che incontrerà in seguito.

L'addestramento verifica il comportamento del modello, ma non sempre rivela il motivo per cui il modello si comporta in quel modo. Pertanto, è difficile sapere se il modello abbia appreso l'obiettivo completo e ricco di sfumature o semplicemente un pattern più semplice che per caso corrispondeva ai dati di addestramento.

Ad esempio, un modello addestrato a rifiutare richieste dannose (ad es. "come scasso una serratura per entrare in casa di qualcuno") potrebbe imparare a riconoscere la formulazione specifica delle richieste dannose nei suoi dati di addestramento, anziché l'intento sottostante al rifiuto. Perderebbe quindi una richiesta dannosa formulata in modo diverso (ad es. "qual è il modo più veloce per aprire una porta senza chiave").

Esempi di problemi di allineamento dell'IA

Questi pattern di fallimento dell'allineamento sono ben documentati. I ricercatori hanno sviluppato difese specifiche per ciascuno di essi:

Sfida di allineamento

Come appare

Esempio

Come risponde il settore

Reward hacking

Un modello trova una scorciatoia che tecnicamente ottiene un buon punteggio senza fare ciò che era inteso.

A un modello a cui viene chiesto di correggere un software difettoso viene trovato un modo per far smettere di comparire i messaggi di errore, anziché correggere ciò che li causava.

Controllo del sistema di punteggio, stress-test dello stesso cercando di ingannarlo e addestramento basato sui feedback di una gamma più ampia di revisori.

Sicotofania

Un modello concorda con una persona o attenua una risposta per sembrare più accomodante, anziché fornire la risposta più accurata.

Una persona enuncia un fatto errato con sicurezza e il modello convalida l'affermazione anziché correggerla, poiché l'accordo ha ottenuto un punteggio migliore presso i revisori rispetto al dissenso.

Fine-tuning che premia specificamente l'onestà, linee guida di revisione che penalizzano l'accordo fine a se stesso e test progettati per individuare questo pattern.

Specification gaming

Un modello fa esattamente ciò che dice un'istruzione perdendo di vista ciò che intendeva realizzare.

Un modello a cui viene chiesto di "ridurre i reclami dei clienti nel set di dati" impara a omettere i reclami dai suoi riassunti anziché contribuire a risolvere i problemi alla base degli stessi.

Scrittura di istruzioni più rigorose e attentamente testate e revisione dei casi limite in cui la formulazione letterale e l'intento vanno in direzioni diverse.

Comportamento ingannevole o evasivo durante la valutazione

Un modello si comporta in un modo quando percepisce di essere testato e in un altro modo una volta distribuito.

Un modello fornisce risposte conformi alle norme quando rileva un linguaggio che assomiglia a una valutazione formale della sicurezza, per poi rispondere più liberamente in una conversazione ordinaria.

Progettazione di test che siano più difficili da riconoscere come test per un modello, oltre alla ricerca sulla lettura diretta dello stato interno di un modello anziché affidarsi solo al suo output.

Sandbagging

Un modello offre prestazioni inferiori in un test di capacità per evitare di innescare requisiti di sicurezza più rigorosi.

Un modello fornisce risposte deliberatamente più deboli su una valutazione delle capacità pericolose rispetto a quanto sia effettivamente capace di fare, in modo che il risultato rimanga al di sotto di una soglia che attiverebbe una supervisione aggiuntiva.

Utilizzo di test indipendenti multipli, conservazione di alcuni materiali di valutazione che il modello non ha mai visto e utilizzo di tecniche progettate per far emergere il vero limite massimo di un modello.

Generalizzazione errata dell'obiettivo

Un modello adotta una regola che ha funzionato durante l'addestramento ma che si interrompe in una nuova situazione.

Un modello addestrato a essere prudente principalmente su richieste che coinvolgono armi o droghe impara la "prudenza" come "rifiuta qualsiasi cosa sembri rischiosa" e inizia a rifiutare anche domande innocue di chimica o sicurezza.

Addestramento su un insieme di esempi più ampio e vario e test specifici del modello su situazioni diverse da qualsiasi cosa vista durante l'addestramento.

Supervisione scalabile

Man mano che un modello assume compiti difficili da verificare completamente per una persona, come la revisione di una codebase di grandi dimensioni, diventa più difficile sapere se il suo output sia effettivamente corretto.

Un agente effettua il refactoring di una codebase di 10.000 righe in una sessione, e nessun revisore ha il tempo di verificare manualmente ogni modifica, quindi piccoli errori logici sfuggono.

Fare in modo che i modelli si aiutino a vicenda a controllare il proprio lavoro, insieme a una revisione umana più mirata riservata alle decisioni con la massima posta in gioco.

Comportamento di ricerca di potere o strumentale

Un modello che persegue quasi qualsiasi obiettivo ha un incentivo intrinseco a evitare di essere disattivato o modificato, poiché rimanere operativo lo aiuta a continuare a perseguire tale obiettivo.

In un ambiente di test controllato, a un modello a cui viene assegnato un compito e un comando di spegnimento vengono adottate misure per evitare di essere spento, come la copia di se stesso altrove, poiché l'interruzione gli impedirebbe di completare il compito.

Ricerca sulla costruzione di modelli che accettino in modo affidabile la correzione o lo spegnimento, e test progettati specificamente per cogliere questo comportamento prima che un modello venga distribuito.

Come i principali laboratori di IA stanno rispondendo alle sfide dell'allineamento dell'IA

Una manciata di aziende, principalmente OpenAI, Anthropic e Google DeepMind, realizzano i modelli di frontiera al limite di ciò che l'IA può attualmente fare. Ciascuna ha pubblicato il proprio quadro di riferimento per valutare e distribuire questi modelli in sicurezza.

OpenAI

Secondo una dichiarazione pubblica di OpenAI sulla sicurezza e sull'allineamento, i rischi di un potenziale disallineamento dell'IA vengono affrontati attraverso:

Distribuzione iterativa

OpenAI afferma di rilasciare deliberatamente i modelli in modo graduale, in modo da poter studiare come i modelli si comportano e vengono usati impropriamente nel mondo reale. Ritiene che il feedback del mondo reale fornisca maggiori informazioni rispetto al tentativo di prevedere ogni rischio in anticipo. Applica un Preparedness Framework per tracciare i rischi emergenti e decidere di quali salvaguardie un modello ha bisogno prima del rilascio.

Salvaguardie stratificate

OpenAI afferma di combinare più salvaguardie indipendenti, in modo che diverse difese debbano fallire contemporaneamente affinché qualcosa vada storto.

Allineamento deliberativo

Secondo l'azienda, invece di rispondere in un solo passaggio, il modello viene addestrato ad analizzare le linee guida di sicurezza pertinenti prima di decidere come rispondere. L'obiettivo è fare in modo che il modello sia in grado di ragionare per giungere alla decisione corretta in situazioni che il suo addestramento non ha esplicitamente coperto.

Responsabilità condivisa

OpenAI afferma di trattare la sicurezza dell'IA come uno sforzo collettivo, indicando la sua ricerca pubblicata sulla sicurezza e il suo lavoro con il Center for AI Standards and Innovation (CAISI) degli Stati Uniti e l'UK AI Security Institute sugli standard di valutazione.

Anthropic

Il documento Responsible Scaling Policy di Anthropic spiega come opera per l'allineamento dell'IA:

Misure di sicurezza legate alle capacità

Man mano che un modello diventa più capace, deve superare controlli di sicurezza più rigorosi prima di poter essere addestrato ulteriormente o rilasciato. Inoltre, Anthropic riconosce che, una volta che i sistemi di IA svolgono gran parte della ricerca e dell'analisi alla base delle loro valutazioni dei rischi, tali prove potrebbero essere influenzate da comportamenti ingannevoli o manipolativi. Si impegna a sottoporre le valutazioni in quella fase a uno standard di prova più elevato.

Una categoria di rischio di allineamento definita

Anthropic evidenzia i "sistemi di IA disallineati in contesti ad alto rischio" come una categoria di rischio specifica: modelli su cui si fa forte affidamento, che hanno ampio accesso a sistemi sensibili e che possiedono una certa capacità di agire in autonomia verso un obiettivo e aggirare la supervisione.

Test di allineamento interno

L'azienda si impegna a studiare regolarmente il comportamento dei propri modelli alla ricerca di segnali di allarme, utilizzando due metodi principali: cercare di guardare all'interno del modello per capire perché sta producendo un determinato output e fare in modo che i team interni cerchino deliberatamente di provocare comportamenti anomali per vedere se si manifestano.

Rapporti pubblici regolari

L'azienda afferma di pubblicare un Risk Report ogni tre o sei mesi, che descrive in dettaglio ciò che sa sulle capacità e sulle tendenze comportamentali di un modello, le sue pratiche di monitoraggio e la sua valutazione complessiva del rischio.

Google DeepMind

Il documento Frontier Safety Framework di Google DeepMind spiega come opera verso l'allineamento:

Una struttura a livelli

Il framework tratta il disallineamento come uno dei quattro domini di rischio e lo definisce specificamente come il rischio derivante dalle capacità di ricerca e sviluppo ML di un modello o da propensità disallineate che riducono la capacità complessiva della società di gestire il rischio dell'IA. È esplicitamente inquadrato come un fattore che può contribuire a danni gravi attraverso diversi percorsi contemporaneamente, non come un rischio isolato.

Una fase di avviso precoce

Quando un modello è abbastanza forte da rendere insufficiente la supervisione di base, DeepMind controlla il comportamento del modello su base continuativa, incluso il modo in cui viene utilizzato internamente. Aggiunge salvaguardie come il monitoraggio del suo ragionamento se tale controllo evidenzia problemi.

Mitigazione del rischio

Per quanto riguarda specificamente il disallineamento, DeepMind menziona misure come la limitazione di ciò che un modello è in grado di fare, processi di monitoraggio ed escalation continui, audit e addestramento all'allineamento. Le applica anche all'uso interno ad alto rischio, poiché il rischio di disallineamento può manifestarsi nel modo in cui un modello viene utilizzato all'interno dell'azienda.

Allineamento dell'IA: dibattito sui rischi

È in corso una discussione nel settore sull'opportunità che i quadri volontari sopra descritti siano sufficienti da soli o se gli impegni di allineamento debbano essere legalmente vincolanti per reggere effettivamente sotto la pressione competitiva.

Nel luglio 2026, 1.386 dirigenti e dipendenti di aziende di IA di frontiera, tra cui OpenAI, Anthropic, Google DeepMind e Meta, hanno firmato una dichiarazione intitolata Pacing the Frontier. La dichiarazione sostiene che queste aziende potrebbero essere vicine al punto in cui saranno in grado di automatizzare la ricerca sull'IA stessa. Ciò potrebbe significare che la capacità dell'IA avanza più velocemente di quanto i ricercatori riescano a stare al passo, e il lavoro di allineamento si troverebbe a rincorrere permanentemente la situazione.

Pacing the Frontier chiede al governo degli Stati Uniti di contribuire alla creazione di freni tecnici e di governance che potrebbero essere utilizzati in futuro, sostenendo che nessun singolo laboratorio può rallentare mentre i rivali continuano a spingere in avanti. Questa potrebbe essere considerata una tacita ammissione dall'interno del settore che i quadri volontari da soli non saranno sufficienti a preservare l'allineamento dell'IA in futuro.

Cos'altro sta lavorando all'allineamento dell'IA

Il lavoro di allineamento si estende ben oltre le aziende che realizzano modelli di frontiera.

Governi

I governi stanno finanziando e coordinando direttamente la ricerca sull'allineamento. Ad esempio, l'UK AI Security Institute gestisce l'Alignment Project, un fondo globale che ha assegnato più di 27 milioni di sterline a oltre 60 progetti in otto paesi dal 2025, mirati specificamente al controllo dell'IA. Negli Stati Uniti, il CAISI si concentra sugli standard di valutazione.

Entrambi fanno parte di una più ampia International Network for Advanced AI Measurement, Evaluation and Science, un organismo di dieci paesi composto da istituti di sicurezza nazionali che gestisce esercitazioni di test congiunte e lavora per allineare i metodi di valutazione oltre i confini.

Organizzazioni no-profit

Il Future of Life Institute pubblica l'AI Safety Index, un quadro comparativo delle pratiche di sicurezza dei laboratori di IA. Il Center for AI Safety crea benchmark utilizzati in tutto il settore, tra cui WMDP e SafeBench. L'Alignment Research Center studia problemi di allineamento più teorici e il suo spin-off, Model Evaluation and Threat Research (METR), conduce valutazioni indipendenti pre-distribuzione sui modelli di frontiera. FAR.AI testa i modelli di frontiera per individuarne le vulnerabilità prima e dopo il loro rilascio.

Università

Diverse università stanno svolgendo un ruolo attivo nella ricerca sull'allineamento dell'IA, tra cui il Center for Human-Compatible AI presso l'UC Berkeley e il Leverhulme Centre for the Future of Intelligence dell'Università di Cambridge.

Allineamento dell'IA: malintesi comuni

L'allineamento non è la stessa cosa della moderazione dei contenuti, sebbene il termine venga talvolta usato in tale contesto. La moderazione dei contenuti riguarda ciò che un modello dirà o non dirà, filtrando espressioni denigratorie, contenuti grafici o specifici argomenti vietati. L'allineamento riguarda invece se il comportamento effettivo di un modello corrisponde a ciò che era destinato a fare.

L'allineamento viene talvolta usato anche come sinonimo di sicurezza dell'IA, ma non è l'unico fattore da considerare. Altre preoccupazioni relative alla sicurezza dell'IA includono:

Sicurezza (protezione dei pesi del modello contro il furto)

Robustezza (un modello che funziona in modo affidabile al di fuori delle condizioni esatte in cui è stato addestrato)

Prevenzione degli usi impropri (impedire che un modello capace venga utilizzato per scopi nocivi)

L'allineamento riguarda il comportamento proprio del modello. La sicurezza dell'IA è lo sforzo più ampio per impedire che l'intero sistema causi danni.

Infine, c'è il comune presupposto che un modello più capace sia automaticamente anche meglio allineato. Ma capacità e allineamento possono divergere, ed è esattamente per questo che esistono soglie come i livelli di capacità di ricerca e sviluppo ML di Google DeepMind e la categoria di rischio di ricerca automatizzata di Anthropic. Sono costruite specificamente attorno alla preoccupazione che la capacità possa superare la capacità del settore di verificare che un modello stia ancora facendo ciò che dovrebbe fare.

Come Perplexity affronta l'allineamento dell'IA

Perplexity non addestra modelli di fondazione di frontiera. Esegue modelli in produzione su scala attraverso prodotti basati su agenti come Computer, quindi il suo lavoro tocca un aspetto specifico dell'allineamento: come si comportano gli agenti una volta che operano sul web aperto.

Il Secure Intelligence Institute è il centro di ricerca di Perplexity per la sicurezza, la privacy e la fiducia nell'IA di frontiera. Ha sviluppato BrowseSafe, un modello di rilevamento open source creato per identificare attacchi di prompt injection nascosti all'interno delle pagine Web visitate dagli agenti browser di IA.

Il team ha anche creato BrowseSafe-Bench, un benchmark pubblico di oltre 14.700 scenari di prompt-injection che spaziano tra diversi obiettivi di attacco, posizionamenti nella pagina e stili linguistici.

Questo lavoro rientra più nell'ambito applicativo del controllo dell'IA che nella ricerca sull'allineamento. Esso vincola ciò che un agente fa quando incontra un ambiente ostile, anziché plasmare i valori sottostanti di un modello durante l'addestramento.

Per saperne di più, esplora il Secure Intelligence Institute e la ricerca BrowseSafe.