Alineament de la IA: investigació actual i debat

L'alineament de la IA solia significar simplement «el model d'IA segueix les instruccions de l'usuari?». No obstant això, a mesura que els sistemes d'IA es tornen més capaços i autònoms, aquesta pregunta s'ha ampliat per incloure el criteri i els valors. Aquest article explorarà com les plataformes d'IA, els òrgans governamentals i les organitzacions sense ànim de lucre responen al repte de l'alineament de la IA.

En el seu nivell més simple, l'alineament de la IA significa assegurar-se que un sistema d'IA fa el que se suposa que ha de fer. Un model d'IA alineat llegeix una indicació i produeix el resultat demanat per la indicació, sense manipular l'objectiu amb el qual va ser entrenat. En la investigació d'alineament moderna, això sol emmarcar-se com a alineament d'intenció: construir sistemes que intentin fer allò que pretenen els seus operadors, i no només seguir literalment el text d'una indicació.

L'alineament és tant un repte tècnic com un tema de debat públic. Com a terme tècnic, l'alineament és un problema d'enginyeria. Fa el model específic, treballant en una tasca específica, allò per a la qual va ser construït? És un problema delimitat i provable.

Tanmateix, l'alineament de la IA també s'utilitza en debats públics i polítics més amplis sobre la seguretat general dels sistemes d'IA. Continuaran sent beneficioses per a la humanitat i alineades amb l'ètica, els desitjos i els objectius humans les plataformes d'IA cada cop més capaces?

aconseguir aquest alineament esdevé progressivament més difícil a mesura que els models es tornen més complexos. Hi ha dos reptes clau per construir models d'IA alineats:

Els usuaris solen voler un LLM que sigui útil, honest i ètic. Però un LLM no s'entrena mai directament en «ser útil i ètic». Passa per dues etapes diferents.

Pre-entrenament: el model aprèn llenguatge, fets i patrons de raonament, i en fer-ho recull llenguatge, fets i patrons de raonament. Aquesta etapa no dóna al model cap idea de què vol realment una persona d'una pregunta determinada. Si es queda aquí, un model respondrà «com puc forçar un pany» amb la mateixa facilitat que «com puc coure pa de masa mare».

Preferència humana: les persones revisen parelles de respostes de models i diuen quina prefereixen. Aquestes preferències entrenen un sistema de puntuació separat, i el model s'ajusta per produir respostes que obtinguin una bona puntuació.

Ningú escriu una definició clara del que significa ser útil o ètic enlloc d'aquest procés. La guia del sistema de puntuació sobre el que se suposa que ha de fer el model es construeix íntegrament a partir de moltes decisions de criteri humà individuals. La puntuació reflecteix el que els revisors preferien, no el que cap persona pretenia realment, i tampoc una definició precisa de l'objectiu subjacent.

Com a resultat, la IA pot alinear-se bé amb el que percep com l'objectiu, potser l'objectiu en si no s'ha alineat bé amb el resultat que la gent realment vol.

Per exemple, si els revisors tendeixen a preferir respostes més llargues, el model aprèn a escriure respostes més llargues, fins i tot quan una de curta era correcta. O, si els revisors tendeixen a preferir respostes segures de si mateixes, el model aprèn a sonar segur, fins i tot quan hauria d'expressar dubtes.

Els investigadors anomenen a aquest buit entre l'objectiu declarat i l'objectiu entrenat el problema de l'alineament extern.

El problema de l'alineament intern es produeix quan un model que ha estat entrenat amb un objectiu rellevant no aconsegueix perseguir correctament aquest objectiu un cop està en marxa al món real. Aquest problema només es fa visible quan el model es troba amb una situació per a la qual l'entrenament no l'ha preparat.

Durant l'entrenament, als models només se'ls mostra un conjunt limitat de situacions. A continuació, el model generalitza a partir d'aquestes situacions a tot allò altre amb què es trobarà més tard.

L'entrenament comprova com es comporta el model, però no sempre revela per què es comporta de la manera que ho fa. Per tant, és difícil saber si el model ha après l'objectiu complet i matisat, o simplement un patró més senzill que coincideix amb les dades d'entrenament.

Diagrama del problema de l'alineació interna: a partir de les mateixes dades d'entrenament, la Regla A i la Regla B s'ajusten a les dades d'entrenament, però quan se'ls dóna una entrada nova i no vista, la Regla A coincideix amb l'objectiu i es comporta com s'esperava, mentre que la Regla B utilitza una drecera i s'allunya de l'objectiu.

Per exemple, un model entrenat per rebutjar sol·licituds perjudicials (p. ex., «com puc forçar un pany per entrar a casa d'algú») pot aprendre a reconèixer la formulació específica de les sol·licituds perjudicials a les seves dades d'entrenament, en lloc de la intenció subjacent que hi ha darrere del refús. Aleshores passaria per alt una sol·licitud perjudicial formulada d'una altra manera (p. ex., «quina és la manera més ràpida d'obrir una porta sense clau»).

Aquests patrons de fallada d'alineament estan ben documentats. Els investigadors han creat defenses específiques per a cadascun:

Repte d'alineament	Com és	Exemple	Com respon el camp
Manipulació de recompenses	Un model troba una drecera que tècnicament obté una bona puntuació sense fer allò que es pretenia.	Un model al qual se li demana que arregli un fragment de programari trencat troba una manera de fer que els missatges d'error deixin d'aparèixer, en lloc d'arreglar el que els causava.	Auditar el sistema de puntuació, sotmetre'l a proves d'estrès intentant enganyar-lo i entrenar-lo amb comentaris d'un ventall més ampli de revisors.
Cortesia excessiva	Un model està d'acord amb una persona o suavitza una resposta per semblar més agradable, en lloc de donar la resposta més precisa.	Una persona afirma un fet incorrecte amb confiança, i el model valida l'afirmació en lloc de corregir-la, perquè l'acord va obtenir una millor puntuació amb els revisors que la confrontació.	Ajust fi que premia específicament l'honestedat, directrius de revisió que penalitzen l'acord pel sol fet d'estar d'acord, i proves dissenyades per detectar aquest patró.
Explotació d'especificacions	Un model fa exactament el que diu una instrucció alhora que passa per alt allò que pretenia aconseguir.	Un model al qual se li demana «reduir les reclamacions dels clients al conjunt de dades» aprèn a ometre les reclamacions dels seus resums en lloc d'ajudar a resoldre els problemes que hi ha darrere.	Escriure instruccions més estrictes i provades amb més cura i revisar els casos límit on la redacció literal i la intenció van en direccions diferents.
Comportament enganyós o evasiu durant l'avaluació	Un model es comporta d'una manera quan detecta que està sent provat i d'una altra un cop desplegat.	Un model dóna respostes que compleixen les polítiques quan detecta un llenguatge que s'assembla a una avaluació de seguretat formal, i després respon amb més llibertat en una conversa ordinària.	Dissenyar proves que siguin més difícil de reconèixer per a un model com a proves, a més de la investigació sobre la lectura directa de l'estat intern d'un model en lloc de confiar només en el seu resultat.
Ocultació de capacitats	Un model té un rendiment inferior en una prova de capacitat per evitar activar requisits de seguretat més estrictes.	Un model ofereix respostes deliberadament més febles en una avaluació de capacitats perilloses de les que és realment capaç, de manera que el resultat es manté per sota d'un llindar que activaria una supervisió addicional.	Utilitzar múltiples proves independents, mantenir material d'avaluació que el model mai no hagi vist i utilitzar tècniques dissenyades per extreure el sostre real d'un model.
Generalització errònia d'objectius	Un model adopta una regla que va funcionar durant l'entrenament però que falla en una situació nova.	Un model entrenat per ser cautelós principalment en sol·licituds relacionades amb armes o drogues aprèn la «cautelós» com a «refusar qualsevol cosa que sembli arriscada», i comença a rebutjar també preguntes inofensives de química o seguretat.	Entrenament en un conjunt d'exemples més ampli i variat i provant específicament el model en situacions diferents de qualsevol cosa que hagi vist durant l'entrenament.
Supervisió escalable	A mesura que un model assumeix una feina que és difícil de verificar completament per a una persona, com ara revisar una base de codi gran, es fa més difícil saber si el seu resultat és realment correcte.	Un agent refactoritza una base de codi de 10.000 línies en una sessió, i cap revisor té temps de verificar manualment cada canvi, de manera que s'escapen errors de lògica subtils.	Fer que els models s'ajudin a revisar el treball dels altres, juntament amb una revisió humana més centrada i reservada per a les decisions de més importància.
Comportament de recerca de poder o instrumental	Un model que persegueix pràcticament qualsevol objectiu té un incentiu integrat per evitar ser apagat o modificat, ja que mantenir-se operatiu l'ajuda a continuar perseguint aquest objectiu.	En un entorn de proves controlat, a un model se li assigna una tasca i una ordre d'aturada, i pren mesures per evitar ser apagat, com ara copiar-se a un altre lloc, perquè aturar-se li impediria acabar la tasca.	Investigació sobre la construcció de models que acceptin de manera fiable la correcció o l'aturada, i proves dissenyades específicament per detectar aquest comportament abans de desplegar un model.

Un grapat d'empreses, principalment OpenAI, Anthropic i Google DeepMind, construeixen els models de frontera al límit del que la IA pot fer actualment. Cadascuna ha publicat el seu propi marc per avaluar i desplegar aquests models de manera segura.

Segons una declaració pública d'OpenAI sobre seguretat i alineament, estan abordant els riscos del potencial desalineament de la IA mitjançant:

OpenAI afirma que llança deliberadament els models de manera gradual, de manera que pot estudiar com es comporten els models i com s'utilitzen malament en el món real. Raona que la retroalimentació del món real ofereix més informació que intentar predir cada risc per endavant. Aplica un Preparedness Framework per fer un seguiment dels riscos emergents i decidir quines salvaguardes necessita un model abans del llançament.

OpenAI diu que apila múltiples salvaguardes independents, de manera que diverses defenses haurien de fallar alhora perquè alguna cosa surti malament.

Segons l'empresa, en lloc de respondre en un sol pas, el model està entrenat per treballar a través de les directrius de seguretat rellevants abans de decidir com respondre. L'objectiu és que el model pugui raonar per trobar la decisió correcta en situacions que el seu entrenament no va cobrir explícitament.

OpenAI afirma que tracta la seguretat de la seva IA com un esforç col·lectiu, assenyalant la seva investigació de seguretat publicada i el seu treball amb el Center for AI Standards and Innovation (CAISI) dels EUA i el UK AI Security Institute en estàndards d'avaluació.

El document Responsible Scaling Policy d'Anthropic explica com treballa per aconseguir l'alineament de la IA:

A mesura que un model esdevé més capaç, ha de superar controls de seguretat més estrictes abans de poder ser entrenat encara més o llançat. A més, Anthropic reconeix que un cop els sistemes d'IA facin gran part de la investigació i l'anàlisi darrere de les seves pròpies avaluacions de risc, aquesta evidència podria veure's afectada per un comportament enganyós o manipulador. Es compromet a sotmetre les avaluacions en aquesta etapa a un estàndard de prova més alt.

Anthropic destaca «els sistemes d'IA desalineats en entorns d'alt risc» com a categoria de risc específica: models en els quals es confia molt, que tenen un ampli accés a sistemes sensibles i que tenen certa capacitat d'actuar de manera autònoma cap a un objectiu i eludir la supervisió.

L'empresa es compromet a estudiar regularment el comportament dels seus propis models a la recerca de senyals d'advertència, utilitzant dos mètodes principals: intentar mirar dins del model per entendre per què produeix un resultat determinat, i fer que equips interns intentin provocar deliberadament un mal comportament per veure si apareix.

L'empresa afirma que publica un Risk Report cada tres o sis mesos detallant el que sap sobre les capacitats i tendències de comportament d'un model, les seves pràctiques de seguiment i la seva avaluació global del risc.

El document Frontier Safety Framework de Google DeepMind explica com treballa per aconseguir l'alineament:

El marc tracta la manca d'alineament com un de quatre dominis de risc, i la defineix específicament com el risc derivat de les capacitats d'R+D en ML d'un model o de propensions desalineades que redueixen la capacitat general de la soci estàndard de gestionar el risc de la IA. Està emmarcat explícitament com un factor que pot contribuir a danys greus a través de diverses vies diferents alhora, i no com un risc aïllat.

Quan un model és prou fort com perquè la supervisió bàsica sigui insuficient, DeepMind comprova el comportament del model de manera continuada, inclòs com s'utilitza internament. Afegeix salvaguardes com ara supervisar el seu raonament si aquesta comprovació detecta problemes.

Pel que fa específicament al desalineament, DeepMind esmenta mesures com limitar el que un model és capaç de fer, processos de supervisió i escalada continus, auditoria i entrenament d'alineament. Aplica això també a l'ús intern d'alt risc, ja que el risc de desalineament pot aparèixer en com s'utilitza un model dins de l'empresa.

Hi ha un debat continuat a la indústria sobre si els marcs voluntaris tractats anteriorment són suficients per si sols, o si els compromisos d'alineament han de ser legalment vinculants per mantenir-se sota pressió competitiva.

El juliol de 2026, 1.386 executius i empleats d'empreses d'IA de frontera, incloses OpenAI, Anthropic, Google DeepMind i Meta, van signar una declaració anomenada Pacing the Frontier. La declaració argumenta que aquestes empreses poden estar a prop del punt on poden automatitzar la pròpia investigació d'IA. Això podria significar que la capacitat de la IA avança més ràpidament del que els investigadors poden seguir, i el treball d'alineament s'endarreriria permanentment.

Pacing the Frontier demana al govern dels EUA que ajudi a construir frens tècnics i de governança que es puguin utilitzar en el futur, argumentant que cap laboratori individual pot afluixar mentre els rivals continuen avançant. Això es podria considerar com una admissió tàcita des de dins de la indústria que els marcs voluntaris per si sols no seran suficients per preservar l'alineament de la IA en el futur.

El treball d'alineament s'estén molt més enllà de les empreses que construeixen models de frontera.

Els governs financen i coordinen directament la investigació d'alineament. Per exemple, el UK AI Security Institute dirigeix l'Alignment Project, un fons global que ha atorgat més de 27 milions de lliures a més de 60 projectes en vuit països des de 2025, destinats específicament al control de la IA. Als EUA, el CAISI se centra en els estàndards d'avaluació.

Tots dos formen part d'una International Network for Advanced AI Measurement, Evaluation and Science més àmplia, un organisme de deu països d'instituts nacionals de seguretat que duu a terme exercicis de proves conjunts i treballa per alinear els mètodes d'avaluació a través de les fronteres.

El Future of Life Institute publica l'AI Safety Index, un quadre de comandament que compara les pràctiques de seguretat dels laboratoris d'IA. El Center for AI Safety crea punts de referència utilitzats a tot el camp, inclosos WMDP i SafeBench. El Alignment Research Center estudia problemes d'alineament més teòrics, i la seva filial, Model Evaluation and Threat Research (METR), realitza avaluacions independents prèvies al desplegament en models de frontera. FAR.AI posa a prova els models de frontera per detectar febleses abans i després que s'Llancin.

Diverses universitats estan jugant un paper actiu en la investigació d'alineament de la IA, inclòs el Center for Human-Compatible AI a UC Berkeley i el Leverhulme Centre for the Future of Intelligence de la Universitat de Cambridge.

L'alineament no és el mateix que la moderació de contingut, tot i que el terme de vegades s'utilitza en aquest context. La moderació de contingut tracta sobre el que un model dirà o no dirà, filtrant insults, contingut gràfic o temes prohibits específics. L'alineament tracta sobre si el comportament real d'un model coincideix amb allò que estava destinat a fer.

L'alineament també s'utilitza de vegades com a sinònim de seguretat de la IA, però no és l'únic factor a considerar. Altres preocupacions sobre la seguretat de la IA inclouen:

Seguretat (protecció dels pesos del model contra robatoris)

Robustesa (un model que funciona de manera fiable fora de les condicions exactes en què ha estat entrenat)

Prevenció del mal ús (impedir que s'utilitzi un model capaç per causar danys)

L'alineament tracta sobre el comportament propi del model. La seguretat de la IA és l'esforç més ampli per evitar que tot el sistema causi danys.

Finalment, hi ha la suposició comuna que un model més capaç és automàticament un model millor alineat. Però la capacitat i l'alineament poden divergir, que és exactament per això que existeixen llindars com els nivells de capacitat d'R+D en ML de Google DeepMind i la categoria de risc d'investigació automatitzada d'Anthropic. Estan construïts específicament al voltant de la preocupació que la capacitat pugui superar la capacitat del camp per verificar que el model continua fent el que se suposa que ha de fer.

Perplexity no entrena models de fundació de frontera. Executa models en producció a escala a través de productes basats en agents com Computer, de manera que el seu treball toca un aspecte específic de l'alineament: com es comporten els agents un cop actuen a la xarxa oberta.

El Secure Intelligence Institute és el centre d'investigació de Perplexity per a la seguretat, la privadesa i la confiança en la IA de frontera. Ha desenvolupat BrowseSafe, un model de detecció de codi obert construït per identificar atacs d'injecció d'ordres ocults a les pàgines web que visiten els agents de navegació d'IA.

L'equip també ha construït BrowseSafe-Bench, un punt de referència públic de més de 14.700 escenaris d'injecció d'ordres que abasten diferents objectius d'atac, ubicacions a la pàgina i estils de llenguatge.

Aquest treball s'apropa més al costat aplicat del control de la IA que a la investigació d'alineament. Restringeix el que fa un agent quan es troba amb un entorn adversari, en lloc de configurar els valors subjacents d'un model durant l'entrenament.

Per obtenir més informació, exploreu el Secure Intelligence Institute i la investigació de BrowseSafe.

Què significa l'alineament de la IA

El problema de l'alineament extern

El problema de l'alineament intern

Exemples de problemes d'alineament de la IA

Com responen els principals laboratoris d'IA als reptes d'alineament de la IA

OpenAI

Desplegament iteratiu

Salvaguardes en capes

Alineament deliberatiu

Responsabilitat compartida

Anthropic

Mesures de seguretat relacionades amb les capacitats

Una categoria de risc d'alineament definida

Proves d'alineament intern

Informes públics periòdics

Google DeepMind

Una estructura jeràrquica

Una etapa d'alerta primerenca

Mitigació de riscos

Alineament de la IA: debat sobre els riscos

Qui més està treballant en l'alineament de la IA

Governs

Organitzacions sense ànim de lucre

Universitats

Alineament de la IA: malentesos comuns

Com aborda Perplexity l'alineament de la IA