Aliñación da IA: Investigación e Debate Actual

A aliñación da IA adoitaba significar simplemente "segue o modelo de IA as instrucións do usuario?". Non obstante, a medida que os sistemas de IA se fan máis capaces e autónomos, esa pregunta ampliouse para incluír o xuízo e os valores. Este artigo explorará como as plataformas de IA, os organismos gobernamentais e as organizacións sen ánimo de lucro están a responder ao reto da aliñación da IA.

No seu nivel máis sinxelo, a aliñación da IA significa asegurarse de que un sistema de IA fai o que se supón que debe facer. Un modelo de IA aliñado le unha indicación e produce a saída que a indicación pediu, sen xogar co obxectivo no que foi adestrado. Na investigación moderna de aliñación, isto enmárcase habitualmente como aliñación de intencións: construír sistemas que tenten facer o que os seus operadores pretenden, e non só seguir literalmente o texto dunha indicación.

A aliñación é tanto un desafío técnico como un tema de debate público. Como termo técnico, a aliñación é un problema de enxeñaría. O modelo específico, traballando nunha tarefa específica, fai o que foi construído para facer? É un problema delimitado e probable.

Non obstante, a aliñación da IA tamén se utiliza nun debate público e político máis amplo sobre a seguridade xeral dos sistemas de IA. Seguirán sendo beneficiosas para a humanidade e aliñadas cos desexos, obxectivos e ética humanos as plataformas de IA cada vez máis capaces?

Conseguir esa aliñación vólvese progresivamente máis difícil a medida que os modelos se fan máis complexos. Hai dous desafíos clave para construír modelos de IA aliñados:

Os usuarios normalmente queren un LLM que sexa útil, honesto e ético. Pero un LLM nunca se adestra directamente en "ser útil e ético". Pasa por dúas etapas distintas.

Preadestramento: O modelo aprende linguaxe, feitos e patróns de razoamento e, ao facelo, capta linguaxe, feitos e patróns de razoamento. Esta etapa non lle dá ao modelo ningunha noción do que unha persoa realmente quere dunha determinada pregunta. Se se deixa aquí, un modelo responderá "como abro unha pechadura" tan facilmente como "como fago pan demasa".

Preferencia humana: As persoas revisan pares de respostas de modelos e din cal prefiren. Esas preferencias adestran un sistema de puntuación separado, e o modelo axústase despois para producir respostas que obteñan boas puntuacións.

Ninguén escribe unha definición clara do que significa ser útil ou ético en ningunha parte deste proceso. A guía do sistema de puntuación sobre o que se supón que debe facer o modelo está construída enteiramente a partir de moitas decisións de xuízo humano individuais. A puntuación reflicte o que os revisores tendían a preferir, non o que ningunha persoa pretendía realmente, nin unha definición precisa do obxectivo subxacente.

Como resultado, a IA pode aliñarse ben con aquilo que percibe como o obxectivo, pero o obxectivo en si mesmo pode non estar ben aliñado co resultado que a xente realmente quere.

Por exemplo, se os revisores tenden a preferir respostas máis longas, o modelo aprende a escribir respostas máis longas, mesmo cando unha curta era correcta. Ou, se os revisores tenden a preferir respostas seguras de si mesmas, o modelo aprende a soar seguro, mesmo cando debería expresar dúbidas.

Os investigadores chaman a este espazo entre o obxectivo declarado e o obxectivo adestrado o problema da aliñación externa.

O problema da aliñación interna ocorre cando un modelo que foi adestrado nun obxectivo relevante non logra perseguir correctamente ese obxectivo unha vez que está fóra no mundo. Este problema só se fai visíbel cando o modelo se atopa cunha situación para a cal o adestramento non o preparou.

Durante o adestramento, aos modelos só se lles mostra un conxunto limitado de situacións. O modelo despois xeneraliza a partir desas situacións a todo o demais que atopará máis tarde.

O adestramento comproba como se comporta o modelo, pero non sempre descobre por que se comporta do xeito en que o fai. Polo tanto, é difícil saber se o modelo aprendeu o obxectivo completo e matizado, ou só un patrón máis sinxelo que coincidiu cos datos de adestramento.

Diagrama do problema do aliñamento interno: a partir dos mesmos datos de adestramento, a Regra A e a Regra B axústanse aos datos de adestramento, mais ao recibir unha entrada nova e non vista, a Regra A coincide co obxectivo e compórtase segundo o previsto, mentres que a Regra B usa un atallo e desvíase do obxectivo.

Por exemplo, un modelo adestrado para rexeitar solicitudes daniñas (por exemplo, "como abro unha pechadura para entrar na casa de alguén") pode aprender a recoñecer a redacción específica das solicitudes daniñas nos seus datos de adestramento, en lugar da intención subxacente detrás do rexeitamento. Entón perdería unha solicitude daniña redactada dun xeito diferente (por exemplo, "cal é a forma máis rápida de abrir unha porta sen chave").

Estes patróns de fallo de aliñación están ben documentados. Os investigadores construíron defensas específicas para cada un:

Desafío de aliñación	Como é	Exemplo	Como responde o campo
Hackeo de recompensa	Un modelo atopa un atallo que tecnicamente obtén unha boa puntuación sen facer o que se pretendía.	Un modelo ao que se lle pide que arregle unha peza de software rota atopa un xeito de facer que as mensaxes de erro deixen de aparecer, en lugar de arranxar o que as estaba a causar.	Auditoría do sistema de puntuación, probas de estrés intentando enganalo e adestramento baseado en comentarios dunha gama máis ampla de revisores.
Sicofancia	Un modelo está de acordo cunha persoa ou suaviza unha resposta para parecer máis agradable, en lugar de dar a resposta máis precisa.	Unha persoa afirma un feito incorrecto con confianza, e o modelo valida a afirmación en lugar de corrixila, porque a concordancia obtivo mellores puntuacións cos revisores que a discrepancia.	Axuste fino que premia especificamente a honestidade, directrices de revisión que penalizan a concordancia por mor de si mesma e probas construídas para capturar este patrón.
Xogo de especificacións	Un modelo fai exactamente o que di unha instrución mentres pasa por alto o que se pretendía acadar.	Un modelo ao que se lle pide "reducir as queixas dos clientes no conxunto de datos" aprende a omitir as queixas dos seus resumos en lugar de axudar a resolver os problemas subxacentes.	Redacción de instrucións máis estritas e probadas con máis coidado, e revisión de casos límite onde a redacción literal e a intención tiran en direccións diferentes.
Comportamento enganoso ou evasivo durante a avaliación	Un modelo compórtase dun xeito cando detecta que está a ser probado e doutro xeito unha vez que é despregado.	Un modelo ofrece respostas conformes coas políticas cando detecta unha linguaxe que se asemella a unha avaliación formal de seguridade, e despois responde con máis liberdade nunha conversa ordinaria.	Deseño de probas que sexan máis difíciles de recoñecer para un modelo como probas, ademais de investigación sobre a lectura directa do estado interno dun modelo en lugar de confiar só na súa saída.
Simulación de debilidade (Sandbagging)	Un modelo rende por debaixo das súas posibilidades nunha proba de capacidade para evitar activar requisitos de seguridade máis estritos.	Un modelo ofrece respostas deliberadamente máis débiles nunha avaliación de capacidade perigosa do que é realmente quen de facer, polo que o resultado permanece por abaixo dun limiar que activaría unha supervisión adicional.	O uso de múltiples probas independentes, mantendo algún material de avaliación que o modelo nunca viu e utilizando técnicas deseñadas para extraer o verdadeiro teito dun modelo.
Xeneralización errónea do obxectivo	Un modelo capta unha regra que funcionou durante o adestramento pero que falla nunha situación nova.	Un modelo adestrado para ser cauteloso principalmente en solicitudes que involucran armas ou drogas aprende a "cautela" como "rexeitar calquera cousa que soe arriscada", e comeza a rexeitar tamén preguntas inofensivas de química ou seguridade.	Adestramento nun conxunto de exemplos máis amplo e variado e probas específicas do modelo en situacións diferentes a calquera cousa que vise durante o adestramento.
Supervisión escalable	A medida que un modelo asume traballo que é difícil de verificar completamente por unha persoa, como revisar unha gran base de código, faise máis difícil saber se a súa saída é realmente correcta.	Un axente refactoriza unha base de código de 10.000 liñas nunha sesión, e ningún revisor ten tempo para verificar manualmente cada cambio, polo que se colan erros de lóxica sutís.	Facer que os modelos axuden a comprobar o traballo dos demais, xunto cunha revisión humana máis focalizada reservada para as decisións de maior risco.
Comportamento de busca de poder ou instrumental	Un modelo que persegue case calquera obxectivo ten un incentivo integrado para evitar ser apagado ou cambiado, xa que manterse operativo axúdalle a seguir perseguindo ese obxectivo.	Nun contorno de proba controlado, a un modelo ao que se lle dá unha tarefa e un comando de apagado toma medidas para evitar ser apagado, como copiarse a si mesmo noutro lugar, xa que parar impediríalle rematar a tarefa.	Investigación sobre a construción de modelos que acepten de forma fiable a corrección ou o apagado, e probas deseñadas especificamente para capturar este comportamento antes de que se despregue un modelo.

Un puñado de empresas, principalmente OpenAI, Anthropic e Google DeepMind, constrúen os modelos de fronteira no límite do que a IA pode facer actualmente. Cada unha publicou o seu propio marco para avaliar e despregar estes modelos de forma segura.

Segundo unha declaración pública de OpenAI sobre seguridade e aliñación, están a abordar os riscos dunha potencial desaliñación da IA mediante:

OpenAI afirma que libera deliberadamente os modelos de forma gradual, para poder estudar como se comportan os modelos e como se utilizan mal no mundo real. Razoa que os comentarios do mundo real dan máis información que tentar predicir todos os riscos con antelación. Aplica un Marco de Preparación para rastrexar os riscos emerxentes e decidir que salvagardas necesita un modelo antes do seu lanzamento.

OpenAI afirma que acumula múltiples salvagardas independentes, polo que varias defensas terían que fallar á vez para que algo saia mal.

Segundo a empresa, en vez de responder nun só paso, o modelo está adestrado para traballar a través de directrices de seguridade relevantes antes de decidir como responder. O obxectivo é que o modelo sexa quen de razoar para tomar a decisión correcta en situacións que o seu adestramento non cubría explícitamente.

OpenAI afirma que trata a seguridade da IA como un esforzo colectivo, sinalando a súa investigación de seguridade publicada e o seu traballo co Centro de Estándares e Innovación en IA (CAISI) dos EUA e o Instituto de Seguridade de IA do Reino Unido sobre estándares de avaliación.

O documento de Política de Escalado Responsable de Anthropic explica como traballa cara á aliñación da IA:

A medida que un modelo gaña máis capacidade, debe superar controis de seguridade máis estritos antes de poder ser entrenado máis a fondo ou lanzado. Ademais, Anthropic recoñece que unha vez que os sistemas de intelixencia artificial estean a facer gran parte da investigación e análise detrás das súas propias avaliacións de riscos, esa evidencia podería verse afectada por un comportamento enganoso ou manipulador. Compétese a manter as avaliacións n esa etapa nun estándar de proba máis alto.

Anthropic destaca os "sistemas de IA desaliñados en contextos de alto risco" como unha categoría de risco específica: modelos dos que se depende en gran medida, que teñen un amplo acceso a sistemas sensibles e que teñen certa capacidade para actuar de forma autónoma cara a un obxectivo e esquivar a supervisión.

A empresa comprométese a estudar regularmente o comportamento dos seus propios modelos en busca de sinais de alerta, utilizando dous métodos principais: tentar mirar dentro do modelo para entender por que está a producir unha determinada saída, e facer que equipos internos intenten provocar deliberadamente un mal comportamento para ver se aparece.

A empresa afirma que publica un Informe de Riscos cada tres ou seis meses detallando o que sabe sobre as capacidades e tendencias de comportamento dun modelo, as súas prácticas de monitorización e a súa avaliación xeral do risco.

O documento do Marco de Seguridade de Fronteira de Google DeepMind explica como traballa cara á aliñación:

O marco trata a desaliñación como un dos catro dominios de risco, e defínea especificamente como o risco derivado das capacidades de I+D en ML dun modelo ou de propensións desaliñadas que reducen a capacidade xeral da sociedade para xestionar o risco da IA. Está formulado explicitamente como un factor que pode contribuír a danos graves a través de varios camiños diferentes á vez, e non como un risco illado.

Cando un modelo é o suficientemente forte como para que a supervisión básica sexa insuficiente, DeepMind comproba o comportamento do modelo de forma continua, incluíndo como se utiliza internamente. Engade salvagardas como monitorizar o seu razoamento se esa comprobación atopa problemas.

Para a desaliñación especificamente, DeepMind cita medidas como limitar o que un modelo é quen de facer, procesos continuos de monitorización e escalado, auditorías e adestramento de aliñación. Aplica isto tamén ao uso interno de alto risco, xa que o risco de desaliñación pode manifestarse en como se utiliza un modelo dentro da empresa.

Hai un debate en curso na industria sobre se os marcos voluntarios cubertos anteriormente son suficientes por si mesmos, ou se os compromisos de aliñación deben ser legalmente vinculantes para sosterse realmente baixo a presión competitiva.

En xullo de 2026, 1.386 executivos e empregados de empresas de IA de fronteira, incluíndo OpenAI, Anthropic, Google DeepMind e Meta, asinaron unha declaración chamada Pacing the Frontier. A declaración argumenta que estas empresas poden estar achegándose ao punto no que poden automatizar a propia investigación en IA. Isto podería significar que a capacidade da IA avanza máis rápido do que os investigadores poden seguir, e o traballo de aliñación estaría permanentemente intentando alcanzar o ritmo.

Pacing the Frontier pídelle ao goberno dos EUA que axude a construír freos técnicos e de goberno que se poidan utilizar no futuro, argumentando que ningún laboratorio por si só pode rebaixar o ritmo mentres os rivais seguen adiante. Isto podería considerarse unha admisión tácita dende o interior da industria de que os marcos voluntarios por si sós non serán suficientes para preservar a aliñación da IA no futuro.

O traballo de aliñación esténdese moito máis aló das empresas que constrúen modelos de fronteira.

Os gobernos están a financiar e coordinar directamente a investigación de aliñación. Por exemplo, o Instituto de Seguridade de IA do Reino Unido dirixe o Proxecto de Aliñación, un fondo global que concedeu máis de 27 millóns de libras a máis de 60 proxectos en oito países desde 2025, dirixidos especificamente ao control da IA. Nos EUA, o CAISI céntrase nos estándares de avaliación.

Ambos sitúanse dentro dunha Rede Internacional para a Medición, Avaliación e Ciencia da IA Avanzada máis ampla, un organismo de dez países de institutos nacionais de seguridade que realiza exercicios de proba conxuntos e traballa para aliñar os métodos de avaliación a través das fronteiras.

O Future of Life Institute publica o Índice de Seguridade da IA, unha cadro de mando que compara as prácticas de seguridade dos laboratorios de IA. O Centro de Seguridade da IA constrúe puntos de referencia utilizados en todo o campo, incluíndo WMDP e SafeBench. O Centro de Investigación de Aliñación estuda problemas de aliñación máis teóricos, e a súa derivada, Model Evaluation and Threat Research (METR), realiza avaliacións independentes antes do despregamento en modelos de fronteira. FAR.AI proba os modelos de fronteira en busca de debilidades antes e despois de que sexan lanzados.

Varias universidades están a xogar un papel activo na investigación de aliñación da IA, incluíndo o Centro de IA compatible co ser humano na UC Berkeley e o Centro Leverhulme para o Futuro da Intelixencia da Universidade de Cambridge.

A aliñación non é o mesmo que a moderación de contido, aínda que o termo se utiliza ás veces nese contexto. A moderación de contido trata sobre o que un modelo dirá ou non dirá, filtrando insultos, contido gráfico ou temas específicos prohibidos. A aliñación trata sobre se o comportamento real dun modelo coincide co que se pretendía que fixese.

A aliñación tamén se utiliza ás veces como sinónimo de seguridade da IA, pero non é o único factor a considerar. Outras preocupacións sobre a seguridade da IA inclúen:

Seguridade (protexer os pesos do modelo fronte ao roubo)

Robustez (un modelo que funciona de forma fiable fóra das condicións exactas nas que foi adestrado)

Prevención de malos usos (evitar que un modelo capaz sexa utilizado para causar danos)

A aliñación trata sobre o propio comportamento do modelo. A seguridade da IA é o esforzo máis amplo para evitar que todo o sistema cause danos.

Finalmente, hai unha suposición común de que un modelo máis capaz é automaticamente un modelo mellor aliñado. Pero a capacidade e a aliñación poden diverxer, que é exactamente o motivo polo que existen limiares como os niveis de capacidade de I+D en ML de Google DeepMind e a categoría de risco de investigación automatizada de Anthropic. Están construídos especificamente arredor da preocupación de que a capacidade poida superar a capacidade do campo para verificar que un modelo aínda está a facer o que se supón que debe facer.

Perplexity non adestra modelos fundamentais de fronteira. Executa modelos en produción a escala a través de produtos de axentes como Computer, polo que o seu traballo toca un aspecto específico da aliñación: como se comportan os axentes unha vez que están a actuar na web aberta.

O Secure Intelligence Institute é o centro de investigación de Perplexity para a seguridade, a privacidade e a confianza na IA de fronteira. Desenvolveu BrowseSafe, un modelo de detección de código aberto construído para identificar ataques de inxección de indicacións ocultos dentro de páxinas web que visitan os axentes de navegación de IA.

O equipo tamén construíu BrowseSafe-Bench, un punto de referencia público de máis de 14.700 escenarios de inxección de indicacións que abranguen diferentes obxectivos de ataque, colocacións na páxina e estilos de linguaxe.

Este traballo recae máis no lado aplicado do control da IA que na investigación de aliñación. Restrinxe o que fai un axente cando se atopa cun contorno adversarial, en lugar de dar forma aos valores subxacentes dun modelo durante o adestramento.

Para saber máis, explora o Secure Intelligence Institute e a investigación BrowseSafe.

Qué significa a aliñación da IA

O problema da aliñación externa

O problema da aliñación interna

Exemplos de problemas de aliñación da IA

Como están a responder os principais laboratorios de IA aos desafíos de aliñación da IA

OpenAI

Despregamento iterativo

Salvagardas por capas

Aliñación deliberativa

Responsabilidade compartida

Anthropic

Salvagardas relacionadas coa capacidade

Unha categoría definida de risco de aliñación

Proba de aliñación interna

Informes públicos regulares

Google DeepMind

Unha estrutura por niveis

Unha etapa de alerta temprana

Mitigación de riscos

Aliñación da IA: debate sobre os riscos

Quen máis está a traballar na aliñación da IA

Gobernos

Organizacións sen ánimo de lucro

Universidades

Aliñación da IA: malentendidos comúns

Como aborda Perplexity a aliñación da IA