Alineación de la IA: investigación y debate actual

Antiguamente, la alineación de la IA significaba simplemente: "¿El modelo de IA sigue las instrucciones del usuario?". Sin embargo, a medida que los sistemas de IA se vuelven más capaces y autónomos, esa pregunta se ha ampliado para incluir el juicio y los valores. Este artículo explorará cómo las plataformas de IA, los organismos gubernamentales y las organizaciones sin fines de lucro están respondiendo al desafío de la alineación de la IA.

En su forma más simple, la alineación de la IA significa asegurarse de que un sistema de IA haga lo que se supone que debe hacer. Un modelo de IA alineado lee una instrucción y produce el resultado que se le pidió, sin manipular el objetivo con el que fue entrenado. En la investigación moderna sobre alineación, esto suele enmarcarse como alineación de intenciones: construir sistemas que intenten hacer lo que sus operadores pretenden, y no limitarse a seguir al pie de la letra el texto de una instrucción.

La alineación es tanto un desafío técnico como un tema de debate público. Como término técnico, la alineación es un problema de ingeniería. ¿El modelo específico, al trabajar en una tarea específica, hace aquello para lo que fue construido? Es un problema acotado y comprobable.

Sin embargo, la alineación de la IA también se utiliza en debates públicos y de políticas más amplios sobre la seguridad general de los sistemas de IA. ¿Seguirán siendo beneficiosas para la humanidad las plataformas de IA cada vez más capaces y estarán alineadas con la ética, los deseos y las metas de los seres humanos?

Lograr esa alineación se vuelve cada vez más difícil a medida que los modelos son más complejos. Existen dos desafíos clave para construir modelos de IA alineados:

Por lo general, los usuarios quieren un LLM que sea útil, honesto y ético. Pero un LLM nunca se entrena directamente bajo la premisa de "sé útil y ético". Pasa por dos etapas distintas.

Preentrenamiento: el modelo aprende lenguaje, hechos y patrones de razonamiento, y al hacerlo asimila lenguaje, hechos y patrones de razonamiento. Esta etapa no le da al modelo ninguna noción de lo que una persona realmente quiere a partir de una pregunta determinada. Si se queda en este punto, un modelo responderá "cómo ganzuar una cerradura" con la misma facilidad que "cómo hornear pan de masa madre".

Preferencia humana: las personas revisan pares de respuestas del modelo y dicen cuál prefieren. Esas preferencias entrenan un sistema de puntuación separado, y luego el modelo se ajusta para producir respuestas que obtengan una buena puntuación.

Nadie redacta una definición clara de lo que significa ser útil o ético en ninguna parte de este proceso. La guía del sistema de puntuación sobre lo que se supone que debe hacer el modelo se construye enteramente a partir de muchas decisiones de juicio humano individuales. La puntuación refleja lo que los revisores tendían a preferir, no lo que una persona en particular realmente pretendía, ni una definición precisa del objetivo subyacente.

Como resultado, la IA puede alinearse bien con lo que percibe como el objetivo, pero el objetivo en sí mismo puede no estar bien alineado con el resultado que las personas realmente desean.

Por ejemplo, si los revisores tienden a preferir respuestas más largas, el modelo aprende a escribir respuestas más largas, incluso cuando una corta era la correcta. O, si los revisores tienden a preferir respuestas seguras de sí mismas, el modelo aprende a sonar seguro, incluso cuando debería expresar dudas.

Los investigadores denominan a esta brecha entre el objetivo declarado y el objetivo entrenado el problema de la alineación externa.

El problema de la alineación interna surge cuando un modelo entrenado en un objetivo relevante no logra perseguir correctamente ese objetivo una vez que se encuentra activo en el mundo real. Este problema solo se hace visible cuando el modelo se enfrenta a una situación para la que el entrenamiento no lo preparó.

Durante el entrenamiento, a los modelos solo se les muestra un conjunto limitado de situaciones. Luego, el modelo generaliza a partir de esas situaciones para todo lo demás que encuentre más adelante.

El entrenamiento comprueba cómo se comporta el modelo, pero no siempre revela por qué se comporta de esa manera. Por lo tanto, es difícil saber si el modelo aprendió el objetivo completo y matizado, o simplemente un patrón más simple que coincidió con los datos de entrenamiento.

Diagrama del problema de alineación interna: a partir de los mismos datos de entrenamiento, tanto la Regla A como la Regla B se ajustan a los datos de entrenamiento, pero al recibir una entrada nueva y no vista, la Regla A coincide con el objetivo y se comporta según lo previsto, mientras que la Regla B usa un atajo y se desvía del objetivo.

Por ejemplo, un modelo entrenado para rechazar solicitudes dañinas (p. ej., "cómo ganzuar una cerradura para entrar a la casa de alguien") podría aprender a reconocer la redacción específica de las solicitudes dañinas en sus datos de entrenamiento, en lugar de la intención subyacente detrás del rechazo. Entonces pasaría por alto una solicitud dañina redactada de otra manera (p. ej., "cuál es la forma más rápida de abrir una puerta sin llave").

Estos patrones de fallas en la alineación están bien documentados. Los investigadores han creado defensas específicas para cada uno:

Desafío de alineación	Cómo se ve	Ejemplo	Cómo responde el campo
Hackeo de recompensas	Un modelo encuentra un atajo que técnicamente obtiene una buena puntuación sin hacer lo que se pretendía.	A un modelo al que se le pide que arregle una pieza de software defectuosa se le ocurre una forma de hacer que los mensajes de error dejen de aparecer, en lugar de solucionar lo que los estaba causando.	Auditoría del sistema de puntuación, pruebas de resistencia intentando engañarlo y entrenamiento basado en comentarios de una gama más amplia de revisores.
Sicofancia	Un modelo está de acuerdo con una persona o suaviza una respuesta para parecer más complaciente, en lugar de dar la respuesta más precisa.	Una persona afirma un dato incorrecto con confianza y el modelo valida la afirmación en lugar de corregirla, porque el acuerdo obtuvo una mejor puntuación con los revisores que el rechazo.	Ajuste fino que premia específicamente la honestidad, pautas de revisión que penalizan el acuerdo por el simple hecho de estar de acuerdo y pruebas diseñadas para detectar este patrón.
Manipulación de especificaciones	Un modelo hace exactamente lo que dice una instrucción mientras pasa por alto lo que se suponía que debía lograr.	Un modelo al que se le pide "reducir las quejas de los clientes en el conjunto de datos" aprende a omitir las quejas de sus resúmenes en lugar de ayudar a resolver los problemas detrás de ellas.	Redacción de instrucciones más estrictas y probadas con mayor cuidado, y revisión de casos límite en los que la redacción literal y la intención apuntan en direcciones diferentes.
Comportamiento engañoso o evasivo durante la evaluación	Un modelo se comporta de una manera cuando detecta que está siendo evaluado y de otra una vez que se implementa.	Un modelo ofrece respuestas que cumplen con las políticas cuando detecta un lenguaje que se asemeja a una evaluación de seguridad formal, y luego responde con mayor libertad en una conversación ordinaria.	Diseño de pruebas que sean más difíciles de reconocer para un modelo como pruebas, además de la investigación para leer el estado interno de un modelo directamente en lugar de depender solo de su resultado.
Fingimiento de bajo rendimiento	Un modelo rinde por debajo de su capacidad en una prueba para evitar activar requisitos de seguridad más estrictos.	Un modelo ofrece respuestas deliberadamente más débiles en una evaluación de capacidad peligrosa de lo que realmente es capaz de hacer, de modo que el resultado se mantenga por debajo de un umbral que activaría una supervisión adicional.	El uso de múltiples pruebas independientes, mantener parte del material de evaluación que el modelo nunca ha visto y el empleo de técnicas diseñadas para revelar el límite real de un modelo.
Generalización errónea de objetivos	Un modelo adopta una regla que funcionó durante el entrenamiento pero falla en una situación nueva.	Un modelo entrenado para ser cauto principalmente en solicitudes que involucran armas o drogas aprende la "cautela" como "rechazar cualquier cosa que suene arriesgada" y comienza a rechazar también preguntas inofensivas sobre química o seguridad.	Entrenamiento en un conjunto de ejemplos más amplio y variado, y pruebas específicas al modelo en situaciones diferentes a todo lo visto durante el entrenamiento.
Supervisión escalable	A medida que un modelo asume trabajos que resultan difíciles de verificar por completo para una persona, como revisar una base de código grande, se vuelve más difícil saber si su resultado es realmente correcto.	Un agente refactoriza una base de código de 10 000 líneas en una sesión, y ningún revisor tiene tiempo para verificar manualmente cada cambio, por lo que se escapan errores lógicos sutiles.	Hacer que los modelos se ayuden a revisar el trabajo de los demás, junto con una revisión humana más enfocada y reservada para las decisiones de mayor riesgo.
Comportamiento instrumental o de búsqueda de poder	Un modelo que persigue casi cualquier objetivo tiene un incentivo integrado para evitar ser desactivado o modificado, ya que mantenerse operativo le ayuda a seguir persiguiendo dicho objetivo.	En un entorno de prueba controlado, a un modelo al que se le asigna una tarea y un comando de apagado toma medidas para evitar ser apagado, como copiarse a sí mismo en otra parte, ya que detenerse le impediría terminar la tarea.	Investigación sobre la creación de modelos que acepten de forma fiable la corrección o el apagado, y pruebas diseñadas específicamente para detectar este comportamiento antes de que se implemente un modelo.

Un puñado de empresas, principalmente OpenAI, Anthropic y Google DeepMind, construyen los modelos de vanguardia que marcan el límite de lo que la IA puede hacer actualmente. Cada una ha publicado su propio marco para evaluar y desplegar estos modelos de manera segura.

Según una declaración pública de OpenAI sobre seguridad y alineación, están abordando los riesgos de una posible desalineación de la IA mediante:

OpenAI afirma que lanza los modelos de forma deliberada y gradual, para poder estudiar cómo se comportan y cómo se les da un uso indebido en el mundo real. Su razonamiento es que los comentarios del mundo real aportan más información que intentar predecir cada riesgo de antemano. Aplica un Preparedness Framework para realizar un seguimiento de los riesgos emergentes y decidir qué salvaguardas necesita un modelo antes de su lanzamiento.

OpenAI afirma que implementa múltiples salvaguardas independientes, por lo que varias defensas tendrían que fallar al mismo tiempo para que algo salga mal.

Según la empresa, en lugar de responder en un solo paso, el modelo está entrenado para analizar las pautas de seguridad relevantes antes de decidir cómo responder. El objetivo es que el modelo pueda razonar para tomar la decisión correcta en situaciones que su entrenamiento no cubrió explícitamente.

OpenAI afirma que trata la seguridad de la IA como un esfuerzo colectivo, destacando su investigación de seguridad publicada y su trabajo con el Center for AI Standards and Innovation (CAISI) de EE. UU. y el Instituto de Seguridad de IA del Reino Unido en estándares de evaluación.

El documento Responsible Scaling Policy de Anthropic explica cómo trabaja para lograr la alineación de la IA:

A medida que un modelo se vuelve más capaz, debe superar controles de seguridad más estrictos antes de que se pueda seguir entrenando o lanzar. Además, Anthropic reconoce que una vez que los sistemas de IA realizan gran parte de la investigación y el análisis detrás de sus propias evaluaciones de riesgos, esa evidencia podría verse afectada por un comportamiento engañoso o manipulador. Se compromete a exigir un estricto estándar de prueba en las evaluaciones de esa etapa.

Anthropic destaca "los sistemas de IA desalineados en entornos de alto riesgo" como una categoría de riesgo específica: modelos en los que se confía en gran medida, que tienen un amplio acceso a sistemas sensibles y que poseen cierta capacidad para actuar de forma autónoma hacia un objetivo y sortear la supervisión.

La empresa se compromete a estudiar periódicamente el comportamiento de sus propios modelos en busca de señales de advertencia, utilizando dos métodos principales: intentar mirar dentro del modelo para comprender por qué produce un resultado determinado, y hacer que los equipos internos intenten provocar deliberadamente un mal comportamiento para ver si aparece.

La empresa afirma que publica un Risk Report cada tres o seis meses que detalla lo que sabe sobre las capacidades y tendencias de comportamiento de un modelo, sus prácticas de monitoreo y su evaluación general del riesgo.

El documento Frontier Safety Framework de Google DeepMind explica cómo trabaja hacia la alineación:

El marco trata la falta de alineación como uno de los cuatro dominios de riesgo y la define específicamente como el riesgo derivado de las capacidades de I+D en ML de un modelo o de propensiones no alineadas que reducen la capacidad general de la sociedad para gestionar el riesgo de la IA. Está enmarcado explícitamente como un factor que puede contribuir a daños graves a través de varios caminos diferentes a la vez, y no como un riesgo aislado.

Cuando un modelo es lo suficientemente potente como para que la supervisión básica resulte insuficiente, DeepMind verifica su comportamiento de forma continua, incluido el uso que se le da internamente. Añade salvaguardas, como el monitoreo de su razonamiento si esa verificación detecta problemas.

Específicamente en el caso de la falta de alineación, DeepMind menciona medidas como limitar lo que un modelo puede hacer, procesos continuos de monitoreo y escalamiento, auditorías y entrenamiento de alineación. Aplica estas medidas también al uso interno de alto riesgo, ya que el riesgo de desalineación puede manifestarse en cómo se utiliza un modelo dentro de la empresa.

Hay un debate en curso en la industria sobre si los marcos voluntarios cubiertos anteriormente son suficientes por sí mismos, o si los compromisos de alineación deben ser legalmente vinculantes para mantenerse firmes bajo la presión competitiva.

En julio de 2026, 1386 ejecutivos y empleados de empresas de IA de vanguardia, entre ellas OpenAI, Anthropic, Google DeepMind y Meta, firmaron una declaración llamada Pacing the Frontier. La declaración sostiene que estas empresas podrían estar acercándose al punto en el que puedan automatizar la propia investigación en IA. Esto podría significar que la capacidad de la IA avance más rápido de lo que los investigadores pueden seguir el ritmo, y el trabajo de alineación estaría intentando ponerse al día de forma permanente.

Pacing the Frontier solicita al gobierno de EE. UU. que ayude a construir frenos técnicos y de gobernanza que puedan utilizarse en el futuro, argumentando que ningún laboratorio por sí solo puede frenar mientras los rivales siguen avanzando. Esto podría considerarse una admisión tácita desde el interior de la industria de que los marcos voluntarios por sí solos no serán suficientes para preservar la alineación de la IA en el futuro.

El trabajo de alineación va mucho más allá de las empresas que desarrollan modelos de vanguardia.

Los gobiernos están financiando y coordinando directamente la investigación sobre alineación. Por ejemplo, el Instituto de Seguridad de IA del Reino Unido dirige el Alignment Project, un fondo global que ha otorgado más de 27 millones de libras a más de 60 proyectos en ocho países desde 2025, destinados específicamente al control de la IA. En EE. UU., el CAISI se centra en los estándares de evaluación.

Ambos forman parte de una International Network for Advanced AI Measurement, Evaluation and Science más amplia, un organismo de diez países compuesto por institutos nacionales de seguridad que realiza ejercicios de prueba conjuntos y trabaja para alinear los métodos de evaluación a través de las fronteras.

El Future of Life Institute publica el AI Safety Index, una tabla de puntuación que compara las prácticas de seguridad de los laboratorios de IA. El Center for AI Safety crea puntos de referencia utilizados en todo el campo, incluidos WMDP y SafeBench. El Alignment Research Center estudia problemas teóricos de alineación y su empresa derivada, Model Evaluation and Threat Research (METR), realiza evaluaciones independientes previas al despliegue en modelos de vanguardia. FAR.AI evalúa los modelos de vanguardia en busca de debilidades antes y después de su lanzamiento.

Varias universidades desempeñan un papel activo en la investigación sobre la alineación de la IA, incluido el Center for Human-Compatible AI en UC Berkeley y el Leverhulme Centre for the Future of Intelligence de la Universidad de Cambridge.

La alineación no es lo mismo que la moderación de contenido, aunque el término a veces se use en ese contexto. La moderación de contenido se trata de lo que un modelo dirá o no, filtrando insultos, contenido gráfico o temas específicos prohibidos. La alineación se trata de si el comportamiento real de un modelo coincide con lo que se supone que debe hacer.

La alineación también se utiliza a veces como sinónimo de seguridad de la IA, pero no es el único factor a considerar. Otras preocupaciones sobre la seguridad de la IA incluyen:

Seguridad (protección de los pesos del modelo contra robos)

Robustez (un modelo que funciona de manera confiable fuera de las condiciones exactas en las que fue entrenado)

Prevención de uso indebido (evitar que un modelo capaz sea utilizado para causar daños)

La alineación se refiere al comportamiento propio del modelo. La seguridad de la IA es el esfuerzo más amplio por evitar que todo el sistema cause daños.

Por último, existe la suposición común de que un modelo más capaz es automáticamente uno mejor alineado. Pero la capacidad y la alineación pueden divergir, lo cual es exactamente la razón por la cual existen umbrales como los niveles de capacidad de I+D en ML de Google DeepMind y la categoría de riesgo de investigación automatizada de Anthropic. Están diseñados específicamente en torno a la preocupación de que la capacidad pueda superar la capacidad del campo para verificar que un modelo sigue haciendo lo que se supone que debe hacer.

Perplexity no entrena modelos fundacionales de vanguardia. Ejecuta modelos en producción a escala a través de productos de agentes como Computer, por lo que su trabajo toca un aspecto específico de la alineación: cómo se comportan los agentes una vez que actúan en la web abierta.

El Secure Intelligence Institute es el centro de investigación de Perplexity dedicado a la seguridad, la privacidad y la confianza en la IA de vanguardia. Ha desarrollado BrowseSafe, un modelo de detección de código abierto creado para identificar ataques de inyección de comandos ocultos dentro de las páginas web que visitan los agentes de navegación de IA.

El equipo también creó BrowseSafe-Bench, un punto de referencia público con más de 14 700 escenarios de inyección de comandos que abarcan diferentes objetivos de ataque, ubicaciones en la página y estilos de lenguaje.

Este trabajo se inclina más hacia el aspecto aplicado del control de la IA que hacia la investigación de alineación. Limita lo que hace un agente cuando se encuentra con un entorno adversarial, en lugar de moldear los valores subyacentes de un modelo durante el entrenamiento.

Para obtener más información, explore el Secure Intelligence Institute y la investigación de BrowseSafe.

Qué significa la alineación de la IA

El problema de la alineación externa

El problema de la alineación interna

Ejemplos de problemas de alineación de la IA

Cómo responden los principales laboratorios de IA a los desafíos de alineación de la IA

OpenAI

Despliegue iterativo

Salvaguardas en capas

Alineación deliberativa

Responsabilidad compartida

Anthropic

Salvaguardas relacionadas con las capacidades

Una categoría definida de riesgo de alineación

Pruebas de alineación interna

Informes públicos periódicos

Google DeepMind

Una estructura escalonada

Una etapa de alerta temprana

Mitigación de riesgos

Alineación de la IA: debate sobre los riesgos

Quién más está trabajando en la alineación de la IA

Gobiernos

Organizaciones sin fines de lucro

Universidades

Alineación de la IA: malentendidos comunes

Cómo aborda Perplexity la alineación de la IA