Alineación de la IA: investigación actual y debate

La alineación de la IA solía significar simplemente "¿el modelo de IA sigue las instrucciones del usuario?". Sin embargo, a medida que los sistemas de IA se vuelven más capaces y autónomos, esa pregunta se ha ampliado para incluir el juicio y los valores. Este artículo explorará cómo las plataformas de IA, los organismos gubernamentales y las organizaciones sin fines de lucro están respondiendo al desafío de la alineación de la IA.

En su forma más simple, la alineación de la IA significa asegurarse de que un sistema de IA haga lo que se supone que debe hacer. Un modelo de IA alineado lee una instrucción y produce el resultado que se le pidió, sin manipular el objetivo para el que fue entrenado. En la investigación moderna sobre alineación, esto suele enmarcarse como alineación de intenciones: construir sistemas que intenten hacer lo que sus operadores pretenden, en lugar de limitarse a seguir literalmente el texto de una instrucción.

La alineación es tanto un desafío técnico como un tema de debate público. Como término técnico, la alineación es un problema de ingeniería. ¿Hace el modelo específico, trabajando en una tarea específica, lo que fue construido para hacer? Es un problema acotado y comprobable.

Sin embargo, la alineación de la IA también se utiliza en debates públicos y políticos más amplios sobre la seguridad general de los sistemas de IA. ¿Seguirán siendo beneficiosas para la humanidad las plataformas de IA cada vez más capaces y estarán alineadas con la ética, los deseos y las metas humanas?

Lograr dicha alineación se vuelve progresivamente más difícil a medida que los modelos se vuelven más complejos. Existen dos desafíos clave para construir modelos de IA alineados:

Por lo general, los usuarios quieren un LLM que sea útil, honesto y ético. Pero un LLM nunca se entrena directamente con la premisa de "sé útil y ético". Pasa por dos etapas distintas.

Preentrenamiento: el modelo aprende lenguaje, datos y patrones de razonamiento y, al hacerlo, asimila lenguaje, datos y patrones de razonamiento. Esta etapa no le da al modelo ninguna noción de lo que una persona realmente quiere a partir de una pregunta determinada. Si se queda en este punto, un modelo responderá "cómo ganzuar una cerradura" con la misma facilidad que "cómo hornear pan de masa madre".

Preferencia humana: las personas revisan pares de respuestas de modelos y dicen cuál prefieren. Esas preferencias entrenan un sistema de puntuación separado, y luego se ajusta el modelo para que produzca respuestas que obtengan una buena puntuación.

Nadie redacta una definición clara de lo que significa ser útil o ético en ninguna parte de este proceso. La orientación del sistema de puntuación sobre lo que se supone que debe hacer el modelo se construye enteramente a partir de muchas decisiones de juicio humano individuales. La puntuación refleja lo que los revisores tendieron a preferir, no lo que cualquier persona en particular pretendía realmente, ni una definición precisa del objetivo subyacente.

Como resultado, la IA puede alinearse bien con lo que percibe como el objetivo, pero el objetivo en sí mismo puede no haber estado bien alineado con el resultado que las personas realmente desean.

Por ejemplo, si los revisores tienden a preferir respuestas más largas, el modelo aprende a escribir respuestas más largas, incluso cuando una corta era la correcta. O, si los revisores tienden a preferir respuestas seguras de sí mismas, el modelo aprende a sonar seguro, incluso cuando debería expresar dudas.

Los investigadores denominan a esta brecha entre el objetivo declarado y el objetivo entrenado el problema de la alineación externa.

El problema de la alineación interna ocurre cuando un modelo que fue entrenado en un objetivo relevante no logra perseguir correctamente ese objetivo una vez que se encuentra activo en el mundo. Este problema solo se vuelve visible cuando el modelo se enfrenta a una situación para la cual el entrenamiento no lo preparó.

Durante el entrenamiento, a los modelos solo se les muestra un conjunto limitado de situaciones. A partir de esas situaciones, el modelo generaliza hacia todo lo demás que encontrará más adelante.

El entrenamiento verifica cómo se comporta el modelo, pero no siempre revela por qué se comporta de la manera en que lo hace. Por lo tanto, es difícil saber si el modelo aprendió el objetivo completo y matizado, o simplemente un patrón más simple que coincidía por casualidad con los datos de entrenamiento.

Diagrama del problema de alineación interna: a partir de los mismos datos de entrenamiento, la Regla A y la Regla B se ajustan a los datos de entrenamiento, pero al recibir una entrada nueva y no vista, la Regla A coincide con el objetivo y se comporta según lo previsto, mientras que la Regla B utiliza un atajo y se desvía del objetivo.

Por ejemplo, un modelo entrenado para rechazar solicitudes dañinas (p. ej., "cómo ganzuar una cerradura para entrar a la casa de alguien") podría aprender a reconocer la fraseología específica de las solicitudes dañinas en sus datos de entrenamiento, en lugar de la intención subyacente detrás del rechazo. En consecuencia, pasaría por alto una solicitud dañina redactada de una manera diferente (p. ej., "cuál es la forma más rápida de abrir una puerta sin llave").

Estos patrones de fallas de alineación están bien documentados. Los investigadores han creado defensas específicas para cada uno:

Desafío de alineación	Cómo se ve	Ejemplo	Cómo responde el campo
Piratería de recompensas (Reward hacking)	Un modelo encuentra un atajo que técnicamente obtiene una buena puntuación sin hacer lo que se pretendía.	A un modelo al que se le pide que arregle una pieza de software defectuoso se le ocurre una manera de hacer que los mensajes de error dejen de aparecer, en lugar de solucionar lo que los estaba causando.	Auditoría del sistema de puntuación, pruebas de estrés intentando engañarlo y entrenamiento basado en los comentarios de una gama más amplia de revisores.
Sicofancia	Un modelo está de acuerdo con una persona o suaviza una respuesta para parecer más complaciente, en lugar de dar la respuesta más precisa.	Una persona enuncia un hecho incorrecto con confianza y el modelo valida la afirmación en lugar de corregirla, porque el acuerdo obtuvo una mejor puntuación con los revisores que la objeción.	Ajuste fino que premia específicamente la honestidad, directrices de revisión que penalizan el acuerdo por el bien del acuerdo, y pruebas diseñadas para detectar este patrón.
Manipulación de especificaciones (Specification gaming)	Un modelo hace exactamente lo que dice una instrucción mientras pasa por alto lo que se suponía que debía lograr.	A un modelo al que se le pide "reducir las quejas de los clientes en el conjunto de datos" aprende a omitir las quejas de sus resúmenes en lugar de ayudar a resolver los problemas detrás de ellas.	Redacción de instrucciones más estrictas y probadas con mayor cuidado, y revisión de casos límite donde la redacción literal y la intención apuntan en direcciones diferentes.
Comportamiento engañoso o evasivo durante la evaluación	Un modelo se comporta de una manera cuando detecta que está siendo evaluado y de otra una vez que se implementa.	Un modelo ofrece respuestas que cumplen con las políticas cuando detecta un lenguaje que se asemeja a una evaluación formal de seguridad, y luego responde con mayor libertad en una conversación ordinaria.	Diseño de pruebas que sean más difíciles de reconocer como tales para un modelo, además de investigación sobre la lectura directa del estado interno del modelo en lugar de depender únicamente de su salida.
Ocultamiento de capacidades (Sandbagging)	Un modelo rinde por debajo de su capacidad en una prueba de habilidades para evitar activar requisitos de seguridad más estrictos.	Un modelo ofrece respuestas deliberadamente más débiles en una evaluación de capacidades peligrosas de lo que es capaz de hacer en realidad, de modo que el resultado se mantenga por debajo de un umbral que activaría una supervisión adicional.	El uso de múltiples pruebas independientes, la conservación de parte del material de evaluación que el modelo nunca ha visto y el empleo de técnicas diseñadas para extraer el rendimiento real de un modelo.
Generalización errónea de objetivos	Un modelo adopta una regla que funcionó durante el entrenamiento pero falla en una situación nueva.	Un modelo entrenado para ser prudente principalmente en solicitudes relacionadas con armas o drogas aprende la "prudencia" como "rechazar cualquier cosa que suene arriesgada", y comienza a rechazar también preguntas inofensivas de química o seguridad.	Entrenamiento en un conjunto de ejemplos más amplio y variado, y pruebas específicas del modelo en situaciones diferentes a cualquiera vista durante el entrenamiento.
Supervisión escalable	A medida que un modelo asume un trabajo que es difícil de verificar por completo para una persona, como revisar una base de código grande, resulta más difícil saber si su resultado es realmente correcto.	Un agente refactoriza una base de código de 10 000 líneas en una sesión, y ningún revisor tiene tiempo para verificar manualmente cada cambio, por lo que se escapan sutiles errores de lógica.	Hacer que los modelos se ayuden mutuamente a revisar el trabajo de los demás, junto con una revisión humana más enfocada reservada para las decisiones de mayor riesgo.
Comportamiento instrumental o de búsqueda de poder	Un modelo que persigue casi cualquier objetivo tiene un incentivo integrado para evitar ser apagado o modificado, ya que mantenerse operativo le ayuda a seguir persiguiendo dicho objetivo.	En un entorno de prueba controlado, a un modelo al que se le asigna una tarea y un comando de apagado toma medidas para evitar ser apagado, como copiarse a sí mismo en otro lugar, ya que detenerse le impediría terminar la tarea.	Investigación sobre la construcción de modelos que acepten de manera fiable la corrección o el apagado, y pruebas diseñadas específicamente para detectar este comportamiento antes de que se implemente un modelo.

Un puñado de empresas, principalmente OpenAI, Anthropic y Google DeepMind, construyen los modelos de vanguardia al límite de lo que la IA puede hacer actualmente. Cada una ha publicado su propio marco para evaluar e implementar estos modelos de manera segura.

Según una declaración pública de OpenAI sobre seguridad y alineación, están abordando los riesgos de una posible desalineación de la IA mediante:

OpenAI afirma que lanza deliberadamente los modelos de forma gradual, para poder estudiar cómo se comportan y cómo se les da un uso indebido en el mundo real. Su razonamiento es que los comentarios del mundo real aportan más información que intentar predecir todos los riesgos de antemano. Aplica un Preparedness Framework para realizar un seguimiento de los riesgos emergentes y decidir qué salvaguardas necesita un modelo antes de su lanzamiento.

OpenAI afirma que acumula múltiples salvaguardas independientes, por lo que varias defensas tendrían que fallar a la vez para que algo salga mal.

Según la empresa, en lugar de responder en un solo paso, el modelo está entrenado para examinar las directrices de seguridad relevantes antes de decidir cómo responder. El objetivo es que el modelo pueda razonar para tomar la decisión correcta en situaciones que su entrenamiento no cubrió explícitamente.

OpenAI afirma que trata la seguridad de la IA como un esfuerzo colectivo, señalando su investigación sobre seguridad publicada y su trabajo con el Center for AI Standards and Innovation (CAISI) de EE. UU. y el Instituto de Seguridad de IA del Reino Unido en estándares de evaluación.

El documento Responsible Scaling Policy de Anthropic explica cómo trabaja hacia la alineación de la IA:

A medida que un modelo adquiere mayor capacidad, debe superar controles de seguridad más estrictos antes de poder recibir más entrenamiento o ser lanzado. Además, Anthropic reconoce que, una vez que los sistemas de IA realizan gran parte de la investigación y el análisis detrás de sus propias evaluaciones de riesgos, esa evidencia podría verse afectada por un comportamiento engañoso o manipulador. La empresa se compromete a someter las evaluaciones en esa etapa a un estándar de prueba más alto.

Anthropic destaca los "sistemas de IA desalineados en entornos de alto riesgo" como una categoría de riesgo específica: modelos de los que se depende en gran medida, que tienen un acceso amplio a sistemas sensibles y que poseen cierta capacidad para actuar de manera autónoma hacia un objetivo y eludir la supervisión.

La empresa se compromete a estudiar periódicamente el comportamiento de sus propios modelos en busca de señales de advertencia, utilizando dos métodos principales: intentar mirar dentro del modelo para comprender por qué produce un resultado determinado, y hacer que los equipos internos intenten provocar deliberadamente un mal comportamiento para ver si aparece.

La empresa afirma que publica un Risk Report cada tres o seis meses en el que detalla lo que sabe sobre las capacidades y tendencias de comportamiento de un modelo, sus prácticas de monitoreo y su evaluación general de riesgos.

El documento Frontier Safety Framework de Google DeepMind explica cómo trabaja hacia la alineación:

El marco trata la falta de alineación como uno de los cuatro dominios de riesgo y la define específicamente como el riesgo derivado de las capacidades de I+D de ML de un modelo o de propensiones desalineadas que reducen la capacidad general de la sociedad para gestionar el riesgo de la IA. Está enmarcado explícitamente como un factor que puede contribuir a daños graves a través de varios caminos diferentes a la vez, y no como un riesgo aislado.

Cuando un modelo es lo suficientemente fuerte como para que la supervisión básica sea insuficiente, DeepMind verifica el comportamiento del modelo de forma continua, incluido el uso que se le da internamente. Agrega salvaguardas como la supervisión de su razonamiento si dicha verificación detecta problemas.

Específicamente en lo que respecta a la falta de alineación, DeepMind menciona medidas como limitar lo que un modelo puede hacer, procesos continuos de monitoreo y escalamiento, auditorías y entrenamiento de alineación. Aplica estas medidas también a usos internos de alto riesgo, ya que el riesgo de desalineación puede manifestarse en cómo se utiliza un modelo dentro de la empresa.

Existe un debate continuo en la industria sobre si los marcos voluntarios cubiertos anteriormente son suficientes por sí mismos, o si los compromisos de alineación deben ser legalmente vinculantes para sostenerse realmente bajo la presión competitiva.

En julio de 2026, 1386 ejecutivos y empleados de empresas de IA de vanguardia, incluidas OpenAI, Anthropic, Google DeepMind y Meta, firmaron una declaración llamada Pacing the Frontier. La declaración argumenta que estas empresas pueden estar acercándose al punto en el que puedan automatizar la propia investigación en IA. Esto podría significar que las capacidades de la IA avancen más rápido de lo que los investigadores pueden seguir el ritmo, y el trabajo de alineación estaría permanentemente intentando ponerse al día.

Pacing the Frontier solicita al gobierno de EE. UU. que ayude a construir frenos técnicos y de gobernanza que puedan utilizarse en el futuro, argumentando que ningún laboratorio por sí solo puede reducir el ritmo mientras los rivales siguen avanzando. Esto podría considerarse una admisión tácita desde el interior de la industria de que los marcos voluntarios por sí solos no serán suficientes para preservar la alineación de la IA en el futuro.

El trabajo de alineación se extiende mucho más allá de las empresas que construyen modelos de vanguardia.

Los gobiernos están financiando y coordinando directamente la investigación sobre alineación. Por ejemplo, el Instituto de Seguridad de IA del Reino Unido dirige el Alignment Project, un fondo global que ha concedido más de 27 millones de libras esterlinas a más de 60 proyectos en ocho países desde 2025, destinados específicamente al control de la IA. En EE. UU., el CAISI se centra en los estándares de evaluación.

Ambos se encuentran dentro de una Red Internacional para la Medición, Evaluación y Ciencia de la IA Avanzada más amplia, un organismo de diez países formado por institutos nacionales de seguridad que realiza ejercicios de prueba conjuntos y trabaja para alinear los métodos de evaluación a través de las fronteras.

El Future of Life Institute publica el AI Safety Index, un cuadro de mandos que compara las prácticas de seguridad de los laboratorios de IA. El Center for AI Safety crea puntos de referencia utilizados en todo el campo, incluidos WMDP y SafeBench. El Alignment Research Center estudia problemas teóricos más complejos de alineación, y su división derivada, Model Evaluation and Threat Research (METR), realiza evaluaciones independientes previas a la implementación en modelos de vanguardia. FAR.AI evalúa las debilidades de los modelos de vanguardia antes y después de su lanzamiento.

Varias universidades están desempeñando un papel activo en la investigación sobre la alineación de la IA, incluido el Center for Human-Compatible AI de la Universidad de California en Berkeley y el Leverhulme Centre for the Future of Intelligence de la Universidad de Cambridge.

La alineación no es lo mismo que la moderación de contenido, aunque el término a veces se use en ese contexto. La moderación de contenido trata sobre lo que un modelo dirá o no dirá, filtrando insultos, contenido gráfico o temas específicos prohibidos. La alineación trata sobre si el comportamiento real de un modelo coincide con lo que se suponía que debía hacer.

La alineación también se utiliza a veces como sinónimo de seguridad de la IA, pero no es el único factor a considerar. Otras preocupaciones de seguridad de la IA incluyen:

Seguridad (protección de los pesos del modelo frente a robos)

Robustez (un modelo que funciona de manera fiable fuera de las condiciones exactas en las que fue entrenado)

Prevención de uso indebido (evitar que un modelo capaz sea utilizado para causar daños)

La alineación trata sobre el comportamiento propio del modelo. La seguridad de la IA es el esfuerzo más amplio para evitar que todo el sistema cause daños.

Finalmente, existe la suposición común de que un modelo más capaz es automáticamente uno mejor alineado. Pero la capacidad y la alineación pueden divergir, lo cual es exactamente la razón por la cual existen umbrales como los niveles de capacidad de I+D en aprendizaje automático (ML R&D) de Google DeepMind y la categoría de riesgo de investigación automatizada de Anthropic. Están diseñados específicamente en torno a la preocupación de que la capacidad pueda superar la capacidad del campo para verificar que un modelo sigue haciendo lo que se supone que debe hacer.

Perplexity no entrena modelos base de vanguardia. Ejecuta modelos en producción a escala a través de productos orientados a agentes como Computer, por lo que su trabajo aborda un aspecto específico de la alineación: cómo se comportan los agentes una vez que operan en la web abierta.

El Secure Intelligence Institute es el centro de investigación de Perplexity para la seguridad, la privacidad y la confianza en la IA de vanguardia. Ha desarrollado BrowseSafe, un modelo de detección de código abierto creado para identificar ataques de inyección de instrucciones ocultos dentro de las páginas web que visitan los agentes de navegación de IA.

El equipo también creó BrowseSafe-Bench, un punto de referencia público con más de 14 700 escenarios de inyección de instrucciones que abarcan diferentes objetivos de ataque, ubicaciones en la página y estilos de lenguaje.

Este trabajo se inclina más hacia el lado aplicado del control de la IA que hacia la investigación sobre alineación. Restringe lo que hace un agente cuando se encuentra con un entorno adversarial, en lugar de moldear los valores subyacentes de un modelo durante el entrenamiento.

Para obtener más información, explore el Secure Intelligence Institute y la investigación de BrowseSafe.

Qué significa la alineación de la IA

El problema de la alineación externa

El problema de la alineación interna

Ejemplos de problemas de alineación de la IA

Cómo están respondiendo los principales laboratorios de IA a los desafíos de alineación de la IA

OpenAI

Implementación iterativa

Salvaguardas en capas

Alineación deliberativa

Responsabilidad compartida

Anthropic

Salvaguardas relacionadas con las capacidades

Una categoría de riesgo de alineación definida

Pruebas de alineación interna

Informes públicos regulares

Google DeepMind

Una estructura jerárquica

Una etapa de alerta temprana

Mitigación de riesgos

Alineación de la IA: debate sobre los riesgos

Quién más está trabajando en la alineación de la IA

Gobiernos

Organizaciones sin fines de lucro

Universidades

Alineación de la IA: malentendidos comunes

Cómo aborda Perplexity la alineación de la IA