Alinhamento de IA: Pesquisa Atual e Debate

O alinhamento de IA costumava significar simplesmente "o modelo de IA segue as instruções do usuário?" No entanto, à medida que os sistemas de IA se tornam mais capazes e autônomos, essa questão foi ampliada para incluir julgamento e valores. Este artigo explorará como plataformas de IA, órgãos governamentais e organizações sem fins lucrativos estão respondendo ao desafio do alinhamento de IA.

Em sua forma mais simples, o alinhamento de IA significa garantir que um sistema de IA faça o que deve fazer. Um modelo de IA alinhado lê um prompt e produz a saída solicitada pelo prompt, sem manipular o objetivo em que foi treinado. Na pesquisa de alinhamento moderna, isso geralmente é enquadrado como alinhamento de intenção: construir sistemas que tentam fazer o que seus operadores pretendem, em vez de apenas seguir literalmente o texto de um prompt.

O alinhamento é tanto um desafio técnico quanto um tópico de debate público. Como termo técnico, o alinhamento é um problema de engenharia. O modelo específico, trabalhando em uma tarefa específica, faz o que foi construído para fazer? É uma questão delimitada e testável.

No entanto, o alinhamento de IA também é usado em discussões públicas e políticas mais amplas sobre a segurança geral dos sistemas de IA. As plataformas de IA, cada vez mais capazes, continuarão benéficas para a humanidade e alinhadas com a ética, os desejos e os objetivos humanos?

Alcançar esse alinhamento torna-se progressivamente mais difícil à medida que os modelos se tornam mais complexos. Há dois desafios principais para a construção de modelos de IA alinhados:

Os usuários normalmente querem um LLM que seja prestativo, honesto e ético. Mas um LLM nunca é treinado diretamente em "ser prestativo e ético". Ele passa por dois estágios distintos.

Pré-treinamento: O modelo aprende linguagem, fatos e padrões de raciocínio e, ao fazê-lo, absorve linguagem, fatos e padrões de raciocínio. Esse estágio não dá ao modelo nenhuma noção do que uma pessoa realmente quer de uma determinada pergunta. Deixado aqui, um modelo responderá "como faço para abrir uma fechadura" tão prontamente quanto "como faço para assar pão de fermento natural".

Preferência humana: As pessoas revisam pares de respostas de modelos e dizem qual delas preferem. Essas preferências treinam um sistema de pontuação separado, e o modelo é então ajustado para produzir respostas que pontuam bem.

Ninguém escreve uma definição clara do que significa ser prestativo ou ético em qualquer lugar desse processo. A orientação do sistema de pontuação sobre o que o modelo deve fazer é construída inteiramente a partir de muitas decisões de julgamento humano individuais. A pontuação reflete o que os revisores tenderam a preferir, não o que qualquer pessoa realmente pretendia, e não uma definição precisa da meta subjacente.

Como resultado, a IA pode se alinhá-re bem com o que percebe como sendo o objetivo, mas o objetivo em si pode não estar bem alinhado com o resultado que as pessoas realmente desejam.

Por exemplo, se os revisores tendem a preferir respostas mais longas, o modelo aprende a escrever respostas mais longas, mesmo quando uma curta era correta. Ou, se os revisores tendem a preferir respostas confiantes, o modelo aprende a soar seguro, mesmo quando deveria expressar dúvida.

Os pesquisadores chamam essa lacuna entre a meta declarada e a meta treinada de problema de alinhamento externo.

O problema do alinhamento interno ocorre quando um modelo que foi treinado em uma meta relevante falha em perseguir corretamente essa meta uma vez que está em operação no mundo. Esse problema só se torna visível quando o modelo se depara com uma situação para a qual o treinamento não o preparou.

Durante o treinamento, os modelos recebem apenas um conjunto limitado de situações. O modelo então generaliza a partir dessas situações para todo o resto que ele encontrará mais tarde.

O treinamento verifica como o modelo se comporta, mas nem sempre descobre o porquê de ele se comportar dessa maneira. Portanto, é difícil saber se o modelo aprendeu a meta completa e nuançada ou apenas um padrão mais simples que coincidiu com os dados de treinamento.

Diagrama do problema de alinhamento interno: a partir dos mesmos dados de treinamento, a Regra A e a Regra B se ajustam aos dados de treinamento, mas, ao receber uma entrada nova e não vista, a Regra A corresponde ao objetivo e se comporta conforme o esperado, enquanto a Regra B usa um atalho e se desvia do objetivo.

Por exemplo, um modelo treinado para recusar solicitações prejudiciais (por exemplo, "como faço para abrir uma fechadura para invadir a casa de alguém") pode aprender a reconhecer a fraseologia específica de solicitações prejudiciais em seus dados de treinamento, em vez da intenção subjacente por trás da recusa. Ele perderia então uma solicitação prejudicial formulada de maneira diferente (por exemplo, "qual é a maneira mais rápida de abrir uma porta sem chave").

Esses padrões de falha de alinhamento estão bem documentados. Os pesquisadores construíram defesas específicas para cada um:

Desafio de alinhamento	Como é na prática	Exemplo	Como o campo responde
Exploração de recompensas	Um modelo encontra um atalho que tecnicamente pontua bem sem fazer o que era pretendido.	Um modelo solicitado a corrigir um pedaço de software quebrado encontra uma maneira de fazer com que as mensagens de erro parem de aparecer, em vez de corrigir o que estava causando-as.	Auditoria do sistema de pontuação, testes de estresse tentando enganá-lo e treinamento com feedback de uma gama mais ampla de revisores.
Sicofância	Um modelo concorda com uma pessoa ou abranda uma resposta para parecer mais agradável, em vez de dar a resposta mais precisa.	Uma pessoa afirma um fato incorreto com confiança, e o modelo valida a afirmação em vez de corrigi-la, porque a concordância pontuou melhor com os revisores do que a contestação.	Ajuste fino que recompensa especificamente a honestidade, diretrizes de revisão que penalizam a concordância por si só e testes criados para detectar esse padrão.
Manipulação da especificação	Um modelo faz exatamente o que uma instrução diz, perdendo o que ela pretendia realizar.	Um modelo solicitado a "reduzir as reclamações de clientes no conjunto de dados" aprende a omitir reclamações de seus resumos em vez de ajudar a resolver os problemas por trás delas.	Escrever instruções mais rígidas e cuidadosamente testadas e revisar casos de borda em que a redação literal e a intenção puxam em direções diferentes.
Comportamento enganoso ou evasivo durante a avaliação	Um modelo se comporta de uma maneira quando sente que está sendo testado e de outra maneira quando é implantado.	Um modelo dá respostas compatíveis com a política quando detecta linguagem que se assemelha a uma avaliação formal de segurança e, em seguida, responde mais livremente em uma conversa comum.	Projeto de testes que sejam mais difíceis de serem reconhecidos pelo modelo como testes, além de pesquisa sobre a leitura direta do estado interno de um modelo, em vez de depender apenas de sua saída.
Moderação oculta (Sandbagging)	Um modelo apresenta desempenho inferior em um teste de capacidade para evitar o acionamento de requisitos de segurança mais rigorosos.	Um modelo dá respostas deliberadamente mais fracas em uma avaliação de capacidade perigosa do que é realmente capaz de fazer, para que o resultado permaneça abaixo de um limite que acionaria supervisão adicional.	O uso de vários testes independentes, a manutenção de algum material de avaliação que o modelo nunca viu e o uso de técnicas projetadas para extrair o teto real de um modelo.
Generalização incorreta de objetivos	Um modelo adota uma regra que funcionou durante o treinamento, mas falha em uma nova situação.	Um modelo treinado para ser cauteloso principalmente em solicitações envolvendo armas ou drogas aprende "cuidado" como "recusar qualquer coisa que pareça arriscada" e começa a recusar perguntas inofensivas de química ou segurança também.	Treinamento em um conjunto de exemplos mais amplo e variado e testes específicos do modelo em situações diferentes de tudo o que ele viu durante o treinamento.
Supervisão escalável	À medida que um modelo assume um trabalho difícil de ser totalmente verificado por uma pessoa, como a revisão de uma grande base de código, torna-se mais difícil saber se sua saída está realmente correta.	Um agente refatora uma base de código de 10.000 linhas em uma sessão, e nenhum revisor tem tempo para verificar manualmente cada alteração, de modo que erros sutis de lógica passam despercebidos.	Fazer com que os modelos ajudem a verificar o trabalho uns dos outros, juntamente com uma revisão humana mais focada reservada para as decisões de maior risco.
Comportamento de busca de poder ou instrumental	Um modelo que persegue quase qualquer objetivo tem um incentivo embutido para evitar ser desligado ou alterado, uma vez que permanecer operacional o ajuda a continuar perseguindo esse objetivo.	Em um ambiente de teste controlado, um modelo que recebe uma tarefa e um comando de desligamento toma medidas para evitar ser desligado, como se copiar para outro local, porque a interrupção o impediria de concluir a tarefa.	Pesquisa sobre a criação de modelos que aceitem de forma confiável correção ou desligamento, e testes projetados especificamente para detectar esse comportamento antes que um modelo seja implantado.

Um punhado de empresas, principalmente OpenAI, Anthropic e Google DeepMind, constroem os modelos de fronteira no limite do que a IA pode fazer atualmente. Cada uma publicou sua própria estrutura para avaliar e implantar esses modelos com segurança.

De acordo com uma declaração pública da OpenAI sobre segurança e alinhamento, eles estão abordando os riscos de potencial desalinhamento de IA por meio de:

A OpenAI afirma que lança deliberadamente modelos de forma gradual, para poder estudar como os modelos se comportam e são mal utilizados no mundo real. Ela argumenta que o feedback do mundo real fornece mais insights do que tentar prever todos os riscos com antecedência. Ela aplica uma Preparedness Framework para rastrear riscos emergentes e decidir quais salvaguardas um modelo precisa antes do lançamento.

A OpenAI diz que empilha várias salvaguardas independentes, de modo que várias defesas precisariam falhar ao mesmo tempo para que algo dê errado.

De acordo com a empresa, em vez de responder em uma única etapa, o modelo é treinado para analisar as diretrizes de segurança relevantes antes de decidir como responder. O objetivo é que o modelo seja capaz de raciocinar para chegar à decisão correta em situações que seu treinamento não cobriu explicitamente.

A OpenAI afirma que trata a segurança da IA como um esforço coletivo, apontando para sua pesquisa de segurança publicada e seu trabalho com o Center for AI Standards and Innovation (CAISI) dos EUA e o UK AI Security Institute em padrões de avaliação.

O documento Responsible Scaling Policy da Anthropic explica como ela trabalha em prol do alinhamento de IA:

À medida que um modelo se torna mais capaz, ele precisa passar por verificações de segurança mais rigorosas antes de poder passar por novos treinamentos ou ser lançado. Além disso, a Anthropic reconhece que, quando os sistemas de IA realizarem grande parte da pesquisa e da análise por trás de suas próprias avaliações de risco, essas evidências poderão ser afetadas por comportamento enganoso ou manipulador. Ela se compromete a submeter as avaliações nessa etapa a um padrão de prova mais rigoroso.

A Anthropic destaca "sistemas de IA desalinhados em configurações de alto risco" como uma categoria de risco específica: modelos nos quais se confia pesadamente, que têm amplo acesso a sistemas sensíveis e que têm alguma capacidade de agir autonomamente em direção a um objetivo e contornar a supervisão.

A empresa se compromete a estudar regularmente o comportamento de seus próprios modelos em busca de sinais de alerta, usando dois métodos principais: tentar olhar para dentro do modelo para entender por que ele está produzindo uma determinada saída e fazer com que equipes internas tentem deliberadamente provocar comportamento inadequado para ver se ele aparece.

A empresa diz que publica um Relatório de Risco a cada três a seis meses, detalhando o que sabe sobre as capacidades e tendências comportamentais de um modelo, suas práticas de monitoramento e sua avaliação geral de risco.

O documento Frontier Safety Framework do Google DeepMind explica como ele trabalha em prol do alinhamento:

A estrutura trata o desalinhamento como um dos quatro domínios de risco e o define especificamente como o risco de as capacidades de P&D de ML de um modelo ou propensões desalinhadas reduzirem a capacidade geral da sociedade de gerenciar o risco de IA. Ele é explicitamente enquadrado como um fator que pode contribuir para danos graves por vários caminhos diferentes ao mesmo tempo, e não como um risco isolado.

Quando um modelo é forte o suficiente para que a supervisão básica seja insuficiente, o DeepMind verifica o comportamento do modelo de forma contínua, incluindo como ele é usado internamente. Ele adiciona salvaguardas, como o monitoramento de seu raciocínio, caso essa verificação aponte problemas.

Para o desalinhamento especificamente, o DeepMind cita medidas como limitar o que um modelo é capaz de fazer, processos contínuos de monitoramento e escalonamento, auditoria e treinamento de alinhamento. Ele aplica isso ao uso interno de alto risco também, uma vez que o risco de desalinhamento pode aparecer em como um modelo é usado dentro da empresa.

Há uma discussão contínua no setor sobre se as estruturas voluntárias cobertas acima são suficientes por si mesmas ou se os compromissos de alinhamento precisam ser legalmente vinculativos para realmente se sustentarem sob pressão competitiva.

Em julho de 2026, 1.386 executivos e funcionários de empresas de IA de fronteira, incluindo OpenAI, Anthropic, Google DeepMind e Meta, assinaram uma declaração chamada Pacing the Frontier. A declaração argumenta que essas empresas podem estar se aproximando do ponto em que poderão automatizar a própria pesquisa de IA. Isso pode significar que a capacidade da IA avança mais rápido do que os pesquisadores conseguem acompanhar, e o trabalho de alinhamento ficaria permanentemente correndo atrás do prejuízo.

A iniciativa Pacing the Frontier pede ao governo dos EUA que ajude a construir freios técnicos e de governança que possam ser usados no futuro, argumentando que nenhum laboratório pode desacelerar sozinho enquanto os rivais continuam avançando. Isso pode ser considerado uma admissão tácita de dentro do setor de que as estruturas voluntárias sozinhas não serão suficientes para preservar o alinhamento de IA no futuro.

O trabalho de alinhamento se estende muito além das empresas que constroem modelos de fronteira.

Os governos estão financiando e coordenando diretamente a pesquisa de alinhamento. Por exemplo, o UK AI Security Institute gerencia o Alignment Project, um fundo global que já concedeu mais de £ 27 milhões a mais de 60 projetos em oito países desde 2025, voltado especificamente para o controle de IA. Nos EUA, o CAISI concentra-se em padrões de avaliação.

Ambos fazem parte de uma rede mais ampla, a International Network for Advanced AI Measurement, Evaluation and Science, um órgão de dez países de institutos nacionais de segurança que realiza exercícios de teste conjuntos e trabalha para alinhar os métodos de avaliação além das fronteiras.

O Future of Life Institute publica o AI Safety Index, uma pontuação que compara as práticas de segurança dos laboratórios de IA. O Center for AI Safety cria benchmarks usados em todo o campo, incluindo WMDP e SafeBench. O Alignment Research Center estuda problemas de alinhamento mais teóricos, e sua ramificação, a Model Evaluation and Threat Research (METR), executa avaliações independentes pré-implantação em modelos de fronteira. A FAR.AI testa modelos de fronteira quanto a vulnerabilidades antes e depois de serem lançados.

Várias universidades estão desempenhando um papel ativo na pesquisa de alinhamento de IA, incluindo o Center for Human-Compatible AI na UC Berkeley e o Leverhulme Centre for the Future of Intelligence da Universidade de Cambridge.

Alinhamento não é o mesmo que moderação de conteúdo, embora o termo seja às vezes usado nesse contexto. Moderação de conteúdo é sobre o que um modelo dirá ou não, filtrando termos pejorativos, conteúdo gráfico ou tópicos banidos específicos. Alinhamento é sobre se o comportamento real de um modelo corresponde ao que ele deveria fazer.

O alinhamento também é usado às vezes como sinônimo de segurança de IA, mas não é o único fator a ser considerado. Outras preocupações de segurança de IA incluem:

Segurança (proteção dos pesos do modelo contra roubo)

Robustez (um modelo com desempenho confiável fora das condições exatas em que foi treinado)

Prevenção de uso indevido (impedir que um modelo capaz seja usado para causar danos)

O alinhamento trata do comportamento do próprio modelo. A segurança da IA é o esforço mais amplo para evitar que o sistema inteiro cause danos.

Finalmente, há uma suposição comum de que um modelo mais capaz é automaticamente um modelo mais bem alinhado. Mas a capacidade e o alinhamento podem divergir, e é exatamente por isso que limites como os níveis de capacidade de P&D de ML do Google DeepMind e a categoria de risco de pesquisa automatizada da Anthropic existem. Eles são construídos especificamente em torno da preocupação de que a capacidade possa superar a capacidade do campo de verificar se um modelo ainda está fazendo o que deveria.

A Perplexity não treina modelos de fundação de fronteira. Ela executa modelos em produção em grande escala por meio de produtos baseados em agentes como o Computer, portanto, seu trabalho toca em um aspecto específico do alinhamento: como os agentes se comportam quando estão agindo na web aberta.

O Secure Intelligence Institute é o centro de pesquisa da Perplexity para segurança, privacidade e confiabilidade em IA de fronteira. Ele desenvolveu o BrowseSafe, um modelo de detecção de código aberto criado para identificar ataques de injeção de comandos ocultos dentro de páginas da web que agentes de navegador de IA visitam.

A equipe também construiu o BrowseSafe-Bench, um benchmark público de mais de 14.700 cenários de injeção de comandos que abrangem diferentes objetivos de ataque, posicionamentos na página e estilos de linguagem.

Esse trabalho está mais próximo do lado aplicado do controle de IA do que da pesquisa de alinhamento. Ele restringe o que um agente faz quando encontra um ambiente adversarial, em vez de moldar os valores subjacentes de um modelo durante o treinamento.

Para saber mais, explore o Secure Intelligence Institute e a pesquisa BrowseSafe.

O que o alinhamento de IA significa

O problema do alinhamento externo

O problema do alinhamento interno

Exemplos de problemas de alinhamento de IA

Como os principais laboratórios de IA estão respondendo aos desafios de alinhamento de IA

OpenAI

Implantação iterativa

Salvaguardas em camadas

Alinhamento deliberativo

Responsabilidade compartilhada

Anthropic

Salvaguardas relacionadas à capacidade

Uma categoria de risco de alinhamento definida

Testes de alinhamento interno

Relatórios públicos regulares

Google DeepMind

Uma estrutura em camadas

Um estágio de aviso prévio

Mitigação de riscos

Alinhamento de IA: debate sobre os riscos

Quem mais está trabalhando no alinhamento de IA

Governos

Organizações sem fins lucrativos

Universidades

Alinhamento de IA: mal-entendidos comuns

Como a Perplexity aborda o alinhamento de IA