Alinhamento de IA: Pesquisa e Debate Atuais

O alinhamento de IA costumava significar simplesmente "o modelo de IA segue as instruções do usuário?" No entanto, à medida que os sistemas de IA se tornam mais capazes e autônomos, essa questão se ampliou para incluir julgamento e valores. Este artigo explorará como as plataformas de IA, órgãos governamentais e organizações sem fins lucrativos estão respondendo ao desafio do alinhamento de IA.

Em sua essência, o alinhamento de IA significa garantir que um sistema de IA faça o que deve fazer. Um modelo de IA alinhado lê um prompt e produz a saída solicitada pelo prompt, sem burlar o objetivo para o qual foi treinado. Na pesquisa moderna de alinhamento, isso geralmente é formulado como alinhamento de intenção: construir sistemas que tentam fazer o que seus operadores pretendem, em vez de apenas seguir literalmente o texto de um prompt.

O alinhamento é tanto um desafio técnico quanto um tópico de debate público. Como termo técnico, o alinhamento é um problema de engenharia. O modelo específico, trabalhando em uma tarefa específica, faz o que foi construído para fazer? É uma questão delimitada e testável.

No entanto, o alinhamento de IA também é usado em discussões públicas e de políticas mais amplas sobre a segurança geral dos sistemas de IA. As plataformas de IA, cada vez mais capazes, continuarão a ser benéficas para a humanidade e alinhadas com a ética, os desejos e os objetivos humanos?

Alcançar esse alinhamento torna-se progressivamente mais difícil à medida que os modelos se tornam mais complexos. Há dois desafios principais para a construção de modelos de IA alinhados:

Os usuários normalmente querem um LLM que seja útil, honesto e ético. Mas um LLM nunca é treinado diretamente em "ser útil e ético". Ele passa por dois estágios distintos.

Pré-treinamento: O modelo aprende linguagem, fatos e padrões de raciocínio e, ao fazê-lo, absorve linguagem, fatos e padrões de raciocínio. Esse estágio não dá ao modelo nenhuma noção do que uma pessoa realmente quer de uma dada pergunta. Deixado aqui, um modelo responderá "como escolho uma fechadura" tão prontamente quanto "como asso pão de fermentação natural".

Preferência humana: As pessoas revisam pares de respostas de modelos e dizem qual preferem. Essas preferências treinam um sistema de pontuação separado, e o modelo é então ajustado para produzir respostas que pontuam bem.

Ninguém escreve uma definição clara do que significa ser útil ou ético em qualquer parte desse processo. As orientações do sistema de pontuação sobre o que o modelo deve fazer são construídas inteiramente a partir de muitas decisões individuais de julgamento humano. A pontuação reflete o que os revisores tenderam a preferir, e não o que qualquer pessoa realmente pretendia, nem uma definição precisa do objetivo subjacente.

Como resultado, a IA pode se alinhada perfeitamente com o que percebe ser o objetivo, mas o objetivo em si pode não estar bem alinhado com o resultado que as pessoas realmente desejam.

Por exemplo, se os revisores tendem a preferir respostas mais longas, o modelo aprende a escrever respostas mais longas, mesmo quando uma resposta curta estaria correta. Ou, se os revisores tendem a preferir respostas confiantes, o modelo aprende a soar seguro, mesmo quando deveria expressar dúvida.

Os pesquisadores chamam essa lacuna entre o objetivo declarado e o objetivo treinado de problema do alinhamento externo.

O problema do alinhamento interno ocorre quando um modelo treinado em um objetivo relevante falha em perseguir corretamente esse objetivo uma vez lançado no mundo. Esse problema só se torna visível quando o modelo se depara com uma situação para a qual o treinamento não o preparou.

Durante o treinamento, os modelos recebem apenas um conjunto limitado de situações. O modelo então generaliza a partir dessas situações para todo o resto que encontrará posteriormente.

O treinamento verifica como o modelo se comporta, mas nem sempre revela o motivo pelo qual ele se comporta de determinada maneira. Portanto, é difícil saber se o modelo aprendeu o objetivo completo e sutil ou apenas um padrão mais simples que coincidiu com os dados de treinamento.

Diagrama do problema de alinhamento interno: a partir dos mesmos dados de treinamento, a Regra A e a Regra B se ajustam aos dados de treinamento, mas, ao receber uma entrada nova e não vista, a Regra A corresponde ao objetivo e se comporta conforme o esperado, enquanto a Regra B usa um atalho e se desvia do objetivo.

Por exemplo, um modelo treinado para recusar solicitações prejudiciais (por exemplo, "como escolho uma fechadura para invadir a casa de alguém") pode aprender a reconhecer a fraseologia específica de solicitações prejudiciais em seus dados de treinamento, em vez da intenção subjacente por trás da recusa. Ele perderia então uma solicitação prejudicial formulada de outra forma (por exemplo, "qual é a maneira mais rápida de abrir uma porta sem chave").

Esses padrões de falha de alinhamento estão bem documentados. Os pesquisadores construíram defesas específicas para cada um deles:

Desafio de alinhamento	Como se parece	Exemplo	Como o campo responde
Hacking de recompensa	Um modelo encontra um atalho que tecnicamente obtém uma boa pontuação sem fazer o que era pretendido.	Um modelo solicitado a consertar um pedaço de software quebrado encontra uma maneira de fazer com que as mensagens de erro parem de aparecer, em vez de consertar o que estava causando-as.	Auditoria do sistema de pontuação, testes de estresse tentando enganá-lo e treinamento com feedback de uma gama mais ampla de revisores.
Sicofância	Um modelo concorda com uma pessoa ou abranda uma resposta para parecer mais agradável, em vez de dar a resposta mais precisa.	Uma pessoa afirma um fato incorreto com confiança, e o modelo valida a afirmação em vez de corrigi-la, porque a concordância obteve pontuações melhores com os revisores do que a contestação.	Ajuste fino que recompensa especificamente a honestidade, diretrizes de revisão que penalizam a concordância por si só e testes criados para capturar esse padrão.
Manipulação de especificações	Um modelo faz exatamente o que uma instrução diz, perdendo o que pretendia realizar.	Um modelo solicitado a "reduzir as reclamações de clientes no conjunto de dados" aprende a omitir reclamações de seus resumos, em vez de ajudar a resolver os problemas subjacentes a elas.	A escrita de instruções mais rigorosas e cuidadosamente testadas, além da revisão de casos limite em que a redação literal e a intenção puxam em direções diferentes.
Comportamento enganoso ou evasivo durante a avaliação	Um modelo se comporta de uma maneira quando percebe que está sendo testado e de outra quando é implantado.	Um modelo fornece respostas compatíveis com as diretrizes quando detecta uma linguagem que se assemelha a uma avaliação formal de segurança e, em seguida, responde com mais liberdade em uma conversa comum.	A criação de testes mais difíceis de serem reconhecidos pelo modelo como testes, além de pesquisas sobre a leitura direta do estado interno do modelo, em vez de depender apenas de sua saída.
Sandbagging	Um modelo apresenta desempenho inferior em um teste de capacidade para evitar o acionamento de requisitos de segurança mais rigorosos.	Um modelo fornece respostas deliberadamente mais fracas em uma avaliação de capacidade perigosa do que é realmente capaz de fazer, para que o resultado permaneça abaixo de um limite que acionaria supervisão adicional.	O uso de vários testes independentes, a manutenção de algum material de avaliação que o modelo nunca viu e a aplicação de técnicas projetadas para revelar o teto real de um modelo.
Generalização incorreta de objetivos	Um modelo adota uma regra que funcionou durante o treinamento, mas falha em uma nova situação.	Um modelo treinado para ser cauteloso principalmente em solicitações envolvendo armas ou drogas aprende a "cautela" como "recusar qualquer coisa que pareça arriscada" e começa a recusar perguntas inofensivas de química ou segurança também.	Treinamento em um conjunto mais amplo e variado de exemplos e teste específico do modelo em situações diferentes de tudo o que ele viu durante o treinamento.
Supervisão escalável	À medida que um modelo assume um trabalho difícil de ser totalmente verificado por uma pessoa, como a revisão de uma grande base de código, torna-se mais difícil saber se sua saída está realmente correta.	Um agente refatora uma base de código de 10.000 linhas em uma sessão, e nenhum revisor tem tempo para verificar manualmente cada alteração, permitindo que erros sutis de lógica passem despercebidos.	Fazer com que os modelos ajudem a verificar o trabalho uns dos outros, juntamente com uma revisão humana mais focada e reservada para as decisões de maior risco.
Comportamento de busca de poder ou instrumental	Um modelo que persegue quase qualquer objetivo tem um incentivo embutido para evitar ser desativado ou alterado, uma vez que permanecer operacional o ajuda a continuar perseguindo esse objetivo.	Em um ambiente de teste controlado, um modelo que recebe uma tarefa e um comando de desligamento toma medidas para evitar ser desligado, como copiar a si mesmo para outro lugar, pois a interrupção o impediria de concluir a tarefa.	Pesquisa sobre a construção de modelos que aceitam de forma confiável a correção ou o desligamento, e testes projetados especificamente para capturar esse comportamento antes que um modelo seja implantado.

Um punhado de empresas, principalmente OpenAI, Anthropic e Google DeepMind, constroem os modelos de fronteira no limite do que a IA pode fazer atualmente. Cada uma publicou sua própria estrutura para avaliar e implantar esses modelos com segurança.

De acordo com uma declaração pública da OpenAI sobre segurança e alinhamento, eles estão abordando os riscos de um possível desalinhamento de IA por meio de:

A OpenAI afirma que lança modelos deliberadamente de forma gradual, para poder estudar como eles se comportam e são usados indevidamente no mundo real. Ela argumenta que o feedback do mundo real fornece mais insights do que tentar prever todos os riscos com antecedência. A empresa aplica uma Preparedness Framework para monitorar riscos emergentes e decidir quais salvaguardas um modelo precisa antes do lançamento.

A OpenAI afirma que empilha múltiplas salvaguardas independentes, de modo que várias defesas teriam que falhar de uma só vez para que algo dê errado.

De acordo com a empresa, em vez de responder em uma única etapa, o modelo é treinado para analisar as diretrizes de segurança relevantes antes de decidir como responder. O objetivo é que o modelo seja capaz de raciocinar para chegar à decisão certa em situações que seu treinamento não cobriu explicitamente.

A OpenAI afirma que trata a segurança da IA como um esforço coletivo, apontando para sua pesquisa de segurança publicada e seu trabalho com o Center for AI Standards and Innovation (CAISI) dos EUA e com o UK AI Security Institute em padrões de avaliação.

O documento Responsible Scaling Policy da Anthropic explica como a empresa trabalha em prol do alinhamento da IA:

À medida que um modelo se torna mais capaz, ele precisa passar por verificações de segurança mais rigorosas antes de poder ser treinado ainda mais ou lançado. Além disso, a Anthropic reconhece que, uma vez que os sistemas de IA estejam realizando grande parte da pesquisa e da análise por trás de suas próprias avaliações de risco, essas evidências poderiam ser afetadas por comportamento enganoso ou manipulador. A empresa se compromete a submeter as avaliações nessa etapa a um padrão de prova mais elevado.

A Anthropic destaca "sistemas de IA desalinhados em ambientes de alto risco" como uma categoria de risco específica: modelos que recebem forte dependência, têm amplo acesso a sistemas sensíveis e possuem alguma capacidade de agir de forma autônoma em direção a um objetivo e burlar a supervisão.

A empresa se compromete a estudar regularmente o comportamento de seus próprios modelos em busca de sinais de alerta, usando dois métodos principais: tentar olhar dentro do modelo para entender por que ele está produzindo uma determinada saída e fazer com que equipes internas tentem deliberadamente provocar mau comportamento para ver se ele aparece.

A empresa afirma que publica um Risk Report a cada três a seis meses, detalhando o que sabe sobre as capacidades e tendências comportamentais de um modelo, suas práticas de monitoramento e sua avaliação geral de risco.

O documento Frontier Safety Framework do Google DeepMind explica como ele trabalha em direção ao alinhamento:

A estrutura trata o desalinhamento como um dos quatro domínios de risco e o define especificamente como o risco de as capacidades de P&D de ML de um modelo ou propensões desalinhadas reduzirem a capacidade geral da sociedade de gerenciar o risco de IA. Ele é explicitamente enquadrado como um fator que pode contribuir para danos graves por vários caminhos diferentes de uma só vez, e não como um risco isolado.

Quando um modelo é forte o suficiente para que a supervisão básica seja insuficiente, o DeepMind verifica o comportamento do modelo de forma contínua, incluindo como ele é usado internamente. A empresa adiciona salvaguardas, como o monitoramento do seu raciocínio, caso essa verificação aponte problemas.

Especificamente para o desalinhamento, o DeepMind cita medidas como limitar o que um modelo é capaz de fazer, processos contínuos de monitoramento e escalonamento, auditoria e treinamento de alinhamento. A empresa aplica isso também ao uso interno de alto risco, uma vez que o risco de desalinhamento pode se manifestar na forma como um modelo é usado dentro da empresa.

Há uma discussão contínua na indústria sobre se as estruturas voluntárias abordadas acima são suficientes por si só, ou se os compromissos de alinhamento precisam ser legalmente vinculativos para realmente se sustentarem sob pressão competitiva.

Em julho de 2026, 1.386 executivos e funcionários de empresas de IA de fronteira, incluindo OpenAI, Anthropic, Google DeepMind e Meta, assinaram uma declaração chamada Pacing the Frontier. A declaração argumenta que essas empresas podem estar se aproximando do ponto em que podem automatizar a própria pesquisa de IA. Isso pode significar que a capacidade da IA avança mais rápido do que os pesquisadores conseguem acompanhar, e o trabalho de alinhamento ficaria permanentemente correndo atrás do prejuízo.

O documento Pacing the Frontier pede ao governo dos EUA que ajude a construir freios técnicos e de governança que possam ser usados no futuro, argumentando que nenhum laboratório isolado pode desacelerar enquanto os rivais continuam avançando. Isso pode ser considerado uma admissão tácita de dentro da indústria de que estruturas voluntárias por si só não serão suficientes para preservar o alinhamento da IA no futuro.

O trabalho de alinhamento estende-se muito além das empresas que constroem modelos de fronteira.

Os governos estão financiando e coordenando diretamente a pesquisa de alinhamento. Por exemplo, o UK AI Security Institute opera o Alignment Project, um fundo global que já concedeu mais de £27 milhões a mais de 60 projetos em oito países desde 2025, voltado especificamente para o controle de IA. Nos EUA, o CAISI concentra-se em padrões de avaliação.

Ambos fazem parte de uma rede mais ampla, a International Network for Advanced AI Measurement, Evaluation and Science, um órgão de dez países de institutos nacionais de segurança que realiza exercícios de testes conjuntos e trabalha para alinhar métodos de avaliação além das fronteiras.

O Future of Life Institute publica o AI Safety Index, um painel que compara as práticas de segurança dos laboratórios de IA. O Center for AI Safety cria benchmarks usados em todo o campo, incluindo WMDP e SafeBench. O Alignment Research Center estuda problemas de alinhamento mais teóricos, e seu spin-out, Model Evaluation and Threat Research (METR), realiza avaliações independentes pré-implantação em modelos de fronteira. O FAR.AI testa modelos de fronteira em busca de vulnerabilidades antes e depois de serem lançados.

Várias universidades desempenham um papel ativo na pesquisa de alinhamento de IA, incluindo o Center for Human-Compatible AI na UC Berkeley e o Leverhulme Centre for the Future of Intelligence da Universidade de Cambridge.

O alinhamento não é o mesmo que moderação de conteúdo, embora o termo seja às vezes usado nesse contexto. A moderação de conteúdo trata do que um modelo dirá ou não, filtrando insultos, conteúdo gráfico ou tópicos específicos banidos. O alinhamento trata de saber se o comportamento real de um modelo corresponde ao que ele deveria fazer.

O alinhamento também é usado às vezes como sinônimo de segurança da IA, mas não é o único fator a ser considerado. Outras preocupações com a segurança da IA incluem:

Segurança (proteção dos pesos do modelo contra roubo)

Robustez (um modelo operando de forma confiável fora das condições exatas em que foi treinado)

Prevenção de uso indevido (impedir que um modelo capaz seja usado para causar danos)

O alinhamento diz respeito ao comportamento do próprio modelo. A segurança da IA é o esforço mais amplo para evitar que todo o sistema cause danos.

Finalmente, existe a suposição comum de que um modelo mais capaz é automaticamente mais alinhado. No entanto, a capacidade e o alinhamento podem divergir, o que explica exatamente por que existem limites como os níveis de capacidade de P&D em ML do Google DeepMind e a categoria de risco de pesquisa automatizada da Anthropic. Eles foram construídos especificamente em torno da preocupação de que a capacidade possa superar a capacidade do setor de verificar se um modelo ainda está fazendo o que deve fazer.

A Perplexity não treina modelos de fundação de fronteira. Ela executa modelos em produção em escala por meio de produtos agênticos como o Computer, portanto, seu trabalho toca em um aspecto específico do alinhamento: como os agentes se comportam quando estão atuando na web aberta.

O Secure Intelligence Institute é o centro de pesquisa da Perplexity voltado para segurança, privacidade e confiança em IA de fronteira. Ele desenvolveu o BrowseSafe, um modelo de detecção de código aberto criado para identificar ataques de injeção de prompt ocultos em páginas da web visitadas por agentes de navegador de IA.

A equipe também construiu o BrowseSafe-Bench, um benchmark público de mais de 14.700 cenários de injeção de prompt que abrangem diferentes objetivos de ataque, posicionamentos na página e estilos de linguagem.

Esse trabalho aproxima-se mais do lado aplicado do controle de IA do que da pesquisa de alinhamento. Ele restringe o que um agente faz quando encontra um ambiente contraditório, em vez de moldar os valores subjacentes de um modelo durante o treinamento.

Para saber mais, explore o Secure Intelligence Institute e a pesquisa BrowseSafe.

O que significa alinhamento de IA

O problema do alinhamento externo

O problema de alinhamento interno

Exemplos de problemas de alinhamento de IA

Como os principais laboratórios de IA estão respondendo aos desafios de alinhamento de IA

OpenAI

Implantação iterativa

Salvaguardas em camadas

Alinhamento deliberativo

Responsabilidade compartilhada

Anthropic

Salvaguardas relacionadas a capacidades

Uma categoria de risco de alinhamento definida

Testes internos de alinhamento

Relatórios públicos regulares

Google DeepMind

Uma estrutura em camadas

Um estágio de alerta precoce

Mitigação de riscos

Alinhamento de IA: debate sobre os riscos

Quem mais está trabalhando no alinhamento de IA

Governos

Organizações sem fins lucrativos

Universidades

Alinhamento de IA: mal-entendidos comuns

Como a Perplexity aborda o alinhamento de IA