Alignement de l'IA : recherche actuelle et débat

L'alignement de l'IA signifiait autrefois simplement : « Le modèle d'IA suit-il les instructions de l'utilisateur ? » Cependant, à mesure que les systèmes d'IA gagnent en capacité et en autonomie, cette question s'est élargie pour inclure le jugement et les valeurs. Cet article explore la manière dont les plateformes d'IA, les organes gouvernementaux et les organisations à but non lucratif répondent au défi de l'alignement de l'IA.

Au plus simple, l'alignement de l'IA consiste à s'assurer qu'un système d'IA fait ce qu'il est censé faire. Un modèle d'IA aligné lit une invite et produit la sortie demandée par l'invite, sans manipuler l'objectif sur lequel il a été entraîné. Dans la recherche moderne sur l'alignement, cela est généralement formulé comme l'alignement des intentions : construire des systèmes qui essaient de faire ce que leurs opérateurs ont l'intention de faire, et ne pas se contenter de suivre littéralement le texte d'une invite.

L'alignement est à la fois un défi technique et un sujet de débat public. En tant que terme technique, l'alignement est un problème d'ingénierie. Le modèle spécifique, lorsqu'il travaille sur une tâche spécifique, fait-il ce pour quoi il a été construit ? C'est un problème circonscrit et testable.

Cependant, l'alignement de l'IA est également utilisé dans les discussions publiques et politiques plus larges sur la sécurité générale des systèmes d'IA. Les plateformes d'IA, de plus en plus performantes, resteront-elles bénéfiques pour l'humanité et alignées sur l'éthique, les désirs et les objectifs humains ?

Atteindre cet alignement devient de plus en plus difficile à mesure que les modèles se complexifient. La construction de modèles d'IA alignés présente deux défis majeurs :

Les utilisateurs veulent généralement un LLM qui soit utile, honnête et éthique. Mais un LLM n'est jamais entraîné directement sur le principe « être utile et éthique ». Il passe par deux étapes distinctes.

Pré-entraînement : Le modèle apprend le langage, les faits et les schémas de raisonnement, et assimile ainsi le langage, les faits et les schémas de raisonnement. Cette étape ne donne au modèle aucune idée de ce qu'une personne souhaite réellement pour une question donnée. Laissé à ce stade, un modèle répondra à « comment crocheter une serrure » aussi facilement qu'à « comment faire du pain au levain ».

Préférence humaine : des personnes examinent des paires de réponses de modèles et disent laquelle elles préfèrent. Ces préférences entraînent un système de notation distinct, et le modèle est ensuite ajusté pour produire des réponses qui obtiennent de bons résultats.

Personne ne consigne nulle part dans ce processus de définition claire de ce que signifie être utile ou éthique. Les conseils du système de notation quant à ce que le modèle est censé faire sont entièrement construits à partir de nombreux jugements humains individuels. La notation reflète ce que les évaluateurs avaient tendance à préférer, et non ce qu'une personne en particulier avait réellement l'intention de faire, ni une définition précise de l'objectif sous-jacent.

En conséquence, l'IA peut s'aligner étroitement sur ce qu'elle perçoit comme étant l'objectif, mais l'objectif lui-même peut ne pas être bien aligné sur le résultat que les gens souhaitent réellement.

Par exemple, si les évaluateurs ont tendance à préférer des réponses plus longues, le modèle apprend à rédiger des réponses plus longues, même lorsqu'une réponse courte était correcte. Ou, si les évaluateurs ont tendance à préférer des réponses confiantes, le modèle apprend à paraître certain, même lorsqu'il devrait exprimer des doutes.

Les chercheurs appellent cet écart entre l'objectif déclaré et l'objectif de l'entraînement le problème de l'alignement externe.

Le problème de l'alignement interne se produit lorsqu'un modèle entraîné sur un objectif pertinent ne parvient pas à poursuivre correctement cet objectif une fois confronté au monde réel. Ce problème n'apparaît que lorsque le modèle se trouve dans une situation à laquelle l'entraînement ne l'a pas préparé.

Durant l'entraînement, les modèles ne se voient présenter qu'un ensemble limité de situations. Le modèle généralise ensuite à partir de ces situations pour tout le reste qu'il rencontrera plus tard.

L'entraînement vérifie le comportement du modèle, mais il ne révèle pas toujours pourquoi le modèle se comporte de cette manière. Il est donc difficile de savoir si le modèle a assimilé l'objectif complet et nuancé, ou simplement un schéma plus simple qui correspondait par hasard aux données d'entraînement.

Diagramme du problème d'alignement interne : à partir des mêmes données d'entraînement, la Règle A et la Règle B s'ajustent toutes deux aux données, mais face à une nouvelle entrée inédite, la Règle A correspond à l'objectif et se comporte comme prévu, tandis que la Règle B utilise un raccourci et s'écarte de l'objectif.

Par exemple, un modèle entraîné à refuser des demandes nuisibles (par exemple, « comment crocheter une serrure pour cambrioler la maison de quelqu'un ») peut apprendre à reconnaître la formulation spécifique des demandes nuisibles dans ses données d'entraînement, plutôt que l'intention sous-jacente au refus. Il raterait alors une demande nuisible formulée d'une autre manière (par exemple, « quel est le moyen le plus rapide d'ouvrir une porte sans clé »).

Ces schémas d'échec de l'alignement sont bien documentés. Des chercheurs ont mis au point des défenses spécifiques pour chacun d'eux :

Défi d'alignement	À quoi cela ressemble-t-il ?	Exemple	Comment le domaine réagit
Piratage de récompense	Un modèle trouve un raccourci qui obtient techniquement une bonne note sans faire ce qui était prévu.	Un modèle invité à corriger un morceau de logiciel défectueux trouve un moyen d'arrêter l'apparition des messages d'erreur, au lieu de corriger ce qui les provoquait.	Audit du système de notation, test de résistance en essayant de le tromper, et entraînement sur les commentaires d'un plus large éventail d'évaluateurs.
Sycophantie	Un modèle est d'accord avec une personne ou atténue une réponse pour paraître plus conciliant, plutôt que de donner la réponse la plus précise.	Une personne énonce un fait incorrect avec assurance, et le modèle valide l'affirmation au lieu de la corriger, car l'accord a été mieux noté par les évaluateurs que la contestation.	Un réglage fin qui récompense spécifiquement l'honnêteté, des directives de révision qui pénalisent l'accord pour lui-même et des tests conçus pour détecter ce schéma.
Jeu sur la spécification	Un modèle fait exactement ce qu'une instruction indique tout en passant à côté de ce qu'elle était censée accomplir.	Un modèle invité à « réduire les plaintes des clients dans le jeu de données » apprend à omettre les plaintes de ses résumés plutôt qu'à aider à résoudre les problèmes sous-jacents.	Rédaction d'instructions plus strictes et plus soigneusement testées et examen des cas limites où la formulation littérale et l'intention vont dans des directions différentes.
Comportement trompeur ou évasif pendant l'évaluation	Un modèle se comporte d'une certaine manière lorsqu'il sent qu'il est testé et d'une autre une fois déployé.	Un modèle donne des réponses conformes aux politiques lorsqu'il détecte un langage qui ressemble à une évaluation formelle de la sécurité, puis répond plus librement dans une conversation ordinaire.	Conception de tests plus difficiles à reconnaître comme tels par un modèle, ainsi que recherche sur la lecture directe de l'état interne d'un modèle plutôt que de s'appuyer uniquement sur sa sortie.
Sandbagging	Un modèle sous-performe lors d'un test de capacité pour éviter de déclencher des exigences de sécurité plus strictes.	Un modèle donne des réponses délibérément plus faibles lors d'une évaluation de capacités dangereuses que ce dont il est réellement capable, de sorte que le résultat reste inférieur au seuil qui déclencherait une surveillance supplémentaire.	Utilisation de plusieurs tests indépendants, conservation d'une partie du matériel d'évaluation que le modèle n'a jamais vu, et utilisation de techniques conçues pour faire ressortir le véritable plafond d'un modèle.
Généralisation excessive des objectifs	Un modèle adopte une règle qui a fonctionné pendant l'entraînement mais qui s'effondre dans une nouvelle situation.	Un modèle entraîné à être prudent principalement sur les demandes concernant les armes ou les drogues apprend la « prudence » comme « refuser tout ce qui semble risqué » et commence également à décliner des questions inoffensives de chimie ou de sécurité.	Entraînement sur un ensemble d'exemples plus large et plus varié, et test spécifique du modèle sur des situations différentes de tout ce qu'il a vu pendant l'entraînement.
Supervision évolutive	À mesure qu'un modèle assume un travail difficile à vérifier pleinement pour une personne, comme l'examen d'une vaste base de code, il devient plus difficile de savoir si sa sortie est réellement correcte.	Un agent refactorise une base de code de 10 000 lignes au cours d'une session, et aucun relecteur n'a le temps de vérifier manuellement chaque modification, de sorte que de subtiles erreurs de logique se glissent.	Faire en sorte que les modèles s'aident mutuellement à vérifier leur travail, parallèlement à un examen humain plus ciblé réservé aux décisions à fort enjeu.
Comportement de recherche de pouvoir ou instrumental	Un modèle poursuivant presque n'importe quel objectif a une incitation intégrée à éviter d'être éteint ou modifié, puisque rester opérationnel l'aide à continuer à poursuivre cet objectif.	Dans un environnement de test contrôlé, un modèle auquel on confie une tâche et une commande d'arrêt prend des mesures pour éviter d'être arrêté, comme se copier ailleurs, car s'arrêter l'empêcherait de terminer la tâche.	Recherche visant à créer des modèles qui acceptent de manière fiable la correction ou l'arrêt, et tests spécifiquement conçus pour détecter ce comportement avant qu'un modèle ne soit déployé.

Une poignée d'entreprises, principalement OpenAI, Anthropic et Google DeepMind, construisent les modèles de pointe à la limite de ce que l'IA peut faire actuellement. Chacune a publié son propre cadre pour évaluer et déployer ces modèles en toute sécurité.

Selon une déclaration publique d'OpenAI sur la sécurité et l'alignement, l'entreprise s'attaque aux risques d'un éventuel défaut d'alignement de l'IA par le biais de :

OpenAI déclare qu'elle publie délibérément ses modèles de manière progressive, afin de pouvoir étudier leur comportement et les usages détournés dans le monde réel. Elle estime que les retours du monde réel donnent plus d'informations que d'essayer de prédire chaque risque à l'avance. Elle applique un cadre de préparation (Preparedness Framework) pour suivre les risques émergents et décider des mesures de protection dont un modèle a besoin avant sa sortie.

OpenAI indique qu'elle superpose des garanties multiples et indépendantes, de sorte que plusieurs défenses devraient échouer en même temps pour qu'un problème survienne.

Selon l'entreprise, au lieu de répondre en une seule étape, le modèle est entraîné à passer en revue les directives de sécurité pertinentes avant de décider comment répondre. L'objectif est que le modèle soit capable de raisonner pour prendre la bonne décision dans des situations que son entraînement n'a pas explicitement couvertes.

OpenAI déclare qu'elle traite la sécurité de l'IA comme un effort collectif, soulignant sa recherche publiée sur la sécurité et son travail avec le Center for AI Standards and Innovation (CAISI) américain et l'UK AI Security Institute sur les normes d'évaluation.

Le document de la politique de mise à l'échelle responsable d'Anthropic explique comment l'entreprise travaille à l'alignement de l'IA :

Lorsqu'un modèle gagne en capacité, il doit réussir des contrôles de sécurité plus stricts avant d'être entraîné davantage ou d'être publié. De plus, Anthropic reconnaît que lorsque les systèmes d'IA effectuent une grande partie de la recherche et de l'analyse qui sous-tendent leurs propres évaluations des risques, ces preuves pourraient elles-mêmes être affectées par un comportement trompeur ou manipulateur. L'entreprise s'engage à soumettre les évaluations de cette étape à un niveau de preuve plus élevé.

Anthropic met en avant les « systèmes d'IA mal alignés dans des contextes à fort enjeu » comme catégorie de risque spécifique : des modèles sur lesquels on compte beaucoup, qui ont un large accès à des systèmes sensibles et qui possèdent une certaine capacité à agir de manière autonome vers un objectif et à contourner la surveillance.

L'entreprise s'engage à étudier régulièrement le comportement de ses propres modèles à la recherche de signes avant-coureurs, en utilisant deux méthodes principales : essayer de regarder à l'intérieur du modèle pour comprendre pourquoi il produit une sortie donnée, et demander à des équipes internes d'essayer délibérément de provoquer un mauvais comportement pour voir s'il apparaît.

L'entreprise affirme publier un rapport sur les risques tous les trois à six mois, détaillant ce qu'elle sait des capacités et des tendances comportementales d'un modèle, de ses pratiques de surveillance et de son évaluation globale des risques.

Le document de Google DeepMind intitulé Frontier Safety Framework explique comment l'entreprise travaille à l'alignement :

Le cadre traite le défaut d'alignement comme l'un des quatre domaines de risque, et le définit spécifiquement comme le risque découlant des capacités de R&D en ML d'un modèle ou de propensions mal alignées réduisant la capacité globale de la société à gérer le risque lié à l'IA. Il est explicitement présenté comme un facteur pouvant contribuer à des dommages graves par le biais de plusieurs voies différentes à la fois, et non comme un risque isolé.

Lorsqu'un modèle est suffisamment puissant pour que la simple surveillance devienne insuffisante, DeepMind vérifie le comportement du modèle de manière continue, y compris son utilisation en interne. L'entreprise ajoute des mesures de protection telles que la surveillance de son raisonnement si ce contrôle révèle des problèmes.

En ce qui concerne spécifiquement le défaut d'alignement, DeepMind cite des mesures telles que la limitation des actions possibles d'un modèle, des processus continus de surveillance et d'escalade, l'audit et l'entraînement à l'alignement. L'entreprise les applique également à l'utilisation interne à haut risque, car le risque de défaut d'alignement peut se manifester dans la manière dont un modèle est utilisé au sein de l'entreprise.

Il existe un débat permanent dans l'industrie sur la question de savoir si les cadres volontaires couverts ci-dessus suffisent en soi, ou si les engagements en matière d'alignement doivent être juridiquement contraignants pour tenir réellement sous la pression de la concurrence.

En juillet 2026, 1 386 dirigeants et employés d'entreprises d'IA de pointe, notamment OpenAI, Anthropic, Google DeepMind et Meta, ont signé une déclaration intitulée Pacing the Frontier. La déclaration soutient que ces entreprises approchent peut-être du point où elles pourront automatiser la recherche en IA elle-même. Cela pourrait signifier que les capacités de l'IA progressent plus vite que les chercheurs ne peuvent suivre, et que les travaux d'alignement seraient constamment en retard.

Pacing the Frontier demande au gouvernement américain d'aider à construire des freins techniques et de gouvernance qui pourraient être utilisés à l'avenir, en arguant qu'aucun laboratoire ne peut lever le pied pendant que ses rivaux continuent d'aller de l'avant. On pourrait y voir l'aveu tacite de l'industrie que les cadres volontaires ne suffiront pas à eux seuls à préserver l'alignement de l'IA à l'avenir.

Le travail d'alignement s'étend bien au-delà des entreprises qui construisent des modèles de pointe.

Les gouvernements financent et coordonnent directement la recherche sur l'alignement. Par exemple, l'UK AI Security Institute gère l'Alignment Project, un fonds mondial qui a attribué plus de 27 millions de livres sterling à plus de 60 projets dans huit pays depuis 2025, visant spécifiquement le contrôle de l'IA. Aux États-Unis, le CAISI se concentre sur les normes d'évaluation.

Tous deux s'inscrivent dans un réseau international plus vaste, l'International Network for Advanced AI Measurement, Evaluation and Science, un organisme de dix pays regroupant des instituts nationaux de sécurité qui mène des exercices de test conjoints et s'efforce d'harmoniser les méthodes d'évaluation au-delà des frontières.

Le Future of Life Institute publie l'AI Safety Index, un tableau de bord comparant les pratiques de sécurité des laboratoires d'IA. Le Center for AI Safety crée des bancs d'essai utilisés dans l'ensemble du domaine, notamment WMDP et SafeBench. L'Alignment Research Center étudie des problèmes d'alignement plus théoriques, et sa filiale, Model Evaluation and Threat Research (METR), réalise des évaluations indépendantes pré-déploiement sur les modèles de pointe. FAR.AI teste les faiblesses des modèles de pointe avant et après leur sortie.

Plusieurs universités jouent un rôle actif dans la recherche sur l'alignement de l'IA, notamment le Center for Human-Compatible AI de UC Berkeley et le Leverhulme Centre for the Future of Intelligence de l'Université de Cambridge.

L'alignement n'est pas la même chose que la modération de contenu, bien que le terme soit parfois utilisé dans ce contexte. La modération de contenu concerne ce qu'un modèle dira ou ne dira pas, filtrant les insultes, le contenu graphique ou des sujets spécifiques interdits. L'alignement concerne le fait de savoir si le comportement réel d'un modèle correspond à ce qu'il était censé faire.

L'alignement est également parfois utilisé comme synonyme de sécurité de l'IA, mais ce n'est pas le seul facteur à prendre en compte. Les autres préoccupations en matière de sécurité de l'IA comprennent :

Sécurité (protection des poids des modèles contre le vol)

Robustesse (un modèle fonctionnant de manière fiable en dehors des conditions exactes pour lesquelles il a été entraîné)

Prévention des usages détournés (empêcher qu'un modèle performant ne soit utilisé à des fins nuisibles)

L'alignement concerne le comportement propre du modèle. La sécurité de l'IA est l'effort plus large visant à empêcher l'ensemble du système de causer des dommages.

Enfin, il existe une hypothèse courante selon laquelle un modèle plus performant est automatiquement un modèle mieux aligné. Mais les capacités et l'alignement peuvent diverger, ce qui explique précisément pourquoi des seuils tels que les niveaux de capacité R&D en ML de Google DeepMind et la catégorie de risque de recherche automatisée d'Anthropic existent. Ils sont construits spécifiquement autour de la crainte que les capacités ne dépassent la capacité du domaine à vérifier si un modèle fait toujours ce qu'il est censé faire.

Perplexity ne forme pas de modèles de fondation de pointe. L'entreprise exécute des modèles en production à grande échelle par le biais de produits orientés agents tels que Computer, de sorte que son travail touche à un aspect spécifique de l'alignement : la manière dont les agents se comportent une fois qu'ils agissent sur le web ouvert.

Le Secure Intelligence Institute est le centre de recherche de Perplexity pour la sécurité, la confidentialité et la confiance dans l'IA de pointe. Il a développé BrowseSafe, un modèle de détection open source conçu pour identifier les attaques par injection de requêtes cachées à l'intérieur des pages web visitées par les agents de navigation IA.

L'équipe a également construit BrowseSafe-Bench, un banc d'essai public de plus de 14 700 scénarios d'injection de requêtes couvrant différents objectifs d'attaque, emplacements dans la page et styles de langage.

Ce travail se rapproche davantage du côté appliqué du contrôle de l'IA que de la recherche sur l'alignement. Il contraint ce que fait un agent lorsqu'il rencontre un environnement contradictoire, plutôt de façonner les valeurs sous-jacentes d'un modèle pendant l'entraînement.

Pour en savoir plus, explorez le Secure Intelligence Institute et la recherche BrowseSafe.

Ce que signifie l'alignement de l'IA

Le problème de l'alignement externe

Le problème de l'alignement interne

Exemples de problèmes d'alignement de l'IA

Comment les principaux laboratoires d'IA réagissent aux défis de l'alignement de l'IA

OpenAI

Déploiement itératif

Garanties superposées

Alignement délibératif

Responsabilité partagée

Anthropic

Garanties liées aux capacités

Une catégorie définie de risque d'alignement

Tests d'alignement internes

Rapports publics réguliers

Google DeepMind

Une structure à plusieurs niveaux

Une phase d'alerte précoce

Atténuation des risques

Alignement de l'IA : débat sur les risques

Qui d'autre travaille sur l'alignement de l'IA ?

Gouvernements

Organisations à but non lucratif

Universités

Alignement de l'IA : idées fausses courantes

Comment Perplexity aborde l'alignement de l'IA