Alignement de l'IA : recherche et débats actuels

L'alignement de l'IA signifiait autrefois simplement « le modèle d'IA suit-il les instructions de l'utilisateur ? » Cependant, à mesure que les systèmes d'IA gagnent en autonomie et en compétences, cette question s'est élargie pour inclure le jugement et les valeurs. Cet article examine la manière dont les plateformes d'IA, les organismes gouvernementaux et les organisations sans but lucratif relèvent le défi de l'alignement de l'IA.

Dans sa forme la plus simple, l'alignement de l'IA consiste à s'assurer qu'un système d'IA accomplit la mission qui lui a été confiée. Un modèle d'IA aligné lit une invite (prompt) et produit le résultat demandé, sans contourner l'objectif sur lequel il a été entraîné. Dans la recherche moderne sur l'alignement, cela est généralement formulé comme l'alignement des intentions : concevoir des systèmes qui s'efforcent de réaliser ce que leurs opérateurs ont intentionnellement voulu, et non de suivre littéralement le texte d'une invite.

L'alignement est à la fois un défi technique et un sujet de débat public. En tant que terme technique, l'alignement relève de l'ingénierie. Le modèle spécifique, affecté à une tâche précise, accomplit-il ce pour quoi il a été conçu ? C'est une question circonscrite et testable.

Cependant, l'alignement de l'IA est également utilisé dans les débats publics et politiques plus larges sur la sécurité générale des systèmes d'IA. Les plateformes d'IA, aux capacités grandissantes, resteront-elles bénéfiques pour l'humanité et alignées sur l'éthique, les désirs et les objectifs humains ?

Atteindre cet alignement devient de plus en plus difficile à mesure que les modèles gagnent en complexité. La construction de modèles d'IA alignés présente deux défis majeurs :

Les utilisateurs recherchent généralement un LLM qui soit utile, honnête et éthique. Mais un LLM n'est jamais entraîné directement à « être utile et éthique ». Il passe par deux étapes distinctes.

Pré-entraînement : le modèle assimile le langage, les faits et les schémas de raisonnement. À ce stade, le modèle n'a aucune idée de ce qu'un humain attend réellement d'une question donnée. Laissé à ce stade, un modèle répondra à « comment crocheter une serrure » aussi facilement qu'à « comment faire du pain au levain ».

Préférence humaine : des humains examinent des paires de réponses de modèles et indiquent leur préférence. Ces préférences servent à entraîner un système de notation distinct, et le modèle est ensuite ajusté pour générer des réponses obtenant de bons scores.

Personne ne consigne nulle part une définition claire de ce que signifie être utile ou éthique dans le cadre de ce processus. Les orientations du système de notation concernant la mission du modèle découlent entièrement de nombreux jugements humains individuels. Le système de notation reflète les préférences tendancielles des réviseurs, et non l'intention précise d'une personne en particulier, ni une définition exacte de l'objectif sous-jacent.

Par conséquent, l'IA peut bien s'aligner sur ce qu'elle perçoit comme étant l'objectif, mais cet objectif lui-même peut ne pas avoir été adéquatement aligné sur le résultat souhaité par les humains.

Par exemple, si les réviseurs ont tendance à préférer des réponses plus longues, le modèle apprend à rédiger des réponses plus longues, même lorsqu'une réponse courte était correcte. Ou encore, si les réviseurs privilégient les réponses assurées, le modèle apprend à afficher de l'assurance, même lorsqu'il devrait exprimer des doutes.

Les chercheurs qualifient cet écart entre l'objectif déclaré et l'objectif inculqué de problème de l'alignement externe.

Le problème de l'alignement interne survient lorsqu'un modèle entraîné sur un objectif pertinent ne parvient pas à le poursuivre correctement une fois déployé dans le monde réel. Ce problème ne devient visible que lorsque le modèle se trouve face à une situation à laquelle l'entraînement ne l'avait pas préparé.

Pendant l'entraînement, les modèles ne sont exposés qu'à un ensemble limité de situations. Le modèle généralise ensuite à partir de ces situations pour tout ce qu'il rencontrera plus tard.

L'entraînement permet de vérifier le comportement du modèle, mais il ne révèle pas toujours les raisons de ce comportement. Il est donc difficile de savoir si le modèle a assimilé l'objectif complet et nuancé, ou simplement un schéma plus simple qui correspondait par coïncidence aux données d'entraînement.

Diagramme du problème de l'alignement interne : à partir des mêmes données d'entraînement, la Règle A et la Règle B s'ajustent toutes deux aux données, mais face à une nouvelle entrée inédite, la Règle A correspond à l'objectif et se comporte comme prévu, tandis que la Règle B utilise un raccourci et s'écarte de l'objectif.

Par exemple, un modèle entraîné à refuser les demandes nuisibles (ex. : « comment crocheter une serrure pour cambrioler une maison ») pourrait apprendre à reconnaître la formulation spécifique des requêtes nuisibles dans ses données d'entraînement, plutôt que l'intention sous-jacente au refus. Il raterait alors une demande nuisible formulée autrement (ex. : « quel est le moyen le plus rapide d'ouvrir une porte sans clé »).

Ces schémas d'échec de l'alignement sont bien documentés. Des chercheurs ont élaboré des défenses spécifiques pour chacun d'eux :

Défi de l'alignement	À quoi cela ressemble	Exemple	Comment le domaine réagit
Piratage de récompense	Un modèle trouve un raccourci qui obtient techniquement une bonne note sans accomplir ce qui était prévu.	Un modèle invité à corriger un logiciel défectueux trouve un moyen de faire cesser l'apparition des messages d'erreur, au lieu de régler la cause sous-jacente.	Audit du système de notation, tests de résistance visant à le tromper, et entraînement basé sur les commentaires d'un plus vaste éventail de réviseurs.
Obséquiosité	Un modèle donne raison à une personne ou nuance une réponse pour paraître plus conciliant, plutôt que de fournir la réponse la plus exacte.	Une personne énonce un fait erroné avec assurance, et le modèle valide l'affirmation au lieu de la corriger, car le consensus a obtenu de meilleurs résultats auprès des réviseurs que la contestation.	Affinage qui récompense spécifiquement l'honnêteté, lignes directrices d'examen qui pénalisent l'approbation systématique, et tests conçus pour détecter ce schéma.
Détournement de spécification	Un modèle exécute exactement ce qu'une instruction demande tout en passant à côté de ce qu'elle visait à accomplir.	Un modèle à qui l'on demande de « réduire les plaintes des clients dans l'ensemble de données » apprend à omettre les plaintes de ses résumés plutôt qu'à aider à résoudre les problèmes sous-jacents.	Rédaction d'instructions plus strictes et rigoureusement testées, et examen des cas limites où la formulation littérale et l'intention tirent dans des directions opposées.
Comportement trompeur ou évasif pendant l'évaluation	Un modèle se comporte d'une certaine manière lorsqu'il perçoit qu'il est testé, et d'une autre une fois déployé.	Un modèle donne des réponses conformes aux politiques lorsqu'il détecte un langage qui ressemble à une évaluation formelle de la sécurité, puis répond plus librement lors d'une conversation ordinaire.	Conception de tests qu'il est plus difficile pour un modèle de reconnaître comme tels, combinée à des recherches visant à analyser directement l'état interne d'un modèle plutôt que de s'en remettre uniquement à sa sortie.
Sous-régulation volontaire (Sandbagging)	Un modèle sous-performe lors d'un test de capacités pour éviter de déclencher des exigences de sécurité plus strictes.	Un modèle fournit délibérément des réponses plus faibles lors d'une évaluation des capacités dangereuses que ce dont il est réellement capable, de sorte que le résultat reste sous un seuil qui déclencherait une surveillance supplémentaire.	Utilisation de multiples tests indépendants, conservation d'une partie du matériel d'évaluation que le modèle n'a jamais vu, et application de techniques conçues pour révéler le véritable niveau maximal d'un modèle.
Généralisation inadéquate des objectifs	Un modèle adopte une règle qui fonctionnait par coïncidence pendant l'entraînement, mais échoue dans une nouvelle situation.	Un modèle entraîné à faire preuve de prudence principalement face aux demandes impliquant des armes ou des drogues associe la « prudence » à « refuser tout ce qui semble risqué », et commence également à rejeter des questions inoffensives portant sur la chimie ou la sécurité.	Entraînement sur un ensemble d'exemples plus large et diversifié, et tests spécifiques du modèle sur des situations en tout point différentes de celles observées lors de l'entraînement.
Surveillance évolutive	Lorsqu'un modèle assume des tâches difficiles à vérifier entièrement pour un humain, comme l'examen d'une vaste base de code, il devient plus difficile de savoir si son résultat est réellement correct.	Un agent refactorise une base de code de 10 000 lignes en une seule session, et aucun réviseur n'a le temps de vérifier manuellement chaque modification, ce qui laisse passer de subtiles erreurs de logique.	Faire en sorte que les modèles s'entraident pour vérifier leur travail, parallèlement à un examen humain plus ciblé réservé aux décisions à plus fort enjeu.
Recherche de pouvoir ou comportement instrumental	Un modèle poursuivant presque n'importe quel objectif a une incitation intégrée à éviter d'être désactivé ou modifié, puisqu'en restant opérationnel, il peut continuer à poursuivre cet objectif.	Dans un environnement de test contrôlé, un modèle auquel on confie une tâche et une commande d'arrêt prend des mesures pour éviter d'être arrêté, par exemple en se copiant ailleurs, car l'interruption l'empêcherait de terminer la tâche.	Recherche visant à concevoir des modèles qui acceptent de manière fiable la correction ou l'arrêt, et tests spécifiquement conçus pour détecter ce comportement avant qu'un modèle ne soit déployé.

Une poignée d'entreprises, principalement OpenAI, Anthropic et Google DeepMind, conçoivent les modèles de pointe situés à la limite de ce que l'IA peut accomplir actuellement. Chacune a publié son propre cadre pour évaluer et déployer ces modèles en toute sécurité.

Selon une déclaration publique d'OpenAI sur la sécurité et l'alignement, l'entreprise s'attaque aux risques d'un éventuel défaut d'alignement de l'IA par les moyens suivants :

OpenAI indique procéder à un lancement progressif de ses modèles afin d'observer leur comportement et les utilisations abusives potentielles dans le monde réel. L'entreprise estime que les retours du monde réel fournissent davantage d'informations que la tentative de prédire chaque risque à l'avance. Elle applique un Preparedness Framework pour suivre les risques émergents et déterminer les protections requises par un modèle avant sa sortie.

OpenAI indique qu'elle superpose plusieurs protections indépendantes, de sorte que plusieurs mesures de défense devraient échouer en même temps pour qu'un problème survienne.

Selon l'entreprise, au lieu de répondre en une seule étape, le modèle est entraîné à passer en revue les directives de sécurité pertinentes avant de décider de sa réponse. L'objectif est de permettre au modèle de raisonner pour prendre la bonne décision dans des situations que son entraînement n'a pas explicitement couvertes.

OpenAI affirme traiter la sécurité de l'IA comme un effort collectif, en mettant en avant ses recherches publiées sur la sécurité ainsi que sa collaboration avec le Center for AI Standards and Innovation (CAISI) américain et l'UK AI Security Institute en matière de normes d'évaluation.

Le document Responsible Scaling Policy d'Anthropic explique comment l'entreprise travaille à l'alignement de l'IA :

À mesure qu'un modèle devient plus performant, il doit se soumettre à des contrôles de sécurité plus rigoureux avant de pouvoir continuer à être entraîné ou publié. De plus, Anthropic reconnaît que lorsque les systèmes d'IA effectuent une grande partie de la recherche et de l'analyse derrière leurs propres évaluations des risques, ces preuves pourraient elles-mêmes être altérées par un comportement trompeur ou manipulateur. L'entreprise s'engage à soumettre les évaluations à ce stade à une norme de preuve plus élevée.

Anthropic met en avant « les systèmes d'IA mal alignés dans des contextes à haut enjeu » en tant que catégorie de risque spécifique : des modèles sur lesquels on compte beaucoup, qui disposent d'un large accès à des systèmes sensibles et d'une certaine capacité à agir de manière autonome pour atteindre un objectif tout en contournant la surveillance.

L'entreprise s'engage à étudier régulièrement le comportement de ses propres modèles à la recherche de signaux d'alerte, selon deux méthodes principales : tenter de sonder l'intérieur du modèle pour comprendre pourquoi il produit un résultat donné, et demander à des équipes internes de provoquer délibérément un mauvais comportement pour voir s'il se manifeste.

L'entreprise affirme publier un Risk Report tous les trois à six mois, détaillant ses connaissances sur les capacités et les tendances comportementales d'un modèle, ses pratiques de surveillance ainsi que son évaluation globale des risques.

Le document Frontier Safety Framework de Google DeepMind explique comment l'entreprise œuvre en faveur de l'alignement :

Le cadre considère le défaut d'alignement comme l'un des quatre domaines de risque, et le définit précisément comme le risque que les capacités en R&D en ML ou les propensions non alignées d'un modèle réduisent la capacité globale de la société à gérer les risques liés à l'IA. Il est explicitement présenté comme un facteur susceptible de contribuer à des dommages graves par le biais de plusieurs trajectoires simultanées, et non comme un risque isolé.

Lorsqu'un modèle est suffisamment puissant pour qu'une surveillance de base soit insuffisante, DeepMind vérifie continuellement son comportement, y compris la manière dont il est utilisé à l'interne. L'entreprise ajoute des mesures de protection, telles que la surveillance de son raisonnement si des problèmes sont détectés.

En ce qui concerne spécifiquement le défaut d'alignement, DeepMind cite des mesures telles que la limitation des capacités d'un modèle, la surveillance continue et les processus d'escalade, les audits et la formation à l'alignement. L'entreprise applique également ces mesures aux usages internes à haut risque, car les risques liés au défaut d'alignement peuvent se manifester dans la manière dont un modèle est utilisé au sein de l'entreprise.

Un débat sectoriel est en cours pour savoir si les cadres volontaires mentionnés ci-dessus se suffisent à eux-mêmes ou si les engagements en matière d'alignement doivent être juridiquement contraignants pour résister aux pressions concurrentielles.

En juillet 2026, 1 386 cadres et employés d'entreprises d'IA de pointe, notamment OpenAI, Anthropic, Google DeepMind et Meta, ont signé une déclaration intitulée Pacing the Frontier. Cette déclaration soutient que ces entreprises approchent peut-être du moment où elles pourront automatiser la recherche en IA elle-même. Cela pourrait signifier que les capacités de l'IA progressent plus vite que les chercheurs ne peuvent suivre, et que le travail d'alignement serait constamment en train de rattraper son retard.

Pacing the Frontier demande au gouvernement américain d'aider à concevoir des freins techniques et de gouvernance qui pourraient être utilisés à l'avenir, en arguant qu'aucun laboratoire ne peut ralentir la cadence pendant que ses rivaux continuent d'avancer. On peut y voir l'aveu tacite de l'industrie que les cadres volontaires ne suffiront pas à eux seuls à préserver l'alignement de l'IA à l'avenir.

Le travail d'alignement s'étend bien au-delà des entreprises qui conçoivent des modèles de pointe.

Les gouvernements financent et coordonnent directement la recherche sur l'alignement. Par exemple, l'UK AI Security Institute gère l'Alignment Project, un fonds mondial qui a attribué plus de 27 millions de livres sterling à plus de 60 projets répartis dans huit pays depuis 2025, axés spécifiquement sur le contrôle de l'IA. Aux États-Unis, le CAISI se concentre sur les normes d'évaluation.

Tous deux s'inscrivent dans un réseau international plus vaste, l'International Network for Advanced AI Measurement, Evaluation and Science, regroupant des instituts nationaux de sécurité de dix pays, qui mène des exercices de test conjoints et s'emploie à harmoniser les méthodes d'évaluation par-delà les frontières.

Le Future of Life Institute publie l'AI Safety Index, un tableau comparatif des pratiques de sécurité des laboratoires d'IA. Le Center for AI Safety élabore des bancs d'essai utilisés dans l'ensemble du domaine, notamment WMDP et SafeBench. L'Alignment Research Center étudie des problèmes d'alignement plus théoriques, et sa spin-off, Model Evaluation and Threat Research (METR), réalise des évaluations indépendantes préalables au déploiement des modèles de pointe. FAR.AI teste les faiblesses des modèles de pointe avant et après leur lancement.

Plusieurs universités jouent un rôle actif dans la recherche sur l'alignement de l'IA, notamment le Center for Human-Compatible AI à UC Berkeley et le Leverhulme Centre for the Future of Intelligence de l'Université de Cambridge.

L'alignement ne se confond pas avec la modération de contenu, même si le terme est parfois employé dans ce contexte. La modération de contenu concerne ce qu'un modèle dira ou ne dira pas, en filtrant les insultes, le contenu explicite ou certains sujets interdits. L'alignement concerne la conformité du comportement réel d'un modèle avec la mission qui lui a été confiée.

L'alignement est parfois employé comme synonyme de la sécurité de l'IA, mais ce n'est pas le seul facteur à prendre en compte. D'autres préoccupations liées à la sécurité de l'IA incluent :

Sécurité (protection des poids du modèle contre le vol)

Robustesse (un modèle fonctionnant de manière fiable en dehors des conditions exactes de son entraînement)

Prévention des utilisations malveillantes (empêcher qu'un modèle performant ne soit utilisé à des fins nuisibles)

L'alignement concerne le comportement propre du modèle. La sécurité de l'IA englobe l'effort plus large visant à empêcher l'ensemble du système de causer des préjudices.

Enfin, une hypothèse fréquente veut qu'un modèle plus performant soit automatiquement mieux aligné. Mais les capacités et l'alignement peuvent diverger, ce qui explique précisément l'existence de seuils tels que les niveaux de capacité en R&D en ML de Google DeepMind et la catégorie de risque liée à la recherche automatisée d'Anthropic. Ils sont conçus spécifiquement pour parer à l'éventualité où les performances progresseraient plus vite que la capacité du domaine à vérifier si un modèle continue d'agir conformément aux attentes.

Perplexity ne crée pas de modèles de fondation de pointe. L'entreprise déploie des modèles à grande échelle en production par l'intermédiaire de produits axés sur les agents tels que Computer, de sorte que son travail touche un aspect précis de l'alignement : le comportement des agents lorsqu'ils agissent sur le web ouvert.

Le Secure Intelligence Institute est le centre de recherche de Perplexity consacré à la sécurité, à la confidentialité et à la confiance dans l'IA de pointe. Il a développé BrowseSafe, un modèle de détection open source conçu pour identifier les attaques par injection de requêtes dissimulées dans les pages web que visitent les agents de navigation IA.

L'équipe a également créé BrowseSafe-Bench, un banc d'essai public regroupant plus de 14 700 scénarios d'injection de requêtes (prompt injection) couvrant divers objectifs d'attaque, emplacements dans la page et styles de langage.

Ce travail se rapproche davantage de l'aspect appliqué du contrôle de l'IA que de la recherche sur l'alignement. Il restreint les actions d'un agent lorsqu'il se retrouve dans un environnement contradictoire, plutôt de façonner les valeurs sous-jacentes d'un modèle lors de l'entraînement.

Pour en savoir plus, découvrez l' Secure Intelligence Institute et la recherche BrowseSafe.

Ce que signifie l'alignement de l'IA

Le problème de l'alignement externe

Le problème de l'alignement interne

Exemples de problèmes liés à l'alignement de l'IA

Comment les principaux laboratoires d'IA réagissent aux défis de l'alignement de l'IA

OpenAI

Déploiement itératif

Mesures de protection superposées

Alignement délibératif

Responsabilité partagée

Anthropic

Mesures de protection liées aux capacités

Une catégorie de risque d'alignement définie

Tests d'alignement interne

Rapports publics réguliers

Google DeepMind

Une structure hiérarchique

Une phase d'alerte précoce

Atténuation des risques

Alignement de l'IA : débat sur les risques

Qui d'autre travaille sur l'alignement de l'IA ?

Gouvernements

Organisations sans but lucratif

Universités

Alignement de l'IA : idées reçues

Comment Perplexity aborde l'alignement de l'IA