Qu’est-ce qu’une passerelle d’IA? Guide sur le routage, le contrôle des coûts et la gouvernance du trafic des LLM et des agents

Une passerelle d’IA est une couche mandataire (proxy) centralisée entre vos applications ou agents d’IA et les grands modèles de langage (LLM) et outils qu’ils appellent. Elle achemine les requêtes, contrôle les coûts liés à l’IA, applique les mesures de sécurité et surveille l’utilisation, de sorte que vous n’avez pas à intégrer ces contrôles séparément dans chaque application. Une telle approche deviendrait vite irréaliste à mesure que vos équipes connectent davantage de modèles et déploient plus d’agents.

Voici ce que fait une passerelle d’IA, ce qui la distingue d’une passerelle d’API traditionnelle (ainsi que des passerelles LLM et MCP), ses capacités et ses limites, et comment savoir si vous en avez besoin.

Qu’est-ce qu’une passerelle d’IA?

Une passerelle d’IA est une couche intermédiaire qui achemine chaque appel de votre application ou de votre agent d’IA vers un grand modèle de langage (LLM).

Grâce à elle, vous pouvez accéder à de nombreux modèles différents comme s’il s’agissait d’un seul.

Chaque fournisseur (OpenAI, Anthropic, Google, un modèle à code source ouvert ou votre propre point de terminaison autohébergé) possède sa propre trousse de développement (SDK), ses propres clés d’API et son propre format de requête. La passerelle accepte une requête standard unique, la traduit pour le fournisseur que vous appelez et renvoie la réponse.

Vous ajoutez, remplacez ou retirez des modèles en modifiant la configuration de la passerelle, et non le code de l’application.

Et comme chaque requête transite par la passerelle d’IA, vous pouvez appliquer à un seul endroit les contrôles de coûts, de sécurité et de journalisation pour tous les modèles.

Comment fonctionne une passerelle d’IA

Lorsque vous dirigez votre application ou votre agent d’IA vers l’URL de base de la passerelle d’IA, chaque requête suit la même séquence :

• Authentification et autorisation : la passerelle vérifie la clé et le rôle de l’appelant.
• Application des politiques : elle applique les limites de jetons et les budgets, et exécute des garde-fous comme le caviardage des PII.
• Routage : elle choisit le modèle ou le fournisseur en fonction du coût, de la latence ou de la disponibilité, et bascule vers une solution de secours si le premier est en panne. Elle traduit également la requête dans le format du fournisseur cible.
• Journalisation : elle consigne le modèle, le nombre de jetons, la latence et le résultat pour le suivi des dépenses en IA et le débogage.

Ainsi, une requête qui serait allée directement à un fournisseur d’IA passe désormais par la passerelle, qui peut plafonner ses jetons, lui substituer un modèle moins cher ou renvoyer une réponse en cache avant qu’elle n’atteigne un LLM.

Capacités d’une passerelle d’IA

La passerelle d’IA achemine le trafic vers les modèles, contrôle les coûts, protège et journalise ce trafic, et détermine qui peut utiliser quoi.

Agrandir

Routage et basculement

La passerelle d’IA choisit le modèle d’IA qui traite chaque requête en fonction du coût, de la latence ou des capacités.

Si le fournisseur choisi est en panne ou soumis à une limite de débit, la passerelle envoie automatiquement la requête à un autre modèle.

Ainsi, votre application continue de fonctionner pendant une panne, et vous pouvez répartir la charge entre plusieurs fournisseurs à la fois.

Limites de débit et budgets basés sur les jetons

La passerelle d’IA vous permet de fixer des plafonds par équipe, par projet ou par utilisateur, et elle rejette les requêtes dès que la limite de jetons allouée est atteinte.

Ainsi, les dépenses respectent le budget, et aucune équipe ni aucun projet ne peut l’épuiser à lui seul.

Mise en cache sémantique

Les caches sémantiques des passerelles d’IA stockent les réponses antérieures et associent les nouvelles invites selon leur sens. Lorsqu’une nouvelle invite est suffisamment proche d’une invite à laquelle la passerelle a déjà répondu, celle-ci renvoie la réponse enregistrée sans appeler le modèle.

Pour les charges de travail d’IA comportant de nombreuses requêtes similaires, cela réduit les coûts et le temps de réponse.

Garde-fous et protection des données

La passerelle d’IA inspecte chaque invite et chaque réponse qui la traversent.

Elle supprime les données personnelles ou sensibles avant que la requête n’atteigne le fournisseur du modèle, réduit le risque d’injection d’invite et filtre le contenu que vous ne voulez ni envoyer ni recevoir.

Les vérifications s’appliquent à chaque requête, de sorte que la protection ne dépend pas de la rigueur de chaque application d’IA.

Observabilité

La passerelle d’IA consigne chaque requête : le modèle exécuté, le nombre de jetons utilisés, la durée du traitement et l’échec éventuel.

Cet historique de chaque interaction avec l’IA vous permet d’imputer les coûts à une équipe, de déboguer un modèle lent ou défaillant et d’avoir une vue d’ensemble de l’utilisation chez tous les fournisseurs.

Gouvernance de l’IA et contrôle d’accès

La passerelle d’IA contrôle l’accès à l’IA dans l’ensemble de votre organisation. Elle accorde l’accès aux modèles selon vos paramètres de rôles, authentifie tous les appelants et consigne chaque appel dans un journal d’audit, afin que vous puissiez examiner l’utilisation de l’IA.

Les limites de la passerelle d’IA : la latence et ce qu’elle ne fait pas

Une passerelle d’IA ajoute un léger temps de latence. Et elle n’évalue pas la qualité des résultats, qui demeure votre responsabilité.

Latence ajoutée par une passerelle

Une passerelle d’IA ajoute de la latence, c’est-à-dire le délai entre l’envoi d’une requête et la réception d’une réponse, mais celle-ci est relativement faible pour le trafic des LLM.

Dans un banc d’essai indépendant réalisé par l’équipe VMware Cloud Foundation de Broadcom en juin 2026, une instance optimisée d’Envoy AI Gateway ajoutait environ 2 ms par requête pour un maximum de 224 utilisateurs simultanés, avec routage et limitation du débit, mais sans inspection du contenu (les garde-fous et la mise en cache sémantique pourraient ajouter de quelques dizaines à quelques centaines de millisecondes).

Une passerelle d’IA ne contrôle pas la qualité des invites ni des résultats

Une passerelle d’IA régit le trafic, et non les résultats du modèle ni la logique applicative qui l’entoure.

Les passerelles d’IA ne décident pas de ce qu’il faut demander à un modèle, ne se souviennent pas de votre conversation ni de l’endroit où une tâche s’est arrêtée, et n’exécutent pas la logique étape par étape d’un agent.

Et elles n’évaluent pas la qualité des réponses. Elles ne peuvent donc pas garantir qu’une réponse est exacte ou sûre.

En fait, la mise en place de passerelles d’IA peut, dans certaines circonstances, réduire la qualité. Par exemple, si la passerelle achemine une requête vers un modèle moins cher pour réduire les coûts, ce modèle peut fournir une moins bonne réponse.

La vérification de la qualité des résultats reste donc votre travail.

Passerelle d’IA ou passerelle d’API

Une passerelle d’IA et une passerelle d’API fonctionnent de façon similaire, mais régissent des types de trafic différents. Une passerelle d’API gère les appels d’API généraux (REST ou GraphQL entre vos clients et vos services dorsaux), où chaque requête est prévisible. Une passerelle d’IA gère les appels à un modèle de langage, qui se mesurent en jetons et transportent des invites en format libre.

Voici les principales différences entre les passerelles d’IA et les passerelles d’API :

• Une passerelle d’API achemine les requêtes vers un service dorsal, tandis qu’une passerelle d’IA les achemine vers des LLM.
• Une passerelle d’API limite le nombre de requêtes que vous effectuez et mesure la bande passante, alors qu’une passerelle d’IA comptabilise les jetons. Le nombre de requêtes d’outils n’a aucune pertinence pour le suivi de l’utilisation des modèles d’IA, car un seul appel peut consommer quelques jetons ou des centaines de milliers.
• Une passerelle d’API ne sert une réponse en cache qu’en cas de correspondance exacte, tandis qu’une passerelle d’IA peut aussi mettre en cache selon le sens et renvoyer une réponse stockée lorsqu’une nouvelle invite est suffisamment proche d’une invite antérieure. Les invites étant rarement identiques, sans cette capacité, vous paieriez des appels au modèle pour répondre sans cesse aux mêmes questions.
• Une passerelle d’API se contente d’authentifier les appelants et de vérifier les clés, tandis qu’une passerelle d’IA inspecte aussi les invites à la recherche de données sensibles et d’instructions cachées. Elle empêche les données sensibles de quitter votre réseau et bloque les injections d’invite.

Les termes « passerelle LLM » et « passerelle MCP » sont employés aux côtés de « passerelle d’IA », mais ils désignent des couches plus restreintes :

• Une passerelle LLM gère l’appel au modèle lui-même (comptage des jetons, routage et filtrage des invites).
• Une passerelle MCP régit les outils et les sources de données auxquels un agent peut accéder une fois que le modèle décide d’agir, à l’aide du protocole MCP (Model Context Protocol).

En pratique, ces notions se chevauchent. Plusieurs passerelles d’IA, dont LiteLLM, Portkey, Azure API Management et Envoy AI Gateway, intègrent désormais la gouvernance MCP; les termes décrivent donc différentes couches de contrôle.

Comment les passerelles d’IA gèrent les agents d’IA et le trafic MCP

La passerelle d’IA contrôle les actions qu’un agent d’IA peut effectuer avec les outils et les données auxquels il accède au moyen du protocole MCP (Model Context Protocol).

Les agents d’IA fonctionnent en boucle : ils appellent un modèle, utilisent un outil, réinjectent le résultat et recommencent jusqu’à ce que la tâche soit terminée. Pour accéder à des outils et à des ressources externes, ils utilisent MCP, un protocole standard qui permet aux services d’IA de se connecter à des outils tiers.

La passerelle d’IA surveille chaque étape du processus. Elle contrôle et surveille tout le trafic lancé par l’agent, autorise les outils et les sources de données auxquels l’agent peut accéder, et consigne tous les appels aux modèles et aux outils dans un journal d’audit.

Comme les agents d’IA appellent plusieurs outils et modèles pour accomplir leurs tâches, la passerelle doit gérer le budget d’un plus grand nombre de jetons, suivre une latence accrue et superviser une surface de sécurité plus étendue.

Pourquoi les passerelles d’IA sont importantes aujourd’hui

Dans un sondage mené auprès de 8 039 hauts dirigeants d’entreprises comptant 500 employés ou plus, 83 % ont déclaré prévoir de développer ou de déployer des agents d’IA (Cisco AI Readiness Index 2025), et Gartner s’attend à ce que des agents spécialisés soient intégrés à 40 % des applications d’entreprise d’ici la fin de 2026, contre moins de 5 % en 2025.

L’adoption croissante de l’IA agentique exacerbe d’anciens problèmes et en crée de nouveaux, dont certains peuvent être contenus grâce aux passerelles d’IA :

• Les coûts liés à l’IA dépassent les prévisions. 79 % des responsables financiers ayant participé au sondage DoiT/Sapio 2026 ont dépassé leur budget d’IA au cours de la dernière année. Pire encore, cela passe souvent inaperçu, car de nombreuses entreprises ne disposent pas de moyens fiables pour suivre leurs dépenses en IA.
• Les entreprises utilisent plus d’un modèle d’IA. 93 % des DPI d’entreprise sondés par Dataiku et Harris Poll (2026) affirment que différents modèles sont plus performants selon les cas d’utilisation. 81 % des entreprises prévoient de recourir à au moins deux fournisseurs de modèles, et 55 % ont déjà changé de fournisseur de LLM au moins une fois.
• Les pannes des fournisseurs coûtent cher. Une surveillance indépendante montre que les principaux fournisseurs de LLM sont fiables : une disponibilité d’environ 99,85 à 99,9 % (mai 2026) correspond à environ 9 à 13 heures d’indisponibilité par année. Mais lorsque des pannes surviennent, elles coûtent cher : les deux tiers des 1 125 hauts responsables de l’infrastructure ont estimé qu’une heure d’indisponibilité de l’IA coûterait plus de 100 000 $ à leur organisation (Cockroach Labs 2026).
• Les invites exposent des données et rendent les organisations vulnérables aux attaques. L’injection d’invite est le principal risque de sécurité lié aux LLM (OWASP, 2025), et le volume de données sensibles transmises aux outils d’IA grimpe rapidement : les données d’entreprise envoyées aux applications d’IA ont augmenté de 93 % en un an, et ChatGPT à lui seul a déclenché 410 millions d’infractions aux règles de prévention des pertes de données (Zscaler ThreatLabz).

Avez-vous besoin d’une passerelle d’IA, et comment la choisir?

Une passerelle d’IA devient essentielle lorsque votre organisation déploie ses applications d’IA à plus grande échelle, met en place des agents d’IA ou permet à des équipes de différents services d’utiliser plusieurs modèles d’IA.

Plusieurs signes indiquent que ce moment est arrivé :

• Les clés des fournisseurs, les points de terminaison et la logique de nouvelle tentative sont copiés ou codés en dur dans le code de plusieurs applications.
• Les factures mensuelles liées aux modèles grimpent de façon imprévisible, ou l’équipe des finances ne parvient pas à imputer les dépenses à une équipe ou à un projet.
• Les fonctionnalités destinées aux clients rencontrent des erreurs de limite de débit ou d’indisponibilité chaque fois qu’un fournisseur éprouve des difficultés.
• Les applications envoient à des modèles externes des invites non inspectées pouvant contenir des données personnelles, du code source ou d’autres renseignements sensibles.
• Différentes équipes adoptent des fournisseurs concurrents (OpenAI, Anthropic, Google ou des modèles autohébergés), chacun avec son propre code d’intégration.
• Vous déployez des agents autonomes ou des intégrations d’outils MCP qui effectuent des appels en plusieurs étapes vers des systèmes internes.
• Les équipes de sécurité, des TI ou de conformité n’ont aucune visibilité sur les modèles en service, sur qui les appelle ni sur la conformité des résultats aux exigences réglementaires.

En revanche, une passerelle d’IA n’est pas nécessaire si vous créez un seul prototype, menez un projet secondaire à faible volume ou appelez un seul point de terminaison de modèle avec des exigences de sécurité minimales.

Autohéberger ou acheter une passerelle d’IA gérée

Lorsque vous déployez une passerelle d’IA, vous pouvez choisir entre une solution autohébergée et une solution gérée.

En mode autohébergé, vous exécutez une passerelle à code source ouvert comme LiteLLM, Portkey ou Apache APISIX sur votre propre infrastructure, qu’il s’agisse d’un nuage privé, d’une grappe Kubernetes ou d’un environnement sur site.

Les passerelles d’IA autohébergées sont un bon choix lorsque :

• Les exigences de résidence des données ou de conformité sont strictes. La passerelle, ses journaux et ses clés restent dans une infrastructure qui vous appartient.
• Vous avez besoin d’une personnalisation poussée. Votre équipe souhaite des modules d’extension, une logique de routage ou une configuration des clés et des budgets personnalisés, au-delà de ce qu’offre un service géré.
• Vous disposez des ressources DevOps nécessaires. Votre équipe peut appliquer les correctifs, assurer la mise à l’échelle et exploiter la passerelle et ses magasins de données d’état, comme PostgreSQL, Redis ou etcd.

Avec les solutions gérées, comme Cloudflare AI Gateway, Azure API Management ou Amazon Bedrock AgentCore Gateway, le fournisseur exploite la passerelle en tant que service.

Les passerelles d’IA entièrement gérées conviennent mieux lorsque :

• Vous voulez une solution opérationnelle rapidement, avec peu d’entretien. Le fournisseur s’occupe de la mise à l’échelle, des correctifs et de la disponibilité.
• Votre pile technologique se trouve dans un seul nuage. Vous bénéficiez d’emblée de la gestion des identités et des accès, de la journalisation et de la sécurité natives d’AWS ou d’Azure.
• Vous voulez que vos ingénieurs se concentrent sur le produit. Leur temps est consacré au développement de fonctionnalités d’IA, et non à l’exploitation d’une infrastructure de proxy.

Foire aux questions

Qu’est-ce qu’une passerelle d’IA générative?

Une passerelle d’IA générative est la même chose qu’une passerelle d’IA; le nom met simplement l’accent sur le trafic vers les modèles d’IA générative. Certains fournisseurs, comme AWS, utilisent l’expression « passerelle d’IA générative » pour désigner une couche de contrôle qui régit la façon dont les applications utilisent les grands modèles de langage.

Vous pouvez considérer ces deux termes comme interchangeables.

Qu’est-ce que le routage de modèles d’IA?

Le routage de modèles d’IA est la façon dont une passerelle d’IA envoie chaque requête au modèle le plus approprié en fonction du coût, de la latence ou des capacités. Il permet à une application d’accéder à de nombreux fournisseurs au moyen d’un seul point de terminaison, sans qu’aucune logique de routage soit intégrée à l’application elle-même.

Quelle est la différence entre une passerelle d’IA et une passerelle MCP?

Une passerelle d’IA régit le trafic entre vos applications et les modèles d’IA : invites, jetons, routage et coûts. Une passerelle MCP détermine les outils et les sources de données auxquels l’agent ou le client peut accéder au moyen du Model Context Protocol.

De nombreuses passerelles d’IA intègrent la gouvernance MCP, de sorte que les deux fonctions se retrouvent dans un seul produit.

Quelle est la meilleure passerelle d’IA à code source ouvert?

Aucune passerelle d’IA à code source ouvert ne s’impose comme la meilleure. Pour choisir la bonne, comparez-les en fonction des fournisseurs, des modules d’extension et des contrôles dont vous avez besoin.

LiteLLM est un proxy largement utilisé qui prend en charge un vaste éventail de fournisseurs; Kong AI Gateway convient aux équipes qui utilisent déjà Kong, tandis qu’Apache APISIX s’adresse aux équipes qui veulent une seule passerelle à code source ouvert pour le trafic d’API et le trafic d’IA.