Comment fonctionne une passerelle LLM? Guide pratique pour les équipes d’ingénierie

Une passerelle LLM se place entre vos applications et les fournisseurs de modèles auxquels vous vous connectez par son intermédiaire, ce qui vous offre un point unique pour gérer les identifiants et suivre l’utilisation.

« En ce moment, c’est le b****l », a écrit un ingénieur sur Reddit dans r/LLMDevs en septembre 2026.

« Chacun a son propre jeu de clés pour Claude, OpenAI, AWS Bedrock et tous les autres fournisseurs d’inférence que nous utilisons. »

L’article de BigGo sur llm-proxy-tk, une passerelle FastAPI légère, compare cette configuration au fait de transformer les LLM en « eau du robinet d’entreprise », la passerelle jouant le rôle de vanne principale de l’immeuble.

Mais avant d’accorder autant de confiance à la plomberie, voyons ce que vous installez au juste.

Qu’est-ce qu’une passerelle LLM?

Une passerelle LLM est un proxy inverse pour les appels de modèles. Vos applications envoient leurs requêtes à la passerelle plutôt que directement à OpenAI, Anthropic, Google ou tout autre fournisseur de LLM que vous utilisez. Celle-ci transmet ces requêtes en appliquant vos règles au passage.

Chaque fournisseur de LLM a son API, avec sa propre structure de requête, sa propre authentification et sa propre façon de renvoyer les erreurs. Chacun a aussi ses propres limites de débit et ses propres modes de défaillance. Sans couche commune devant eux, chaque application qui appelle un fournisseur fait tout elle-même, et le fait un peu différemment.

L’analogie de l’eau du robinet a ses limites, mais elle vaut au moins pour ceci : les fournisseurs sont raccordés une seule fois, à la passerelle. Dès lors, chaque application obtient son propre branchement avec compteur, ce qui vous permet de voir qui utilise quoi et de couper n’importe quelle conduite sans toucher aux autres.

Passerelles LLM, IA, MCP et API : quelle est la différence?

Comment fonctionne une passerelle LLM?

Suivez une requête de votre application jusqu’au modèle, puis sur le chemin du retour.

1. La requête arrive à la passerelle : votre application envoie une requête de clavardage d’apparence normale, souvent dans un format compatible avec OpenAI, au point de terminaison de la passerelle. Du point de vue de l’application, c’est l’adresse qu’elle appelle pour joindre le modèle.
2. La passerelle vérifie qui fait la demande et ce qu’il a le droit de faire : avant de transmettre la requête, elle valide les identifiants. Il s’agit souvent d’une clé virtuelle attribuée à une équipe ou à un produit. Si vous avez branché des garde-fous d’entrée, les invites peuvent aussi être analysées pour y détecter des données sensibles ou des tentatives de contourner les instructions du modèle.
3. La passerelle vérifie si elle a déjà la réponse : si la mise en cache est activée, une requête correspondante admissible peut recevoir une réponse enregistrée sans nouvel appel au fournisseur. Certaines passerelles offrent aussi la mise en cache sémantique, qui cherche des requêtes jugées suffisamment similaires plutôt qu’identiques. Cela peut convenir au trafic de type FAQ.
4. La passerelle choisit la destination de la requête : la requête peut désigner un modèle précis ou un alias. La passerelle cherche la route correspondante dans votre configuration. Vous pouvez aussi configurer une route de secours. Si le fournisseur A ne répond pas à temps, la passerelle peut essayer le fournisseur B.
5. La passerelle prépare l’appel et renvoie la réponse : la passerelle convertit votre requête dans le format du fournisseur choisi et authentifie l’appel sortant. Dès que la réponse est reçue, elle est convertie dans le format qu’exige votre application.
6. La passerelle consigne ce qui s’est passé : lorsque la journalisation est activée, la passerelle enregistre des détails comme l’auteur de l’appel, le modèle qui l’a servi, le nombre de jetons, la latence et le coût. C’est exactement le journal qui manquait à l’ingénieur de Reddit cité en introduction.

Les 4 choses à savoir avant de mettre une passerelle en production

Tout ce qui est décrit dans la section précédente est possible parce que la passerelle voit chaque requête qui passe par elle. C’est l’argument de vente. Mais c’est aussi la description de la surface d’attaque et de la dépendance envers un fournisseur que vous devez prévoir.

La passerelle est désormais la pièce la plus précieuse de votre pile d’IA

La passerelle centralise l’accès. Par conséquent, elle met aussi beaucoup d’identifiants à la portée d’un seul service. L’équipe de sécurité de Microsoft énumère ce qu’un déploiement LiteLLM peut contenir ou récupérer : clés API des fournisseurs, sa propre clé maîtresse, enregistrements de clés virtuelles, chaînes de connexion aux bases de données, paramètres de routage et politiques des locataires.

En octobre 2026, Check Point Research a divulgué deux vulnérabilités à risque élevé dans LiteLLM :

• La CVE-2026-35029 permettait à des utilisateurs authentifiés, y compris ceux en lecture seule, d’accéder à des fonctions d’administration et de prendre le contrôle de l’instance.
• La CVE-2026-59823 permettait à des utilisateurs de rediriger des requêtes vers un serveur qu’ils contrôlaient et d’intercepter les clés des fournisseurs.

Les deux ont été corrigées dans la version 1.83.9. Une application qui utilise la passerelle ne devrait pas pouvoir en modifier les paramètres.

Vos garde-fous ont besoin d’une politique en cas de défaillance

Une analyse de Pillar Security publiée le 4 octobre 2026 documente les intégrations de garde-fous tiers dans les principales passerelles, dont LiteLLM, Kong, TrueFoundry, Portkey, Azure API Management et Apigee. (Pillar vend des garde-fous; gardez-le à l’esprit en lisant ses recommandations.)

Un crochet (hook) est un point du parcours de la requête, généralement avant que l’invite soit envoyée au modèle ou après le retour de la réponse, où la passerelle peut confier le contenu à un analyseur externe pour obtenir un verdict. Une vérification bloquante attend ce verdict avant de laisser passer le trafic. La documentation de Portkey les appelle before_request_hooks et after_request_hooks; TrueFoundry en exécute quatre, en ajoutant des vérifications avant et après les appels d’outils MCP.

Il y a maintenant deux choses à vérifier :

• Que se passe-t-il si l’analyseur lui-même tombe en panne? Si vous bloquez la requête, vous arrêtez le trafic non vérifié, mais vous risquez d’interrompre votre application. Si vous la laissez passer, votre application peut continuer sans cette vérification. Le journal des défaillances vous montre après coup que la vérification n’a pas eu lieu, ce qui est utile, mais ne revient pas à l’avoir effectuée.
• Pouvez-vous remplacer l’analyseur? Si un autre fournisseur n’est pas pris en charge, vous devrez peut-être modifier votre application ou passer par un autre proxy pour vous y connecter.

Les crochets MCP de TrueFoundry étendent la portée de la passerelle des requêtes de modèles aux appels d’outils. Mais elle ne peut inspecter que le trafic qui passe par elle. Un agent de codage qui exécute une commande sur le poste d’un développeur peut échapper à cette visibilité.

Numbat, l’outil à code source ouvert de Perplexity, couvre ce côté-là. Numbat se connecte aux agents pris en charge au moyen de crochets locaux et peut inspecter les actions prévues, comme des commandes shell ou des écritures de fichiers, avant leur exécution. La fonction de blocage est facultative et désactivée par défaut. La passerelle voit le trafic de modèles qui transite par elle. Numbat ajoute de la visibilité sur ce que l’agent fait de la réponse.

Vous devez savoir où s’arrête le contrôle de la passerelle

Forkast News distingue trois familles de solutions qui abordent la passerelle sous des angles différents :

• Passerelles axées sur les LLM : LiteLLM et Portkey ont commencé par les appels de modèles, soit la traduction entre fournisseurs, le routage des requêtes et le suivi des jetons. Elles ajoutent maintenant des contrôles pour les appels d’outils.
• Plateformes de gestion d’API : Kong, Apigee de Google et Azure API Management ont commencé par l’authentification, les autorisations et la gestion du trafic, puis ont ajouté la prise en charge des modèles et des règles propres à l’IA.
• Infrastructure native pour les agents : agentgateway, par exemple, a été conçu autour d’agents qui communiquent avec des modèles, des outils et d’autres agents, notamment par MCP et A2A.

La question qui permet de trancher, c’est ce que vous routez :

• Uniquement des appels de modèles? Une passerelle conçue d’abord pour les LLM est un bon point de départ.
• Des appels de modèles au sein d’une entreprise qui regorge déjà de règles d’API? Commencez par la plateforme que vous avez.
• Des agents qui appellent des outils qui appellent des modèles? Vérifiez que ces connexions sont aussi couvertes.

Vous créez un point de défaillance commun

Disons que votre robot conversationnel de soutien utilise OpenAI et que votre outil de recherche utilise Anthropic, et que les deux se connectent par la même passerelle. Si cette passerelle cesse de fonctionner, les deux outils perdent l’accès à leurs modèles, même si OpenAI et Anthropic fonctionnent normalement.

C’est déjà arrivé. Chez Cloudflare, le taux d’erreur d’AI Gateway a culminé à 97 % lors de la panne du 12 juin 2025. La passerelle dépendait du service de stockage Workers KV de Cloudflare pour ses paramètres, et ce service était en panne.

Si vous exploitez la passerelle vous-même, gardez une autre instance en marche, prête à prendre le relais en cas de défaillance. Si quelqu’un d’autre héberge votre passerelle, demandez-lui comment il assure son fonctionnement en cas de panne et ce qu’il advient de vos requêtes pendant la reprise.

Les principales fonctionnalités à rechercher dans une passerelle LLM

Vous allez donner à la passerelle l’accès aux identifiants de tout le monde; vous êtes donc en droit d’être exigeant sur ce qu’elle offre en retour.

• Une seule API devant plusieurs fournisseurs : votre code parle un seul format, souvent compatible avec OpenAI, et la passerelle fait la traduction. Les fournisseurs de LLM font eux aussi une partie du chemin. Par exemple, l’Agent API de Perplexity prend en charge l’interface Responses API d’OpenAI, ce qui permet aux équipes de réutiliser leurs bibliothèques clientes OpenAI existantes.
• Clés virtuelles assorties de règles : chaque équipe ou produit obtient sa propre clé, avec des règles qui encadrent les modèles autorisés, les limites de requêtes et les dépenses.
• Routage et repli : la passerelle envoie les requêtes aux modèles selon vos paramètres, qui peuvent privilégier le coût, la vitesse ou un fournisseur en particulier. Si un appel échoue, elle peut en essayer un autre. L’Agent API de Perplexity vous permet d’indiquer jusqu’à cinq modèles, y compris de fournisseurs différents, dans l’ordre de votre choix.
• Mise en cache : une réponse enregistrée peut vous épargner un nouvel appel au fournisseur. Certaines passerelles font correspondre des requêtes identiques; d’autres peuvent aussi reconnaître des requêtes de sens similaire. Vérifiez si les réponses en cache peuvent être cloisonnées par utilisateur ou par équipe, et si vous pouvez désactiver la mise en cache pour les réponses personnalisées ou dont la validité dépend du moment.
• Diffusion en continu et erreurs uniformes : les réponses arrivent au fur et à mesure de leur génération, et les erreurs des fournisseurs sont traduites dans un format que votre application peut gérer. Vérifiez ce qui se passe lorsque vous ajoutez des garde-fous d’IA.
• Journalisation et attribution des coûts : la passerelle consigne qui a fait un appel, quel modèle l’a servi, combien de jetons il a utilisés, sa durée et son coût estimé. Vérifiez si les journaux incluent les invites et les réponses, et combien de temps ils sont conservés.
• Crochets de garde-fous : il s’agit de points du parcours de la requête où la passerelle peut envoyer le contenu à un analyseur externe pour obtenir un verdict. Ils se situent généralement avant une requête au modèle ou après sa réponse. Vérifiez si les requêtes sont bloquées ou poursuivent leur chemin lorsque l’analyseur tombe en panne, et si vous pouvez brancher un autre analyseur.
• Une interface d’administration que vous pouvez verrouiller : la passerelle gère l’accès aux identifiants des fournisseurs et aux règles que tout le monde utilise. Vérifiez que vous pouvez restreindre l’accès administrateur indépendamment du trafic applicatif et que les utilisateurs en lecture seule ne peuvent pas modifier les paramètres. La vanne principale a besoin d’un cadenas.

Quels outils pouvez-vous utiliser pour bâtir votre passerelle LLM?

Les listes de fonctionnalités se recoupent d’un bout à l’autre du marché. Dans un fil Reddit sur l’accès interne aux modèles, l’auteur posait cette question : quelle passerelle n’exigera pas d’ingénieur dédié?

C’est, à notre avis, la bonne question, et elle comporte quatre réponses, selon la part du travail que vous êtes prêt à prendre en charge.

L’écrire vous-même

Une passerelle minimale s’acquitte d’une courte liste de tâches : accepter les requêtes, vérifier la clé de l’appelant, ajouter l’identifiant du fournisseur, transmettre l’appel et consigner le résultat. Mais la prise en charge de différents formats de fournisseurs ajoute du travail. Tout comme le maintien en fonctionnement de l’ensemble.

Si vous utilisez déjà Envoy, son filtre de traitement externe vous permet de brancher un service qui inspecte et modifie les requêtes et les réponses. Vous devez tout de même bâtir et exploiter ce service.

Dans un fil r/LLMDevs consacré à la question de savoir si une passerelle réduit les coûts, u/QuanTradin a expliqué que la journalisation des jetons et d’un indicateur de succès de cache pour chaque appel lui avait permis de repérer deux tâches qui payaient le plein prix pour des invites identiques.

« ...régler ce problème a rapporté plus que ne l’aurait fait n’importe quelle couche de routage. »

Il s’agit d’un témoignage, et c’est un bon point de départ. Sachez ce pour quoi vous payez avant de mettre au point des façons élaborées de router ces appels.

Héberger vous-même une passerelle à code source ouvert

LiteLLM est un choix courant dans cette catégorie : compatible avec OpenAI, il prend en charge un large éventail de fournisseurs et bénéficie d’une vaste communauté. Bifrost est une solution de rechange, conçue pour réduire au minimum la surcharge par requête. Helicone vaut le détour si l’observabilité arrive en tête de votre liste de fonctionnalités.

LiteLLM, comme tout produit, a ses limites pour certaines équipes. Dans un fil r/aiagents sur les solutions de rechange à une passerelle maison, u/Own_Bar_920 a indiqué que LiteLLM gérait bien le routage, mais n’était pas à la hauteur pour le versionnage des invites entre équipes et les évaluations continues lors d’un changement de modèle, ce qui l’a poussé vers un outil distinct.

Ces besoins dépassent le routage de base d’une passerelle, et c’est bien là l’essentiel : si le routage est le besoin principal, LiteLLM a tenu la route dans son cas.

Vous obtenez une liste de fonctionnalités clés en main, dont certaines dépendent de l’édition, et vous gardez la passerelle à l’intérieur de votre réseau. Vous êtes aussi responsable de l’application des correctifs, comme l’ont montré concrètement les divulgations de Check Point évoquées plus haut, et de la disponibilité de la passerelle, comme l’a illustré la section sur le point de défaillance commun.

Mais prévoyez dans le budget quelqu’un qui en sera responsable. Dans un fil r/LLMDevs sur les passerelles pour l’accès interne, l’une des inquiétudes portait sur la maintenance. u/Informal-Writer9685 voulait quelque chose qui « n’exige pas un ingénieur dédié pour la maintenance » et demandait si l’instabilité signalée lors des mises à niveau de LiteLLM posait un vrai problème à leur échelle ou ne concernait que la production.

Utiliser une passerelle gérée

Cloudflare AI Gateway, Vercel AI Gateway, OpenRouter et la passerelle hébergée de Portkey exploitent le service pour vous. Pour une application compatible, faire passer la première requête peut ne demander guère plus qu’un changement d’URL et une clé API.

Le compromis, c’est que chaque invite passe désormais par un tiers avant d’atteindre le fournisseur. Cela fait un sous-traitant de données de plus dans vos documents de conformité, et une panne de la passerelle elle-même devient un incident chez le fournisseur : ce n’est pas à vous de la résoudre.

Par exemple, les 17 et 19 février 2026, OpenRouter a subi des pannes de 38 et 35 minutes, respectivement, à la suite de la défaillance d’une dépendance de mise en cache. Certains clients ont reçu des erreurs « User not found » et ont passé du temps à déboguer des clés API parfaitement valides. Le problème se trouvait dans l’infrastructure de la passerelle.

Mais il faut lui rendre justice : OpenRouter a publié une analyse post-incident détaillée et ajouté des protections pour éviter qu’une défaillance du cache ne submerge sa base de données. Une passerelle gérée comme OpenRouter peut simplifier l’accès, mais comme le souligne u/QuanTradin sur r/LLMDevs, regrouper les factures ne réduit pas automatiquement les dépenses.

Étendre la passerelle API que vous avez déjà

Si Kong, Apigee ou Azure API Management sert déjà de façade à vos services, chacun offre des capacités propres à l’IA : Kong AI Gateway, les politiques de passerelle IA d’Apigee et la passerelle IA d’Azure API Management. Vous pouvez tirer parti de l’authentification, des règles réseau et des procédures d’exploitation que vous avez déjà, en ajoutant des contrôles de modèles au moyen de modules d’extension ou de politiques.

Dans une grande entreprise, ce peut être la voie qui suscite le moins de résistance organisationnelle. Les fonctionnalités d’IA y sont plus récentes que celles des passerelles autonomes. Assurez-vous de tester la limitation de débit fondée sur les jetons et la diffusion en continu avec l’ensemble des modules d’extension ou des politiques que vous comptez utiliser.

Alors, installez sans hésiter la vanne principale — la toute-puissante passerelle. L’ingénieur mentionné en introduction n’a toutefois pas tort : l’accès d’une entreprise aux modèles ne devrait pas dépendre de la personne qui, par hasard, garde la bonne clé dans un tiroir.

Une passerelle règle ce problème en centralisant le contrôle de ces clés, ce qui rend d’autant plus risqué le fait de laisser le tiroir ouvert. Encore faut-il savoir à qui appartient ce tiroir.

FAQ sur les passerelles LLM

La passerelle LLM est-elle gratuite?

Si vous parlez de la catégorie en général, certaines passerelles LLM offrent des versions gratuites.

Les passerelles LLM vont des logiciels open source gratuits aux forfaits payants à partir d’environ 50 $ par mois, avec une tarification personnalisée pour les déploiements en entreprise. D’autres facturent plutôt un pourcentage : par exemple, le forfait Standard d’OpenRouter ajoute 5,5 % aux achats de crédits.

Quelle est la meilleure passerelle LLM?

Quelle part du travail acceptez-vous de prendre en charge?

• Jetez un coup d’œil à Bifrost ou à Helicone si vous voulez héberger vous-même la solution et en contrôler la configuration.
• Une option gérée comme OpenRouter ou Vercel AI Gateway convient aux équipes qui préfèrent confier l’exploitation du service à quelqu’un d’autre.
• Si vous utilisez déjà Kong ou Azure API Management, vérifiez d’abord leurs fonctionnalités d’IA.

Testez les solutions présélectionnées avec vos propres requêtes, en vérifiant notamment ce qui se passe lorsqu’un fournisseur tombe en panne.

AWS offre-t-il une passerelle LLM?

Oui. Amazon Bedrock AgentCore Gateway prend en charge les appels de modèles au moyen de ce qu’AWS appelle des « cibles d’inférence ». Celles-ci permettent aux applications d’utiliser un seul point de terminaison pour accéder à divers fournisseurs, dont Amazon Bedrock, OpenAI et Anthropic, la passerelle se chargeant des identifiants des fournisseurs et du routage.