Che cos'è un gateway AI? Guida a instradamento, controllo dei costi e governance per il traffico di LLM e agenti

Un gateway AI è un livello proxy centralizzato tra le tue applicazioni o i tuoi agenti AI e i modelli linguistici di grandi dimensioni (LLM) e gli strumenti che richiamano. Instrada le richieste, controlla i costi dell'AI, applica le misure di sicurezza e monitora l'utilizzo, così non devi integrare questi controlli separatamente in ogni applicazione. Un'operazione che diventerebbe rapidamente impraticabile man mano che i tuoi team collegano più modelli e distribuiscono più agenti.

Ecco cosa fa un gateway AI, in cosa si differenzia da un gateway API tradizionale (e dai gateway LLM e MCP), quali sono le sue funzionalità e i suoi limiti e come capire se ne hai bisogno.

Che cos'è un gateway AI?

Un gateway AI è un livello intermedio che instrada ogni chiamata dalla tua applicazione o dal tuo agente AI a un modello linguistico di grandi dimensioni (LLM).

Grazie al gateway, puoi accedere a molti modelli diversi come se fossero uno solo.

Ogni provider (OpenAI, Anthropic, Google, un modello open source o il tuo endpoint self-hosted) ha il proprio SDK, le proprie chiavi API e il proprio formato di richiesta. Il gateway accetta un'unica richiesta standard, la traduce per il provider che stai chiamando e restituisce la risposta.

Puoi aggiungere, sostituire o dismettere modelli modificando la configurazione del gateway, non il codice dell'applicazione.

E poiché ogni richiesta passa attraverso il gateway AI, puoi applicare controlli su costi, sicurezza e logging per tutti i modelli in un unico punto.

Come funziona un gateway AI

Quando punti la tua applicazione o il tuo agente AI all'URL di base del gateway AI, ogni richiesta segue la stessa sequenza:

• Autenticazione e autorizzazione: il gateway verifica la chiave e il ruolo del chiamante.
• Applicazione delle policy: applica limiti di token e budget ed esegue guardrail come l'oscuramento delle PII.
• Instradamento: sceglie il modello o il provider in base a costo, latenza o disponibilità e, se il primo non è disponibile, esegue il failover su uno di riserva. Inoltre traduce la richiesta nel formato del provider di destinazione.
• Logging: registra il modello, il numero di token, la latenza e l'esito per il monitoraggio della spesa per l'AI e il debug.

Così, una richiesta che sarebbe andata direttamente a un provider AI ora passa attraverso il gateway, che può limitarne i token, sostituire il modello con uno più economico o restituire una risposta memorizzata nella cache prima che raggiunga un LLM.

Funzionalità di un gateway AI

Un gateway AI instrada il traffico verso i modelli, ne controlla i costi, lo protegge e lo registra, e stabilisce chi può usare cosa.

Espandi

Instradamento e failover

Il gateway AI sceglie quale modello AI gestisce ogni richiesta, in base a costo, latenza o capacità.

Se il provider scelto non è disponibile o ha raggiunto il limite di frequenza, il gateway invia automaticamente la richiesta a un altro modello.

In questo modo, la tua applicazione continua a funzionare durante un'interruzione del servizio e puoi distribuire il carico su più provider contemporaneamente.

Limiti di frequenza e budget basati sui token

Il gateway AI ti consente di impostare limiti per team, progetto o utente e rifiuta le richieste una volta raggiunto il limite di token assegnato.

Così la spesa rimane entro il budget e nessun singolo team o progetto può esaurirlo da solo.

Caching semantico

Le cache semantiche dei gateway AI memorizzano le risposte passate e abbinano i nuovi prompt in base al significato. Quando un nuovo prompt è abbastanza simile a uno a cui il gateway ha già risposto, il gateway restituisce la risposta salvata senza chiamare il modello.

Nei carichi di lavoro AI con molte richieste simili, questo riduce i costi e i tempi di risposta.

Guardrail e protezione dei dati

Il gateway AI ispeziona ogni prompt e ogni risposta che lo attraversano.

Rimuove i dati personali o sensibili prima che la richiesta raggiunga il provider del modello, riduce il rischio di prompt injection e filtra i contenuti che non vuoi inviare o ricevere.

I controlli si applicano a ogni richiesta, quindi la protezione non dipende dalla corretta implementazione in ciascuna applicazione AI.

Osservabilità

Il gateway AI registra ogni richiesta: quale modello è stato eseguito, quanti token ha utilizzato, quanto tempo ha impiegato e se si è verificato un errore.

Questa registrazione di ogni interazione con l'AI ti consente di attribuire i costi a un team, eseguire il debug di un modello lento o che genera errori e visualizzare l'utilizzo su tutti i provider.

Governance dell'AI e controllo degli accessi

Il gateway AI controlla l'accesso all'AI in tutta l'organizzazione. Concede l'accesso ai modelli in base alle impostazioni dei ruoli, autentica tutti i chiamanti e registra ogni chiamata in un log di audit, così puoi esaminare l'utilizzo dell'AI.

I limiti del gateway AI: la latenza e ciò che non fa

Un gateway AI aggiunge una piccola quantità di latenza. Inoltre non valuta la qualità dell'output, che resta una tua responsabilità.

Quanta latenza aggiunge un gateway

Un gateway AI aggiunge latenza, ovvero il ritardo tra l'invio di una richiesta e la ricezione della risposta, ma per il traffico LLM è relativamente ridotta.

In un benchmark indipendente del team VMware Cloud Foundation di Broadcom di giugno 2026, un Envoy AI Gateway ottimizzato ha aggiunto circa 2 ms per richiesta fino a 224 utenti simultanei, con instradamento e limitazione della frequenza attivi ma senza ispezione dei contenuti (guardrail e caching semantico potrebbero aggiungere da decine a centinaia di millisecondi).

Il gateway AI non controlla la qualità dei prompt o dell'output

Un gateway AI governa il traffico, non l'output del modello né la logica applicativa che lo circonda.

I gateway AI non decidono cosa chiedere a un modello, non ricordano la conversazione né il punto in cui un'attività si è interrotta e non eseguono la logica passo passo di un agente.

Inoltre non valutano la qualità delle risposte, quindi non possono garantire che una risposta sia corretta o sicura.

In effetti, in alcune circostanze l'implementazione di un gateway AI può ridurre la qualità. Ad esempio, se il gateway instrada una richiesta a un modello più economico per risparmiare, quel modello può restituire una risposta peggiore.

Quindi verificare la qualità dell'output resta compito tuo.

Gateway AI vs. gateway API

Un gateway AI e un gateway API funzionano in modo simile, ma governano tipi di traffico diversi. Un gateway API gestisce chiamate API generiche (REST o GraphQL tra i tuoi client e i servizi di backend), in cui ogni richiesta è prevedibile. Un gateway AI gestisce le chiamate a un modello linguistico, misurate in token e contenenti prompt in formato libero.

Ecco le principali differenze tra gateway AI e gateway API:

• Un gateway API instrada le richieste verso un servizio di backend, mentre un gateway AI le instrada verso gli LLM.
• Un gateway API limita il numero di richieste e misura la larghezza di banda, mentre un gateway AI misura i token. Il numero di richieste è irrilevante per il monitoraggio dell'utilizzo dei modelli AI, perché una singola chiamata può consumare pochi token o centinaia di migliaia.
• Un gateway API restituisce una risposta dalla cache solo in caso di corrispondenza esatta, mentre un gateway AI può anche memorizzare nella cache in base al significato e restituire una risposta salvata quando un nuovo prompt è abbastanza simile a uno precedente. I prompt sono raramente identici, quindi senza questa funzionalità pagheresti chiamate ai modelli per rispondere sempre alle stesse domande.
• Un gateway API si limita ad autenticare i chiamanti e verificare le chiavi, mentre un gateway AI ispeziona anche i prompt alla ricerca di dati sensibili e istruzioni nascoste. Impedisce ai dati sensibili di uscire dalla tua rete e blocca le prompt injection.

«Gateway LLM» e «gateway MCP» vengono usati accanto a «gateway AI», ma indicano livelli più specifici:

• Un gateway LLM gestisce la chiamata al modello vera e propria (misurazione dei token, instradamento e filtraggio dei prompt).
• Un gateway MCP stabilisce a quali strumenti e origini dati un agente può accedere una volta che il modello decide di agire, utilizzando il Model Context Protocol (MCP).

In pratica, questi livelli si sovrappongono. Diversi gateway AI, tra cui LiteLLM, Portkey, Azure API Management ed Envoy AI Gateway, ora aggiungono la governance MCP, quindi i termini descrivono livelli di controllo diversi.

Come i gateway AI gestiscono gli agenti AI e il traffico MCP

Il gateway AI controlla le azioni che un agente AI può eseguire con gli strumenti e i dati a cui accede tramite il Model Context Protocol (MCP).

Gli agenti AI lavorano in cicli: chiamano un modello, usano uno strumento, reinseriscono il risultato e chiamano di nuovo finché l'attività non è completata. Per accedere a strumenti e risorse esterni utilizzano MCP, un protocollo standard che consente ai servizi AI di connettersi a strumenti di terze parti.

Il gateway AI monitora ogni fase del processo. Controlla e monitora tutto il traffico avviato dall'agente, autorizza gli strumenti e le origini dati a cui l'agente può accedere e registra tutte le chiamate ai modelli e agli strumenti in un log di audit.

Poiché gli agenti AI chiamano più strumenti e modelli per completare le attività, il gateway ha più token da gestire nel budget, più latenza da monitorare e una superficie di sicurezza più ampia da sorvegliare.

Perché i gateway AI sono importanti oggi

In un sondaggio condotto su 8.039 dirigenti aziendali senior di organizzazioni con oltre 500 dipendenti, l'83% ha dichiarato di voler sviluppare o distribuire agenti AI (Cisco AI Readiness Index 2025) e Gartner prevede la presenza di agenti specifici per attività nel 40% delle applicazioni aziendali entro la fine del 2026, rispetto a meno del 5% nel 2025.

La crescente adozione dell'AI agentica aggrava vecchi problemi e ne aggiunge di nuovi, alcuni dei quali i gateway AI aiutano a contenere:

• I costi dell'AI sforano il budget. Il 79% dei responsabili finanziari che hanno partecipato al sondaggio DoiT/Sapio 2026 ha superato il proprio budget per l'AI nell'ultimo anno. Peggio ancora, spesso questo passa inosservato perché molte aziende non dispongono di metodi affidabili per monitorare la spesa per l'AI.
• Le aziende usano più di un modello AI. Il 93% dei CIO aziendali intervistati da Dataiku e Harris Poll (2026) afferma che modelli diversi offrono prestazioni migliori per casi d'uso diversi. L'81% delle aziende prevede di utilizzare due o più provider di modelli e il 55% ha già cambiato provider di LLM almeno una volta.
• Le interruzioni dei provider sono costose. Il monitoraggio indipendente mostra che i principali provider di LLM sono affidabili: un uptime di circa il 99,85-99,9% (maggio 2026) corrisponde a circa 9-13 ore di inattività all'anno. Ma quando si verificano interruzioni, il costo è elevato: due terzi di 1.125 responsabili senior dell'infrastruttura hanno stimato che un'ora di inattività dell'AI costerebbe alla propria organizzazione oltre 100.000 dollari (Cockroach Labs 2026).
• I prompt causano fughe di dati ed espongono le organizzazioni ad attacchi. La prompt injection è il principale rischio per la sicurezza degli LLM (OWASP, 2025) e i dati sensibili inviati agli strumenti AI aumentano rapidamente: i dati aziendali inviati alle app AI sono cresciuti del 93% in un anno e il solo ChatGPT ha generato 410 milioni di violazioni delle policy di prevenzione della perdita di dati (Zscaler ThreatLabz).

Ti serve un gateway AI? E come sceglierne uno?

Un gateway AI diventa essenziale quando la tua organizzazione sta scalando applicazioni di prodotto basate sull'AI, distribuendo agenti AI o consentendo a team diversi di usare più modelli AI in vari reparti.

Diversi segnali indicano che è arrivato il momento:

• Chiavi dei provider, endpoint e logica dei nuovi tentativi sono copiati o inseriti direttamente nel codice di diverse applicazioni.
• Le fatture mensili dei modelli aumentano in modo imprevedibile, oppure il reparto finanziario non riesce ad attribuire la spesa a un team o a un progetto.
• Le funzionalità rivolte ai clienti generano errori di limite di frequenza o di inattività ogni volta che un provider ha problemi.
• Le applicazioni inviano a modelli esterni prompt non ispezionati che possono contenere dati personali, codice sorgente o altre informazioni sensibili.
• Team diversi adottano provider concorrenti (OpenAI, Anthropic, Google o modelli self-hosted), ciascuno con il proprio codice di integrazione.
• Stai implementando agenti autonomi o integrazioni di strumenti MCP che effettuano chiamate in più passaggi verso sistemi interni.
• I team di sicurezza, IT o conformità non hanno una visione d'insieme di quali modelli siano in esecuzione o di chi li chiami, né sanno se gli output soddisfino i requisiti normativi.

D'altra parte, un gateway AI non è necessario quando si sviluppa un singolo prototipo, si gestisce un progetto secondario con volumi ridotti o si chiama un solo endpoint di modello con requisiti di sicurezza minimi.

Ospitare un gateway AI in proprio o acquistarne uno gestito

Quando implementi un gateway AI, puoi scegliere tra una soluzione self-hosted e una gestita.

Con una soluzione self-hosted, esegui un gateway open source come LiteLLM, Portkey o Apache APISIX sulla tua infrastruttura, che si tratti di un cloud privato, di un cluster Kubernetes o di un ambiente on-premise.

I gateway AI self-hosted sono una buona scelta quando:

• I requisiti di residenza dei dati o di conformità sono rigorosi. Il gateway, i suoi log e le sue chiavi restano all'interno di un'infrastruttura di tua proprietà.
• Hai bisogno di una personalizzazione approfondita. Il tuo team vuole plugin personalizzati, logiche di instradamento o configurazioni di chiavi e budget che vanno oltre ciò che offre un servizio gestito.
• Disponi delle risorse DevOps necessarie. Il tuo team è in grado di applicare patch, scalare e gestire il gateway e i suoi archivi di stato, come PostgreSQL, Redis o etcd.

Nelle soluzioni gestite, come Cloudflare AI Gateway, Azure API Management o Amazon Bedrock AgentCore Gateway, è il provider a eseguire il gateway come servizio.

I gateway AI completamente gestiti sono più adatti quando:

• Vuoi che sia operativo rapidamente e con poca manutenzione. Il provider si occupa di scalabilità, patch e disponibilità del servizio.
• Il tuo stack risiede in un unico cloud. Ottieni da subito la gestione nativa di identità e accessi, il logging e la sicurezza di AWS o Azure.
• Vuoi che i tuoi ingegneri si concentrino sul prodotto. Il loro tempo è dedicato allo sviluppo di funzionalità AI, non alla gestione dell'infrastruttura proxy.

Domande frequenti

Che cos'è un gateway di AI generativa?

Un gateway di AI generativa è la stessa cosa di un gateway AI; il nome mette semplicemente l'accento sul traffico verso i modelli di AI generativa. Alcuni fornitori, come AWS, usano “gateway di AI generativa” per indicare un livello di controllo che regola il modo in cui le applicazioni utilizzano i modelli linguistici di grandi dimensioni.

I due termini possono essere considerati intercambiabili.

Che cos'è l'instradamento dei modelli AI?

L'instradamento dei modelli AI è il modo in cui un gateway AI invia ogni richiesta al modello più adatto in base a costo, latenza o capacità. Consente a una singola applicazione di raggiungere molti provider tramite un unico endpoint, senza alcuna logica di instradamento integrata nell'applicazione stessa.

Qual è la differenza tra un gateway AI e un gateway MCP?

Un gateway AI regola il traffico tra le tue applicazioni e i modelli AI: prompt, token, instradamento e costi. Un gateway MCP regola quali strumenti e origini dati l'agente o il client può raggiungere tramite il Model Context Protocol.

Molti gateway AI includono la governance MCP, quindi le due funzioni convivono in un unico prodotto.

Qual è il miglior gateway AI open source?

Non esiste un gateway AI open source migliore in assoluto. Per scegliere quello giusto, confrontali in base ai provider, ai plugin e ai controlli di cui hai bisogno.

LiteLLM è un proxy molto diffuso con un'ampia copertura di provider; Kong AI Gateway è adatto ai team che usano già Kong, mentre Apache APISIX è indicato per i team che vogliono un unico gateway open source sia per il traffico API sia per quello AI.