Šta je AI mrežni prolaz? Vodič za rutiranje, kontrolu troškova i upravljanje saobraćajem LLM-ova i agenata

AI mrežni prolaz (AI gateway) je centralizovani proksi sloj između vaših aplikacija ili AI agenata i velikih jezičkih modela (LLM), kao i alata koje oni pozivaju. On usmerava zahteve, kontroliše troškove veštačke inteligencije, sprovodi bezbednosne mere i prati korišćenje, tako da te kontrole ne morate posebno da ugrađujete u svaku aplikaciju. To bi brzo postalo nepraktično kako vaši timovi povezuju sve više modela i uvode sve više agenata.

U nastavku saznajte šta AI mrežni prolaz radi, po čemu se razlikuje od tradicionalnog API mrežnog prolaza (kao i od LLM i MCP mrežnih prolaza), koje su njegove mogućnosti i ograničenja i kako da procenite da li vam je potreban.

Šta je AI mrežni prolaz?

AI mrežni prolaz je posrednički sloj koji usmerava svaki poziv iz vaše aplikacije ili AI agenta ka velikom jezičkom modelu (LLM).

Zahvaljujući njemu, mnogim različitim modelima možete da pristupate kao da su jedan.

Svaki dobavljač (OpenAI, Anthropic, Google, model otvorenog koda ili vaša sopstvena krajnja tačka koju sami hostujete) ima sopstveni SDK, API ključeve i format zahteva. Mrežni prolaz prihvata jedan standardni zahtev, prevodi ga u format dobavljača kog pozivate i vraća odgovor.

Modele dodajete, menjate ili povlačite izmenom konfiguracije mrežnog prolaza, a ne koda aplikacije.

A pošto svaki zahtev prolazi kroz AI mrežni prolaz, kontrole troškova, bezbednosti i evidentiranja za sve modele možete da primenite na jednom mestu.

Kako funkcioniše AI mrežni prolaz

Kada aplikaciju ili AI agenta usmerite na osnovni URL AI mrežnog prolaza, svaki zahtev prolazi kroz isti niz koraka:

• Autentifikacija i autorizacija: Mrežni prolaz proverava ključ i ulogu pozivaoca.
• Primena pravila: Sprovodi ograničenja tokena i budžete i pokreće zaštitne mere kao što je uklanjanje PII podataka.
• Usmeravanje: Bira model ili dobavljača prema ceni, latenciji ili dostupnosti, a ako prvi izbor ne radi, prebacuje zahtev na rezervni. Takođe prevodi zahtev u format ciljnog dobavljača.
• Evidentiranje: Beleži model, broj tokena, latenciju i ishod radi praćenja potrošnje na AI i otklanjanja grešaka.

Tako zahtev koji bi inače otišao direktno AI dobavljaču sada prolazi kroz mrežni prolaz, koji mu može ograničiti broj tokena, zameniti model jeftinijim ili vratiti keširani odgovor pre nego što zahtev stigne do LLM-a.

Mogućnosti AI mrežnog prolaza

AI mrežni prolaz usmerava saobraćaj ka modelima, kontroliše troškove, štiti i evidentira taj saobraćaj i određuje ko šta sme da koristi.

Uvećaj

Usmeravanje i automatsko prebacivanje na rezervu

AI mrežni prolaz bira koji AI model obrađuje svaki zahtev, na osnovu cene, latencije ili mogućnosti.

Ako izabrani dobavljač ne radi ili je dostigao ograničenje broja zahteva, mrežni prolaz automatski šalje zahtev drugom modelu.

Tako vaša aplikacija nastavlja da radi tokom prekida rada, a opterećenje možete istovremeno da raspodelite na više dobavljača.

Ograničenja i budžeti zasnovani na tokenima

AI mrežni prolaz vam omogućava da postavite ograničenja za timove, projekte ili korisnike, a mrežni prolaz odbija njihove zahteve čim dostignu dodeljeno ograničenje tokena.

Tako potrošnja ostaje u okviru budžeta i nijedan tim ili projekat ne može sam da ga potroši.

Semantičko keširanje

Semantički keš AI mrežnih prolaza čuva prethodne odgovore i povezuje nove upite sa njima prema značenju. Kada je novi upit dovoljno sličan nekom na koji je mrežni prolaz već odgovorio, on vraća sačuvani odgovor bez pozivanja modela.

Kod AI radnih opterećenja sa mnogo sličnih zahteva, to smanjuje troškove i vreme odziva.

Zaštitne mere i zaštita podataka

AI mrežni prolaz proverava svaki upit i odgovor koji kroz njega prolazi.

Uklanja lične ili osetljive podatke pre nego što zahtev stigne do dobavljača modela, smanjuje rizik od napada ubacivanjem upita (prompt injection) i filtrira sadržaj koji ne želite da šaljete ili primate.

Provere se primenjuju na svaki zahtev, pa zaštita ne zavisi od toga da li će svaka AI aplikacija to ispravno uraditi.

Opservabilnost

AI mrežni prolaz beleži svaki zahtev: koji model je pokrenut, koliko je tokena potrošeno, koliko je obrada trajala i da li je došlo do greške.

Taj zapis o svakoj AI interakciji omogućava vam da troškove pripišete određenom timu, otkrijete uzrok problema sa sporim modelom ili modelom koji ne radi ispravno i pratite korišćenje kod svih dobavljača.

Upravljanje AI-jem i kontrola pristupa

AI mrežni prolaz kontroliše pristup AI-ju u celoj organizaciji. Dodeljuje pristup modelima u skladu sa podešavanjima uloga, autentifikuje sve pozivaoce i beleži svaki poziv u dnevnik revizije, tako da možete da pregledate kako se AI koristi.

Ograničenja AI mrežnog prolaza: latencija i ono što ne radi

AI mrežni prolaz dodaje malo latencije. Osim toga, ne procenjuje kvalitet izlaza, za koji ste i dalje vi odgovorni.

Koliko latencije dodaje mrežni prolaz

AI mrežni prolaz dodaje latenciju, odnosno kašnjenje između slanja zahteva i prijema odgovora, ali je ona relativno mala kod LLM saobraćaja.

Prema nezavisnom testu performansi Broadcomovog tima VMware Cloud Foundation iz juna 2026. godine, podešeni Envoy AI Gateway dodavao je oko 2 ms po zahtevu pri do 224 istovremena korisnika, uz usmeravanje i ograničavanje broja zahteva, ali bez provere sadržaja (zaštitne mere i semantičko keširanje mogu da dodaju od nekoliko desetina do nekoliko stotina milisekundi).

AI mrežni prolaz ne kontroliše kvalitet upita ni izlaza

AI mrežni prolaz upravlja saobraćajem, a ne izlazom modela niti logikom aplikacije oko njega.

AI mrežni prolazi ne odlučuju šta će pitati model, ne pamte vaš razgovor niti gde je zadatak stao i ne izvršavaju logiku agenta korak po korak.

Takođe ne procenjuju kvalitet odgovora. Zato ne mogu da garantuju da je odgovor tačan ili bezbedan.

Zapravo, uvođenje AI mrežnih prolaza u nekim okolnostima može i da smanji kvalitet. Na primer, ako mrežni prolaz preusmeri zahtev na jeftiniji model da bi smanjio troškove, taj model može da vrati lošiji odgovor.

Zato je provera kvaliteta izlaza i dalje vaš posao.

AI mrežni prolaz naspram API mrežnog prolaza

AI mrežni prolaz i API mrežni prolaz funkcionišu slično, ali upravljaju različitim vrstama saobraćaja. API mrežni prolaz obrađuje opšte API pozive (REST ili GraphQL između vaših klijenata i pozadinskih servisa), kod kojih je svaki zahtev predvidiv. AI mrežni prolaz obrađuje pozive jezičkom modelu, koji se mere u tokenima i nose upite u slobodnoj formi.

Ovo su glavne razlike između AI mrežnih prolaza i API mrežnih prolaza:

• API mrežni prolaz usmerava zahteve ka pozadinskom servisu, dok ih AI mrežni prolaz usmerava ka LLM-ovima.
• API mrežni prolaz ograničava broj zahteva i meri propusni opseg, dok AI mrežni prolaz meri tokene. Broj zahteva nije bitan za praćenje korišćenja AI modela jer jedan poziv može da potroši nekoliko tokena ili stotine hiljada.
• API mrežni prolaz vraća keširani odgovor samo kod potpunog podudaranja, dok AI mrežni prolaz može da kešira i prema značenju i vrati sačuvani odgovor kada je novi upit dovoljno sličan nekom ranijem. Upiti su retko identični, pa biste bez toga iznova plaćali pozive modelu da biste dobili odgovore na ista pitanja.
• API mrežni prolaz samo autentifikuje pozivaoce i proverava ključeve, dok AI mrežni prolaz proverava i da li upiti sadrže osetljive podatke i skrivena uputstva. On sprečava da osetljivi podaci napuste vašu mrežu i blokira napade ubacivanjem upita.

Termini „LLM mrežni prolaz“ i „MCP mrežni prolaz“ koriste se uz „AI mrežni prolaz“, ali označavaju uže slojeve:

• LLM mrežni prolaz obrađuje sam poziv modelu (merenje tokena, usmeravanje i filtriranje upita).
• MCP mrežni prolaz određuje do kojih alata i izvora podataka agent može da dopre kada model odluči da deluje, koristeći Model Context Protocol (MCP).

U praksi se oni preklapaju. Nekoliko AI mrežnih prolaza, uključujući LiteLLM, Portkey, Azure API Management i Envoy AI Gateway, sada dodaje i upravljanje MCP-om, pa ovi termini opisuju različite slojeve kontrole.

Kako AI mrežni prolazi upravljaju AI agentima i MCP saobraćajem

AI mrežni prolaz kontroliše radnje koje AI agent može da preduzme pomoću alata i podataka do kojih dolazi putem protokola Model Context Protocol (MCP).

AI agenti rade u petljama: pozivaju model, koriste alat, vraćaju rezultat i ponovo pozivaju model dok zadatak ne bude završen. Za pristup spoljnim alatima i resursima koriste MCP, standardni protokol koji AI servisima omogućava povezivanje sa alatima trećih strana.

AI mrežni prolaz nadgleda svaki korak u tom procesu. Kontroliše i prati sav saobraćaj koji agent pokrene, određuje kojim alatima i izvorima podataka agent može da pristupi i beleži sve pozive modela i alata u dnevnik revizije.

Kako AI agenti pozivaju više alata i modela da bi završili zadatke, mrežni prolaz ima više tokena za koje treba odrediti budžet, više latencije koju treba pratiti i veću površinu napada koju treba nadzirati.

Zašto su AI mrežni prolazi važni baš sada

U anketi sprovedenoj među 8.039 viših poslovnih rukovodilaca u organizacijama sa više od 500 zaposlenih, 83% je izjavilo da planira da razvije ili uvede AI agente (Cisco AI Readiness Index 2025), a Gartner očekuje da će agenti za specifične zadatke biti prisutni u 40% poslovnih aplikacija do kraja 2026. godine, u odnosu na manje od 5% u 2025. godini.

Sve šire usvajanje agentske veštačke inteligencije pogoršava stare probleme i donosi nove, a AI mrežni prolazi pomažu da se neki od njih obuzdaju:

• Troškovi AI-ja premašuju budžete. Prema anketi DoiT/Sapio iz 2026. godine, 79% finansijskih rukovodilaca koji su u njoj učestvovali premašilo je budžet za AI u protekloj godini. Što je još gore, to često prođe neprimećeno jer mnoge kompanije nemaju pouzdan način da prate potrošnju na AI.
• Kompanije koriste više od jednog AI modela. Prema istraživanju kompanija Dataiku i Harris Poll (2026), 93% direktora informatike (CIO) u velikim preduzećima kaže da različiti modeli daju bolje rezultate u različitim slučajevima upotrebe. Takođe, 81% preduzeća očekuje da će koristiti dva ili više dobavljača modela, a 55% je već bar jednom promenilo dobavljača LLM-a.
• Prekidi rada dobavljača su skupi. Nezavisni nadzor pokazuje da su vodeći dobavljači LLM-ova pouzdani: dostupnost od oko 99,85–99,9% (maj 2026.) znači otprilike 9–13 sati prekida rada godišnje. Ali kada do prekida dođe, oni su skupi: dve trećine od 1.125 viših rukovodilaca za infrastrukturu procenilo je da bi sat vremena nedostupnosti AI-ja njihovu organizaciju koštao više od 100.000 dolara (Cockroach Labs 2026).
• Upiti dovode do curenja podataka i izlažu organizacije napadima. Ubacivanje upita (prompt injection) najveći je bezbednosni rizik za LLM-ove (OWASP, 2025), a količina osetljivih podataka koji stižu do AI alata brzo raste: podaci preduzeća poslati AI aplikacijama porasli su za 93% za godinu dana, a samo je ChatGPT izazvao 410 miliona kršenja pravila za sprečavanje gubitka podataka (Zscaler ThreatLabz).

Da li vam je potreban AI mrežni prolaz i kako da ga izaberete?

AI mrežni prolaz postaje neophodan kada vaša organizacija širi primenu AI proizvoda, uvodi AI agente ili omogućava timovima u različitim sektorima da koriste više AI modela.

Nekoliko znakova ukazuje na to da je taj trenutak stigao:

• Ključevi dobavljača, krajnje tačke i logika ponovnih pokušaja kopirani su ili fiksno upisani u kod nekoliko aplikacija.
• Mesečni računi za modele nepredvidivo skaču ili finansijski tim ne može da pripiše troškove određenom timu ili projektu.
• Funkcije namenjene korisnicima nailaze na greške zbog ograničenja broja zahteva ili prekida rada kad god neki dobavljač ima problema.
• Aplikacije šalju spoljnim modelima neproverene upite koji mogu da sadrže lične podatke, izvorni kod ili druge osetljive informacije.
• Različiti timovi usvajaju konkurentske dobavljače (OpenAI, Anthropic, Google ili modele koje sami hostuju), svaki sa sopstvenim kodom za integraciju.
• Uvodite autonomne agente ili integracije MCP alata koji upućuju višestepene pozive internim sistemima.
• Timovi za bezbednost, IT ili usklađenost nemaju uvid u to koji modeli rade, ko ih poziva i da li njihovi izlazni rezultati ispunjavaju regulatorne zahteve.

S druge strane, AI mrežni prolaz nije neophodan kada pravite jedan prototip, vodite sporedni projekat sa malim obimom saobraćaja ili pozivate samo jednu krajnju tačku modela uz minimalne bezbednosne zahteve.

Hostujte sami ili kupite upravljani AI mrežni prolaz

Kada uvodite AI mrežni prolaz, možete birati između samostalno hostovanog i upravljanog rešenja.

Kod samostalnog hostovanja pokrećete mrežni prolaz otvorenog koda, kao što su LiteLLM, Portkey ili Apache APISIX, na sopstvenoj infrastrukturi, bilo da je reč o privatnom oblaku, Kubernetes klasteru ili lokalnom okruženju.

Samostalno hostovani AI mrežni prolazi su dobar izbor kada:

• Zahtevi u vezi sa lokacijom čuvanja podataka ili usklađenošću su strogi. Mrežni prolaz, njegovi logovi i ključevi ostaju unutar infrastrukture koju posedujete.
• Potrebno vam je duboko prilagođavanje. Vaš tim želi prilagođene dodatke, logiku rutiranja ili konfiguraciju ključeva i budžeta koja prevazilazi ono što nudi upravljana usluga.
• Imate DevOps kapacitete. Vaš tim može da instalira zakrpe, skalira i održava rad mrežnog prolaza i njegovih skladišta stanja, kao što su PostgreSQL, Redis ili etcd.

Kod upravljanih rešenja, kao što su Cloudflare AI Gateway, Azure API Management ili Amazon Bedrock AgentCore Gateway, dobavljač pokreće mrežni prolaz kao uslugu.

Potpuno upravljani AI mrežni prolazi bolje odgovaraju kada:

• Želite da sve brzo proradi uz malo održavanja. Dobavljač brine o skaliranju, zakrpama i dostupnosti.
• Vaš stek je u jednom oblaku. Bez dodatnog podešavanja dobijate izvorno upravljanje identitetom i pristupom, logovanje i bezbednost iz AWS-a ili Azure-a.
• Želite da se vaši inženjeri fokusiraju na proizvod. Njihovo vreme odlazi na razvoj AI funkcija, a ne na održavanje proksi infrastrukture.

Najčešća pitanja

Šta je generativni AI mrežni prolaz?

Generativni AI mrežni prolaz je isto što i AI mrežni prolaz; naziv samo naglašava saobraćaj ka generativnim AI modelima. Neki dobavljači, poput AWS-a, koriste izraz „generativni AI mrežni prolaz“ za kontrolni sloj koji određuje kako aplikacije koriste velike jezičke modele.

Ova dva izraza možete smatrati sinonimima.

Šta je rutiranje AI modela?

Rutiranje AI modela je način na koji AI mrežni prolaz šalje svaki zahtev najprikladnijem modelu na osnovu cene, latencije ili mogućnosti. Ono omogućava jednoj aplikaciji da preko jedne krajnje tačke pristupi brojnim dobavljačima, bez ikakve logike rutiranja ugrađene u samu aplikaciju.

Koja je razlika između AI mrežnog prolaza i MCP mrežnog prolaza?

AI mrežni prolaz upravlja saobraćajem između vaših aplikacija i AI modela: promptovima, tokenima, rutiranjem i troškovima. MCP mrežni prolaz određuje do kojih alata i izvora podataka agent ili klijent može da dođe putem protokola Model Context Protocol.

Mnogi AI mrežni prolazi uključuju i upravljanje MCP pristupom, pa su obe funkcije objedinjene u jednom proizvodu.

Koji je najbolji AI mrežni prolaz otvorenog koda?

Ne postoji jedan najbolji AI mrežni prolaz otvorenog koda. Da biste izabrali pravi, uporedite ih prema dobavljačima, dodacima i kontrolama koje su vam potrebne.

LiteLLM je široko korišćen proksi sa podrškom za veliki broj dobavljača; Kong AI Gateway odgovara timovima koji već koriste Kong, dok je Apache APISIX pogodan za timove koji žele jedan mrežni prolaz otvorenog koda i za API i za AI saobraćaj.