Како функционише LLM гејтвеј? Практични водич за инжењерске тимове

LLM гејтвеј се налази између ваших апликација и провајдера модела које преко њега повезујете, пружајући вам једно мјесто за управљање акредитивима и праћење коришћења.

„Тренутно је то потпуно ср**е“, написао је на Reddit-у у r/LLMDevs један инжењер у септембру 2026.

„Свако има свој сет кључева за Claude, OpenAI, AWS Bedrock и све остале провајдере инференције које користимо.“

BigGo-ов текст о llm-proxy-tk, лаганом FastAPI гејтвеју, пореди ову поставку са претварањем LLM-ова у „корпоративну воду из славине“, гдје је гејтвеј главни вентил зграде.

Али прије него што толико повјерења укажете водоводу, погледајмо шта заправо инсталирате.

Шта је LLM гејтвеј?

LLM гејтвеј је реверзни прокси за позиве моделима. Ваше апликације шаљу захтјеве њему, умјесто директно OpenAI-ју, Anthropic-у, Google-у или било ком другом провајдеру LLM-ова који користите. Гејтвеј затим шаље те захтјеве даље, успут примјењујући ваша правила.

Сваки провајдер LLM-ова има свој API: са сопственим обликом захтјева, сопственом аутентификацијом и сопственим начином враћања грешака. Сваки има и засебна ограничења учесталости захтјева и сопствене начине отказивања. Ако испред њих не постоји заједнички слој, свака апликација која позива неког провајдера ради све сама, и то сваки пут мало другачије.

Аналогија са водом из славине има своје границе, али за ово је довољно добра: провајдери се прикључују само једном, на гејтвеју. Од тада свака апликација добија сопствени прикључак са мјерачем, па видите ко шта користи и можете затворити било који појединачни вод, а да не дирате остале.

LLM, AI, MCP и API гејтвеји: у чему је разлика?

Како функционише LLM гејтвеј?

Пратимо један захтјев од ваше апликације до модела и назад.

1. Захтјев стиже до гејтвеја: Ваша апликација шаље наизглед уобичајен захтјев за ћаскање, често у формату компатибилном са OpenAI-јем, на крајњу тачку гејтвеја. Из перспективе апликације, то је адреса коју позива да би дошла до модела.
2. Гејтвеј провјерава ко пита и шта смије да ради: Прије него што пошаље захтјев даље, провјерава акредитиве. То је често виртуелни кључ издат тиму или производу. Ако сте укључили заштитне механизме за улаз, промптови се могу скенирати и у потрази за осјетљивим подацима или покушајима да се заобиђу инструкције модела.
3. Гејтвеј провјерава да ли већ има одговор: Ако је кеширање укључено, на одговарајући захтјев који испуњава услове може се одговорити сачуваним одговором, без новог позива провајдеру. Неки гејтвеји нуде и семантичко кеширање, које тражи захтјеве процијењене као довољно сличне, а не идентичне. То може одговарати саобраћају типа честих питања.
4. Гејтвеј бира куда захтјев иде: Захтјев може да наведе одређени модел или алијас. Гејтвеј у вашој конфигурацији проналази одговарајућу руту. Можете конфигурисати и резервну руту. Ако провајдеру А истекне вријеме за одговор, гејтвеј може покушати са провајдером Б.
5. Гејтвеј припрема позив и враћа одговор: Гејтвеј претвара ваш захтјев у формат изабраног провајдера и аутентификује одлазни позив. Чим прими одговор, претвара га у формат који ваша апликација захтијева.
6. Гејтвеј биљежи шта се догодило: Када је евидентирање укључено, гејтвеј биљежи детаље као што су ко је упутио позив, који модел га је обрадио, број токена, латенција и трошак. То је евиденција коју инжењер са Reddit-а из увода није имао.

4 ствари које треба да знате прије него што гејтвеј пустите у продукцију

Све из претходног одјељка могуће је зато што гејтвеј види сваки захтјев који кроз њега пролази. То је главни аргумент. Али то је истовремено и опис површине за напад и зависности од добављача које морате да узмете у обзир.

Гејтвеј је сада највреднији дио вашег AI стека

Гејтвеј централизује приступ. Самим тим, ставља и много акредитива на дохват једног сервиса. Microsoft-ов безбједносни тим наводи шта LiteLLM имплементација може да чува или преузима: API кључеве провајдера, сопствени главни кључ, записе виртуелних кључева, низове за повезивање са базом података, подешавања рутирања и политике закупаца.

У октобру 2026. Check Point Research је објавио двије ранљивости високог ризика у LiteLLM-у:

• CVE-2026-35029 је омогућавала аутентификованим корисницима, укључујући и оне са правом само за читање, да приступе административним функцијама и преузму контролу над инстанцом.
• CVE-2026-59823 је омогућавала корисницима да преусмјере захтјеве на сервер који контролишу и пресретну кључеве провајдера.

Обје су исправљене у верзији 1.83.9. Апликација која користи гејтвеј не би требало да може да мијења његова подешавања.

Вашим заштитним механизмима потребна је политика за случај отказа

Преглед компаније Pillar Security од 4. октобра 2026. документује интеграције заштитних механизама трећих страна у водећим гејтвејима, укључујући LiteLLM, Kong, TrueFoundry, Portkey, Azure API Management и Apigee. (Pillar продаје заштитне механизме, па то имајте на уму када читате његове препоруке.)

Хук је тачка на путањи захтјева, обично прије него што промпт оде моделу или након што се одговор врати, у којој гејтвеј може да преда садржај спољном скенеру на оцјену. Блокирајућа провјера чека ту оцјену прије него што пусти саобраћај даље. Portkey-јева документација их назива before_request_hooks и after_request_hooks; TrueFoundry користи четири, додајући провјере прије и након позива MCP алата.

Сада треба провјерити двије ствари:

• Шта се дешава ако откаже сам скенер? Ако блокирате захтјев, заустављате непровјерен саобраћај, али можете прекинути рад апликације. Ако га пропустите, апликација може да настави без те провјере. Евиденција отказа вам накнадно показује да провјера није обављена, што је корисно, али није исто као да је обављена.
• Можете ли замијенити скенер? Ако други провајдер није подржан, можда ћете морати да ажурирате апликацију или да за повезивање користите други прокси.

TrueFoundry-јеви MCP хукови проширују домет гејтвеја са захтјева моделима на позиве алата. Али гејтвеј може да прегледа само саобраћај који пролази кроз њега. Агент за кодирање који покреће команду на рачунару програмера може бити ван тог видокруга.

Perplexity-јев алат отвореног кода Numbat ради управо на тој страни. Numbat се повезује са подржаним агентима преко локалних хукова и може да прегледа планиране радње, попут shell команди или уписа у фајлове, прије него што се изврше. Функција блокирања је опциона и подразумијевано искључена. Гејтвеј види саобраћај ка моделима који се рутира кроз њега. Numbat додаје увид у то шта агент ради са одговором.

Морате знати гдје се завршава контрола гејтвеја

Forkast News издваја три гране развоја које гејтвеју прилазе из различитих смјерова:

• Гејтвеји фокусирани на LLM-ове: LiteLLM и Portkey су почели са позивима моделима: превођењем између провајдера, рутирањем захтјева и праћењем токена. Сада додају контроле за позиве алата.
• Платформе за управљање API-јима: Kong, Google-ов Apigee и Azure API Management почели су са аутентификацијом, дозволама и управљањем саобраћајем, а затим су додали подршку за моделе и правила специфична за AI.
• Инфраструктура изворно намијењена агентима: agentgateway је, на примјер, изграђен око агената који комуницирају са моделима, алатима и другим агентима, укључујући и комуникацију преко MCP-а и A2A-а.

Кључно питање за разврставање јесте шта рутирате:

• Само позиви моделима? Гејтвеј примарно оријентисан на LLM-ове добра је полазна тачка.
• Позиви моделима унутар предузећа које је већ препуно API правила? Почните са платформом коју већ имате.
• Агенти који позивају алате који позивају моделе? Провјерите да ли су покривене и те везе.

Уводите заједничку тачку отказа

Рецимо да ваш четбот за подршку користи OpenAI, а алат за истраживање Anthropic, и да се оба повезују преко истог гејтвеја. Ако тај гејтвеј престане да ради, оба алата губе приступ својим моделима, чак и ако OpenAI и Anthropic раде нормално.

Ово се заиста догодило. Код Cloudflare-а, стопа грешака AI Gateway-а достигла је врхунац од 97% током прекида рада 12. јуна 2025. Гејтвеј се за подешавања ослањао на Cloudflare-ов сервис за складиштење Workers KV, а тај сервис је отказивао.

Ако гејтвеј покрећете сами, држите покренуту још једну копију која може да преузме посао ако једна откаже. Ако ваш гејтвеј хостује неко други, питајте како обезбјеђују његов рад током отказа и шта се дешава са вашим захтјевима током опоравка.

Кључне функције које треба тражити код LLM гејтвеја

Гејтвеју ћете дати приступ свачијим акредитивима, па треба да будете захтјевни у погледу онога што вам он заузврат пружа.

• Један API испред више провајдера: Ваш код користи један формат, често компатибилан са OpenAI-јем, а гејтвеј преводи. Провајдери LLM-ова му излазе у сусрет. На примјер, Perplexity-јев Agent API подржава OpenAI-јев интерфејс Responses API, па тимови могу поново да користе постојеће OpenAI клијентске библиотеке.
• Виртуелни кључеви са придруженим правилима: Сваки тим или производ добија сопствени кључ, са правилима која одређују дозвољене моделе, ограничења захтјева и потрошњу.
• Рутирање и резервне опције: Гејтвеј шаље захтјеве моделима на основу ваших подешавања, која могу давати предност трошку, брзини или одређеном провајдеру. Ако позив не успије, може покушати са другим. Perplexity-јев Agent API вам омогућава да наведете до пет модела, укључујући моделе различитих провајдера, редослиједом који вам одговара.
• Кеширање: Сачувани одговор вам може уштедјети још један позив провајдеру. Неки гејтвеји препознају идентичне захтјеве, а други могу препознати и захтјеве сличног значења. Провјерите да ли кеширани одговори могу да се раздвоје по кориснику или тиму и да ли можете искључити кеширање за персонализоване или временски осјетљиве одговоре.
• Стриминг и досљедне грешке: Одговори стижу док се генеришу, а грешке провајдера се преводе у формат са којим ваша апликација може да ради. Провјерите шта се дешава када додате AI заштитне механизме.
• Евидентирање и приписивање трошкова: Гејтвеј биљежи ко је упутио позив, који модел га је обрадио, колико је токена потрошено, колико је трајао и његов процијењени трошак. Провјерите да ли евиденција садржи промптове и одговоре и колико дуго се чува.
• Хукови за заштитне механизме: То су тачке на путањи захтјева у којима гејтвеј може да пошаље садржај спољном скенеру на оцјену. Обично се налазе прије захтјева моделу или након његовог одговора. Провјерите да ли се захтјеви заустављају или настављају када скенер откаже и да ли можете повезати други скенер.
• Административни интерфејс који можете закључати: Гејтвеј управља приступом акредитивима провајдера и правилима која сви користе. Провјерите да ли можете ограничити административни приступ одвојено од саобраћаја апликација и да корисници са правом само за читање не могу мијењати подешавања. Главном вентилу треба брава.

Које алате можете користити за изградњу свог LLM гејтвеја?

Листе функција на тржишту се преклапају. У једном треду на Reddit-у о интерном приступу моделима аутор објаве је питао: који гејтвеј неће захтијевати посебног инжењера?

По нашем мишљењу, то је право питање, а има четири одговора, у зависности од тога колики дио посла сте спремни да преузмете.

Напишите га сами

Минималан гејтвеј обавља кратак списак послова: прихвата захтјеве, провјерава кључ позиваоца, додаје акредитив провајдера, шаље позив даље и евидентира резултат. Али подршка за различите формате провајдера додаје посао. Као и одржавање цијелог система у раду.

Ако већ користите Envoy, његов филтер за спољну обраду омогућава вам да повежете сервис који прегледа и мијења захтјеве и одговоре. Тај сервис ипак морате сами да изградите и одржавате.

У треду на r/LLMDevs о томе да ли гејтвеј смањује трошкове, u/QuanTradin је рекао да им је евидентирање токена и ознаке погодка у кешу при сваком позиву помогло да пронађу два задатка која су плаћала пуну цијену за идентичне промптове.

„...то што смо то поправили вриједило је више него што би вриједио било који слој за рутирање.“

То је искуство једног корисника, али и добра полазна тачка. Сазнајте за шта плаћате прије него што изградите сложене начине за рутирање.

Самостално хостујте гејтвеј отвореног кода

LiteLLM је овдје чест избор: компатибилан је са OpenAI-јем, подржава широк спектар провајдера и има велику заједницу. Bifrost је алтернатива направљена за мале додатне трошкове по захтјеву. Helicone вриједи погледати ако вам је опсервабилност на врху листе жељених функција.

LiteLLM, као и сваки производ, за неке тимове има ограничења. У треду на r/aiagents о алтернативама изградњи сопственог рјешења, u/Own_Bar_920 је рекао да је LiteLLM добро обављао рутирање, али да им није био довољан за верзионисање промптова између тимова и континуиране евалуације при замјени модела, што их је навело да пређу на засебан алат.

То превазилази основно рутирање кроз гејтвеј, и управо у томе је поента: ако је рутирање главна потреба, LiteLLM им је сасвим добро послужио.

Добијате готов скуп функција, при чему неке зависе од издања, а гејтвеј остаје унутар ваше мреже. Такође сте одговорни за закрпе, што су раније поменуте објаве компаније Check Point јасно показале, и за доступност гејтвеја, што је показао одјељак о јединственој тачки отказа.

Али у буџету предвидите некога ко ће бити одговоран за то. Једна од брига у треду на r/LLMDevs о гејтвејима за интерни приступ било је одржавање. u/Informal-Writer9685 је желио нешто што „не захтијева посебног инжењера за одржавање“ и питао је да ли је пријављена нестабилност LiteLLM-а при надоградњама стваран проблем у њиховим размјерама или брига само за продукцију.

Користите управљани гејтвеј

Cloudflare AI Gateway, Vercel AI Gateway, OpenRouter и Portkey-јев хостовани гејтвеј покрећу сервис умјесто вас. Код компатибилне апликације, за пролазак првог захтјева можда неће требати много више од промјене URL-а и API кључа.

Компромис је у томе што сада сваки промпт пролази кроз трећу страну прије него што стигне до провајдера. То је још један обрађивач података у вашој документацији о усклађености, а прекид рада самог гејтвеја је инцидент добављача и није на вама да га отклоните.

На примјер, 17. и 19. фебруара 2026. OpenRouter је имао прекиде рада у трајању од 38, односно 35 минута, након што је отказала зависност задужена за кеширање. Неки корисници су добијали грешке „User not found“ и губили вријеме на отклањање грешака код потпуно исправних API кључева. Квар је био у инфраструктури гејтвеја.

Ипак, OpenRouter-у треба одати признање: објавио је детаљну анализу инцидента и додао заштите које спрјечавају да отказ кеша преоптерети његову базу података. Управљани гејтвеј попут OpenRouter-а може да поједностави приступ, али, као што u/QuanTradin истиче на r/LLMDevs, обједињавање рачуна не смањује аутоматски потрошњу.

Проширите API гејтвеј који већ имате

Ако се Kong, Apigee или Azure API Management већ налазе испред ваших сервиса, сваки од њих има могућности специфичне за AI: Kong AI Gateway, Apigee-јеве политике за AI гејтвеј и AI гејтвеј у Azure API Management-у. Можете се ослонити на аутентификацију, мрежна правила и оперативне процедуре које већ имате и додати контроле модела преко додатака или политика.

У великој компанији ово може бити пут најмањег организационог отпора. AI функције су млађе од оних у самосталним гејтвејима. Обавезно тестирајте ограничавање учесталости захтјева засновано на токенима и стриминг кроз комплетан скуп додатака или политика које планирате да користите.

Зато свакако уградите главни вентил — тај свемоћни гејтвеј. Ипак, инжењер из увода је у праву. Приступ моделима у компанији не би требало да зависи од тога ко случајно у фиоци има прави кључ.

Гејтвеј то рјешава тако што те кључеве ставља под централну контролу, а тиме се прилично повећава ризик ако фиоку оставите отворену. Морате знати чија је то фиока.

Најчешћа питања о LLM гејтвејима

Да ли је LLM гејтвеј бесплатан?

Ако мислите на ту категорију алата, неки LLM гејтвеји имају бесплатне верзије.

Понуда LLM гејтвеја креће се од бесплатног софтвера отвореног кода до плаћених пакета чија цијена почиње од око 50 $ мјесечно, уз прилагођене цијене за имплементације у предузећима. Неки умјесто тога наплаћују проценат; на примјер, пакет Standard сервиса OpenRouter додаје 5,5% на куповину кредита.

Који LLM гејтвеј је најбољи?

Који дио посла сте спремни да преузмете на себе?

• Ако желите да га сами хостујете и контролишете конфигурацију, погледајте Bifrost или Helicone.
• Управљано рјешење, као што су OpenRouter или Vercel AI Gateway, одговара тимовима који желе да сервис води неко други.
• Ако већ користите Kong или Azure API Management, прво провјерите њихове AI могућности.

Тестирајте кандидате из ужег избора на сопственим захтјевима, укључујући и оно што се дешава када неки провајдер откаже.

Да ли AWS има LLM гејтвеј?

Да. Amazon Bedrock AgentCore Gateway подржава позиве модела преко онога што AWS назива „циљевима инференције“ (inference targets). Они омогућавају апликацијама да преко једне крајње тачке приступе провајдерима као што су Amazon Bedrock, OpenAI и Anthropic, док гејтвеј управља акредитивима провајдера и рутирањем.