Kuidas LLM-lüüs töötab? Praktiline juhend insenerimeeskondadele

LLM-lüüs asub sinu rakenduste ja selle kaudu ühendatud mudelipakkujate vahel ning pakub sulle ühtset kohta mandaatide haldamiseks ja kasutuse jälgimiseks.

„Hetkel on see paras s**t show,“ kirjutas Redditi foorumis r/LLMDevs üks insener 2026. aasta septembris.

„Igaühel on oma võtmed Claude’i, OpenAI, AWS Bedrocki ja kõigi teiste meie kasutatavate inferentsiteenuste pakkujate jaoks.“

BigGo artikkel llm-proxy-tk-st, kergest FastAPI-lüüsist, võrdleb sellist lahendust LLM-ide muutmisega „ettevõtte kraaniveeks“, kus lüüs on hoone peaventiil.

Kuid enne kui torustikku nii palju usaldama hakkad, vaatame, mida sa õigupoolest paigaldad.

Mis on LLM-lüüs?

LLM-lüüs on mudelikutsete pöördpuhverserver. Sinu rakendused saadavad päringud sellele, mitte otse OpenAI-le, Anthropicule, Google’ile või mõnele muule sinu kasutatavale LLM-pakkujale. Lüüs edastab need päringud ja rakendab nende teekonnal sinu reegleid.

Igal LLM-pakkujal on oma API: oma päringuvorming, oma autentimine ja oma viis vigadest teatada. Igaühel on ka eraldi päringupiirangud ja tõrkerežiimid. Kui nende ees puudub ühine kiht, teeb iga pakkujat kutsuv rakendus kõike ise – ja igaüks pisut erinevalt.

Kraaniveega võrdlus aitab vaid teatud piirini, kuid selle piirini küll: pakkujad ühendatakse torustikku üks kord, lüüsis. Edaspidi saab iga rakendus oma arvestiga ühenduse, nii et näed, kes mida kasutab, ja saad mis tahes üksiku liini sulgeda teisi puutumata.

LLM-, AI-, MCP- ja API-lüüsid: mis vahe neil on?

Kuidas LLM-lüüs töötab?

Jälgime üht päringut sinu rakendusest mudelini ja tagasi.

1. Päring jõuab lüüsi: Sinu rakendus saadab lüüsi lõpp-punkti tavapärase välimusega vestluspäringu, sageli OpenAI-ga ühilduvas vormingus. Rakenduse vaatenurgast on see aadress, mida ta mudelini jõudmiseks kutsub.
2. Lüüs kontrollib, kes küsib ja mida tal on lubatud teha: Enne päringu edastamist valideerib lüüs mandaadid. Sageli on selleks meeskonnale või tootele väljastatud virtuaalvõti. Kui oled seadistanud sisendi kaitsepiirded, saab viipasid kontrollida ka tundlike andmete või mudeli juhiste ülekirjutamise katsete suhtes.
3. Lüüs kontrollib, kas tal on vastus juba olemas: Kui vahemälu on lubatud, saab sobivale kattuvale päringule vastata salvestatud vastusega ilma pakkujat uuesti kutsumata. Mõned lüüsid pakuvad ka semantilist vahemälu, mis otsib päringuid, mida peetakse piisavalt sarnaseks, mitte identseks. See võib sobida KKK-tüüpi liiklusele.
4. Lüüs valib, kuhu päring suunata: Päringus võib olla nimetatud konkreetne mudel või alias. Lüüs otsib sinu konfiguratsioonist sobiva marsruudi. Saad seadistada ka varumarsruudi. Kui pakkuja A ei vasta ettenähtud aja jooksul, saab lüüs proovida pakkujat B.
5. Lüüs valmistab kutse ette ja tagastab vastuse: Lüüs teisendab sinu päringu valitud pakkuja vormingusse ja autendib väljamineva kutse. Kohe kui vastus saabub, teisendatakse see sinu rakenduse nõutud vormingusse.
6. Lüüs salvestab toimunu: Kui logimine on lubatud, salvestab lüüs üksikasjad, sealhulgas selle, kes kutse tegi, milline mudel seda teenindas, tokenite arvu, latentsuse ja kulu. Just seda logi sissejuhatuses mainitud Redditi inseneril polnudki.

4 asja, mida pead teadma enne lüüsi tootmiskeskkonda viimist

Kõik eelmises jaotises kirjeldatu on võimalik, sest lüüs näeb iga päringut, mis seda läbib. See on müügiargument. Kuid see kirjeldab ka ründepinda ja sõltuvust tarnijast, millega pead arvestama.

Lüüs on nüüd sinu AI-taristu kõige väärtuslikum komponent

Lüüs koondab juurdepääsu. Seetõttu toob see ühe teenuse käeulatusse ka palju mandaate. Microsofti turvameeskond loetleb, mida LiteLLM-i juurutus võib sisaldada või hankida: pakkujate API-võtmed, oma peavõtme, virtuaalvõtmete kirjed, andmebaasi ühendusstringid, marsruutimisseaded ja rentnike poliitikad.

2026. aasta oktoobris avalikustas Check Point Research kaks kõrge riskiga haavatavust LiteLLM-is:

• CVE-2026-35029 võimaldas autenditud kasutajatel, sealhulgas ainult lugemisõigusega kasutajatel, pääseda ligi haldusfunktsioonidele ja eksemplar üle võtta.
• CVE-2026-59823 võimaldas kasutajatel suunata päringud enda kontrollitavasse serverisse ja püüda kinni pakkujate võtmed.

Mõlemad parandati versioonis 1.83.9. Lüüsi kasutav rakendus ei tohiks saada selle seadeid muuta.

Sinu kaitsepiirded vajavad tõrkepoliitikat

Pillar Security 4. oktoobri 2026. aasta ülevaade dokumenteerib kolmandate osapoolte kaitsepiirete integratsioone suuremates lüüsides, sealhulgas LiteLLM-is, Kongis, TrueFoundrys, Portkeys, Azure API Managementis ja Apigees. (Pillar müüb kaitsepiirdeid, seega pea seda selle soovitusi lugedes meeles.)

Konks (hook) on punkt päringu teekonnal – tavaliselt enne viiba jõudmist mudelini või pärast vastuse naasmist –, kus lüüs saab anda sisu otsuse saamiseks välisele skannerile. Blokeeriv kontroll ootab otsuse ära, enne kui laseb liiklusel jätkuda. Portkey dokumentatsioon nimetab neid before_request_hooks ja after_request_hooks; TrueFoundry kasutab nelja, lisades kontrollid enne ja pärast MCP tööriistakutseid.

Nüüd tuleb kontrollida kahte asja:

• Mis juhtub, kui skanner ise tõrgub? Kui blokeerid päringu, peatad kontrollimata liikluse, kuid võid katkestada rakenduse töö. Kui lased selle läbi, saab rakendus jätkata ilma selle kontrollita. Tõrkelogi näitab sulle hiljem, et kontroll jäi tegemata – see on kasulik, kuid pole sama mis kontrolli tegelik läbiviimine.
• Kas skannerit saab välja vahetada? Kui teist pakkujat ei toetata, võid olla sunnitud rakendust uuendama või kasutama ühendamiseks muud puhverserverit.

TrueFoundry MCP-konksud laiendavad lüüsi ulatust mudelipäringutelt tööriistakutseteni. Kuid lüüs saab kontrollida ainult liiklust, mis seda läbib. Arendaja masinas käsku käivitav kodeerimisagent võib jääda sellest vaateväljast välja.

Perplexity avatud lähtekoodiga Numbat tegutseb just sellel poolel. Numbat ühendub toetatud agentidega kohalike konksude kaudu ja saab kontrollida kavandatud toiminguid, näiteks shellikäske või failikirjutusi, enne nende käivitamist. Blokeerimisfunktsioon on valikuline ja vaikimisi välja lülitatud. Lüüs näeb mudeliliiklust, mis suunatakse läbi selle. Numbat lisab nähtavuse sellele, mida agent vastusega teeb.

Pead teadma, kus lüüsi kontroll lõpeb

Forkast News eristab kolme arengusuunda, mis lähenevad lüüsile eri külgedelt:

• LLM-kesksed lüüsid: LiteLLM ja Portkey alustasid mudelikutsetest: pakkujatevaheline tõlkimine, päringute marsruutimine ja tokenite jälgimine. Nüüd lisavad nad tööriistakutsete juhtelemente.
• API-halduse platvormid: Kong, Google’i Apigee ja Azure API Management alustasid autentimise, õiguste ja liikluse haldamisega ning lisasid seejärel mudelite toe ja AI-spetsiifilised reeglid.
• Agendipõhine taristu: Näiteks agentgateway loodi agentide jaoks, mis suhtlevad mudelite, tööriistade ja teiste agentidega, sealhulgas MCP ja A2A kaudu.

Otsustav küsimus on see, mida lüüsi kaudu suunad:

• Ainult mudelikutsed? LLM-keskne lüüs on hea lähtepunkt.
• Mudelikutsed ettevõttes, kus on juba hulgaliselt API-reegleid? Alusta olemasolevast platvormist.
• Agendid kutsuvad tööriistu, mis kutsuvad mudeleid? Veendu, et ka need ühendused oleksid kaetud.

Lood ühise tõrkepunkti

Oletame, et sinu tugivestlusrobot kasutab OpenAI-d ja uurimistööriist Anthropicut – mõlemad ühenduvad sama lüüsi kaudu. Kui see lüüs lakkab töötamast, kaotavad mõlemad tööriistad juurdepääsu oma mudelitele, isegi kui OpenAI ja Anthropic töötavad tavapäraselt.

Nii on päriselt juhtunud. Cloudflare’i AI Gateway veamäär ulatus tipphetkel 97%-ni 12. juunil 2025 toimunud katkestuse ajal. Lüüs sõltus seadete osas Cloudflare’i salvestusteenusest Workers KV ja see teenus oli rivist väljas.

Kui käitad lüüsi ise, hoia töös teine koopia, mis saab tõrke korral üle võtta. Kui sinu lüüsi majutab keegi teine, küsi, kuidas nad hoiavad selle tõrgete ajal töös ja mis juhtub taastumise ajal sinu päringutega.

Peamised funktsioonid, mida LLM-lüüsis otsida

Annad lüüsile juurdepääsu kõigi mandaatidele, seega peaksid olema nõudlik selle suhtes, mida see vastu pakub.

• Üks API mitme pakkuja ees: Sinu kood kasutab üht vormingut, sageli OpenAI-ga ühilduvat, ja lüüs tõlgib. LLM-pakkujad tulevad omalt poolt vastu. Näiteks Perplexity Agent API toetab OpenAI Responses API liidest, nii et meeskonnad saavad olemasolevaid OpenAI klienditeeke uuesti kasutada.
• Virtuaalvõtmed koos reeglitega: Iga meeskond või toode saab oma võtme koos reeglitega, mis määravad lubatud mudelid, päringupiirangud ja kulutused.
• Marsruutimine ja varulahendus: Lüüs saadab päringud mudelitele sinu seadete alusel, mis võivad seada esikohale kulu, kiiruse või kindla pakkuja. Kui kutse ebaõnnestub, saab see proovida teist. Perplexity Agent API võimaldab loetleda eelistatud järjekorras kuni viis mudelit, sealhulgas eri pakkujate mudeleid.
• Vahemälu: Salvestatud vastus võib säästa sind järjekordsest pakkujakutsest. Mõned lüüsid tuvastavad identsed päringud, teised oskavad leida ka sarnase tähendusega päringuid. Kontrolli, kas vahemällu salvestatud vastuseid saab eraldada kasutaja või meeskonna kaupa ning kas saad vahemälu isikupärastatud või ajatundlike vastuste puhul välja lülitada.
• Voogedastus ja ühtsed veateated: Vastused saabuvad nende genereerimise käigus ning pakkujate vead tõlgitakse vormingusse, millega sinu rakendus toime tuleb. Kontrolli, mis juhtub, kui lisad AI-kaitsepiirded.
• Logimine ja kulude omistamine: Lüüs salvestab, kes kutse tegi, milline mudel seda teenindas, mitu tokenit kulus, kui kaua see aega võttis ja selle hinnangulise kulu. Kontrolli, kas logid sisaldavad viipasid ja vastuseid ning kui kaua neid säilitatakse.
• Kaitsepiirete konksud: Need on punktid päringu teekonnal, kus lüüs saab saata sisu otsuse saamiseks välisele skannerile. Tavaliselt asuvad need enne mudelipäringut või pärast selle vastust. Kontrolli, kas päringud peatuvad või jätkuvad, kui skanner tõrgub, ja kas saad ühendada teise skanneri.
• Haldusliides, mille saad lukustada: Lüüs haldab juurdepääsu pakkujate mandaatidele ja reeglitele, mida kõik kasutavad. Veendu, et saad haldusjuurdepääsu piirata rakenduse liiklusest eraldi ning et ainult lugemisõigusega kasutajad ei saa seadeid muuta. Peaventiil vajab lukku.

Milliste tööriistadega saad oma LLM-lüüsi ehitada?

Funktsioonide loetelud kattuvad kogu turul. Ühes Redditi lõimes mudelitele sisemise juurdepääsu teemal küsis postitaja: milline lüüs ei nõua eraldi inseneri?

Meie hinnangul on see õige küsimus ja sellele on neli vastust, olenevalt sellest, kui suure osa tööst oled valmis enda kanda võtma.

Kirjuta see ise

Minimaalne lüüs täidab lühikest ülesannete loendit: võtab päringuid vastu, kontrollib kutsuja võtit, lisab pakkuja mandaadi, edastab kutse ja logib tulemuse. Kuid eri pakkujate vormingute toetamine lisab tööd. Nagu ka kogu süsteemi töös hoidmine.

Kui kasutad juba Envoyd, võimaldab selle välise töötluse filter ühendada teenuse, mis kontrollib ja muudab päringuid ning vastuseid. Selle teenuse pead siiski ise ehitama ja käitama.

r/LLMDevs-i lõimes selle kohta, kas lüüs vähendab kulusid, ütles u/QuanTradin, et tokenite ja vahemälutabamuse lipu logimine iga kutse puhul aitas neil leida kaks tööülesannet, mis maksid identsete viipade eest täishinda.

„...selle parandamine oli väärtuslikum, kui ükski marsruutimiskiht oleks olnud.“

See on ühe kasutaja kirjeldatud kogemus ja hea lähtepunkt. Selgita välja, mille eest maksad, enne kui ehitad keerukaid viise selle marsruutimiseks.

Majuta avatud lähtekoodiga lüüsi ise

LiteLLM on siin levinud valik: see ühildub OpenAI-ga, toetab paljusid pakkujaid ja sellel on suur kogukond. Bifrost on alternatiiv, mis on loodud väikese päringupõhise lisakoormuse jaoks. Helicone tasub vaatamist, kui jälgitavus on sinu funktsioonide nimekirjas esikohal.

Nagu igal tootel, on ka LiteLLM-il mõne meeskonna jaoks piirangud. r/aiagents-i lõimes oma lahenduse ehitamise alternatiividest ütles u/Own_Bar_920, et LiteLLM sai marsruutimisega hästi hakkama, kuid jäi neile ebapiisavaks viipade versioonihalduses meeskondade vahel ja pidevates hindamistes mudeleid vahetades, mis sundis neid kasutama eraldi tööriista.

Need ulatuvad lüüsi põhilisest marsruutimisest kaugemale ja see ongi mõte: kui peamine vajadus on marsruutimine, pidas LiteLLM nende jaoks vastu.

Saad valmis funktsioonide komplekti, millest osa sõltub väljaandest, ja hoiad lüüsi oma võrgus. Samas vastutad ise paikamise eest, mida eespool kirjeldatud Check Pointi avalikustamised konkreetselt illustreerisid, ning lüüsi kättesaadavuse eest, mida näitas ühise tõrkepunkti jaotis.

Kuid arvesta eelarves sellega, et keegi peab selle eest vastutama. Üks mure r/LLMDevs-i lõimes sisemise juurdepääsu lüüside teemal oli hooldus. u/Informal-Writer9685 soovis midagi, mis „ei nõua hooldamiseks eraldi inseneri“, ja küsis, kas LiteLLM-i väidetav ebastabiilsus uuendamisel on nende mastaabis tõeline probleem või ainult tootmiskeskkonna mure.

Kasuta hallatud lüüsi

Cloudflare AI Gateway, Vercel AI Gateway, OpenRouter ja Portkey majutatud lüüs käitavad teenust sinu eest. Ühilduva rakenduse puhul võib esimese päringu läbisaatmiseks piisata vaid URL-i muutmisest ja API-võtmest.

Kompromiss seisneb selles, et iga viip läbib nüüd enne pakkujani jõudmist kolmanda osapoole. See tähendab nõuetele vastavuse dokumentides üht andmetöötlejat rohkem ning lüüsi enda katkestus on tarnija intsident – selle parandamine ei ole sinu teha.

Näiteks 17. ja 19. veebruaril 2026 esinesid OpenRouteris vastavalt 38 ja 35 minutit kestnud katkestused pärast vahemälusõltuvuse tõrget. Mõned kliendid said veateate „User not found“ ja kulutasid aega täiesti kehtivate API-võtmete silumisele. Viga oli lüüsi taristus.

Kuid OpenRouteri kiituseks olgu öeldud, et ettevõte avaldas üksikasjaliku intsidendijärgse analüüsi ja lisas kaitsemeetmed, et vahemälu tõrge ei koormaks enam selle andmebaasi üle. OpenRouteri-sugune hallatud lüüs võib juurdepääsu lihtsustada, kuid nagu u/QuanTradin r/LLMDevs-is märgib, ei vähenda arvete koondamine kulutusi automaatselt.

Laienda olemasolevat API-lüüsi

Kui sinu teenuste ees on juba Kong, Apigee või Azure API Management, on igaühel neist AI-spetsiifilised võimalused: Kong AI Gateway, Apigee AI-lüüsi poliitikad ja Azure API Managementi AI-lüüs. Saad tugineda olemasolevale autentimisele, võrgureeglitele ja töökorrale ning lisada mudelite juhtelemente pistikprogrammide või poliitikate kaudu.

Suurettevõttes võib see olla organisatsiooniliselt kõige väiksema vastupanuga tee. AI-funktsioonid on nooremad kui eraldiseisvate lüüside omad. Testi kindlasti tokenipõhist päringupiirangut ja voogedastust kogu pistikprogrammide või poliitikate komplektiga, mida plaanid kasutada.

Nii et paigaldage igal juhul peaventiil – see kõikvõimas lüüs. Sissejuhatuses mainitud inseneril on siiski omajagu õigus. Ettevõtte juurdepääs mudelitele ei tohiks sõltuda sellest, kellel juhtub sahtlis õige võti olema.

Lüüs lahendab selle probleemi, viies need võtmed keskse kontrolli alla, mis aga muudab lahti jäetud sahtli veelgi riskantsemaks. Peate teadma, kelle sahtliga on tegu.

Korduma kippuvad küsimused LLM-lüüside kohta

Kas LLM-lüüs on tasuta?

Kui peate silmas lahenduste kategooriat, siis mõnel LLM-lüüsil on tasuta versioon.

LLM-lüüside valik ulatub tasuta avatud lähtekoodiga tarkvarast tasuliste pakettideni, mille hind algab umbes 50 dollarist kuus, ning ettevõtete juurutuste puhul kehtib kokkuleppehind. Mõni teenus võtab hoopis protsendi: näiteks OpenRouteri Standard-pakett lisab krediitide ostuhinnale 5,5%.

Milline LLM-lüüs on parim?

Millise töö eest olete valmis ise vastutama?

• Kui soovite lüüsi ise majutada ja konfiguratsiooni üle kontrolli hoida, vaadake Bifrosti või Helicone'i.
• Hallatav lahendus, näiteks OpenRouter või Vercel AI Gateway, sobib meeskondadele, kes soovivad, et teenust haldaks keegi teine.
• Kui kasutate juba Kongi või Azure API Managementi, uurige kõigepealt nende tehisintellektivõimalusi.

Testige valikusse jäänud lahendusi oma päringutega ja kontrollige ka, mis juhtub, kui mõni teenusepakkuja tõrgub.

Kas AWS-il on LLM-lüüs?

Jah. Amazon Bedrock AgentCore Gateway toetab mudelikutseid selle kaudu, mida AWS nimetab „järeldussihtmärkideks“ (inference targets). Need võimaldavad rakendustel jõuda ühe lõpp-punkti kaudu eri teenusepakkujateni, nagu Amazon Bedrock, OpenAI ja Anthropic, kusjuures lüüs haldab teenusepakkujate mandaate ja marsruutimist.