LLM गेटवे कैसे काम करता है? इंजीनियरिंग टीमों के लिए एक व्यावहारिक गाइड

LLM गेटवे आपके ऐप्लिकेशन और उन मॉडल प्रदाताओं के बीच स्थित होता है जिनसे आप इसके ज़रिए जुड़ते हैं। इससे आपको क्रेडेंशियल्स प्रबंधित करने और उपयोग ट्रैक करने के लिए एक ही जगह मिल जाती है।

“फ़िलहाल तो सब कुछ एक भयानक गड़बड़झाला है,” एक इंजीनियर ने सितंबर 2026 में Reddit पर r/LLMDevs में लिखा।

“Claude, OpenAI, AWS Bedrock और हमारे इस्तेमाल किए जाने वाले बाकी सभी इन्फ़रेंस प्रदाताओं के लिए हर किसी के पास अपनी-अपनी कुंजियाँ हैं।”

हल्के FastAPI गेटवे llm-proxy-tk पर BigGo की रिपोर्ट इस सेटअप की तुलना LLM को “कॉर्पोरेट नल का पानी” बना देने से करती है, जिसमें गेटवे इमारत के मुख्य वाल्व की तरह है।

लेकिन इस प्लंबिंग पर इतना भरोसा करने से पहले, आइए देखें कि आप असल में क्या इंस्टॉल कर रहे हैं।

LLM गेटवे क्या है?

LLM गेटवे मॉडल कॉल के लिए एक रिवर्स प्रॉक्सी है। आपके ऐप्लिकेशन अनुरोध सीधे OpenAI, Anthropic, Google या आपके द्वारा उपयोग किए जाने वाले किसी भी LLM प्रदाता को भेजने के बजाय इसे भेजते हैं। गेटवे उन अनुरोधों को आगे भेजता है और रास्ते में आपके नियम लागू करता है।

हर LLM प्रदाता का अपना API होता है: उसके अनुरोध का अपना ढाँचा, अपना प्रमाणीकरण और त्रुटियाँ लौटाने का अपना तरीका होता है। हर एक की रेट लिमिट और विफलता के तरीके भी अलग-अलग होते हैं। अब अगर उनके आगे कोई साझा परत न हो, तो प्रदाता को कॉल करने वाला हर ऐप्लिकेशन सब कुछ खुद करता है, और थोड़े अलग ढंग से करता है।

नल के पानी वाली उपमा एक हद तक ही काम आती है, लेकिन यहाँ तक तो साथ देती है—प्रदाताओं को एक ही बार, गेटवे पर, जोड़ा जाता है। उसके बाद से हर ऐप्लिकेशन को अपना मीटर वाला कनेक्शन मिलता है, ताकि आप देख सकें कि कौन क्या इस्तेमाल कर रहा है और बाकियों को छुए बिना किसी भी एक लाइन को बंद कर सकें।

LLM, AI, MCP और API गेटवे: इनमें क्या अंतर है?

LLM गेटवे कैसे काम करता है?

आइए, आपके ऐप्लिकेशन से मॉडल तक और वापस आने वाले एक अनुरोध का सफ़र देखें।

1. अनुरोध गेटवे पर पहुँचता है: आपका ऐप्लिकेशन एक सामान्य-सा दिखने वाला चैट अनुरोध, अक्सर OpenAI-संगत फ़ॉर्मैट में, गेटवे के एंडपॉइंट पर भेजता है। ऐप्लिकेशन के नज़रिए से, मॉडल तक पहुँचने के लिए वह इसी पते को कॉल करता है।
2. गेटवे जाँचता है कि अनुरोध कौन कर रहा है और उसे क्या करने की अनुमति है: अनुरोध आगे भेजने से पहले, यह क्रेडेंशियल्स की पुष्टि करता है। अक्सर यह किसी टीम या उत्पाद को जारी की गई वर्चुअल कुंजी होती है। अगर आपने इनपुट गार्डरेल जोड़े हैं, तो प्रॉम्प्ट को संवेदनशील डेटा या मॉडल के निर्देशों को ओवरराइड करने की कोशिशों के लिए स्कैन भी किया जा सकता है।
3. गेटवे जाँचता है कि क्या उसके पास पहले से जवाब है: अगर कैशिंग सक्षम है, तो किसी योग्य मेल खाते अनुरोध का जवाब प्रदाता को दोबारा कॉल किए बिना सहेजे गए जवाब से दिया जा सकता है। कुछ गेटवे सिमेंटिक कैशिंग भी देते हैं, जो बिल्कुल एक जैसे अनुरोधों के बजाय पर्याप्त रूप से मिलते-जुलते माने गए अनुरोधों को खोजती है। यह FAQ जैसे ट्रैफ़िक के लिए उपयुक्त हो सकता है।
4. गेटवे तय करता है कि अनुरोध कहाँ जाएगा: अनुरोध में किसी खास मॉडल या उपनाम का नाम हो सकता है। गेटवे आपके कॉन्फ़िगरेशन में मेल खाता रूट खोजता है। आप एक बैकअप रूट भी कॉन्फ़िगर कर सकते हैं। अगर प्रदाता A का टाइम आउट हो जाए, तो गेटवे प्रदाता B को आज़मा सकता है।
5. गेटवे कॉल तैयार करता है और जवाब लौटाता है: गेटवे आपके अनुरोध को चुने गए प्रदाता के फ़ॉर्मैट में बदलता है और बाहर जाने वाली कॉल को प्रमाणित करता है। जवाब मिलते ही, उसे उस फ़ॉर्मैट में बदल दिया जाता है जिसकी आपके ऐप्लिकेशन को ज़रूरत है।
6. गेटवे दर्ज करता है कि क्या हुआ: लॉगिंग सक्षम होने पर गेटवे कई विवरण दर्ज करता है, जैसे कॉल किसने की, किस मॉडल ने उसे संभाला, टोकन की संख्या, लेटेंसी और लागत। यही वह लॉग है जो शुरुआत में बताए गए Reddit इंजीनियर के पास नहीं था।

गेटवे को प्रोडक्शन में लगाने से पहले जानने लायक 4 बातें

ऊपर के सेक्शन में बताई गई हर बात इसलिए संभव है क्योंकि गेटवे उससे होकर रूट होने वाले हर अनुरोध को देखता है। यही इसकी सबसे बड़ी खूबी बताई जाती है। लेकिन यही उस अटैक सरफ़ेस और विक्रेता पर निर्भरता का भी वर्णन है, जिसके लिए आपको योजना बनानी होगी।

गेटवे अब आपके AI स्टैक का सबसे कीमती हिस्सा है

गेटवे पहुँच को केंद्रीकृत करता है। इसलिए यह बहुत सारे क्रेडेंशियल्स को एक ही सेवा की पहुँच में भी ला देता है। Microsoft की सुरक्षा टीम बताती है कि किसी LiteLLM डिप्लॉयमेंट में क्या-क्या रखा या प्राप्त किया जा सकता है: प्रदाता API कुंजियाँ, उसकी अपनी मास्टर कुंजी, वर्चुअल-कुंजी रिकॉर्ड, डेटाबेस कनेक्शन स्ट्रिंग, रूटिंग सेटिंग्स और टेनेंट नीतियाँ।

अक्टूबर 2026 में, Check Point Research ने दो उच्च-जोखिम वाली कमज़ोरियों का खुलासा किया, जो LiteLLM में मौजूद थीं:

• CVE-2026-35029 के ज़रिए प्रमाणित उपयोगकर्ता, जिनमें केवल-पढ़ने की अनुमति वाले उपयोगकर्ता भी शामिल थे, प्रशासनिक फ़ंक्शन तक पहुँचकर इंस्टेंस पर कब्ज़ा कर सकते थे।
• CVE-2026-59823 के ज़रिए उपयोगकर्ता अनुरोधों को अपने नियंत्रण वाले सर्वर पर रीडायरेक्ट करके प्रदाता कुंजियाँ हासिल कर सकते थे।

दोनों को वर्शन 1.83.9 में ठीक कर दिया गया। गेटवे का उपयोग करने वाला कोई ऐप्लिकेशन उसकी सेटिंग्स बदलने में सक्षम नहीं होना चाहिए।

आपके गार्डरेल के लिए विफलता नीति ज़रूरी है

Pillar Security की 4 अक्टूबर, 2026 की एक समीक्षा LiteLLM, Kong, TrueFoundry, Portkey, Azure API Management और Apigee सहित प्रमुख गेटवे में थर्ड-पार्टी गार्डरेल इंटीग्रेशन का ब्योरा देती है। (Pillar खुद गार्डरेल बेचती है, इसलिए इसकी सिफ़ारिशें पढ़ते समय यह बात ध्यान में रखें।)

हुक अनुरोध के रास्ते में एक ऐसा बिंदु होता है, आमतौर पर प्रॉम्प्ट के मॉडल तक जाने से पहले या जवाब वापस आने के बाद, जहाँ गेटवे सामग्री को फ़ैसले के लिए किसी बाहरी स्कैनर को सौंप सकता है। ब्लॉकिंग जाँच ट्रैफ़िक को आगे बढ़ने देने से पहले उस फ़ैसले का इंतज़ार करती है। Portkey का दस्तावेज़ीकरण इन्हें before_request_hooks और after_request_hooks कहता है; TrueFoundry चार हुक चलाता है, जिनमें MCP टूल कॉल से पहले और बाद की जाँचें भी जोड़ी गई हैं।

अब, दो बातें जाँचनी हैं:

• अगर स्कैनर खुद विफल हो जाए तो क्या होगा? अनुरोध को ब्लॉक करने पर आप बिना जाँचे ट्रैफ़िक को रोक देते हैं, लेकिन इससे आपके ऐप्लिकेशन में रुकावट आ सकती है। उसे जाने दें, तो आपका ऐप्लिकेशन उस जाँच के बिना चलता रह सकता है। विफलता लॉग आपको बाद में दिखा देता है कि जाँच नहीं हुई थी, जो उपयोगी है, लेकिन जाँच चलाने के बराबर नहीं।
• क्या आप स्कैनर बदल सकते हैं? अगर किसी दूसरे प्रदाता का समर्थन नहीं है, तो उससे जुड़ने के लिए आपको अपना ऐप्लिकेशन अपडेट करना पड़ सकता है या किसी दूसरे प्रॉक्सी का उपयोग करना पड़ सकता है।

TrueFoundry के MCP हुक गेटवे की पहुँच को मॉडल अनुरोधों से आगे बढ़ाकर टूल कॉल तक ले जाते हैं। लेकिन गेटवे केवल उसी ट्रैफ़िक की जाँच कर सकता है जो उससे होकर गुज़रता है। किसी डेवलपर की मशीन पर कमांड चलाने वाला कोडिंग एजेंट उसकी नज़र से बाहर हो सकता है।

Perplexity का ओपन-सोर्स Numbat उसी पक्ष पर काम करता है। Numbat लोकल हुक के ज़रिए समर्थित एजेंट से जुड़ता है और नियोजित कार्रवाइयों, जैसे शेल कमांड चलाना या फ़ाइलों में लिखना, को उनके चलने से पहले जाँच सकता है। ब्लॉकिंग सुविधा वैकल्पिक है और डिफ़ॉल्ट रूप से बंद रहती है। गेटवे उस मॉडल ट्रैफ़िक को देखता है जो उससे होकर रूट होता है। Numbat यह दृश्यता जोड़ता है कि एजेंट जवाब के साथ क्या करता है।

आपको जानना होगा कि गेटवे का नियंत्रण कहाँ खत्म होता है

Forkast News अलग-अलग दिशाओं से गेटवे की ओर बढ़ रही तीन धाराओं की पहचान करता है:

• LLM-केंद्रित गेटवे: LiteLLM और Portkey की शुरुआत मॉडल कॉल से हुई: प्रदाताओं के बीच अनुवाद करना, अनुरोधों को रूट करना और टोकन ट्रैक करना। अब वे टूल कॉल के लिए नियंत्रण जोड़ रहे हैं।
• API प्रबंधन प्लेटफ़ॉर्म: Kong, Google का Apigee और Azure API Management की शुरुआत प्रमाणीकरण, अनुमतियों और ट्रैफ़िक प्रबंधन से हुई, फिर उन्होंने मॉडल और AI-विशिष्ट नियमों के लिए समर्थन जोड़ा।
• एजेंट-नेटिव इन्फ़्रास्ट्रक्चर: उदाहरण के लिए, agentgateway को मॉडल, टूल और दूसरे एजेंट के साथ एजेंट के संवाद को ध्यान में रखकर बनाया गया था, जिसमें MCP और A2A के ज़रिए होने वाला संवाद भी शामिल है।

चुनाव इस सवाल पर टिका है कि आप क्या रूट कर रहे हैं:

• सिर्फ़ मॉडल कॉल? LLM-फ़र्स्ट गेटवे से शुरुआत करना अच्छा रहेगा।
• ऐसे एंटरप्राइज़ में मॉडल कॉल, जहाँ पहले से ही ढेरों API नियम हैं? अपने मौजूदा प्लेटफ़ॉर्म से शुरुआत करें।
• एजेंट टूल को कॉल करते हैं और टूल मॉडल को? जाँच लें कि वे कनेक्शन भी कवर हों।

आप विफलता का एक साझा बिंदु बना देते हैं

मान लीजिए आपका सपोर्ट चैटबॉट OpenAI का उपयोग करता है और आपका शोध टूल Anthropic का—दोनों एक ही गेटवे के ज़रिए जुड़ते हैं। लेकिन अगर वह गेटवे काम करना बंद कर दे, तो दोनों टूल अपने मॉडल तक पहुँच खो देते हैं, भले ही OpenAI और Anthropic सामान्य रूप से चल रहे हों।

ऐसा वाकई हो चुका है। 12 जून, 2025 के आउटेज के दौरान Cloudflare के AI Gateway की त्रुटि दर 97% के शिखर पर पहुँच गई थी। यह गेटवे सेटिंग्स के लिए Cloudflare की Workers KV स्टोरेज सेवा पर निर्भर था, और वह सेवा विफल हो रही थी।

अगर आप गेटवे खुद चलाते हैं, तो उसकी एक और कॉपी चालू रखें जो एक के विफल होने पर काम सँभाल सके। अगर आपका गेटवे कोई और होस्ट करता है, तो पूछें कि विफलताओं के दौरान वे इसे कैसे चालू रखते हैं और रिकवरी के दौरान आपके अनुरोधों का क्या होता है।

LLM गेटवे में देखने लायक मुख्य सुविधाएँ

आप गेटवे को सबके क्रेडेंशियल्स तक पहुँच देने जा रहे हैं, इसलिए बदले में यह क्या करता है, इसे लेकर आपको सख़्त अपेक्षाएँ रखनी चाहिए।

• कई प्रदाताओं के आगे एक API: आपका कोड एक ही फ़ॉर्मैट में बात करता है, अक्सर OpenAI-संगत फ़ॉर्मैट में, और गेटवे उसका अनुवाद करता है। LLM प्रदाता भी अपनी ओर से इसमें साथ देते हैं। उदाहरण के लिए, Perplexity का Agent API OpenAI के Responses API इंटरफ़ेस का समर्थन करता है, ताकि टीमें मौजूदा OpenAI क्लाइंट लाइब्रेरी का दोबारा उपयोग कर सकें।
• नियमों से जुड़ी वर्चुअल कुंजियाँ: हर टीम या उत्पाद को अपनी कुंजी मिलती है, जिसके साथ अनुमत मॉडल, अनुरोध सीमाओं और खर्च को नियंत्रित करने वाले नियम होते हैं।
• रूटिंग और फ़ॉलबैक: गेटवे आपकी सेटिंग्स के आधार पर अनुरोधों को मॉडल तक भेजता है, जो लागत, गति या किसी खास प्रदाता को प्राथमिकता दे सकती हैं। अगर कोई कॉल विफल हो जाए, तो यह दूसरा विकल्प आज़मा सकता है। Perplexity का Agent API आपको अपनी पसंद के क्रम में अधिकतम पाँच मॉडल सूचीबद्ध करने देता है, जिनमें अलग-अलग प्रदाताओं के मॉडल भी शामिल हो सकते हैं।
• कैशिंग: सहेजा गया जवाब आपको प्रदाता की एक और कॉल से बचा सकता है। कुछ गेटवे बिल्कुल एक जैसे अनुरोधों का मिलान करते हैं; अन्य मिलते-जुलते अर्थ वाले अनुरोधों का भी मिलान कर सकते हैं। जाँचें कि क्या कैश किए गए जवाबों को उपयोगकर्ता या टीम के हिसाब से अलग रखा जा सकता है, और क्या आप व्यक्तिगत या समय-संवेदनशील जवाबों के लिए कैशिंग बंद कर सकते हैं।
• स्ट्रीमिंग और एक जैसी त्रुटियाँ: जवाब जनरेट होते ही पहुँचते हैं, और प्रदाता की त्रुटियों को ऐसे फ़ॉर्मैट में बदल दिया जाता है जिसे आपका ऐप्लिकेशन संभाल सके। जाँचें कि AI गार्डरेल जोड़ने पर क्या होता है।
• लॉगिंग और लागत का आवंटन: गेटवे दर्ज करता है कि कॉल किसने की, किस मॉडल ने उसे संभाला, उसमें कितने टोकन लगे, कितना समय लगा और उसकी अनुमानित लागत क्या रही। जाँचें कि क्या लॉग में प्रॉम्प्ट और जवाब शामिल होते हैं और उन्हें कितने समय तक रखा जाता है।
• गार्डरेल हुक: ये अनुरोध के रास्ते में ऐसे बिंदु हैं जहाँ गेटवे फ़ैसले के लिए सामग्री किसी बाहरी स्कैनर को भेज सकता है। ये आमतौर पर मॉडल अनुरोध से पहले या उसके जवाब के बाद होते हैं। जाँचें कि स्कैनर विफल होने पर अनुरोध रुकते हैं या जारी रहते हैं, और क्या आप कोई दूसरा स्कैनर जोड़ सकते हैं।
• ऐसा एडमिन इंटरफ़ेस जिसे आप लॉक कर सकें: गेटवे प्रदाता क्रेडेंशियल्स और सबके द्वारा उपयोग किए जाने वाले नियमों तक पहुँच प्रबंधित करता है। जाँचें कि आप एडमिन पहुँच को ऐप्लिकेशन ट्रैफ़िक से अलग प्रतिबंधित कर सकते हैं और केवल-पढ़ने की अनुमति वाले उपयोगकर्ता सेटिंग्स नहीं बदल सकते। मुख्य वाल्व पर ताला ज़रूरी है।

अपना LLM गेटवे बनाने के लिए आप किन टूल का उपयोग कर सकते हैं?

बाज़ार में सुविधाओं की सूचियाँ एक-दूसरे से काफ़ी मिलती-जुलती हैं। आंतरिक मॉडल एक्सेस पर Reddit के एक थ्रेड में, पोस्ट करने वाले ने पूछा: किस गेटवे के लिए समर्पित इंजीनियर की ज़रूरत नहीं होगी?

हमारी राय में यही सही सवाल है, और इसके चार जवाब हैं, जो इस पर निर्भर करते हैं कि आप कितना काम खुद सँभालने को तैयार हैं।

इसे खुद लिखें

एक न्यूनतम गेटवे कुछ ही काम सँभालता है—अनुरोध स्वीकार करना, कॉल करने वाले की कुंजी जाँचना, प्रदाता का क्रेडेंशियल जोड़ना, कॉल आगे भेजना और नतीजे को लॉग करना। लेकिन अलग-अलग प्रदाता फ़ॉर्मैट का समर्थन करने से काम बढ़ जाता है। पूरे सिस्टम को चालू रखने से भी।

अगर आप पहले से Envoy चलाते हैं, तो इसका एक्सटर्नल-प्रोसेसिंग फ़िल्टर आपको एक ऐसी सेवा जोड़ने देता है जो अनुरोधों और जवाबों की जाँच करती है और उन्हें बदलती है। फिर भी उस सेवा को बनाना और चलाना आपको ही होगा।

गेटवे से लागत घटती है या नहीं, इस पर r/LLMDevs के एक थ्रेड में, u/QuanTradin ने बताया कि हर कॉल पर टोकन और कैश-हिट फ़्लैग लॉग करने से उन्हें ऐसे दो जॉब पकड़ने में मदद मिली जो बिल्कुल एक जैसे प्रॉम्प्ट के लिए पूरी कीमत चुका रहे थे।

“...उसे ठीक करना किसी भी रूटिंग लेयर से ज़्यादा फ़ायदेमंद रहा।”

यह एक व्यक्ति का बताया हुआ अनुभव है, और शुरुआत के लिए एक अच्छी जगह है। रूटिंग के जटिल तरीके बनाने से पहले पता लगाएँ कि आप असल में किस चीज़ के लिए भुगतान कर रहे हैं।

ओपन-सोर्स गेटवे को खुद होस्ट करें

LiteLLM यहाँ एक आम विकल्प है: यह OpenAI-संगत है, कई तरह के प्रदाताओं का समर्थन करता है और इसका समुदाय बड़ा है। Bifrost एक विकल्प है, जिसे प्रति-अनुरोध कम ओवरहेड के लिए बनाया गया है। अगर आपकी सुविधा-सूची में ऑब्ज़र्वेबिलिटी सबसे ऊपर है, तो Helicone देखने लायक है।

किसी भी उत्पाद की तरह, LiteLLM की भी कुछ टीमों के लिए सीमाएँ हैं। खुद बनाने के विकल्पों पर r/aiagents के एक थ्रेड में, u/Own_Bar_920 ने बताया कि LiteLLM ने रूटिंग तो ठीक से सँभाली, लेकिन टीमों के बीच प्रॉम्प्ट वर्शनिंग और मॉडल बदलते समय लगातार इवैल्यूएशन के मामले में यह उनकी ज़रूरतें पूरी नहीं कर पाया, जिससे उन्हें एक अलग टूल अपनाना पड़ा।

ये ज़रूरतें बुनियादी गेटवे रूटिंग से आगे की हैं, और असली बात यही है—अगर मुख्य ज़रूरत रूटिंग है, तो LiteLLM उनके लिए खरा उतरा।

आपको सुविधाओं की एक तैयार सूची मिलती है, जिनमें से कुछ सुविधाएँ एडिशन पर निर्भर करती हैं, और गेटवे आपके नेटवर्क के भीतर रहता है। पैचिंग की ज़िम्मेदारी भी आपकी होती है, जिसे पहले बताए गए Check Point के खुलासों ने ठोस रूप से दिखाया, और गेटवे की उपलब्धता की भी, जिसे विफलता के एकल बिंदु वाले सेक्शन ने दिखाया।

लेकिन बजट में किसी ऐसे व्यक्ति को शामिल करें जो इसकी ज़िम्मेदारी ले। आंतरिक एक्सेस के लिए गेटवे पर r/LLMDevs के एक थ्रेड में एक चिंता रखरखाव को लेकर थी। u/Informal-Writer9685 ऐसा कुछ चाहते थे जिसके “रखरखाव के लिए किसी समर्पित इंजीनियर की ज़रूरत न हो” और उन्होंने पूछा कि LiteLLM के अपग्रेड में बताई गई अस्थिरता उनके स्तर पर एक असली समस्या है या केवल प्रोडक्शन से जुड़ी चिंता।

प्रबंधित गेटवे का उपयोग करें

Cloudflare AI Gateway, Vercel AI Gateway, OpenRouter और Portkey का होस्टेड गेटवे आपके लिए सेवा चलाते हैं। किसी संगत ऐप्लिकेशन के लिए, पहला अनुरोध भेजने में एक URL बदलने और एक API कुंजी से कुछ ही ज़्यादा लग सकता है।

यहाँ समझौता यह है कि अब हर प्रॉम्प्ट प्रदाता तक पहुँचने से पहले किसी तीसरे पक्ष से होकर गुज़रता है। यानी आपके अनुपालन दस्तावेज़ों में एक और डेटा प्रोसेसर जुड़ जाता है, और गेटवे का अपना आउटेज विक्रेता की घटना होती है—इसे ठीक करना आपके हाथ में नहीं होता।

उदाहरण के लिए, 17 और 19 फ़रवरी, 2026 को, एक कैशिंग डिपेंडेंसी के विफल होने के बाद OpenRouter में क्रमशः 38 और 35 मिनट के आउटेज हुए। कुछ ग्राहकों को “User not found” त्रुटियाँ मिलीं और उन्होंने पूरी तरह वैध API कुंजियों को डीबग करने में समय गँवाया। गड़बड़ी गेटवे के इन्फ़्रास्ट्रक्चर में थी।

लेकिन OpenRouter की तारीफ़ करनी होगी कि उसने एक विस्तृत पोस्टमॉर्टम प्रकाशित किया और ऐसी सुरक्षा व्यवस्थाएँ जोड़ीं जो कैश विफल होने पर उसके डेटाबेस को ओवरलोड होने से रोकें। OpenRouter जैसा प्रबंधित गेटवे एक्सेस को आसान बना सकता है, लेकिन जैसा कि u/QuanTradin r/LLMDevs पर बताते हैं, बिलों को एक जगह लाने से खर्च अपने-आप कम नहीं हो जाता।

पहले से मौजूद अपने API गेटवे का विस्तार करें

अगर Kong, Apigee या Azure API Management पहले से आपकी सेवाओं के आगे है, तो हरेक में AI-विशिष्ट क्षमताएँ मौजूद हैं: Kong AI Gateway, Apigee की AI गेटवे नीतियाँ और Azure API Management का AI गेटवे। आप अपने मौजूदा प्रमाणीकरण, नेटवर्क नियमों और संचालन प्रक्रियाओं को आधार बनाकर आगे बढ़ सकते हैं, और प्लगइन या नीतियों के ज़रिए मॉडल नियंत्रण जोड़ सकते हैं।

किसी बड़ी कंपनी में यह संगठन के भीतर सबसे कम प्रतिरोध वाला रास्ता हो सकता है। ये AI सुविधाएँ स्टैंडअलोन गेटवे की सुविधाओं की तुलना में नई हैं। जिन प्लगइन या नीतियों का आप उपयोग करना चाहते हैं, उनके पूरे सेट के साथ टोकन-आधारित रेट लिमिटिंग और स्ट्रीमिंग का परीक्षण ज़रूर करें।

तो बेशक, मास्टर वाल्व—यानी सर्वशक्तिमान गेटवे—लगाइए। फिर भी, शुरुआत में ज़िक्र किए गए इंजीनियर की बात में दम है। किसी कंपनी का मॉडल एक्सेस इस पर निर्भर नहीं होना चाहिए कि संयोग से किसकी दराज़ में सही चाबी रखी है।

गेटवे इन चाबियों को केंद्रीय नियंत्रण में रखकर यह समस्या हल करता है, लेकिन इससे दराज़ खुली छोड़ देने का जोखिम कहीं ज़्यादा बढ़ जाता है। आपको पता होना चाहिए कि वह दराज़ किसकी है।

LLM गेटवे से जुड़े अक्सर पूछे जाने वाले सवाल

क्या LLM गेटवे मुफ़्त है?

अगर आपका मतलब इस श्रेणी से है, तो कुछ LLM गेटवे के मुफ़्त वर्शन उपलब्ध हैं।

LLM गेटवे मुफ़्त ओपन-सोर्स सॉफ़्टवेयर से लेकर लगभग $50 प्रति माह से शुरू होने वाले पेड प्लान तक उपलब्ध हैं, और एंटरप्राइज़ डिप्लॉयमेंट के लिए कस्टम प्राइसिंग होती है। कुछ इसके बजाय प्रतिशत के हिसाब से शुल्क लेते हैं; उदाहरण के लिए, OpenRouter का Standard प्लान क्रेडिट्स की खरीद पर 5.5% जोड़ता है।

सबसे अच्छा LLM गेटवे कौन-सा है?

आप कौन-सा काम ख़ुद संभालने के लिए तैयार हैं?

• अगर आप सेल्फ़-होस्ट करना और कॉन्फ़िगरेशन पर ख़ुद नियंत्रण रखना चाहते हैं, तो Bifrost या Helicone पर नज़र डालें।
• OpenRouter या Vercel AI Gateway जैसा मैनेज्ड विकल्प उन टीमों के लिए सही है जो चाहती हैं कि सेवा कोई और चलाए।
• अगर आप पहले से Kong या Azure API Management इस्तेमाल करते हैं, तो सबसे पहले उनकी AI क्षमताएँ जाँचें।

अपनी शॉर्टलिस्ट को अपने ख़ुद के अनुरोधों से टेस्ट करें, जिसमें यह भी शामिल हो कि किसी प्रोवाइडर के फ़ेल होने पर क्या होता है।

क्या AWS के पास LLM गेटवे है?

हाँ। Amazon Bedrock AgentCore Gateway उस सुविधा के ज़रिए मॉडल कॉल सपोर्ट करता है जिसे AWS “inference targets” कहता है। इनकी मदद से ऐप्लिकेशन एक ही एंडपॉइंट से Amazon Bedrock, OpenAI और Anthropic समेत कई प्रोवाइडर तक पहुँच सकते हैं, जबकि प्रोवाइडर क्रेडेंशियल और रूटिंग का काम गेटवे संभालता है।