AI গেটওয়ে কী? LLM ও এজেন্ট ট্রাফিকের রাউটিং, খরচ নিয়ন্ত্রণ এবং গভর্ন্যান্সের একটি গাইড

এআই গেটওয়ে হলো আপনার অ্যাপ্লিকেশন বা এআই এজেন্ট এবং সেগুলো যেসব লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) ও টুল কল করে, তাদের মাঝখানে থাকা একটি কেন্দ্রীভূত প্রক্সি স্তর। এটি অনুরোধ রাউট করে, এআই-এর খরচ নিয়ন্ত্রণ করে, নিরাপত্তা নিশ্চিত করে এবং ব্যবহার পর্যবেক্ষণ করে, ফলে প্রতিটি অ্যাপ্লিকেশনে এসব নিয়ন্ত্রণ আলাদাভাবে তৈরি করতে হয় না। আপনার টিমগুলো যত বেশি মডেল যুক্ত করবে এবং যত বেশি এজেন্ট ডিপ্লয় করবে, আলাদাভাবে তৈরি করার কাজটি তত দ্রুত অবাস্তব হয়ে উঠবে।

এই লেখায় থাকছে এআই গেটওয়ে কী করে, এটি প্রচলিত API গেটওয়ে থেকে (এবং LLM ও MCP গেটওয়ে থেকে) কীভাবে আলাদা, এর সক্ষমতা ও সীমাবদ্ধতা কী, আর আপনার এটি প্রয়োজন কি না তা কীভাবে বুঝবেন।

এআই গেটওয়ে কী?

এআই গেটওয়ে হলো একটি মধ্যবর্তী স্তর, যা আপনার অ্যাপ্লিকেশন বা এআই এজেন্ট থেকে লার্জ ল্যাঙ্গুয়েজ মডেলে (LLM) যাওয়া প্রতিটি কল রাউট করে।

এর ফলে আপনি অনেকগুলো ভিন্ন মডেল এমনভাবে ব্যবহার করতে পারেন, যেন সেগুলো একটিই মডেল।

প্রতিটি প্রোভাইডারের (OpenAI, Anthropic, Google, কোনো ওপেন-সোর্স মডেল, কিংবা আপনার নিজস্ব সেলফ-হোস্টেড এন্ডপয়েন্ট) নিজস্ব SDK, API কী এবং অনুরোধের ফরম্যাট থাকে। গেটওয়ে একটি স্ট্যান্ডার্ড অনুরোধ গ্রহণ করে, আপনি যে প্রোভাইডারকে কল করছেন তার উপযোগী করে সেটি রূপান্তর করে এবং রেসপন্স ফেরত দেয়।

অ্যাপ্লিকেশনের কোড নয়, বরং গেটওয়ের কনফিগারেশন পরিবর্তন করেই আপনি মডেল যোগ, বদল বা বাতিল করতে পারেন।

আর যেহেতু প্রতিটি অনুরোধ এআই গেটওয়ের মধ্য দিয়ে যায়, তাই আপনি এক জায়গা থেকেই প্রতিটি মডেলের জন্য খরচ, নিরাপত্তা ও লগিং নিয়ন্ত্রণ প্রয়োগ করতে পারেন।

এআই গেটওয়ে কীভাবে কাজ করে

আপনার অ্যাপ্লিকেশন বা এআই এজেন্টকে এআই গেটওয়ের বেস URL ব্যবহার করার জন্য কনফিগার করলে প্রতিটি অনুরোধ একই ধাপক্রমে এগোয়:

• প্রমাণীকরণ ও অনুমোদন: গেটওয়ে কলারের API কী ও রোল যাচাই করে।
• পলিসি প্রয়োগ: এটি টোকেন সীমা ও বাজেট কার্যকর করে এবং PII রিড্যাকশনের মতো গার্ডরেল চালায়।
• রাউটিং: এটি খরচ, লেটেন্সি বা প্রাপ্যতার ভিত্তিতে মডেল বা প্রোভাইডার বেছে নেয়, আর প্রথমটি অচল থাকলে ব্যাকআপে ফেইলওভার করে। এটি অনুরোধটিকে লক্ষ্য প্রোভাইডারের ফরম্যাটেও রূপান্তর করে।
• লগ: এআই-এর খরচ ট্র্যাকিং ও ডিবাগিংয়ের জন্য এটি মডেল, টোকেনের সংখ্যা, লেটেন্সি এবং ফলাফল রেকর্ড করে।

ফলে যে অনুরোধ সরাসরি কোনো এআই প্রোভাইডারের কাছে যেত, তা এখন গেটওয়ের মধ্য দিয়ে যায়; LLM-এ পৌঁছানোর আগেই গেটওয়ে এর টোকেন সীমিত করতে, সস্তা কোনো মডেলে বদলে দিতে বা ক্যাশে থাকা উত্তর ফেরত দিতে পারে।

এআই গেটওয়ের সক্ষমতা

এআই গেটওয়ে মডেল ট্রাফিক রাউট করে, খরচ নিয়ন্ত্রণ করে, ট্রাফিক সুরক্ষিত রাখে ও লগ করে, এবং কে কী ব্যবহার করতে পারবে তা নিয়ন্ত্রণ করে।

বড় করুন

রাউটিং ও ফেইলওভার

খরচ, লেটেন্সি বা সক্ষমতার ভিত্তিতে এআই গেটওয়ে ঠিক করে কোন এআই মডেল প্রতিটি অনুরোধ সামলাবে।

বেছে নেওয়া প্রোভাইডার বন্ধ থাকলে বা রেট লিমিটে আটকে গেলে গেটওয়ে স্বয়ংক্রিয়ভাবে অনুরোধটি অন্য কোনো মডেলে পাঠিয়ে দেয়।

ফলে বিভ্রাটের সময়ও আপনার অ্যাপ্লিকেশন চালু থাকে, আর আপনি একসঙ্গে একাধিক প্রোভাইডারের মধ্যে লোড ভাগ করে দিতে পারেন।

টোকেনভিত্তিক রেট লিমিট ও বাজেট

এআই গেটওয়েতে আপনি টিম, প্রজেক্ট বা ব্যবহারকারীভিত্তিক সীমা নির্ধারণ করতে পারেন, আর বরাদ্দকৃত টোকেন সীমায় পৌঁছানোর পর গেটওয়ে অনুরোধ প্রত্যাখ্যান করে।

ফলে খরচ বাজেটের মধ্যেই থাকে, এবং কোনো একক টিম বা প্রজেক্ট একাই পুরো বাজেট শেষ করে ফেলতে পারে না।

সিমান্টিক ক্যাশিং

এআই গেটওয়ের সিমান্টিক ক্যাশ আগের উত্তরগুলো সংরক্ষণ করে এবং অর্থের ভিত্তিতে নতুন প্রম্পট মেলায়। গেটওয়ে আগে উত্তর দিয়েছে এমন কোনো প্রম্পটের সঙ্গে নতুন প্রম্পট যথেষ্ট কাছাকাছি হলে, মডেলকে কল না করেই এটি সংরক্ষিত রেসপন্স ফেরত দেয়।

একই ধরনের অনেক অনুরোধ থাকা এআই ওয়ার্কলোডে এটি খরচ ও রেসপন্সের সময় কমায়।

গার্ডরেল ও ডেটা সুরক্ষা

এআই গেটওয়ে নিজের মধ্য দিয়ে যাওয়া প্রতিটি প্রম্পট ও রেসপন্স পরীক্ষা করে।

অনুরোধটি মডেল প্রোভাইডারের কাছে পৌঁছানোর আগেই এটি ব্যক্তিগত বা সংবেদনশীল ডেটা সরিয়ে ফেলে, প্রম্পট ইনজেকশনের ঝুঁকি কমায় এবং আপনি যে কনটেন্ট পাঠাতে বা পেতে চান না তা ফিল্টার করে।

এই যাচাইগুলো প্রতিটি অনুরোধে প্রযোজ্য হয়, তাই সুরক্ষা প্রতিটি এআই অ্যাপ্লিকেশনের নিজে থেকে সঠিকভাবে কাজটি করার ওপর নির্ভর করে না।

অবজারভেবিলিটি

এআই গেটওয়ে প্রতিটি অনুরোধ রেকর্ড করে: কোন মডেল চলেছে, কত টোকেন ব্যবহার হয়েছে, কত সময় লেগেছে এবং অনুরোধটি ব্যর্থ হয়েছে কি না।

প্রতিটি এআই ইন্টার‍্যাকশনের এই রেকর্ডের মাধ্যমে আপনি খরচকে নির্দিষ্ট টিমের নামে চিহ্নিত করতে, ধীর বা ব্যর্থ মডেল ডিবাগ করতে এবং সব প্রোভাইডারের ব্যবহার দেখতে পারেন।

এআই গভর্ন্যান্স ও অ্যাক্সেস নিয়ন্ত্রণ

এআই গেটওয়ে আপনার পুরো প্রতিষ্ঠানে এআই-এর অ্যাক্সেস নিয়ন্ত্রণ করে। এটি আপনার রোল সেটিংস অনুযায়ী মডেলে অ্যাক্সেস দেয়, সব কলারের প্রমাণীকরণ করে এবং প্রতিটি কল একটি অডিট লগে রেকর্ড করে, যাতে আপনি এআই-এর ব্যবহার পর্যালোচনা করতে পারেন।

এআই গেটওয়ের সীমাবদ্ধতা: লেটেন্সি এবং এটি যা করে না

এআই গেটওয়ে সামান্য কিছু লেটেন্সি যোগ করে। আর এটি আউটপুটের মান যাচাই করে না, সেই দায়িত্ব আপনারই থেকে যায়।

গেটওয়ে কতটা লেটেন্সি যোগ করে

এআই গেটওয়ে লেটেন্সি, অর্থাৎ অনুরোধ পাঠানো ও রেসপন্স ফিরে পাওয়ার মধ্যবর্তী বিলম্ব, যোগ করে, তবে LLM ট্রাফিকের ক্ষেত্রে তা তুলনামূলকভাবে কম।

২০২৬ সালের জুনের Broadcom-এর VMware Cloud Foundation টিমের একটি স্বাধীন বেঞ্চমার্কে দেখা গেছে, রাউটিং ও রেট লিমিটিং চালু রেখে, তবে কনটেন্ট পরীক্ষা ছাড়া, টিউন করা একটি Envoy AI Gateway একযোগে সর্বোচ্চ ২২৪ জন ব্যবহারকারী পর্যন্ত প্রতি অনুরোধে প্রায় ২ মিলিসেকেন্ড লেটেন্সি যোগ করেছে (গার্ডরেল ও সিমান্টিক ক্যাশিং কয়েক দশ থেকে কয়েকশো মিলিসেকেন্ড পর্যন্ত যোগ করতে পারে)।

এআই গেটওয়ে প্রম্পট বা আউটপুটের মান নিয়ন্ত্রণ করে না

এআই গেটওয়ে ট্রাফিক নিয়ন্ত্রণ করে, মডেলের আউটপুট বা এর চারপাশের অ্যাপ্লিকেশন লজিক নয়।

মডেলকে কী জিজ্ঞাসা করা হবে, এআই গেটওয়ে তা ঠিক করে না; আপনার কথোপকথন বা কোনো কাজ কোথায় থেমে ছিল তা মনে রাখে না; কিংবা এজেন্টের ধাপে ধাপে চলা লজিকও চালায় না।

আর এগুলো উত্তরের মানও যাচাই করে না। তাই কোনো উত্তর সঠিক বা নিরাপদ হবে, এমন নিশ্চয়তা এগুলো দিতে পারে না।

আসলে কিছু ক্ষেত্রে এআই গেটওয়ে চালু করলে মান কমেও যেতে পারে। যেমন, খরচ বাঁচাতে গেটওয়ে যদি কোনো অনুরোধ সস্তা মডেলে রাউট করে, সেই মডেল তুলনামূলক খারাপ উত্তর দিতে পারে।

তাই আউটপুটের মান যাচাই করার দায়িত্ব এখনো আপনারই।

এআই গেটওয়ে বনাম API গেটওয়ে

এআই গেটওয়ে ও API গেটওয়ে একই ধরনের পদ্ধতিতে কাজ করে, তবে ভিন্ন ধরনের ট্রাফিক নিয়ন্ত্রণ করে। API গেটওয়ে সাধারণ API কল (আপনার ক্লায়েন্ট ও ব্যাকএন্ড সার্ভিসের মধ্যে REST বা GraphQL) সামলায়, যেখানে প্রতিটি অনুরোধ অনুমানযোগ্য। এআই গেটওয়ে ল্যাঙ্গুয়েজ মডেলে যাওয়া কল সামলায়, যা টোকেনে পরিমাপ করা হয় এবং যাতে থাকে মুক্তভাবে লেখা প্রম্পট।

এআই গেটওয়ে ও API গেটওয়ের মধ্যে প্রধান পার্থক্যগুলো হলো:

• API গেটওয়ে অনুরোধ ব্যাকএন্ড সার্ভিসে রাউট করে, আর এআই গেটওয়ে সেগুলো LLM-এ রাউট করে।
• API গেটওয়ে আপনি কতগুলো অনুরোধ করছেন তা সীমিত করে এবং ব্যান্ডউইথ পরিমাপ করে, অন্যদিকে এআই গেটওয়ে টোকেন মাপে। এআই মডেলের ব্যবহার ট্র্যাকিংয়ে টুল অনুরোধের সংখ্যা অপ্রাসঙ্গিক, কারণ একটি কলেই কয়েকটি টোকেন থেকে শুরু করে কয়েক লাখ টোকেন পর্যন্ত খরচ হতে পারে।
• API গেটওয়ে কেবল হুবহু মিল পেলেই ক্যাশে থাকা রেসপন্স দেয়, অথচ এআই গেটওয়ে অর্থের ভিত্তিতেও ক্যাশ করতে পারে এবং নতুন প্রম্পট আগের কোনো প্রম্পটের যথেষ্ট কাছাকাছি হলে সংরক্ষিত উত্তর ফেরত দিতে পারে। প্রম্পট খুব কমই হুবহু এক হয়, তাই এই সুবিধা না থাকলে একই প্রশ্নের উত্তরের জন্য আপনাকে বারবার মডেল কলের খরচ দিতে হতো।
• API গেটওয়ে কেবল কলারদের প্রমাণীকরণ করে এবং API কী যাচাই করে, অথচ এআই গেটওয়ে সংবেদনশীল ডেটা ও লুকানো নির্দেশনার জন্য প্রম্পটও পরীক্ষা করে। এটি সংবেদনশীল ডেটা আপনার নেটওয়ার্কের বাইরে যাওয়া থেকে আটকায় এবং প্রম্পট ইনজেকশন ব্লক করে।

“এআই গেটওয়ে”-এর পাশাপাশি “LLM গেটওয়ে” ও “MCP গেটওয়ে” শব্দগুলোও ব্যবহৃত হয়, তবে এগুলো আরও সংকীর্ণ স্তর বোঝায়:

• LLM গেটওয়ে খোদ মডেল কলটি সামলায় (টোকেন মিটারিং, রাউটিং এবং প্রম্পট ফিল্টারিং)।
• MCP গেটওয়ে Model Context Protocol (MCP) ব্যবহার করে নিয়ন্ত্রণ করে, মডেল কোনো পদক্ষেপ নেওয়ার সিদ্ধান্ত নেওয়ার পর এজেন্ট কোন কোন টুল ও ডেটা সোর্সে পৌঁছাতে পারবে।

বাস্তবে এগুলোর পরিধি একে অপরের সঙ্গে মিশে যায়। LiteLLM, Portkey, Azure API Management এবং Envoy AI Gateway-সহ বেশ কয়েকটি এআই গেটওয়ে এখন MCP গভর্ন্যান্সও যুক্ত করছে, তাই এই শব্দগুলো মূলত নিয়ন্ত্রণের ভিন্ন ভিন্ন স্তর বোঝায়।

এআই গেটওয়ে কীভাবে এআই এজেন্ট ও MCP ট্রাফিক পরিচালনা করে

Model Context Protocol (MCP)-এর মাধ্যমে এআই এজেন্ট যেসব টুল ও ডেটায় পৌঁছায়, সেগুলো দিয়ে এজেন্ট কী কী কাজ করতে পারবে, তা এআই গেটওয়ে নিয়ন্ত্রণ করে।

এআই এজেন্ট লুপে কাজ করে: মডেলকে কল করে, একটি টুল ব্যবহার করে, ফলাফলটি আবার মডেলে পাঠায় এবং কাজ শেষ না হওয়া পর্যন্ত আবার কল করে। বাহ্যিক টুল ও রিসোর্স অ্যাক্সেস করতে এরা MCP ব্যবহার করে, যা একটি স্ট্যান্ডার্ড প্রোটোকল এবং এর মাধ্যমে এআই সার্ভিস থার্ড-পার্টি টুলের সঙ্গে সংযুক্ত হতে পারে।

এআই গেটওয়ে এই প্রক্রিয়ার প্রতিটি ধাপ পর্যবেক্ষণ করে। এজেন্টের শুরু করা সব ট্রাফিক এটি নিয়ন্ত্রণ ও পর্যবেক্ষণ করে, এজেন্ট কোন কোন টুল ও ডেটা সোর্সে অ্যাক্সেস পাবে তা অনুমোদন করে, এবং সব মডেল ও টুল কল একটি অডিট লগে রেকর্ড করে।

কাজ সম্পন্ন করতে এআই এজেন্ট যত বেশি টুল ও মডেল কল করে, গেটওয়েকে তত বেশি টোকেনের বাজেট সামলাতে, তত বেশি লেটেন্সি ট্র্যাক করতে এবং তত বড় নিরাপত্তা-ঝুঁকির পরিসর তদারক করতে হয়।

এখন কেন এআই গেটওয়ে গুরুত্বপূর্ণ

৫০০ জনের বেশি কর্মী আছে এমন প্রতিষ্ঠানের ৮,০৩৯ জন সিনিয়র ব্যবসায়িক নেতার ওপর করা এক জরিপে ৮৩% জানিয়েছেন, তাঁরা এআই এজেন্ট তৈরি বা ডিপ্লয় করার পরিকল্পনা করছেন (Cisco AI Readiness Index 2025), আর Gartner আশা করছে, নির্দিষ্ট কাজের জন্য তৈরি এজেন্ট ২০২৬ সালের শেষ নাগাদ ৪০% এন্টারপ্রাইজ অ্যাপ্লিকেশনে থাকবে, যা ২০২৫ সালে ছিল ৫%-এরও কম।

এজেন্টিক এআই-এর ক্রমবর্ধমান ব্যবহার পুরোনো সমস্যাগুলোকে আরও তীব্র করছে এবং নতুন সমস্যাও তৈরি করছে, যার কিছু নিয়ন্ত্রণে রাখতে এআই গেটওয়ে সাহায্য করে:

• এআই-এর খরচ সীমা ছাড়িয়ে যায়। DoiT/Sapio 2026 জরিপে অংশ নেওয়া ফাইন্যান্স প্রধানদের ৭৯% গত বছর তাঁদের এআই বাজেট ছাড়িয়ে গেছেন। আরও খারাপ বিষয় হলো, অনেক সময় এটি নজরেই আসে না, কারণ অনেক প্রতিষ্ঠানের কাছে এআই-এর খরচ ট্র্যাক করার নির্ভরযোগ্য উপায় নেই।
• প্রতিষ্ঠানগুলো একাধিক এআই মডেল ব্যবহার করে। Dataiku ও Harris Poll (২০২৬)-এর জরিপে অংশ নেওয়া এন্টারপ্রাইজ CIO-দের ৯৩% বলেছেন, ভিন্ন ভিন্ন ব্যবহারের ক্ষেত্রে ভিন্ন ভিন্ন মডেল ভালো পারফর্ম করে। ৮১% এন্টারপ্রাইজ দুই বা ততোধিক মডেল প্রোভাইডার ব্যবহারের প্রত্যাশা করছে, আর ৫৫% অন্তত একবার LLM প্রোভাইডার বদলেছে।
• প্রোভাইডারের বিভ্রাট ব্যয়বহুল। স্বাধীন পর্যবেক্ষণে দেখা গেছে, শীর্ষস্থানীয় LLM প্রোভাইডাররা নির্ভরযোগ্য: প্রায় ৯৯.৮৫–৯৯.৯% আপটাইম (মে ২০২৬) মানে বছরে মোটামুটি ৯–১৩ ঘণ্টা ডাউনটাইম। কিন্তু বিভ্রাট ঘটলে তা ব্যয়বহুল হয়: ১,১২৫ জন সিনিয়র ইনফ্রাস্ট্রাকচার প্রধানের দুই-তৃতীয়াংশ ধারণা করেছেন, এক ঘণ্টার এআই ডাউনটাইমে তাঁদের প্রতিষ্ঠানের ১ লাখ ডলারের বেশি ক্ষতি হবে (Cockroach Labs 2026)।
• প্রম্পট থেকে ডেটা ফাঁস হয় এবং প্রতিষ্ঠান হামলার ঝুঁকিতে পড়ে। প্রম্পট ইনজেকশন হলো LLM-এর শীর্ষ নিরাপত্তা ঝুঁকি (OWASP, ২০২৫), আর এআই টুলে যাওয়া সংবেদনশীল ডেটার পরিমাণ দ্রুত বাড়ছে: এআই অ্যাপে পাঠানো এন্টারপ্রাইজ ডেটা এক বছরে ৯৩% বেড়েছে, এবং শুধু ChatGPT-এর ক্ষেত্রেই ৪১ কোটি ডেটা লস প্রিভেনশন নীতিলঙ্ঘনের ঘটনা ঘটেছে (Zscaler ThreatLabz)।

আপনার কি এআই গেটওয়ে দরকার, আর কীভাবে একটি বেছে নেবেন?

আপনার প্রতিষ্ঠান যখন এআই প্রোডাক্ট অ্যাপ্লিকেশনের পরিসর বাড়াচ্ছে, এআই এজেন্ট ডিপ্লয় করছে, কিংবা বিভিন্ন বিভাগের ভিন্ন ভিন্ন টিমকে একাধিক এআই মডেল ব্যবহারের সুযোগ দিচ্ছে, তখন এআই গেটওয়ে অপরিহার্য হয়ে ওঠে।

কয়েকটি লক্ষণ দেখে বুঝবেন যে সেই সময় এসে গেছে:

• প্রোভাইডারের API কী, এন্ডপয়েন্ট এবং রিট্রাই লজিক একাধিক অ্যাপ্লিকেশনের কোডবেসে কপি বা হার্ডকোড করা আছে।
• মাসিক মডেল বিল অপ্রত্যাশিতভাবে বেড়ে যায়, কিংবা ফাইন্যান্স টিম খরচকে কোনো টিম বা প্রজেক্টের নামে চিহ্নিত করতে পারে না।
• কোনো একটি প্রোভাইডার সমস্যায় পড়লেই গ্রাহকমুখী ফিচারগুলোতে রেট লিমিট বা ডাউনটাইম ত্রুটি দেখা দেয়।
• অ্যাপ্লিকেশনগুলো যাচাই না করা প্রম্পট বাহ্যিক মডেলে পাঠায়, যেগুলোতে ব্যক্তিগত ডেটা, সোর্স কোড বা অন্যান্য সংবেদনশীল তথ্য থাকতে পারে।
• বিভিন্ন টিম প্রতিদ্বন্দ্বী প্রোভাইডার (OpenAI, Anthropic, Google বা সেলফ-হোস্টেড মডেল) বেছে নেয়, যার প্রতিটির জন্য আলাদা ইন্টিগ্রেশন কোড থাকে।
• আপনি এমন স্বায়ত্তশাসিত এজেন্ট বা MCP টুল ইন্টিগ্রেশন ডিপ্লয় করছেন, যেগুলো অভ্যন্তরীণ সিস্টেমে একাধিক ধাপে কল করে।
• কোন মডেলগুলো চলছে, কারা সেগুলো কল করছে, কিংবা আউটপুটগুলো নিয়ন্ত্রক শর্ত পূরণ করছে কি না—সে বিষয়ে নিরাপত্তা, আইটি বা কমপ্লায়েন্স টিমের কোনো সামগ্রিক ধারণা নেই।

অন্যদিকে, একটিমাত্র প্রোটোটাইপ তৈরি করা, কম ভলিউমের কোনো সাইড প্রজেক্ট চালানো, কিংবা ন্যূনতম নিরাপত্তা চাহিদাসহ শুধু একটি মডেল এন্ডপয়েন্ট কল করার ক্ষেত্রে AI গেটওয়ের প্রয়োজন নেই।

সেলফ-হোস্ট করবেন, নাকি ম্যানেজড AI গেটওয়ে কিনবেন

AI গেটওয়ে ডিপ্লয় করার সময় আপনি সেলফ-হোস্টেড বা ম্যানেজড—এই দুই ধরনের সমাধানের মধ্যে যেকোনো একটি বেছে নিতে পারেন।

সেলফ-হোস্টেড পদ্ধতিতে আপনি LiteLLM, Portkey বা Apache APISIX-এর মতো একটি ওপেন-সোর্স গেটওয়ে নিজের অবকাঠামোতে চালান—সেটি প্রাইভেট ক্লাউড, Kubernetes ক্লাস্টার বা অন-প্রিমিসেস, যা-ই হোক না কেন।

সেলফ-হোস্টেড AI গেটওয়ে ভালো বিকল্প, যখন:

• ডেটা রেসিডেন্সি বা কমপ্লায়েন্সের শর্ত কঠোর। গেটওয়ে, এর লগ এবং কী—সবই আপনার নিজের মালিকানাধীন অবকাঠামোর ভেতরে থাকে।
• আপনার গভীর কাস্টমাইজেশন প্রয়োজন। ম্যানেজড সার্ভিস যা দেয় তার বাইরে গিয়ে আপনার টিম কাস্টম প্লাগইন, রাউটিং লজিক, কিংবা কী ও বাজেট কনফিগারেশন চায়।
• আপনার DevOps সক্ষমতা আছে। আপনার টিম গেটওয়ে এবং এর স্টেট স্টোর—যেমন PostgreSQL, Redis বা etcd—প্যাচ, স্কেল ও পরিচালনা করতে পারে।

Cloudflare AI Gateway, Azure API Management বা Amazon Bedrock AgentCore Gateway-এর মতো ম্যানেজড সমাধানে প্রোভাইডার নিজেই গেটওয়েটিকে একটি সার্ভিস হিসেবে চালায়।

সম্পূর্ণ ম্যানেজড AI গেটওয়ে বেশি উপযুক্ত, যখন:

• আপনি কম রক্ষণাবেক্ষণে দ্রুত এটি চালু করতে চান। স্কেলিং, প্যাচিং ও আপটাইম প্রোভাইডারই সামলায়।
• আপনার স্ট্যাক একটিমাত্র ক্লাউডে রয়েছে। AWS বা Azure থেকে আলাদা কোনো সেটআপ ছাড়াই আপনি নেটিভ আইডেন্টিটি ও অ্যাক্সেস ম্যানেজমেন্ট, লগিং এবং নিরাপত্তা সুবিধা পান।
• আপনি চান আপনার ইঞ্জিনিয়াররা প্রোডাক্টে মনোযোগ দিক। তাঁদের সময় প্রক্সি অবকাঠামো পরিচালনায় নয়, AI ফিচার তৈরিতে ব্যয় হয়।

সচরাচর জিজ্ঞাসিত প্রশ্নাবলি

জেনারেটিভ AI গেটওয়ে কী?

জেনারেটিভ AI গেটওয়ে আর AI গেটওয়ে একই জিনিস; নামটি শুধু জেনারেটিভ AI মডেলগুলোতে যাওয়া ট্রাফিকের ওপর জোর দেয়। AWS-এর মতো কিছু ভেন্ডর “জেনারেটিভ AI গেটওয়ে” বলতে এমন একটি কন্ট্রোল লেয়ার বোঝায়, যা অ্যাপ্লিকেশনগুলো কীভাবে লার্জ ল্যাঙ্গুয়েজ মডেল ব্যবহার করবে তা নিয়ন্ত্রণ করে।

আপনি শব্দ দুটিকে সমার্থক হিসেবে ব্যবহার করতে পারেন।

AI মডেল রাউটিং কী?

AI মডেল রাউটিং হলো সেই প্রক্রিয়া, যার মাধ্যমে AI গেটওয়ে খরচ, লেটেন্সি বা সক্ষমতার ভিত্তিতে প্রতিটি অনুরোধ সবচেয়ে উপযুক্ত মডেলে পাঠায়। এর ফলে অ্যাপ্লিকেশনের ভেতরে কোনো রাউটিং লজিক তৈরি না করেই একটি অ্যাপ্লিকেশন একটিমাত্র এন্ডপয়েন্টের মাধ্যমে অনেক প্রোভাইডারের কাছে পৌঁছাতে পারে।

AI গেটওয়ে আর MCP গেটওয়ের মধ্যে পার্থক্য কী?

AI গেটওয়ে আপনার অ্যাপ্লিকেশন ও AI মডেলগুলোর মধ্যকার ট্রাফিক নিয়ন্ত্রণ করে: প্রম্পট, টোকেন, রাউটিং এবং খরচ। অন্যদিকে MCP গেটওয়ে নিয়ন্ত্রণ করে, Model Context Protocol-এর মাধ্যমে এজেন্ট বা ক্লায়েন্ট কোন কোন টুল ও ডেটা সোর্সে পৌঁছাতে পারবে।

অনেক AI গেটওয়েতে MCP গভর্ন্যান্স অন্তর্ভুক্ত থাকে, ফলে দুটিই একই প্রোডাক্টে পাওয়া যায়।

সেরা ওপেন-সোর্স AI গেটওয়ে কোনটি?

কোনো একক সেরা ওপেন-সোর্স AI গেটওয়ে নেই। সঠিকটি বেছে নিতে আপনার প্রয়োজনীয় প্রোভাইডার, প্লাগইন ও নিয়ন্ত্রণ সুবিধার ভিত্তিতে এগুলোর তুলনা করুন।

LiteLLM বহুল ব্যবহৃত একটি প্রক্সি, যা বিস্তৃত পরিসরের প্রোভাইডার সাপোর্ট করে; যেসব টিম আগে থেকেই Kong ব্যবহার করে তাদের জন্য Kong AI Gateway উপযুক্ত, আর যেসব টিম API ও AI—উভয় ট্রাফিকের জন্য একটিমাত্র ওপেন-সোর্স গেটওয়ে চায় তাদের জন্য Apache APISIX মানানসই।