পরিচয় করিয়ে দিচ্ছি Orchestrator: ফ্রন্টিয়ার ও ওপেন-ওয়েট মডেলের জন্য একটি API
Perplexity Orchestrator একটি API-এর মাধ্যমে একীভূত বিলিং ও ফেইলওভারসহ ফ্রন্টিয়ার ও ওপেন-ওয়েট মডেলে অ্যাক্সেস দেয়।

Perplexity মূলগতভাবেই মাল্টি-মডেল, যা মানুষকে তাদের কাজের জন্য সর্বশেষ ফ্রন্টিয়ার ও ওপেন-ওয়েট মডেল বেছে নেওয়ার স্বাধীনতা দেয়। এই মাল্টি-মডেল পদ্ধতি প্রতিটি মডেলের শক্তিকে কাজে লাগায় এবং যখন কোনো টাস্কে সবচেয়ে শক্তিশালী মডেলের প্রয়োজন হয় না, তখন খরচ কমাতে পারে। নেপথ্যে আমাদের অর্কেস্ট্রেশন প্রযুক্তি একটি কাজ সম্পন্ন করতে একাধিক মডেল ব্যবহার করতে পারে।
পারফরম্যান্স, খরচ ও নমনীয়তার মধ্যে ভারসাম্য রাখতে ব্যবসাগুলোও একই ধরনের পন্থা নিচ্ছে। প্রতিটি নতুন মডেল প্রকাশ খরচ কমানো বা মান উন্নত করার একটি সুযোগ এনে দেয়। শুধু এই বছরেই Anthropic ও OpenAI-এর মতো ল্যাবগুলো এক ডজনেরও বেশি নতুন মডেল প্রকাশ করেছে। ১০০টিরও বেশি ওপেন-ওয়েট মডেলও প্রকাশিত হয়েছে। এতে প্রতিটি ওয়ার্কলোডের জন্য টিমগুলোর হাতে আরও বিকল্প আসছে ঠিকই, কিন্তু তাদের সামলাতে হচ্ছে আরও বেশি প্রোভাইডার, চুক্তি ও ইনভয়েস।
আজ আমরা Perplexity Orchestrator API চালু করছি, যার মাধ্যমে AI অ্যাপ্লিকেশন তৈরি করা ডেভেলপার ও টিমগুলোর জন্য আমাদের মডেল-নিরপেক্ষ প্রযুক্তি উপলব্ধ হচ্ছে। একটি API-এর মাধ্যমেই টিমগুলো সহজ, বিপুল পরিমাণের কাজ কম খরচের মডেলে চালাতে পারে এবং বেশি চাহিদাসম্পন্ন কাজের জন্য আরও শক্তিশালী মডেল রেখে দিতে পারে।
Orchestrator-এর মাধ্যমে টিমগুলো পারফরম্যান্স বা আপটাইমের সঙ্গে আপস না করেই AI খরচ কমাতে ও কেন্দ্রীভূত করতে পারে এবং নতুন মডেল প্রকাশের সঙ্গে সঙ্গেই সেগুলো গ্রহণ করতে পারে। কোন ওয়ার্কলোড কোন মডেল সামলাবে, তা টিমগুলো বেছে নিতে পারে, আর নির্ভরযোগ্য ইনফারেন্স নিশ্চিত করতে Perplexity প্রোভাইডার রাউটিং ও ফেইলওভার পরিচালনা করে।
Perplexity-এর প্রোডাকশন মডেল লেয়ারের ওপর নির্মিত
Perplexity প্রতিদিন প্রোডাকশনে ওপেন-ওয়েট ও ফ্রন্টিয়ার মডেল চালায়। আমাদের মডেল লেয়ার ৮৫টিরও বেশি মডেল এবং এক ডজনেরও বেশি প্রোভাইডারজুড়ে কোটি কোটি অনুরোধ রাউট করে।
প্রোভাইডাররা ধীর হয়ে গেলে, সক্ষমতার ঘাটতিতে পড়লে বা দাম বদলালে প্রতিটি অনুরোধ দ্রুত ও সাশ্রয়ী রাখার চেয়ে একটি মডেল বেছে নেওয়া অনেক সহজ। প্রতিটি টাস্কের জন্য সবচেয়ে উপযুক্ত মডেলে ওয়ার্কলোড সরিয়ে আমরা নিজেদের সার্ভিং খরচ কমিয়েছি।
Orchestrator ডেভেলপারদের সেই পদ্ধতির পেছনের শেয়ার করা অবকাঠামোতে অ্যাক্সেস দেয়।
Orchestrator সেই ইনফারেন্স লেয়ারকে একটি API-এর মাধ্যমে উপলব্ধ করে। এতে OpenAI, Anthropic, Google ও xAI-এর মডেলের পাশাপাশি GLM, Kimi ও DeepSeek-এর মতো ওপেন-ওয়েট মডেলও রয়েছে। ওপেন-ওয়েট মডেলগুলো Perplexity নিজে বা ইনফারেন্স পার্টনারদের মাধ্যমে সার্ভ করা হয়।
Orchestrator OpenAI Chat Completions, OpenAI Responses এবং Anthropic Messages ফরম্যাট সমর্থন করে। টিমগুলো পরিচিত সফটওয়্যার ডেভেলপমেন্ট কিট (SDK) ব্যবহার চালিয়ে যেতে পারে। বেশিরভাগ টিমের ক্ষেত্রে, শুরু করতে API কী ও বেস URL হালনাগাদ করতে হয় এবং একটি উপলব্ধ মডেল নির্বাচন করতে হয়।
কোনো অতিরিক্ত প্ল্যাটফর্ম ফি ছাড়াই একীভূত বিলিং
একাধিক ল্যাব ও ইনফারেন্স প্রোভাইডারের মডেল চালাতে আলাদা আলাদা অ্যাকাউন্ট, API কী, চুক্তি, নিরাপত্তা পর্যালোচনা ও ইনভয়েসের প্রয়োজন হতে পারে। এর অর্থ এমন একটি মডেল-মিশ্রণের ভিত্তিতে আলাদা আলাদা বার্ষিক প্রতিশ্রুতিও হতে পারে, যা কয়েক সপ্তাহের মধ্যেই বদলে যেতে পারে।
Orchestrator সমর্থিত মডেলগুলোকে এক ভেন্ডর ও এক বিলের আওতায় নিয়ে আসে, ফলে প্রতিটি প্রোভাইডারের সঙ্গে আলাদা প্রতিশ্রুতি নিয়ে দর-কষাকষি না করেই টিমগুলো তাদের মডেলের মিশ্রণ বদলাতে পারে। ক্রেডিটের ওপর কোনো অতিরিক্ত প্ল্যাটফর্ম ফি নেই।
টিমগুলো API Console-এর মাধ্যমেও ব্যবহার ট্র্যাক এবং ব্যয় পরিচালনা করতে পারে:
- ব্যবহারের রিপোর্ট: মডেল, প্রজেক্ট, API কী ও তারিখ অনুযায়ী খরচের বিস্তারিত হিসাব
- API কী: প্রজেক্ট বা টিম অনুযায়ী ব্যবহার ট্র্যাক করতে আলাদা API কী
- অ্যাডমিন নিয়ন্ত্রণ: প্রতিষ্ঠানের মডেল অনুমোদন তালিকা, ব্যবহারকারীর ওপর বিধিনিষেধ, ব্যয়ের সীমা এবং সক্ষমতার অনুরোধ
বিভিন্ন প্রোভাইডার জুড়ে আরও নির্ভরযোগ্য রিকোয়েস্ট
একাধিক প্রোভাইডারের মাধ্যমে উপলব্ধ মডেলগুলো টিমকে একটি রিকোয়েস্ট সার্ভ করার একাধিক উপায় দেয়।
Orchestrator প্রতিটি প্রোভাইডারের সার্বিক অবস্থা, সক্ষমতা ও লেটেন্সি ট্র্যাক করে এবং সবচেয়ে ভালো পারফর্ম করা প্রোভাইডারগুলোর মধ্যে ট্রাফিক বণ্টন করে। কোনো রিকোয়েস্ট ব্যর্থ হলে এটি একই মডেলের অন্য কোনো ডিপ্লয়মেন্টে আবার চেষ্টা করতে পারে, ফলে টিমগুলোকে নিজেদের লজিক তৈরি করতে হয় না, ফেইলওভার এটিই সামলায়।
যেসব টিম প্রতিদিন লাখ লাখ রিকোয়েস্ট চালায়, তাদের ক্ষেত্রে রিকোয়েস্টের সাফল্যের হারে সামান্য পার্থক্যও, যেমন ৯৯.০% ও ৯৯.৯৯%-এর ব্যবধান, হাজার হাজার রেসপন্সকে প্রভাবিত করতে পারে। Orchestrator-এর সঙ্গে টিমগুলোকে নিজেদের ফেইলওভার কোড তৈরি বা রক্ষণাবেক্ষণ করতে হয় না।
Orchestrator-এ এক মাসের প্রোডাকশন ট্রাফিকে, Perplexity-এর মাধ্যমে পাঠানো Claude ও GPT রিকোয়েস্টের সাফল্যের হার পরিমাপ করা যেকোনো একক প্রোভাইডারের চেয়ে বেশি ছিল, পাশাপাশি প্রোভাইডার-সংক্রান্ত সমস্যার সময় দৈনিক ওঠানামাও কম ছিল।
প্রিভিউতে: Routes ও Auto effort
রুটের মাধ্যমে টিমগুলো সহজ ভাষায় বর্ণনা করতে পারে কোন মডেল কোন অনুরোধগুলো সামলাবে, এবং একটি ডিফল্ট মডেল নির্ধারণ করতে পারে। টিমগুলো বিল্ট-ইন Lower cost, Balanced বা Higher quality প্রোফাইল দিয়ে শুরু করতে পারে। অথবা তারা নিজস্ব কাস্টম প্রোফাইল তৈরি করতে পারে। টিমগুলো কোনো বিবরণ না দিলে বা কোনো লক্ষ্য নির্দিষ্ট না করলে ডিফল্ট মডেল অনুরোধটি সার্ভ করে।
এটিও প্রিভিউতে রয়েছে: Auto effort ডেভেলপারের নির্ধারিত নীতি অনুযায়ী একটি সমর্থিত মডেল তার পরবর্তী টার্নে কতটা রিজনিং ব্যবহার করবে তা সামঞ্জস্য করে। এর ফলে মডেল না বদলেই একটি এজেন্ট কোনো টুল ত্রুটি থেকে পুনরুদ্ধারে বেশি প্রচেষ্টা ব্যয় করতে পারে।
বুদ্ধিমান মডেল অর্কেস্ট্রেশনের মাধ্যমে শুরু করুন
বুদ্ধিমান মডেল অর্কেস্ট্রেশনের লক্ষ্যে Perplexity-এর API প্ল্যাটফর্মে Orchestrator হলো প্রথম পদক্ষেপ। আমরা কীভাবে Routes তৈরি ও মূল্যায়ন করেছি তা জানুন, যার মধ্যে রয়েছে মডেল রাউটিং সঠিকভাবে করা কেন কঠিন।
শুরু করতে API Console-এ একটি API কী তৈরি করুন, বিদ্যমান OpenAI বা Anthropic SDK-কে Orchestrator-এর বেস URL-এ নির্দেশ করুন এবং মডেল ক্যাটালগ থেকে মডেল বেছে নিন।
কুইকস্টার্ট-এ মাত্র কয়েক মিনিটে প্রথম রিকোয়েস্ট পাঠানোর পদ্ধতি দেখানো হয়েছে। বড় বা প্রতিশ্রুতিবদ্ধ ওয়ার্কলোড থাকা টিমগুলো ভলিউম প্রাইসিং ও সক্ষমতা সম্পর্কে আরও তথ্যের জন্য api@perplexity.ai-এ ইমেইল করতে পারে।