Orchestrator: নির্ভরযোগ্য ইনফারেন্সের জন্য একটি API

একীভূত বিলিং এবং একই মডেলে স্বয়ংক্রিয় ফেইলওভারসহ একটি API-এর মাধ্যমে ওপেন-ওয়েট ও প্রোপ্রাইটারি AI মডেলের সঙ্গে সংযুক্ত হোন।

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator ওপেন-ওয়েট ও প্রোপ্রাইটারি মডেলগুলোকে একীভূত বিলিংসহ একটি API-তে নিয়ে আসে। এটি প্রাপ্যতা, সক্ষমতা ও ল্যাটেন্সির ভিত্তিতে স্বয়ংক্রিয়ভাবে একটি প্রোভাইডার বেছে নেয় এবং ব্যর্থ অনুরোধগুলো একই মডেলের অন্য কোনো উপলব্ধ ডিপ্লয়মেন্টে পুনরায় চেষ্টা করতে পারে।

ওপেন-ওয়েট ও প্রোপ্রাইটারি মডেলের জন্য একটিই ইন্টিগ্রেশন

Orchestrator অন্যান্য প্রোভাইডারের প্রোপ্রাইটারি মডেলের পাশাপাশি Perplexity-এর ইনফারেন্স অবকাঠামোতে হোস্ট করা ওপেন-ওয়েট মডেলগুলোও পরিবেশন করে। বর্তমান ক্যাটালগে উপলব্ধ মডেলগুলোর তালিকা রয়েছে।

এটি OpenAI Chat Completions, OpenAI Responses এবং Anthropic Messages অনুরোধ গ্রহণ করে, তাই আপনি আপনার বিদ্যমান OpenAI বা Anthropic SDK-এর মাধ্যমে সংযুক্ত হতে পারেন।

কুইকস্টার্ট ও রাউটিং গাইডে SDK-এর উদাহরণ এবং বর্তমান রাউটিং আচরণ সম্পর্কে বিস্তারিত রয়েছে।

বিভিন্ন প্রোভাইডারজুড়ে নির্ভরযোগ্যতা ও গতি

নির্ভরযোগ্যতা

Claude বেছে নেওয়া মানেই একটি মাত্র প্রোভাইডারের ওপর নির্ভর করা নয়: Anthropic-এ ব্যর্থ হওয়া একটি অনুরোধ AWS Bedrock-এ তবুও সফল হতে পারে। প্রোভাইডার ফেইলওভারের মাধ্যমে মডেল না বদলেই অনুরোধ পরিবেশনকারী ডিপ্লয়মেন্ট পরিবর্তন করা যায়।

Orchestrator পর্যবেক্ষিত স্বাস্থ্য ও সক্ষমতার ভিত্তিতে একটি মডেলের ডিপ্লয়মেন্টগুলোর মধ্যে অনুরোধ বণ্টন করে। কোনো প্রোভাইডার ত্রুটি ফেরত দিলে, রেট লিমিটে পৌঁছালে বা টাইম আউট হলে Orchestrator সেই মডেলের অন্য একটি ডিপ্লয়মেন্টে পুনরায় চেষ্টা করে, যেখানে প্রতিটি প্রচেষ্টার জন্য প্রথম টোকেন পর্যন্ত সময় ও মোট সময়কালের সীমা থাকে।

৪ অক্টোবর থেকে ২ নভেম্বর, ২০২৬ পর্যন্ত পরিমাপে দেখা গেছে, Perplexity-এর মাধ্যমে পাঠানো Claude ও GPT অনুরোধগুলো আমাদের পরিমাপ করা যেকোনো একক প্রোভাইডারে পাঠানো অনুরোধের চেয়ে বেশিবার সফল হয়েছে। প্রোভাইডার-সংক্রান্ত বিভ্রাটের সময়ও এগুলোর দৈনিক সফলতার হার কম ওঠানামা করেছে।

অনুরোধ সফলতার হার, ৪ অক্টোবর থেকে ২ নভেম্বর, ২০২৬: বাঁয়ে Claude; ডানে OpenAI ও Azure উভয়ের মাধ্যমে উপলব্ধ GPT মডেলগুলো।
একই সময়কালে দৈনিক অনুরোধ সফলতার হার: বাঁয়ে Claude এবং ডানে GPT।

Orchestrator উপলব্ধ সব ডিপ্লয়মেন্ট শেষ করে ফেললে অথবা সার্ভিং লেয়ার ত্রুটি ফেরত দিলে আমরা অনুরোধটিকে ব্যর্থ হিসেবে গণ্য করেছি, তবে অবৈধ অনুরোধ ও ক্লায়েন্ট রেট-লিমিট লঙ্ঘনের মতো ক্লায়েন্ট-পক্ষের ত্রুটিগুলো বাদ দিয়েছি।

আউটপুটের গতি

আমরা মডেলের গতি বিবেচনায় নেয় এমন অ্যাডাপ্টিভ রাউটিং নিয়ে কাজ করছি, যাতে পারফরম্যান্স বদলানোর সঙ্গে সঙ্গে Orchestrator প্রোভাইডার নির্বাচন সামঞ্জস্য করতে পারে।

যেকোনো মডেলের জন্য দ্রুততম প্রোভাইডার সময়ের সঙ্গে বদলায়। Claude Opus 5.5-এর ক্ষেত্রে ৩০ দিনের মধ্যে ১৫ দিন Anthropic এগিয়ে ছিল, আর বাকি ১৫ দিন এগিয়ে ছিল AWS Bedrock।

প্রোভাইডার ও দিন অনুযায়ী Claude Opus 5.5-এর মধ্যমা আউটপুট গতি, ৪ অক্টোবর থেকে ২ নভেম্বর, ২০২৬। হাইলাইট করা লাইনটি প্রতিদিনের দ্রুততর প্রোভাইডারকে অনুসরণ করে, যা লাইভ গতি-সচেতন রাউটিংয়ের লক্ষ্যকে তুলে ধরে।

একই ৩০ দিনে GPT-5.6 Sol-এর জন্য Azure-এর মধ্যমা আউটপুট গতি OpenAI-এর চেয়ে ২৭% বেশি ছিল।

প্রথম টোকেনের পর GPT-5.6 Sol-এর মধ্যমা আউটপুট গতি, ৪ অক্টোবর থেকে ২ নভেম্বর, ২০২৬।

সব মডেলের জন্য একটিই বিল

প্রতিটি অনুরোধ কেবল উত্তর প্রদানকারী মডেলের টোকেন ব্যবহারের হিসাবে গণ্য হয়। কোন প্রোভাইডার অনুরোধটি পরিবেশন করছে তা নির্বিশেষে Orchestrator প্রতিটি মডেলের প্রকাশিত প্রতি-টোকেন রেট চার্জ করে, তাই প্রোভাইডার ফেইলওভারে সেই রেট বদলায় না। ব্যবহারের খরচ আপনার Perplexity API প্রজেক্টের বাকি অংশের মতো একই প্রিপেইড ক্রেডিট থেকে কাটা হয়।

API Console-এ আপনি মডেল অনুযায়ী ব্যয় দেখতে এবং API কী অনুযায়ী ব্যবহার ফিল্টার করতে পারেন। এ ছাড়া AWS Marketplace-এর মাধ্যমেও ক্রেডিট কিনতে পারেন।

স্বয়ংক্রিয় রাউটিং (প্রিভিউ): প্রতিটি টাস্কের জন্য সঠিক মডেল বেছে নিন

Orchestrator স্বয়ংক্রিয় রাউটিং সুবিধা দেয়, যা প্রিভিউতে উপলব্ধ একটি ঐচ্ছিক ফিচার। এটি এমন একটি প্রোফাইল ব্যবহার করে প্রতিটি অনুরোধের জন্য একটি মডেল নির্বাচন করে, যেখানে সহজ ভাষায় লেখা টাস্কের বিবরণের সঙ্গে মডেলগুলো জোড়া থাকে। আপনি নিজের প্রোফাইল তৈরি করতে পারেন অথবা Orchestrator-এর বিল্ট-ইন ডিফল্ট প্রোফাইল ব্যবহার করতে পারেন।

স্বয়ংক্রিয় রাউটিং অনুরোধে মডেল হিসেবে perplexity/auto ব্যবহার করা হয়। কাস্টম প্রোফাইলের জন্য default_model ও routesসহ একটি routing অবজেক্ট অন্তর্ভুক্ত করুন। প্রতিটি রুটে একটি নাম, বিবরণ ও মডেল নির্দিষ্ট করা থাকে।

প্রতিটি অনুরোধের জন্য perplexity/auto আমাদের ডিসিশন মডেলকে কল করে, যা মডেলগুলোর নাম না দেখেই কথোপকথনটি পড়ে এবং রুটের বিবরণগুলোর সঙ্গে মিলিয়ে দেখে। এরপর Orchestrator অনুরোধটি নির্বাচিত রুটের জন্য নির্ধারিত মডেলে পাঠায়, অথবা কোনো রুট না মিললে আপনার ডিফল্ট মডেলে পাঠায়। ডিসিশন মডেল ব্যর্থ হলে বা টাইম আউট হলেও Orchestrator আপনার ডিফল্ট মডেল ব্যবহার করে।

নিচের উদাহরণগুলোতে মডেলের প্রত্যাখ্যান এড়িয়ে রাউটিং, কাস্টমার-সাপোর্টের সমস্যার ধরন এবং একটি কথোপকথনের মধ্যে টাস্কের পরিবর্তন তুলে ধরা হয়েছে।

প্রত্যাখ্যান এড়িয়ে রাউটিং

একটি এজেন্ট অনুমেয় প্রত্যাখ্যান এড়াতে স্বয়ংক্রিয় রাউটিং ব্যবহার করতে পারে, আর অন্য কাজের জন্য তার পছন্দের মডেলটিই রেখে দিতে পারে। Anthropic নথিভুক্ত করেছে যে Claude Fable 5.2-এর সুরক্ষাব্যবস্থা নিরীহ সাইবার নিরাপত্তা ও লাইফ সায়েন্সেস-সংক্রান্ত কাজ আটকে দিতে পারে। আমরা Terminal-Bench 4.1-এর ৬৩টি টাস্কের একটি উপসেটে এই ব্যবহারক্ষেত্রটি পরীক্ষা করেছি।

আমরা Claude Code শুধু Fable দিয়ে এবং দুটি কাস্টম রাউটিং প্রোফাইল দিয়ে চালিয়েছি। উভয় প্রোফাইলেই Fable ডিফল্ট হিসেবে রাখা হয়েছিল এবং সাইবার নিরাপত্তা, জীববিজ্ঞান ও after_refusal রুটগুলো GPT-6 Astra অথবা GPT-6.1 Sol-কে দেওয়া হয়েছিল। তুলনার জন্য আমরা Codex-এ আলাদাভাবে Astra ও Sol-এর রানও অন্তর্ভুক্ত করেছি।

এই সমন্বয়কৃত তুলনায় রাউটেড Claude Code-এর দুটি সেটআপই ৬৩টি টাস্কের মধ্যে ৪১টি সমাধান করে, যেখানে শুধু Fable সমাধান করে ৩৮টি; তবে প্রতি টাস্কে আনুমানিক খরচ বেশি। চার্টে Codex-এ চলা Astra ও Sol-এর পাশাপাশি এই ট্রেড-অফটি দেখানো হয়েছে।

Terminal-Bench 4.1, ৬৩টি টাস্কের সমন্বয়কৃত তুলনা। Astra Codex-এ একটি অনুমিত পাস অন্তর্ভুক্ত; খরচগুলো আনুমানিক।

নিচের উদাহরণে Sol ব্যবহার করা হয়েছে: নিরাপত্তা ও জীববিজ্ঞানের রুটগুলো প্রত্যাখ্যান ঘটার আগেই এটি নির্বাচন করে, আর কথোপকথনে ইতিমধ্যে কোনো প্রত্যাখ্যান থাকলে after_refusal এটি নির্বাচন করে।

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

সমস্যার ধরন অনুযায়ী রাউটিং

কাস্টমার-সাপোর্ট সহকারীর ক্ষেত্রে বেশিরভাগ প্রশ্নের জন্য কেবল একটি দ্রুত ও সাশ্রয়ী মডেলই যথেষ্ট। বিলিং-সংক্রান্ত বিরোধে সতর্ক ও সহানুভূতিশীল উত্তর প্রয়োজন। অকেজো ইন্টিগ্রেশনের ক্ষেত্রে সমস্যা সমাধান প্রয়োজন। সহকারীটি বিলিং বিরোধ ও প্রযুক্তিগত সমস্যার জন্য দুটি রুট ব্যবহার করতে পারে এবং সাধারণ প্রশ্নগুলো তার ডিফল্ট মডেলের ওপর ছেড়ে দিতে পারে:

রুট

টাস্কের বিবরণ

মডেল

default_model

বাকি সবকিছু, যেমন অ্যাকাউন্টের ইমেইল কীভাবে পরিবর্তন করবেন

GLM-5.3 Flash

billing_dispute

কোনো গ্রাহক একটি চার্জ নিয়ে আপত্তি জানান, রিফান্ড চান, অথবা তাঁর কাছ থেকে নেওয়া অর্থ নিয়ে অসন্তুষ্ট।

Claude Opus 5.5

technical_issue

কোনো গ্রাহক একটি বাগ, ত্রুটির বার্তা, অথবা কাজ করা বন্ধ করে দেওয়া কোনো ইন্টিগ্রেশনের কথা জানান, যার সমস্যা সমাধান প্রয়োজন।

GPT-6.1 Sol

রাউটেড অনুরোধ পাঠানো

perplexity/auto কীভাবে একটি অনুরোধ সার্ভ করে: ডিসিশন মডেল একটি রুট নির্বাচন করে অথবা জানায় যে কোনো মিল পাওয়া যায়নি, এবং Orchestrator নির্বাচিত মডেল বা আপনার ডিফল্ট মডেলকে কল করে। রেসপন্স হেডারে রাউটিংয়ের ফলাফল জানানো হয়।

নিচের অনুরোধটি ওপরের কাস্টমার-সাপোর্ট প্রোফাইলের মাধ্যমে একটি API ব্যর্থতার সমস্যা পাঠায়।

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

ডিসিশন মডেলটি ব্যর্থ API কলগুলোকে technical_issue-এর সঙ্গে মিলিয়েছে, তাই Orchestrator অনুরোধটি GPT-6.1 Sol-এ পাঠিয়েছে। রেসপন্সে নির্বাচিত রুট এবং যে মডেল উত্তর দিয়েছে, তা অন্তর্ভুক্ত থাকে:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route নির্বাচিত রুটটি শনাক্ত করে, অথবা কোনো রুট নির্বাচিত না হলে তা জানায়। x-perplexity-autoroute-outcome জানায় অনুরোধটি কীভাবে পরিচালিত হয়েছে, যার মধ্যে রয়েছে এটি রাউট করা হয়েছে নাকি আপনার ডিফল্ট মডেলে ফিরে গেছে। model ফিল্ডটি উত্তর দেওয়া মডেলটিকে শনাক্ত করে।

একটি কথোপকথনের মধ্যে রাউটিং

কথোপকথন যখন এক টাস্ক থেকে আরেক টাস্কে যায়, তখন যে মডেল একটি টার্ন সামলেছে, সেটি পরের টার্নের জন্য সঠিক পছন্দ না-ও হতে পারে। আপনার পরবর্তী অনুরোধগুলোতে কথোপকথনের ইতিহাস অন্তর্ভুক্ত থাকে, তাই ডিসিশন মডেল ও নির্বাচিত মডেল উভয়ই আগের টার্নগুলো পড়তে পারে, যার মধ্যে অন্যান্য মডেলের উত্তরও রয়েছে। আমরা চার টার্নের তিনটি বাস্তব কথোপকথন চালিয়েছি: কাস্টমার সাপোর্ট, কোডিং এবং গবেষণা।

গ্রাহকসেবা

ওপরের উদাহরণে ধরা যাক, একই কথোপকথন একটি অ্যাকাউন্ট-সংক্রান্ত প্রশ্ন থেকে বিলিং বিরোধে এবং তারপর একটি অকেজো ইন্টিগ্রেশনে চলে যায়। টাস্ক বদলানোর সঙ্গে সঙ্গে ডিসিশন মডেল মিলে যাওয়া রুটটি নির্বাচন করে; ব্যবহারকারী শেষে ধন্যবাদ জানালে Orchestrator আবার GLM-5.3 Flash-এ ফিরে যায়।

সাপোর্ট কথোপকথন: প্রতিটি টার্নের রুট ও মডেল।

মডেল হস্তান্তরের মধ্যে প্রম্পট ক্যাশিং

প্রতিটি অনুরোধ সম্পূর্ণ বার্তার ইতিহাস বহন করে, কিন্তু প্রতিটি মডেল নিজস্ব ক্যাশ রাখে। ৪র্থ টার্নে কথোপকথন GLM Flash-এ ফিরে এলে, ১ম টার্নের মিলে যাওয়া প্রিফিক্স ক্যাশে থাকা অবস্থায় এটি তা পুনরায় ব্যবহার করতে পারে, তারপর ২য় ও ৩য় টার্নে Opus ও Sol-এর যোগ করা উত্তরগুলো প্রক্রিয়া করে। ৫ম টার্নে Opus বা Sol নির্বাচিত হলে তাদের ক্ষেত্রেও একই কথা প্রযোজ্য।

প্রম্পট ক্যাশিং বজায় রাখতে Orchestrator সম্ভব হলে সম্পর্কিত অনুরোধগুলোকে একই ডিপ্লয়মেন্টে রাখে। সেই অ্যাফিনিটি বজায় রাখতে কথোপকথনের জন্য একটি স্থির prompt_cache_key পুনরায় ব্যবহার করুন।

মডেল হস্তান্তরের মধ্যে প্রম্পট ক্যাশিং: GLM Flash মাঝের কথোপকথনকে নতুন ইনপুট হিসেবে প্রক্রিয়া করার সময় তার আগের প্রিফিক্স পুনরায় ব্যবহার করতে পারে।

কোডিং সহকারী

কোডিং কথোপকথনের ৪র্থ টার্নে GLM-5.3 Flash, Claude Opus 5.5-এর বাগ নির্ণয় এবং GPT-6.1 Sol-এর বাস্তবায়ন পরিকল্পনার প্রসঙ্গ ব্যবহার করে একটি docstring লেখে।

রাউটিং প্রোফাইলটি নাম পরিবর্তন ও ছোট সম্পাদনা GLM-5.3 Flash-কে, বাগ নির্ণয় Claude Opus 5.5-কে এবং একাধিক মডিউলজুড়ে পরিবর্তনের পরিকল্পনা GPT-6.1 Sol-কে দেয়:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
কোডিং কথোপকথন: প্রতিটি টার্নের রুট ও মডেল।

গবেষণা সহকারী

গবেষণার উদাহরণে একটি তথ্যভিত্তিক প্রশ্ন থেকে একটি হিসাব আসে, যা পরে একটি মেমোর ভিত্তি হয়ে ওঠে। প্রোফাইলটি তথ্যভিত্তিক প্রশ্ন GLM-5.3 Flash-কে, হিসাব GPT-6.1 Sol-কে এবং মেমো লেখার কাজ Claude Opus 5.5-কে দেয়:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

৩য় টার্নের মেমোটি GPT-6.1 Sol-এর আগের উত্তরের হিসাবগুলো ব্যবহার করে এবং ব্যবহারকারীকে সংখ্যাগুলো আবার বলতে না বলেই সেগুলো রাউন্ড করে নেয়।

গবেষণা কথোপকথন: প্রতিটি টার্নের রুট ও মডেল।

Orchestrator দিয়ে শুরু করুন

একটি Perplexity API কী, উপযুক্ত Orchestrator বেস URL এবং ক্যাটালগ থেকে একটি মডেল ব্যবহার করে আপনার বিদ্যমান OpenAI বা Anthropic SDK সংযুক্ত করুন।

কুইকস্টার্টে সেটআপ, বর্তমান প্রাপ্যতা ও অ্যাক্সেস সম্পর্কে তথ্য রয়েছে। কোনো প্রশ্ন থাকলে api@perplexity.ai-এ যোগাযোগ করুন।