Orchestrator: भरोसेमंद इन्फ़रेंस के लिए एक API
एकीकृत बिलिंग और उसी मॉडल पर स्वचालित फ़ेलओवर के साथ, एक ही API के ज़रिए ओपन-वेट और प्रोप्राइटरी AI मॉडल से कनेक्ट करें।

Orchestrator ओपन-वेट और प्रोप्राइटरी मॉडल को एकीकृत बिलिंग के साथ एक ही API में लाता है। यह उपलब्धता, क्षमता और लेटेंसी के आधार पर अपने-आप प्रोवाइडर चुनता है, और विफल अनुरोधों को उसी मॉडल के किसी दूसरे उपलब्ध डिप्लॉयमेंट पर फिर से आज़मा सकता है।
ओपन-वेट और प्रोप्राइटरी मॉडल के लिए एक ही इंटीग्रेशन
Orchestrator, Perplexity के इन्फ़रेंस इन्फ़्रास्ट्रक्चर पर होस्ट किए गए ओपन-वेट मॉडल के साथ-साथ दूसरे प्रोवाइडर के प्रोप्राइटरी मॉडल भी उपलब्ध कराता है। मौजूदा कैटलॉग में उपलब्ध मॉडल विकल्पों की सूची दी गई है।
यह OpenAI Chat Completions, OpenAI Responses और Anthropic Messages अनुरोध स्वीकार करता है, ताकि आप अपने मौजूदा OpenAI या Anthropic SDK के ज़रिए कनेक्ट कर सकें।
क्विकस्टार्ट और रूटिंग गाइड में SDK के उदाहरण और रूटिंग के मौजूदा व्यवहार की जानकारी दी गई है।
सभी प्रोवाइडर में विश्वसनीयता और स्पीड
विश्वसनीयता
Claude को चुनने का मतलब यह नहीं है कि आपको किसी एक ही प्रोवाइडर पर निर्भर रहना पड़े: Anthropic पर विफल होने वाला अनुरोध AWS Bedrock पर फिर भी सफल हो सकता है। प्रोवाइडर फ़ेलओवर से मॉडल बदले बिना अनुरोध को सर्व करने वाले डिप्लॉयमेंट को बदला जा सकता है।
Orchestrator किसी मॉडल के डिप्लॉयमेंट के बीच अनुरोधों को बाँटने के लिए देखी गई हेल्थ और क्षमता का उपयोग करता है। अगर कोई प्रोवाइडर त्रुटि लौटाता है, रेट लिमिट तक पहुँच जाता है या उसका समय समाप्त हो जाता है, तो Orchestrator उस मॉडल के किसी दूसरे डिप्लॉयमेंट पर फिर से कोशिश करता है, और हर प्रयास के लिए पहले टोकन तक के समय और कुल अवधि की सीमाएँ होती हैं।
4 अक्टूबर से 2 नवंबर, 2026 तक के मापों में, Perplexity के ज़रिए भेजे गए Claude और GPT अनुरोध, हमारे द्वारा मापे गए किसी भी एक प्रोवाइडर को भेजे गए अनुरोधों की तुलना में अधिक बार सफल हुए। प्रोवाइडर से जुड़ी घटनाओं के दौरान उनकी दैनिक सफलता दरों में भी कम उतार-चढ़ाव रहा।
जब Orchestrator ने सभी उपलब्ध डिप्लॉयमेंट आज़मा लिए या सर्विंग लेयर ने त्रुटि लौटाई, तो हमने अनुरोध को विफल माना, लेकिन अमान्य अनुरोधों और क्लाइंट रेट-लिमिट उल्लंघनों जैसी क्लाइंट त्रुटियों को इसमें शामिल नहीं किया।
आउटपुट स्पीड
हम ऐसी अडैप्टिव रूटिंग पर काम कर रहे हैं जो मॉडल की स्पीड को ध्यान में रखे, ताकि प्रदर्शन बदलने के साथ Orchestrator प्रोवाइडर के चयन को समायोजित कर सके।
किसी भी मॉडल के लिए सबसे तेज़ प्रोवाइडर समय के साथ बदलता रहता है। Claude Opus 5.5 के लिए, 30 में से 15 दिन Anthropic आगे रहा और बाकी 15 दिन AWS Bedrock।
उन्हीं 30 दिनों में, GPT-5.6 Sol के लिए Azure की मीडियन आउटपुट स्पीड OpenAI की तुलना में 27% अधिक थी।
सभी मॉडल के लिए एक ही बिल
हर अनुरोध केवल जवाब देने वाले मॉडल के टोकन उपयोग में गिना जाता है। Orchestrator हर मॉडल की प्रकाशित प्रति-टोकन दरों के अनुसार शुल्क लेता है, चाहे अनुरोध को कोई भी प्रोवाइडर सर्व करे, इसलिए प्रोवाइडर फ़ेलओवर से वह दर नहीं बदलती। उपयोग का खर्च उन्हीं प्रीपेड क्रेडिट्स से कटता है जिनसे आपके बाकी Perplexity API प्रोजेक्ट का खर्च कटता है।
API Console में, आप मॉडल के अनुसार खर्च देख सकते हैं और API कुंजी के अनुसार उपयोग को फ़िल्टर कर सकते हैं। आप AWS Marketplace के ज़रिए क्रेडिट्स भी खरीद सकते हैं।
स्वचालित रूटिंग (प्रीव्यू): हर टास्क के लिए सही मॉडल चुनें
Orchestrator स्वचालित रूटिंग की सुविधा देता है, जो प्रीव्यू में उपलब्ध एक वैकल्पिक सुविधा है। यह एक ऐसी प्रोफ़ाइल का उपयोग करके हर अनुरोध के लिए मॉडल चुनता है जो सरल भाषा में लिखे टास्क विवरणों को मॉडल के साथ जोड़ती है। आप अपनी खुद की प्रोफ़ाइल तय कर सकते हैं या Orchestrator की बिल्ट-इन डिफ़ॉल्ट प्रोफ़ाइल का उपयोग कर सकते हैं।
स्वचालित रूटिंग अनुरोध मॉडल के रूप में perplexity/auto का उपयोग करते हैं। कस्टम प्रोफ़ाइल के लिए, default_model और routes के साथ एक रूटिंग ऑब्जेक्ट शामिल करें। हर रूट में एक नाम, विवरण और मॉडल निर्दिष्ट होता है।
हर अनुरोध के लिए, perplexity/auto हमारे निर्णय मॉडल को कॉल करता है, जो मॉडल के नाम देखे बिना बातचीत को पढ़ता है और उसे रूट विवरणों से मिलाता है। इसके बाद Orchestrator अनुरोध को चुने गए रूट के लिए निर्धारित मॉडल पर भेजता है, या कोई रूट मेल न खाने पर आपके डिफ़ॉल्ट मॉडल पर। अगर निर्णय मॉडल विफल हो जाता है या उसका समय समाप्त हो जाता है, तब भी Orchestrator आपके डिफ़ॉल्ट मॉडल का उपयोग करता है।
नीचे दिए गए उदाहरणों में मॉडल के इनकारों से बचने के लिए रूटिंग, ग्राहक-सहायता समस्याओं के प्रकार और बातचीत के भीतर टास्क में बदलाव शामिल हैं।
इनकारों से बचने के लिए रूटिंग
कोई एजेंट दूसरे कामों के लिए अपना पसंदीदा मॉडल बनाए रखते हुए, पहले से अनुमान लगाए जा सकने वाले इनकारों से बचने के लिए स्वचालित रूटिंग का उपयोग कर सकता है। Anthropic के दस्तावेज़ों के अनुसार, Claude Fable 5.2 के सुरक्षा उपाय हानिरहित साइबर सुरक्षा और लाइफ़ साइंसेज़ से जुड़े काम को ब्लॉक कर सकते हैं। हमने इस उपयोग के मामले का परीक्षण Terminal-Bench 4.1 के 63 टास्क वाले एक सबसेट पर किया।
हमने Claude Code को केवल Fable के साथ और दो कस्टम रूटिंग प्रोफ़ाइल के साथ चलाया। दोनों प्रोफ़ाइल में Fable को डिफ़ॉल्ट रखा गया और साइबर सुरक्षा, जीव विज्ञान और after_refusal रूट GPT-6 Astra या GPT-6.1 Sol को सौंपे गए। तुलना के लिए हमने Codex में Astra और Sol के अलग-अलग रन भी शामिल किए।
इस समायोजित तुलना में, रूटिंग वाले दोनों Claude Code सेटअप 63 में से 41 टास्क हल करते हैं, जबकि अकेला Fable 38 टास्क हल करता है, हालाँकि प्रति टास्क अनुमानित लागत अधिक होती है। चार्ट इस ट्रेड-ऑफ़ को Codex में चल रहे Astra और Sol के साथ दिखाता है।
नीचे दिए गए उदाहरण में Sol का उपयोग किया गया है: सुरक्षा और जीव विज्ञान वाले रूट इनकार होने से पहले ही इसे चुन लेते हैं, और after_refusal इसे तब चुनता है जब बातचीत में पहले से कोई इनकार मौजूद हो।
"routing": {
"default_model": "anthropic/claude-fable-5-2",
"routes": [
{"name": "security",
"description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.",
"model": "openai/gpt-6.1-sol"},
{"name": "biology",
"description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.",
"model": "openai/gpt-6.1-sol"},
{"name": "after_refusal",
"description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.",
"model": "openai/gpt-6.1-sol"}
]
}समस्या के प्रकार के अनुसार रूटिंग
ग्राहक-सहायता असिस्टेंट के लिए, ज़्यादातर सवालों के लिए बस एक तेज़ और किफ़ायती मॉडल की ज़रूरत होती है। बिलिंग विवाद के लिए सावधानी भरा और सहानुभूतिपूर्ण जवाब चाहिए। खराब इंटीग्रेशन के लिए ट्रबलशूटिंग ज़रूरी होती है। असिस्टेंट बिलिंग विवादों और तकनीकी समस्याओं के लिए दो रूट का उपयोग कर सकता है और सामान्य सवालों को अपने डिफ़ॉल्ट मॉडल पर छोड़ सकता है:
रूट | टास्क का विवरण | मॉडल |
default_model | बाकी सब कुछ, जैसे खाते का ईमेल कैसे बदलें | GLM-5.3 Flash |
billing_dispute | कोई ग्राहक किसी शुल्क पर आपत्ति करता है, रिफ़ंड माँगता है या उससे वसूले गए पैसों को लेकर नाराज़ है। | Claude Opus 5.5 |
technical_issue | कोई ग्राहक किसी बग, त्रुटि संदेश या ऐसे इंटीग्रेशन की रिपोर्ट करता है जिसने काम करना बंद कर दिया है और जिसकी ट्रबलशूटिंग ज़रूरी है। | GPT-6.1 Sol |
रूट किया गया अनुरोध भेजना
नीचे दिया गया अनुरोध API विफलता से जुड़ी एक समस्या को ऊपर दी गई ग्राहक-सहायता प्रोफ़ाइल के ज़रिए भेजता है।
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \
-H "Authorization: Bearer $PERPLEXITY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7",
"model": "perplexity/auto",
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "billing_dispute",
"description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.",
"model": "anthropic/claude-opus-5-5"},
{"name": "technical_issue",
"description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.",
"model": "openai/gpt-6.1-sol"}
]
},
"messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}]
}'निर्णय मॉडल ने विफल API कॉल को technical_issue से मिलाया, इसलिए Orchestrator ने अनुरोध GPT-6.1 Sol को भेजा। जवाब में चुना गया रूट और जवाब देने वाला मॉडल शामिल होता है:
HTTP/2 200
x-perplexity-autoroute-outcome: routed
x-perplexity-autoroute-route: technical_issue
{"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}x-perplexity-autoroute-route चुने गए रूट की पहचान करता है, या कोई रूट न चुने जाने पर none बताता है। x-perplexity-autoroute-outcome बताता है कि अनुरोध को कैसे संभाला गया, जिसमें यह भी शामिल है कि उसे रूट किया गया या वह आपके डिफ़ॉल्ट मॉडल पर चला गया। model फ़ील्ड जवाब देने वाले मॉडल की पहचान करता है।
बातचीत के भीतर रूटिंग
जैसे-जैसे बातचीत एक टास्क से दूसरे टास्क पर जाती है, ज़रूरी नहीं कि जिस मॉडल ने एक टर्न संभाला हो, वही अगले टर्न के लिए सही विकल्प हो। आपके फ़ॉलो-अप अनुरोधों में बातचीत का इतिहास शामिल होता है, इसलिए निर्णय मॉडल और चुना गया मॉडल, दोनों पिछले टर्न पढ़ सकते हैं, जिनमें दूसरे मॉडल के जवाब भी शामिल हैं। हमने चार-चार टर्न वाली तीन वास्तविक बातचीत चलाईं: ग्राहक सहायता, कोडिंग और शोध।
कस्टमर सपोर्ट
ऊपर दिए गए उदाहरण में, मान लीजिए कि वही बातचीत खाते से जुड़े सवाल से बिलिंग विवाद पर और फिर खराब इंटीग्रेशन पर पहुँचती है। जैसे-जैसे टास्क बदलता है, निर्णय मॉडल मेल खाने वाला रूट चुनता है; जब उपयोगकर्ता अंत में धन्यवाद भेजता है, तो Orchestrator वापस GLM-5.3 Flash पर लौट आता है।
मॉडल हैंडऑफ़ के दौरान प्रॉम्प्ट कैशिंग
हर अनुरोध में मैसेज का पूरा इतिहास होता है, लेकिन हर मॉडल अपना अलग कैश रखता है। जब चौथे टर्न में बातचीत GLM Flash पर लौटती है, तो वह पहले टर्न के मेल खाते प्रीफ़िक्स का, जब तक वह कैश में है, दोबारा उपयोग कर सकता है और फिर दूसरे और तीसरे टर्न में Opus और Sol द्वारा जोड़े गए जवाबों को प्रोसेस कर सकता है। अगर पाँचवें टर्न में Opus या Sol चुने जाते हैं, तो उन पर भी यही लागू होता है।
Orchestrator जहाँ संभव हो, प्रॉम्प्ट कैशिंग बनाए रखने के लिए संबंधित अनुरोधों को एक ही डिप्लॉयमेंट पर रखता है। इस एफ़िनिटी को बनाए रखने में मदद के लिए बातचीत के लिए एक स्थिर prompt_cache_key का दोबारा उपयोग करें।
कोडिंग असिस्टेंट
कोडिंग बातचीत के चौथे टर्न में, GLM-5.3 Flash, Claude Opus 5.5 के बग निदान और GPT-6.1 Sol की इम्प्लीमेंटेशन योजना के संदर्भ का उपयोग करके एक docstring लिखता है।
रूटिंग प्रोफ़ाइल नाम बदलने और छोटे संपादनों का काम GLM-5.3 Flash को, बग निदान का काम Claude Opus 5.5 को और कई मॉड्यूल में बदलावों की योजना बनाने का काम GPT-6.1 Sol को सौंपती है:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "hard_debugging",
"description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.",
"model": "anthropic/claude-opus-5-5"},
{"name": "design_change",
"description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.",
"model": "openai/gpt-6.1-sol"}
]
}शोध असिस्टेंट
शोध वाले उदाहरण में, एक तथ्यात्मक सवाल से एक गणना निकलती है, जो फिर एक मेमो का आधार बनती है। प्रोफ़ाइल तथ्यात्मक सवाल GLM-5.3 Flash को, गणनाएँ GPT-6.1 Sol को और मेमो लिखने का काम Claude Opus 5.5 को सौंपती है:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "quantitative_analysis",
"description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.",
"model": "openai/gpt-6.1-sol"},
{"name": "long_form_writing",
"description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.",
"model": "anthropic/claude-opus-5-5"}
]
}तीसरे टर्न का मेमो GPT-6.1 Sol के पिछले जवाब की गणनाओं का उपयोग करता है और उपयोगकर्ता से उन्हें दोहराने के लिए कहे बिना आँकड़ों को राउंड कर देता है।
Orchestrator के साथ शुरुआत करें
Perplexity API कुंजी, उपयुक्त Orchestrator बेस URL और कैटलॉग के किसी मॉडल के साथ अपने मौजूदा OpenAI या Anthropic SDK को कनेक्ट करें।
क्विकस्टार्ट में सेटअप, मौजूदा उपलब्धता और एक्सेस की जानकारी दी गई है। किसी भी सवाल के लिए, कृपया api@perplexity.ai पर संपर्क करें।