Orchestrator: विश्वसनीय इन्फरन्ससाठी एकच API

एकत्रित बिलिंग आणि त्याच मॉडेलवरील स्वयंचलित फेलओव्हरसह एकाच API द्वारे ओपन-वेट आणि प्रोप्रायटरी AI मॉडेल्सशी कनेक्ट व्हा.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator ओपन-वेट आणि प्रोप्रायटरी मॉडेल्स एकत्रित बिलिंगसह एकाच API मध्ये आणते. ते उपलब्धता, क्षमता आणि लेटन्सी यांच्या आधारे आपोआप प्रदाता निवडते आणि अयशस्वी विनंत्या त्याच मॉडेलच्या दुसऱ्या उपलब्ध डिप्लॉयमेंटवर पुन्हा पाठवू शकते.

ओपन-वेट आणि प्रोप्रायटरी मॉडेल्ससाठी एकच इंटिग्रेशन

Orchestrator इतर प्रदात्यांच्या प्रोप्रायटरी मॉडेल्ससोबतच Perplexity च्या इन्फरन्स इन्फ्रास्ट्रक्चरवर होस्ट केलेली ओपन-वेट मॉडेल्सही पुरवते. सध्याच्या कॅटलॉगमध्ये उपलब्ध मॉडेल पर्यायांची यादी आहे.

हे OpenAI Chat Completions, OpenAI Responses आणि Anthropic Messages विनंत्या स्वीकारते, त्यामुळे तुम्ही तुमच्या विद्यमान OpenAI किंवा Anthropic SDK द्वारे कनेक्ट करू शकता.

क्विकस्टार्ट आणि रूटिंग मार्गदर्शक यांमध्ये SDK उदाहरणे आणि सध्याचे रूटिंग वर्तन दिलेले आहे.

विविध प्रदात्यांमधील विश्वसनीयता आणि वेग

विश्वसनीयता

Claude निवडणे म्हणजे एकाच प्रदात्यावर अवलंबून राहणे असे नाही: Anthropic वर अयशस्वी होणारी विनंती AWS Bedrock वर तरीही यशस्वी होऊ शकते. प्रदाता फेलओव्हरमुळे मॉडेल न बदलता विनंती पुरवणारी डिप्लॉयमेंट बदलता येते.

Orchestrator मॉडेलच्या डिप्लॉयमेंट्समध्ये विनंत्या वितरित करण्यासाठी निरीक्षित आरोग्य आणि क्षमता यांचा वापर करते. एखाद्या प्रदात्याने त्रुटी परत केल्यास, रेट लिमिट गाठल्यास किंवा वेळ संपल्यास, Orchestrator त्या मॉडेलच्या दुसऱ्या डिप्लॉयमेंटवर पुन्हा प्रयत्न करते; प्रत्येक प्रयत्नासाठी पहिल्या टोकनपर्यंतचा वेळ आणि एकूण कालावधी यांवर मर्यादा असतात.

4 ऑक्टोबर ते 2 नोव्हेंबर 2026 दरम्यानच्या मोजमापांमध्ये, Perplexity द्वारे केलेल्या Claude आणि GPT विनंत्या आम्ही मोजलेल्या कोणत्याही वैयक्तिक प्रदात्याकडे केलेल्या विनंत्यांपेक्षा अधिक वेळा यशस्वी झाल्या. प्रदात्यांकडील बिघाडांच्या घटनांदरम्यान त्यांच्या दैनिक यश दरांमध्येही कमी चढउतार झाले.

विनंती यशाचे दर, 4 ऑक्टोबर ते 2 नोव्हेंबर 2026: डावीकडे Claude; उजवीकडे OpenAI आणि Azure या दोन्हींद्वारे उपलब्ध असलेली GPT मॉडेल्स.
त्याच कालावधीतील दैनिक विनंती यश दर: डावीकडे Claude आणि उजवीकडे GPT.

Orchestrator ने सर्व उपलब्ध डिप्लॉयमेंट्सचा वापर करूनही विनंती पूर्ण झाली नाही किंवा सर्व्हिंग लेयरने त्रुटी परत केली, तर आम्ही ती विनंती अयशस्वी मानली; परंतु अवैध विनंत्या आणि क्लायंट रेट-लिमिट उल्लंघन यांसारख्या क्लायंट त्रुटी वगळल्या.

आउटपुट वेग

आम्ही मॉडेलचा वेग विचारात घेणाऱ्या अनुकूली रूटिंगवर काम करत आहोत, जेणेकरून कार्यक्षमता बदलत असताना Orchestrator प्रदात्याची निवड समायोजित करू शकेल.

कोणत्याही मॉडेलसाठी सर्वात वेगवान प्रदाता कालांतराने बदलतो. Claude Opus 5.5 साठी, 30 पैकी 15 दिवस Anthropic आघाडीवर होते आणि उर्वरित 15 दिवस AWS Bedrock आघाडीवर होते.

प्रदाता आणि दिवसानुसार Claude Opus 5.5 चा मध्यक आउटपुट वेग, 4 ऑक्टोबर ते 2 नोव्हेंबर 2026. ठळक केलेली रेषा प्रत्येक दिवशी अधिक वेगवान प्रदात्याचा मागोवा घेते, ज्यातून थेट वेग-जागरूक रूटिंगचे लक्ष्य स्पष्ट होते.

त्याच 30 दिवसांत, GPT-5.6 Sol साठी Azure चा मध्यक आउटपुट वेग OpenAI च्या तुलनेत 27% जास्त होता.

पहिल्या टोकननंतर GPT-5.6 Sol चा मध्यक आउटपुट वेग, 4 ऑक्टोबर ते 2 नोव्हेंबर 2026.

सर्व मॉडेल्ससाठी एकच बिल

प्रत्येक विनंती केवळ उत्तर देणाऱ्या मॉडेलच्या टोकन वापरात मोजली जाते. विनंती कोणताही प्रदाता पुरवत असला तरी Orchestrator प्रत्येक मॉडेलचे प्रकाशित प्रति-टोकन दर आकारते, त्यामुळे प्रदाता फेलओव्हरमुळे तो दर बदलत नाही. हा वापर तुमच्या उर्वरित Perplexity API प्रोजेक्टप्रमाणेच त्याच प्रीपेड क्रेडिट्समधून वजा होतो.

API Console मध्ये तुम्ही मॉडेलनुसार खर्च पाहू शकता आणि API की नुसार वापर फिल्टर करू शकता. तुम्ही AWS Marketplace द्वारे क्रेडिट्स देखील खरेदी करू शकता.

स्वयंचलित रूटिंग (प्रिव्ह्यू): प्रत्येक काम योग्य मॉडेलशी जुळवा

Orchestrator स्वयंचलित रूटिंग देते — हे प्रिव्ह्यूमध्ये उपलब्ध असलेले एक पर्यायी वैशिष्ट्य आहे. ते सोप्या भाषेतील कामांच्या वर्णनांची मॉडेल्सशी जोडणी करणाऱ्या प्रोफाइलचा वापर करून प्रत्येक विनंतीसाठी मॉडेल निवडते. तुम्ही तुमचे स्वतःचे प्रोफाइल परिभाषित करू शकता किंवा Orchestrator चे अंगभूत डीफॉल्ट प्रोफाइल वापरू शकता.

स्वयंचलित रूटिंग विनंत्या मॉडेल म्हणून perplexity/auto वापरतात. कस्टम प्रोफाइलसाठी, default_model आणि routes असलेला रूटिंग ऑब्जेक्ट समाविष्ट करा. प्रत्येक रूटमध्ये नाव, वर्णन आणि मॉडेल नमूद केलेले असते.

प्रत्येक विनंतीसाठी, perplexity/auto आमच्या निर्णय मॉडेलला कॉल करते, जे मॉडेल्सची नावे न पाहता संभाषण वाचते आणि त्याची रूट वर्णनांशी जुळवणी करते. त्यानंतर Orchestrator ती विनंती निवडलेल्या रूटला नेमलेल्या मॉडेलकडे पाठवते, किंवा कोणताही रूट जुळत नसल्यास तुमच्या डीफॉल्ट मॉडेलकडे पाठवते. निर्णय मॉडेल अयशस्वी झाल्यास किंवा त्याची वेळ संपल्यास देखील Orchestrator तुमचे डीफॉल्ट मॉडेल वापरते.

खालील उदाहरणांमध्ये मॉडेलचे नकार टाळणारे रूटिंग, ग्राहक-सहाय्य समस्यांचे प्रकार आणि संभाषणातील कामांमधील बदल यांचा समावेश आहे.

नकार टाळणारे रूटिंग

एखादा एजंट इतर कामांसाठी त्याचे पसंतीचे मॉडेल कायम ठेवत, अपेक्षित नकार टाळण्यासाठी स्वयंचलित रूटिंग वापरू शकतो. Anthropic ने नमूद केले आहे की Claude Fable 5.2 चे सुरक्षा उपाय निरुपद्रवी सायबरसुरक्षा आणि जीवविज्ञानविषयक कामही रोखू शकतात. आम्ही Terminal-Bench 4.1 च्या 63 कामांच्या उपसंचावर ही वापर-परिस्थिती तपासली.

आम्ही Claude Code केवळ Fable सह आणि दोन कस्टम रूटिंग प्रोफाइल्ससह चालवले. दोन्ही प्रोफाइल्सनी Fable ला डीफॉल्ट ठेवले आणि सायबरसुरक्षा, जीवशास्त्र आणि after_refusal रूट GPT-6 Astra किंवा GPT-6.1 Sol यांपैकी एकाला नेमून दिले. तुलनेसाठी आम्ही Codex मध्ये Astra आणि Sol यांच्या स्वतंत्र रन्सचाही समावेश केला.

या समायोजित तुलनेत, रूटिंग वापरणारे दोन्ही Claude Code सेटअप 63 पैकी 41 कामे सोडवतात, तर केवळ Fable 38 कामे सोडवते; मात्र त्यांचा प्रति काम अंदाजित खर्च जास्त असतो. चार्टमध्ये ही तडजोड Codex मध्ये चालणाऱ्या Astra आणि Sol सोबत दाखवली आहे.

Terminal-Bench 4.1, 63 कामांची समायोजित तुलना. Astra Codex मध्ये एक गृहीत उत्तीर्ण निकाल समाविष्ट आहे; खर्च अंदाजित आहेत.

खालील उदाहरणात Sol वापरले आहे: नकार येण्यापूर्वीच सुरक्षा आणि जीवशास्त्र रूट ते निवडतात, तर संभाषणात आधीच नकार असल्यास after_refusal ते निवडतो.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

समस्येच्या प्रकारानुसार रूटिंग

ग्राहक-सहाय्य असिस्टंटसाठी, बहुतेक प्रश्नांना फक्त वेगवान, स्वस्त मॉडेलची आवश्यकता असते. बिलिंग वादासाठी काळजीपूर्वक, सहानुभूतीपूर्ण उत्तर आवश्यक असते. बिघडलेल्या इंटिग्रेशनसाठी समस्यानिवारण आवश्यक असते. असिस्टंट बिलिंग वाद आणि तांत्रिक समस्यांसाठी दोन रूट वापरू शकतो आणि नेहमीचे प्रश्न त्याच्या डीफॉल्ट मॉडेलवर सोपवू शकतो:

रूट

कामाचे वर्णन

मॉडेल

default_model

इतर सर्व काही, जसे की खात्याचा ईमेल कसा बदलायचा

GLM-5.3 Flash

billing_dispute

ग्राहक एखाद्या शुल्काबाबत आक्षेप घेतो, परतावा मागतो किंवा त्याला आकारलेल्या रकमेबद्दल नाराज असतो.

Claude Opus 5.5

technical_issue

ग्राहक एखादा बग, त्रुटी संदेश किंवा काम करणे थांबवलेल्या इंटिग्रेशनची तक्रार करतो, ज्यासाठी समस्यानिवारण आवश्यक असते.

GPT-6.1 Sol

रूट केलेली विनंती पाठवणे

perplexity/auto विनंती कशी पुरवते: निर्णय मॉडेल रूट निवडते किंवा कोणतीही जुळणी नसल्याचे कळवते, आणि Orchestrator निवडलेल्या मॉडेलला किंवा तुमच्या डीफॉल्ट मॉडेलला कॉल करते. प्रतिसाद हेडर्स रूटिंगचा परिणाम कळवतात.

खालील विनंती API अयशस्वी होण्याची समस्या वर दिलेल्या ग्राहक-सहाय्य प्रोफाइलद्वारे पाठवते.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

निर्णय मॉडेलने अयशस्वी API कॉल्सची जुळवणी technical_issue शी केली, त्यामुळे Orchestrator ने ती विनंती GPT-6.1 Sol कडे पाठवली. प्रतिसादात निवडलेला रूट आणि उत्तर देणारे मॉडेल समाविष्ट आहे:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route निवडलेला रूट दर्शवते, किंवा कोणताही रूट निवडला गेला नसल्याचे दर्शवते. x-perplexity-autoroute-outcome विनंती कशी हाताळली गेली हे कळवते, ज्यात ती रूट केली गेली की तुमच्या डीफॉल्ट मॉडेलकडे परत पाठवली गेली याचा समावेश असतो. model फील्ड उत्तर देणारे मॉडेल दर्शवते.

संभाषणातील रूटिंग

संभाषण एका कामावरून दुसऱ्या कामाकडे जात असताना, एखादी फेरी हाताळणारे मॉडेल पुढच्या फेरीसाठी योग्य पर्याय असेलच असे नाही. तुमच्या पुढील विनंत्यांमध्ये संभाषणाचा इतिहास समाविष्ट असतो, त्यामुळे निर्णय मॉडेल आणि निवडलेले मॉडेल हे दोन्ही इतर मॉडेल्सच्या उत्तरांसह आधीच्या फेऱ्या वाचू शकतात. आम्ही चार फेऱ्यांची तीन प्रत्यक्ष संभाषणे चालवली: ग्राहक सहाय्य, कोडिंग आणि संशोधन.

ग्राहक सहाय्य

वरील उदाहरणात, समजा तेच संभाषण खात्याविषयीच्या प्रश्नावरून बिलिंग वादाकडे आणि नंतर बिघडलेल्या इंटिग्रेशनकडे जाते. काम बदलत असताना निर्णय मॉडेल जुळणारा रूट निवडते; वापरकर्ता शेवटी धन्यवाद म्हणतो तेव्हा Orchestrator पुन्हा GLM-5.3 Flash कडे वळते.

सहाय्य संभाषण: प्रत्येक फेरीसाठी रूट आणि मॉडेल.

मॉडेल हस्तांतरणांदरम्यान प्रॉम्प्ट कॅशिंग

प्रत्येक विनंतीसोबत संपूर्ण संदेश इतिहास जातो, परंतु प्रत्येक मॉडेल स्वतःची कॅशे राखते. चौथ्या फेरीत संभाषण GLM Flash कडे परत येते तेव्हा, पहिल्या फेरीतील जुळणारा प्रीफिक्स अजूनही कॅशेमध्ये असल्यास ते तो पुन्हा वापरू शकते आणि त्यानंतर दुसऱ्या व तिसऱ्या फेरीत Opus आणि Sol ने जोडलेल्या प्रतिसादांवर प्रक्रिया करू शकते. पाचव्या फेरीत Opus किंवा Sol निवडले गेल्यास त्यांनाही हेच लागू होते.

प्रॉम्प्ट कॅशिंग टिकवून ठेवण्यासाठी Orchestrator शक्य असेल तेव्हा संबंधित विनंत्या एकाच डिप्लॉयमेंटवर ठेवते. ही संलग्नता टिकवून ठेवण्यास मदत करण्यासाठी संभाषणासाठी स्थिर prompt_cache_key पुन्हा वापरा.

मॉडेल हस्तांतरणांदरम्यान प्रॉम्प्ट कॅशिंग: मधल्या संभाषणावर नवीन इनपुट म्हणून प्रक्रिया करताना GLM Flash त्याचा पूर्वीचा प्रीफिक्स पुन्हा वापरू शकते.

कोडिंग असिस्टंट

कोडिंग संभाषणाच्या चौथ्या फेरीत, GLM-5.3 Flash हे Claude Opus 5.5 ने केलेले बग निदान आणि GPT-6.1 Sol ची अंमलबजावणी योजना यांतील संदर्भ वापरून docstring लिहिते.

रूटिंग प्रोफाइल नाव बदलणे आणि लहान संपादने GLM-5.3 Flash ला, बग निदान Claude Opus 5.5 ला आणि अनेक मॉड्यूल्समधील बदलांचे नियोजन GPT-6.1 Sol ला नेमून देते:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
कोडिंग संभाषण: प्रत्येक फेरीसाठी रूट आणि मॉडेल.

संशोधन असिस्टंट

संशोधनाच्या उदाहरणात, एका तथ्यात्मक प्रश्नातून गणना होते आणि ती गणना नंतर एका मेमोचा आधार बनते. प्रोफाइल तथ्यात्मक प्रश्न GLM-5.3 Flash ला, गणना GPT-6.1 Sol ला आणि मेमो लेखन Claude Opus 5.5 ला नेमून देते:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

तिसऱ्या फेरीतील मेमो GPT-6.1 Sol च्या मागील उत्तरातील गणनांचा वापर करतो आणि वापरकर्त्याला ती आकडेवारी पुन्हा सांगायला न सांगता आकडे पूर्णांकित करतो.

संशोधन संभाषण: प्रत्येक फेरीसाठी रूट आणि मॉडेल.

Orchestrator सह सुरुवात करा

तुमचे विद्यमान OpenAI किंवा Anthropic SDK, Perplexity API की, योग्य Orchestrator बेस URL आणि कॅटलॉगमधील एखादे मॉडेल वापरून कनेक्ट करा.

क्विकस्टार्टमध्ये सेटअप, सध्याची उपलब्धता आणि ॲक्सेस यांची माहिती आहे. प्रश्नांसाठी कृपया api@perplexity.ai वर संपर्क साधा.