सादर करत आहोत Orchestrator: फ्रंटियर आणि ओपन-वेट मॉडेल्ससाठी एकच API

Perplexity Orchestrator एकाच API मध्ये एकत्रित बिलिंग आणि फेलओव्हरसह फ्रंटियर आणि ओपन-वेट मॉडेल्सचा ॲक्सेस देतो.

An orchestra conductor surrounded by sweeping trails of light against a dark background.

Perplexity मूलतः मल्टी-मॉडेल आहे, जे लोकांना त्यांच्या कामासाठी नवीनतम फ्रंटियर आणि ओपन-वेट मॉडेल्स निवडण्याचे स्वातंत्र्य देते. हा मल्टी-मॉडेल दृष्टिकोन प्रत्येक मॉडेलच्या बलस्थानांचा उपयोग करतो आणि एखाद्या कामासाठी सर्वात शक्तिशाली मॉडेलची गरज नसते तेव्हा खर्च कमी करू शकतो. पडद्यामागे, आमचे ऑर्केस्ट्रेशन तंत्रज्ञान एकच काम पूर्ण करण्यासाठी अनेक मॉडेल्सचा वापर करू शकते.

कामगिरी, खर्च आणि लवचिकता यांचा समतोल साधण्यासाठी व्यवसायही असाच दृष्टिकोन स्वीकारत आहेत. प्रत्येक नवीन मॉडेल रिलीझ खर्च कमी करण्याची किंवा गुणवत्ता सुधारण्याची संधी देते. केवळ याच वर्षी Anthropic आणि OpenAI सारख्या लॅब्सनी डझनभराहून अधिक नवीन मॉडेल्स रिलीझ केली आहेत. 100 हून अधिक ओपन-वेट मॉडेल्सदेखील उपलब्ध झाली आहेत. यामुळे टीम्सना प्रत्येक वर्कलोडसाठी अधिक पर्याय मिळतात, पण त्याचबरोबर व्यवस्थापित करावे लागणारे प्रदाते, करार आणि इनव्हॉइसेसही वाढतात.

आज आम्ही Perplexity Orchestrator API लाँच करत आहोत, ज्यामुळे कोणत्याही एका मॉडेलवर अवलंबून नसलेले आमचे तंत्रज्ञान AI ॲप्लिकेशन्स तयार करणाऱ्या डेव्हलपर्स आणि टीम्ससाठी उपलब्ध होत आहे. एकाच API द्वारे, टीम्स सोपी आणि मोठ्या प्रमाणातील कामे कमी खर्चाच्या मॉडेल्सवर चालवू शकतात आणि अधिक आव्हानात्मक कामांसाठी अधिक शक्तिशाली मॉडेल्स राखून ठेवू शकतात.

Orchestrator च्या मदतीने टीम्स कामगिरी किंवा अपटाइमशी तडजोड न करता AI वरील खर्च कमी आणि केंद्रीकृत करू शकतात, तसेच नवीन मॉडेल्स उपलब्ध होताच ती स्वीकारू शकतात. प्रत्येक वर्कलोड कोणते मॉडेल हाताळेल हे टीम्स निवडू शकतात, तर विश्वसनीय इन्फरन्स सुनिश्चित करण्यासाठी Perplexity प्रदाता राउटिंग आणि फेलओव्हर हाताळते.

Perplexity च्या प्रोडक्शन मॉडेल स्तरावर आधारित

Perplexity दररोज प्रोडक्शनमध्ये ओपन-वेट आणि फ्रंटियर मॉडेल्स चालवते. आमचा मॉडेल लेयर 85+ मॉडेल्स आणि डझनहून अधिक प्रदात्यांमध्ये शेकडो दशलक्ष विनंत्या रूट करतो.

प्रदाते मंदावतात, त्यांची क्षमता कमी पडते किंवा ते किमती बदलतात तेव्हा प्रत्येक विनंती वेगवान आणि परवडणारी ठेवण्यापेक्षा मॉडेल निवडणे सोपे असते. प्रत्येक कामासाठी सर्वाधिक योग्य असलेल्या मॉडेल्सकडे वर्कलोड्स हलवून आम्ही आमचे स्वतःचे सर्व्हिंग खर्च कमी केले आहेत.

Orchestrator डेव्हलपर्सना त्या दृष्टिकोनामागील सामायिक इन्फ्रास्ट्रक्चरचा ॲक्सेस देते.

Orchestrator हा इन्फरन्स स्तर एकाच API द्वारे उपलब्ध करून देतो. यात OpenAI, Anthropic, Google आणि xAI यांच्या मॉडेल्ससोबतच GLM, Kimi आणि DeepSeek सारखी ओपन-वेट मॉडेल्सदेखील समाविष्ट आहेत. ओपन-वेट मॉडेल्स Perplexity द्वारे किंवा इन्फरन्स भागीदारांमार्फत सर्व्ह केली जातात.

Orchestrator हे OpenAI Chat Completions, OpenAI Responses आणि Anthropic Messages फॉरमॅट्सना सपोर्ट करते. टीम्स परिचित सॉफ्टवेअर डेव्हलपमेंट किट्स (SDKs) वापरणे सुरू ठेवू शकतात. बहुतेक टीम्ससाठी, सुरुवात करताना API की आणि बेस URL अपडेट करणे आणि उपलब्ध मॉडेल निवडणे यांचा समावेश असतो.

कोणत्याही अतिरिक्त प्लॅटफॉर्म शुल्काशिवाय एकत्रित बिलिंग

अनेक लॅब्स आणि इन्फरन्स प्रदात्यांची मॉडेल्स चालवण्यासाठी स्वतंत्र खाती, API की, करार, सुरक्षा पुनरावलोकने आणि इनव्हॉइसेस आवश्यक असू शकतात. याचा अर्थ काही आठवड्यांतच बदलू शकणाऱ्या मॉडेल मिश्रणावर आधारित स्वतंत्र वार्षिक वचनबद्धता असाही होऊ शकतो.

Orchestrator समर्थित मॉडेल्सना एकाच विक्रेत्याखाली आणि एकाच बिलात आणतो, त्यामुळे प्रत्येक प्रदात्याशी स्वतंत्र वचनबद्धतेसाठी वाटाघाटी न करता टीम्स त्यांच्या मॉडेल्सचे मिश्रण बदलू शकतात. क्रेडिट्सव्यतिरिक्त कोणतेही अतिरिक्त प्लॅटफॉर्म शुल्क नाही.

तसेच, टीम्स API Console द्वारे वापराचा मागोवा घेऊ शकतात आणि खर्चाचे व्यवस्थापन करू शकतात:

  • वापर अहवाल: मॉडेल, प्रोजेक्ट, API की आणि तारखेनुसार खर्चाचे विभाजन
  • API की: प्रोजेक्ट किंवा टीमनुसार वापराचा मागोवा घेण्यासाठी स्वतंत्र API की
  • ॲडमिन नियंत्रणे: संस्थेसाठी मॉडेल परवानगी सूची, वापरकर्ता निर्बंध, खर्च मर्यादा आणि क्षमता विनंत्या

सर्व प्रदात्यांमध्ये अधिक विश्वसनीय विनंत्या

अनेक प्रदात्यांमार्फत उपलब्ध असलेल्या मॉडेल्समुळे टीम्सना विनंती सर्व्ह करण्याचे एकापेक्षा अधिक मार्ग मिळतात.

Orchestrator प्रत्येक प्रदात्याची स्थिती, क्षमता आणि लेटन्सी यांचा मागोवा घेतो आणि सर्वोत्तम कामगिरी करणाऱ्या प्रदात्यांमध्ये ट्रॅफिक वितरित करतो. एखादी विनंती अयशस्वी झाल्यास, तो त्याच मॉडेलच्या दुसऱ्या डिप्लॉयमेंटवर पुन्हा प्रयत्न करू शकतो आणि फेलओव्हर स्वतः हाताळतो; त्यासाठी टीम्सना स्वतः लॉजिक तयार करावे लागत नाही.

दररोज दशलक्षावधी विनंत्या चालवणाऱ्या टीम्ससाठी, विनंती यशदरातील लहानसा फरकही, म्हणजे 99.0% आणि 99.99% यांच्यातील तफावत, हजारो प्रतिसादांवर परिणाम करू शकतो. Orchestrator मुळे टीम्सना फेलओव्हर कोड स्वतः तयार करण्याची किंवा त्याची देखभाल करण्याची गरज नाही.

Orchestrator वरील एका महिन्याच्या प्रोडक्शन ट्रॅफिकमध्ये, Perplexity मार्फत पाठवलेल्या Claude आणि GPT विनंत्यांचा यशदर मोजण्यात आलेल्या कोणत्याही वैयक्तिक प्रदात्यापेक्षा जास्त होता, तसेच प्रदात्यांच्या सेवा-व्यत्ययांदरम्यान दैनंदिन चढ-उतारही कमी होते.

प्रिव्ह्यूमध्ये: Routes आणि Auto effort

Routes मुळे टीम्सना प्रत्येक मॉडेलने कोणत्या विनंत्या हाताळाव्यात हे सोप्या भाषेत वर्णन करता येते आणि डीफॉल्ट मॉडेल सेट करता येते. टीम्स अंगभूत Lower cost, Balanced किंवा Higher quality प्रोफाइलपासून सुरुवात करू शकतात. किंवा त्या स्वतःचे कस्टम प्रोफाइल तयार करू शकतात. जर टीम्सनी वर्णन दिले नाही किंवा उद्दिष्ट नमूद केले नाही, तर डीफॉल्ट मॉडेल ती विनंती हाताळते.

प्रिव्ह्यूमध्येच उपलब्ध असलेले Auto effort, डेव्हलपरने निश्चित केलेल्या धोरणानुसार समर्थित मॉडेल त्याच्या पुढील फेरीत किती कारणमीमांसा वापरेल हे समायोजित करते. एखादा एजंट मॉडेल न बदलता टूल त्रुटीतून सावरण्यासाठी अधिक प्रयत्न खर्च करू शकतो.

बुद्धिमान मॉडेल ऑर्केस्ट्रेशनसह सुरुवात करा

Orchestrator हे इंटेलिजंट मॉडेल ऑर्केस्ट्रेशनसाठी Perplexity च्या API प्लॅटफॉर्ममधील पहिले पाऊल आहे. मॉडेल रूटिंग अचूकपणे साधणे का कठीण आहे यासह, आम्ही Routes कसे तयार केले आणि त्यांचे मूल्यमापन कसे केले ते जाणून घ्या.

सुरुवात करण्यासाठी, API Console मध्ये API की तयार करा, विद्यमान OpenAI किंवा Anthropic SDK ला Orchestrator बेस URL कडे निर्देशित करा आणि मॉडेल कॅटलॉग मधून निवड करा.

क्विकस्टार्ट मार्गदर्शकात काही मिनिटांतच पहिली विनंती कशी पाठवायची हे समजावले आहे. मोठे किंवा करारबद्ध वर्कलोड असलेल्या टीम्स व्हॉल्यूम किंमत आणि क्षमतेविषयी अधिक माहितीसाठी api@perplexity.ai वर ईमेल करू शकतात.

आजच API की तयार करा.