पेश है Orchestrator: फ़्रंटियर और ओपन-वेट मॉडल के लिए एक API

Perplexity Orchestrator एक ही API में एकीकृत बिलिंग और फ़ेलओवर के साथ फ़्रंटियर और ओपन-वेट मॉडल तक पहुँच प्रदान करता है।

An orchestra conductor surrounded by sweeping trails of light against a dark background.

Perplexity मूल रूप से मल्टी-मॉडल है, जिससे लोगों को अपने काम के लिए नवीनतम फ्रंटियर और ओपन-वेट मॉडल चुनने की आज़ादी मिलती है। यह मल्टी-मॉडल दृष्टिकोण हर मॉडल की खूबियों का लाभ उठाता है और जब किसी टास्क के लिए सबसे शक्तिशाली मॉडल की ज़रूरत न हो, तो लागत कम कर सकता है। पर्दे के पीछे, हमारी ऑर्केस्ट्रेशन तकनीक एक ही काम पूरा करने के लिए कई मॉडल का उपयोग कर सकती है।

व्यवसाय भी परफ़ॉर्मेंस, लागत और लचीलेपन के बीच संतुलन बनाने के लिए ऐसा ही तरीका अपना रहे हैं। हर नई मॉडल रिलीज़ लागत कम करने या गुणवत्ता बेहतर बनाने का एक अवसर लेकर आती है। सिर्फ़ इसी साल, Anthropic और OpenAI जैसी लैब्स ने एक दर्जन से ज़्यादा नए मॉडल रिलीज़ किए हैं। 100 से ज़्यादा ओपन-वेट मॉडल भी लॉन्च हुए हैं। इससे टीमों को हर वर्कलोड के लिए ज़्यादा विकल्प तो मिलते हैं, लेकिन मैनेज करने के लिए ज़्यादा प्रदाता, अनुबंध और इनवॉइस भी हो जाते हैं।

आज हम Perplexity Orchestrator API लॉन्च कर रहे हैं, जिससे हमारी मॉडल-एग्नॉस्टिक तकनीक AI ऐप्लिकेशन बनाने वाले डेवलपर्स और टीमों के लिए उपलब्ध हो रही है। एक ही API के ज़रिए, टीमें सरल, हाई-वॉल्यूम कार्यों को कम लागत वाले मॉडलों पर चला सकती हैं और ज़्यादा जटिल काम के लिए ज़्यादा शक्तिशाली मॉडल रख सकती हैं।

Orchestrator के साथ, टीमें परफ़ॉर्मेंस या अपटाइम से समझौता किए बिना AI पर होने वाले खर्च को कम और केंद्रीकृत कर सकती हैं, और नए मॉडल लॉन्च होते ही उन्हें अपना सकती हैं। टीमें चुन सकती हैं कि कौन-सा मॉडल किस वर्कलोड को संभाले, और भरोसेमंद इन्फ़रेंस सुनिश्चित करने के लिए Perplexity प्रदाता रूटिंग और फ़ेलओवर संभालता है।

Perplexity की प्रोडक्शन मॉडल लेयर पर निर्मित

Perplexity हर दिन प्रोडक्शन में ओपन-वेट और फ्रंटियर मॉडल चलाता है। हमारी मॉडल लेयर 85 से अधिक मॉडल और एक दर्जन से ज़्यादा प्रोवाइडर में दसियों करोड़ अनुरोधों को रूट करती है।

जब प्रोवाइडर धीमे पड़ जाते हैं, उनकी क्षमता कम पड़ जाती है या वे कीमतें बदल देते हैं, तब हर अनुरोध को तेज़ और किफ़ायती बनाए रखने की तुलना में मॉडल चुनना आसान है। हमने वर्कलोड को हर टास्क के लिए सबसे उपयुक्त मॉडल पर ले जाकर अपनी सर्विंग लागत कम की है।

Orchestrator डेवलपर्स को उस दृष्टिकोण के पीछे के साझा इन्फ़्रास्ट्रक्चर तक एक्सेस देता है।

Orchestrator उस इन्फ़रेंस लेयर को एक ही API के ज़रिए उपलब्ध कराता है। इसमें OpenAI, Anthropic, Google और xAI के मॉडल शामिल हैं, साथ ही GLM, Kimi और DeepSeek जैसे ओपन-वेट मॉडल भी। ओपन-वेट मॉडल Perplexity द्वारा या इन्फ़रेंस पार्टनर्स के ज़रिए सर्व किए जाते हैं।

Orchestrator, OpenAI Chat Completions, OpenAI Responses और Anthropic Messages फ़ॉर्मैट को सपोर्ट करता है। टीमें जाने-पहचाने सॉफ़्टवेयर डेवलपमेंट किट (SDK) का उपयोग जारी रख सकती हैं। ज़्यादातर टीमों के लिए, शुरुआत करने के लिए बस API कुंजी और बेस URL अपडेट करना और कोई उपलब्ध मॉडल चुनना होता है।

बिना किसी अतिरिक्त प्लेटफ़ॉर्म शुल्क के एकीकृत बिलिंग

कई लैब और इन्फ़रेंस प्रोवाइडर के मॉडल चलाने के लिए अलग-अलग खाते, API कुंजियाँ, अनुबंध, सुरक्षा समीक्षाएँ और इनवॉइस की ज़रूरत पड़ सकती है। इसका मतलब ऐसे मॉडल मिक्स के आधार पर अलग-अलग वार्षिक प्रतिबद्धताएँ भी हो सकता है जो कुछ ही हफ़्तों में बदल सकता है।

Orchestrator समर्थित मॉडलों को एक ही वेंडर और एक ही बिल के तहत लाता है, ताकि टीमें हर प्रदाता के साथ अलग से कमिटमेंट तय किए बिना अपने मॉडल मिक्स को बदल सकें। क्रेडिट्स के ऊपर कोई अतिरिक्त प्लेटफ़ॉर्म शुल्क नहीं है।

टीमें API Console के ज़रिए उपयोग को ट्रैक और खर्च को मैनेज भी कर सकती हैं:

  • उपयोग रिपोर्टिंग: मॉडल, प्रोजेक्ट, API कुंजी और तारीख के अनुसार खर्च का ब्यौरा
  • API कुंजियाँ: प्रोजेक्ट या टीम के अनुसार उपयोग ट्रैक करने के लिए अलग-अलग API कुंजियाँ
  • एडमिन कंट्रोल: संगठन के मॉडल अलाउलिस्ट, उपयोगकर्ता प्रतिबंध, खर्च की सीमाएँ और क्षमता अनुरोध

सभी प्रदाताओं में ज़्यादा भरोसेमंद अनुरोध

कई प्रदाताओं के ज़रिए उपलब्ध मॉडल टीमों को किसी अनुरोध को सर्व करने के एक से ज़्यादा तरीके देते हैं।

Orchestrator हर प्रदाता की हेल्थ, क्षमता और लेटेंसी को ट्रैक करता है, ताकि ट्रैफ़िक को सबसे अच्छा प्रदर्शन करने वाले प्रदाताओं में बाँटा जा सके। अगर कोई अनुरोध विफल हो जाता है, तो यह उसी मॉडल की किसी दूसरी डिप्लॉयमेंट पर फिर से कोशिश कर सकता है, जिससे टीमों को खुद लॉजिक बनाए बिना फ़ेलओवर संभल जाता है।

रोज़ाना लाखों अनुरोध चलाने वाली टीमों के लिए, अनुरोध सफलता दर में छोटा-सा अंतर भी, जैसे 99.0% और 99.99% के बीच का अंतर, हज़ारों रिस्पॉन्स को प्रभावित कर सकता है। Orchestrator के साथ, टीमों को फ़ेलओवर कोड खुद बनाने या मेंटेन करने की ज़रूरत नहीं होती।

Orchestrator पर एक महीने के प्रोडक्शन ट्रैफ़िक में, Perplexity के ज़रिए भेजे गए Claude और GPT अनुरोधों की सफलता दर मापे गए किसी भी अकेले प्रदाता से अधिक रही, और प्रदाता से जुड़ी घटनाओं के दौरान दैनिक उतार-चढ़ाव भी कम रहा।

प्रीव्यू में: Routes और Auto effort

Routes की मदद से टीमें सरल भाषा में बता सकती हैं कि कौन-सा मॉडल कौन-से अनुरोध संभाले, और एक डिफ़ॉल्ट मॉडल सेट कर सकती हैं। टीमें बिल्ट-इन Lower cost, Balanced या Higher quality प्रोफ़ाइल से शुरुआत कर सकती हैं, या अपनी कस्टम प्रोफ़ाइल बना सकती हैं। अगर टीमें कोई विवरण नहीं देतीं या कोई लक्ष्य निर्दिष्ट नहीं करतीं, तो डिफ़ॉल्ट मॉडल अनुरोध को सर्व करता है।

Auto effort भी प्रीव्यू में उपलब्ध है। यह डेवलपर द्वारा तय की गई नीति के अनुसार यह समायोजित करता है कि कोई समर्थित मॉडल अपने अगले टर्न में कितनी रीज़निंग करे। कोई एजेंट मॉडल बदले बिना किसी टूल त्रुटि से उबरने में ज़्यादा प्रयास लगा सकता है।

इंटेलिजेंट मॉडल ऑर्केस्ट्रेशन के साथ शुरुआत करें

Orchestrator, बुद्धिमान मॉडल ऑर्केस्ट्रेशन के लिए Perplexity के API प्लेटफ़ॉर्म में पहला कदम है। जानें कि हमने Routes को कैसे बनाया और उसका मूल्यांकन कैसे किया, जिसमें यह भी शामिल है कि मॉडल रूटिंग को सही तरीके से करना क्यों मुश्किल है।

शुरू करने के लिए, API Console में एक API कुंजी बनाएँ, किसी मौजूदा OpenAI या Anthropic SDK को Orchestrator बेस URL पर पॉइंट करें, और मॉडल कैटलॉग में से चुनें।

क्विकस्टार्ट में बताया गया है कि कुछ ही मिनटों में पहला अनुरोध कैसे भेजें। बड़े या कमिटेड वर्कलोड वाली टीमें वॉल्यूम प्राइसिंग और क्षमता के बारे में अधिक जानकारी के लिए api@perplexity.ai पर ईमेल कर सकती हैं।

आज ही API कुंजी बनाएँ।