सैंडबॉक्स API: AI एजेंटों के लिए पृथक कोड निष्पादन

एजेंटिक वर्कफ़्लो को अक्सर नियतात्मक निष्पादन की आवश्यकता होती है। जब किसी एजेंट को सांख्यिकीय विश्लेषण चलाने, चार्ट बनाने, गणना को मान्य करने या डेटासेट को रूपांतरित करने की आवश्यकता होती है, तो उसे सटीक आउटपुट के साथ नियतात्मक निष्पादन की आवश्यकता होती है। एजेंट गणना करने के बारे में तर्क करता है। सैंडबॉक्स इसकी गणना करता है।

Perplexity के लिए निर्मित, अब एक सेवा के रूप में उपलब्ध

हमने इस पैटर्न का आंतरिक रूप से समर्थन करने के लिए सैंडबॉक्स बनाया है। Perplexity Computer, हमारा Finance Agent, और गहन शोध सभी सैंडबॉक्स वातावरण के भीतर कोड निष्पादित करते हैं। Computer प्रति मिनट हजारों सत्र चलाता है। Finance Agent लाइव बाजार डेटा गणना के लिए सैंडबॉक्स का उपयोग करता है। गहन शोध इसका उपयोग वर्कफ़्लो के दौरान फ़ाइल निर्माण, डेटा प्रोसेसिंग और प्रारूप रूपांतरण के लिए करता है। सैंडबॉक्स API उसी निष्पादन वातावरण को एक स्टैंडअलोन सेवा के रूप में उपलब्ध कराता है।

स्थायी फ़ाइल सिस्टम के साथ स्टेटफुल सत्र

प्रत्येक सत्र अपने स्वयं के पृथक Kubernetes पॉड में चलता है। डेवलपर अंतर्निहित बुनियादी ढांचे में से किसी का प्रबंधन नहीं करता है: हम प्रोविजनिंग, नेटवर्किंग और सफाई का ध्यान रखते हैं। समर्थित भाषाएं Python, JavaScript और SQL हैं, जिसमें प्रति सत्र रनटाइम पैकेज इंस्टॉलेशन उपलब्ध है।

सत्र स्टेटफुल होते हैं। एक स्थायी फ़ाइल सिस्टम FUSE के माध्यम से माउंट किया जाता है। FUSE डेमन फ़ाइल ऑपरेशनों को इंटरसेप्ट करता है और उन्हें एजेंट के लिए अनुवादित करता है: सत्र निर्माण के बाद से पढ़ना, लिखना, फ़ाइलों को सूचीबद्ध करना और संशोधनों को ट्रैक करना। एक चरण में बनाई गई फ़ाइलें बाद के चरणों में उपलब्ध होती हैं। लंबे समय तक चलने वाले वर्कफ़्लो रुक सकते हैं, घंटों बाद फिर से शुरू हो सकते हैं, और पूरी स्थिति बरकरार रहने के साथ आगे बढ़ सकते हैं। प्रत्येक सत्र पाँच पृष्ठभूमि प्रक्रियाओं तक का समर्थन करता है।

डिफ़ॉल्ट रूप से ज़ीरो-ट्रस्ट

सुरक्षा आर्किटेक्चर डिफ़ॉल्ट रूप से अविश्वसनीय कोड मानता है। सैंडबॉक्स में सीधी नेटवर्क पहुँच नहीं होती है। जब आउटबाउंड कनेक्टिविटी की आवश्यकता होती है, तो ट्रैफ़िक सैंडबॉक्स के बाहर चल रहे एक एग्रेस प्रॉक्सी के माध्यम से रूट होता है। प्रॉक्सी गंतव्य डोमेन द्वारा आउटबाउंड अनुरोधों का मिलान करता है और उचित क्रेडेंशियल्स इंजेक्ट करता है। सैंडबॉक्स के अंदर निष्पादित होने वाले कोड की कभी भी रॉ API कुंजियों या रहस्यों तक पहुँच नहीं होती है। अंतर्निहित टाइमआउट और संसाधन सीमाएं निष्पादन सीमाओं को लागू करती हैं।

ऑर्केस्ट्रेशन लेयर के रूप में एजेंट API

सैंडबॉक्स API, एजेंट API के भीतर एक उपकरण के रूप में उपलब्ध होगा, जो ऑर्केस्ट्रेशन रनटाइम को वर्कफ़्लो के मध्य में नियतात्मक कोड निष्पादन को सौंपने की अनुमति देगा। एजेंट तय करता है कि क्या गणना करनी है, सैंडबॉक्स को भेजता है, आउटपुट का निरीक्षण करता है, और अपने तर्क लूप को जारी रखता है। वही API कुंजी, वही क्रेडिट्स।

सैंडबॉक्स API जल्द ही आ रहा है। हम शीघ्र ही एक निजी बीटा खोलेंगे, जिसमें दस्तावेज़ीकरण docs.perplexity.ai पर उपलब्ध होगा