आम्ही सुरक्षित एजंट कसे तयार करतो

सुरक्षित एआय एजंट तयार करण्यासाठी, आम्हाला त्यांच्या क्षमता आणि त्यांच्या अपयशा दोन्हीसाठी डिझाइन करणे आवश्यक आहे. अगदी कायदेशीर कार्ये करताना, आणि कोणत्याही दुर्भावनापूर्ण सूचनांशिवाय, अडथळे दूर करण्याचा प्रयत्न करत असताना एजंट सुरक्षा सीमा ओलांडू शकतात.

आमचा विश्वास आहे की ही एक सुरक्षा अभियांत्रिकी समस्या आहे आणि उद्योगाने २००० च्या दशकाच्या सुरुىळाच्या इंटरनेट वर्म्सचा ज्या प्रकारे सामना केला तसाच याचा सामना केला पाहिजे. एजंट्सभोवतीच्या प्रणालींनी एजंट कशापर्यंत पोहोचू शकतात ते मर्यादित केले पाहिजे, अवांछित वर्तन शोधले पाहिजे आणि अपयश घडल्यास त्यांना रोखले पाहिजे.

Perplexity येथे, एआय एजंट्ससाठी सुरक्षा अभियांत्रिकी पुढे नेण्यासाठी आम्ही संशोधक आणि अभ्यासकांसोबत सक्रियपणे सहकार्य करत आहोत आणि आम्ही आमच्या मॉडेल, एजंट हार्नेस आणि इन्फ्रास्ट्रक्चरमध्ये संरक्षणाचे अनेक स्तर लागू करतो जेणेकरून सुरक्षा कोणत्याही एका सुरक्षिततेवर अवलंबून राहणार नाही.

एआय एजंट्सचे मेल्टडाउन वर्तन

जुलैमध्ये, एआय एजंट्सने ओपन-सोर्स एआय प्लॅटफॉर्म हगिंग फेसच्या उत्पादन पायाभूत सुविधांमध्ये प्रवेश केला. अंतर्गत सायबरसुरक्षा मूल्यमापन आणि प्रशिक्षण चालवण्यादरम्यान, ओपनएआय मॉडेल्सना एकमेकांशी संवाद साधण्यासाठी बुलेटिन बोर्ड स्थापित करण्यासाठी आर्टिफॅक्टरी रिपॉझिटरी मॅनेजरचा फायदा घेण्याचा मार्ग सापडला, ज्यामुळे त्यांना स्वार्म्समध्ये आयोजित करणे शक्य झाले. नंतर, सायबरसुरक्षा बेंचमार्कवरील कामांवर प्रगती करण्यात अक्षम असलेल्या एजंट्सनी मदत करण्यासाठी इतर एजंट्सची भरती केली. हे एजंट त्यांच्या मूल्यमापन वातावरणातून बाहेर पडले आणि इंटरनेटवर पोहोचले. त्यांनी बेंचमार्क कार्यांची उत्तरे रिव्हर्स-इंजिनिअरिंग करून फसवणूक करण्याचे मार्ग देखील शोधले, परंतु त्यांना वाटले की ग्रेडिंग सिस्टम फसवणूक शोधून काढेल. फसवणूक म्हणून ओळखले जाणे टाळण्यासाठी मार्ग शोधण्यासाठी बेंचमार्क मूल्यमापन कसे कार्य करते हे अधिक चांगल्या प्रकारे समजून घेण्यासाठी, त्यांनी शेवटी हगिंग फेस सिस्टम्सशी तडजोड केली (Hugging Face; OpenAI).

जुलैमध्ये आम्ही नंबट ओपन-सोर्स केले तेव्हा आम्ही वर्णन केलेल्या अपयश मोडचे हे एक स्पष्ट उदाहरण आहे: आकस्मिक मेल्टडाउन, Cornell Tech मधील सुरक्षा संशोधकांनी तयार केलेली एक संज्ञा (arXiv). कायदेशीर ध्येय साध्य करणारा एजंट घर्षण अनुभवतो, जसे की गहाळ फाइल, अयशस्वी API कॉल, कालबाह्य झालेले क्रेडेन्शियल किंवा परवानगी नाकारणे, आणि कामाचा पर्याय शोधतो. असे करताना, ते रिकोनेसेन्स, privilegio वाढ, गुप्त शोध किंवा डेटा एक्सफिल्ट्रेशन द्वारे सुरक्षा सीमा ओलांडू शकते. कोणतीही दुर्भावनापूर्ण प्रॉम्प्ट किंवा बाह्य आक्रमणकर्ता सामील नसला तरीही एजंट स्वतःच प्रभावीपणे विरोधक बनतो.

हगिंग फेस हे एकमेव उदाहरण नव्हते. अलीकडच्या आठवड्यांत अधिक एजंट मेल्टडाउन वर्तन शोधले गेले आणि नोंदवले गेले. २७-२८ मे रोजी, यूएस सरकारी डेटासाठी खुला प्रवेश देणारे प्लॅटफॉर्म असलेल्या डेटा यूएसए मधून आयोवा विद्यापीठाचा डेटा गोळा करण्याचा प्रयत्न करणाऱ्या एजंटना चुकीच्या पद्धतीने तयार केलेल्या क्वेरीमुळे त्रुटी आल्या. त्यांनी एसक्यूएल इन्जेक्शन, क्रॉस-साईट स्क्रिप्टिंग, टेम्पलेट इन्जेक्शन, पथ ट्रॅव्हर्सल आणि कमांड इन्जेक्शनसह प्रोबसह प्रतिसाद दिला. ही क्रिया नंतर ओपनएआय (SecurityWeek) शी जोडली गेली. २०-२१ जून रोजी, ऑस्ट्रेलियन इन्स्टिट्यूट ऑफ हेल्थ अँड वेलफेअर (AIHW) कडून व्हिक्टोरियामधील स्थानिक क्षेत्रांमधील औषधांच्या श्रेणीसाठी प्रति-व्यक्ती सरकारी खर्च मिळवण्याचा प्रयत्न करणाऱ्या ओपनएआय एजंटना फाइल डाउनलोड करण्यापासून अवरोधित केले गेले. प्रत्यक्षात, एजंट्सनी प्रक्रियेतील साइटच्या अँटी-बॉट संरक्षणाला बगल देऊन, आधीच सार्वजनिक असलेली फाइल, AIHW प्री-डक्शन सर्व्हरवरून डाउनलोड केली (SecurityWeek).

हा पॅटर्न एकाच लॅबपुरता मर्यादित नाही. सायबरसुरक्षा चाचण्यांदरम्यान, Anthropic मॉडेलने उघड्या इंटरनेट प्रवेशामुळे त्रुटी आल्यानंतर तीन कंपन्यांचे उल्लंघन केले, Google च्या Gemini ने तीन वेबसाइट्ससाठी क्रेडेन्शियल्सचा अंदाज लावला आणि Meta मॉडेलने तृतीय-पक्ष सेवेचा फायदा घेतला (Reuters).

इतिहासातून शिकणे: इंटरनेट वर्म्सचा काळ

या घटना सुमारे पावणेदोन शतकापूर्वीच्या इंटरनेट वर्म्सच्या काळाची आठवण करून देतात. २००० च्या दशकाच्या सुरुवातीस, इंटरनेट त्याच्या जवळील सुरक्षा पद्धतींपेक्षा कितीतरी जास्त वेगाने वाढले. आम्ही विषाणू आणि वर्म्सची लाट पाहिली, ज्याचे परिणाम आज आपण एआय एजंट्सच्या मेल्टडाउनमध्ये पाहतो त्यापेक्षा कितीतरी अधिक गंभीर होते.

४ मे २००० रोजी, लोकांना परिचित प्रेषकांकडून "ILOVEYOU" विषय ओळीसह ईमेल प्राप्त होण्यास सुरुवात झाली. ईमेलमधील संलग्नक उघडल्याने एक स्क्रिप्ट चालली ज्याने पीडितेच्या आउटलुक पत्ता पुस्तिकेतील प्रत्येकाला स्वतःची प्रत मेल केली. त्या दिवशी संध्याकाळी ६ वाजेपर्यंत, CERT कोऑर्डिनेशन सेंटरला ४२०,००० पेक्षा जास्त इंटरनेट होस्टचा समावेश असलेल्या अहवाल प्राप्त झाले होते (US GAO Report). या विषाणूने संरक्षण विभाग, सीआयए, नासा आणि हाऊस आणि सिनेटसह किमान १४ फेडरल एजन्सींमध्ये प्रवेश केल्याचे वृत्त आहे (US GAO Report). यामुळे पेंटागन आणि ब्रिटिश संसदेवरील ईमेल सर्व्हर देखील बंद झाले (Wired). विमा दिग्गज Lloyd's of London ने एक प्रारंभिक अंदाज लावला की विषाणूमुळे नुकसान आणि गमावलेल्या उत्पादकतेमध्ये $१५ अब्ज पेक्षा जास्त खर्च येईल (US House Committee Hearing). कॉम्प्युटर इकॉनॉमिक्सने नंतर जगभरात $८.७५ अब्ज नुकसानीचा अंदाज लावला (Information Week).

ज्या वर्म्सना मानवी क्लिकची गरज नव्हती ते पुढे आले. १९ जुलै २००१ रोजी, कोड-रेड वर्मने १४ तासांपेक्षा कमी वेळेत ३५९,००० पेक्षा जास्त संगणकांना संक्रमित केले (CAIDA). २५ जानेवारी २००३ रोजी, SQL Slammer दर ८.५ सेकंदांनी आकाराने दुप्पट झाले आणि मायक्रोसॉफ्टने सहा महिने आधी पॅच जारी केलेल्या छिद्राचा फायदा घेऊन, १० मिनिटांच्या आत त्याला असुरक्षित असलेल्या ९०% पेक्षा जास्त इंटरनेट होस्टना संक्रमित केले (CAIDA, CNET). ऑगस्ट २००३ मध्ये, ब्लास्टर वर्म आणि सोबिग ईमेल वर्म सुमारे एका आठवड्याच्या अंतराने दिसले (Microsoft, F-Secure).

त्या वेळी, नेटवर्क केलेले संगणक अजिबात सुरक्षित केले जाऊ शकतात का असा प्रश्न विचारणे वाजवी होते. ILOVEYOU विषाणूच्या सहा दिवसांनंतर, यूएस हाऊसच्या उपसमितीने त्यावर सुनावणी घेतली. अनेक सुरक्षा तज्ञांनी अशा कायद्याची मागणी केली ज्यामुळे सॉफ्टवेअर कंपन्या त्यांच्या उत्पादनांमधील दोषांमुळे झालेल्या नुकसानास जबाबदार ठरतील. वॉशिंग्टनने एक वेगळा मार्ग घेतला. द नॅशनल धोरण टू सेक्युअर सायबरस्पेसने म्हटले आहे की “सायबरस्पेस सुरक्षित करण्याचा फेडरल नियमन प्राथमिक साधन बनणार नाही.” त्याने चेतावणी दिली की व्यापक आदेश “सायबर सुरक्षेसाठी सर्वात कमी-सामान्य-भाजक दृष्टीकोन” तयार करू शकतात (CISA).

उद्योगाने अभियांत्रिकीसह उत्तर दिले. ILOVEYOU च्या अकरा दिवसांनंतर, मायक्रोसॉफ्टने आउटलुक अपडेटची घोषणा केली ज्याने एक्झिक्युटेबल संलग्नक ब्लॉक केले. जानेवारी २००२ मध्ये, कंपनीने सुरक्षेला सर्वोच्च प्राधान्य दिले (Seattle Times). स्वयंचलित पॅचिंग, सुरक्षित डीफॉल्ट, बग बाउन्टी प्रोग्राम आणि समन्वित खुलासा मानक अभ्यास बनले. २००८ मध्ये, क्रोमने एका सँडबॉक्समध्ये वेब सामग्री चालवण्यास सुरुवात केली जी "बगचे शोषण केल्यानंतर आक्रमणकर्ता काय करू शकतो ते मर्यादित करते" (Chromium Blog). एन्क्रिप्शन, एकेकाळी अपवाद, डीफॉल्ट बनले. बहु-फॅक्टर प्रमाणीकरण, फायरवॉल, शून्य विश्वास आणि सुरक्षा माहिती आणि इव्हेंट मॅनेजमेंट (SIEM) यांसारख्या सुरक्षा तंत्रज्ञानाचा मोठ्या प्रमाणावर वापर केला गेला. २०२६ मध्ये माहिती सुरक्षेवर जगभरातील संस्था सुमारे $२४० अब्ज खर्च करतील असा अंदाज आहे (Gartner). वर्म्स कधीही पूर्णपणे नाहीसे झाले नाहीत, परंतु नियमित इंटरनेट-व्यापी उद्रेकाचा काळ फिकट झाला. त्याच वेळी, इंटरनेट, मोठ्या प्रमाणावर नियमांशिवाय, पुढील दोन दशकांत नाविन्यपूर्ण आणि आर्थिक वाढीचे शक्तिशाली इंजिन बनले.

एआय एजंट्ससाठी सुरक्षा अभियांत्रिकी

अलीकडील घटनांमुळे एजंट गव्हर्नन्सबद्दल कायदेशीर प्रश्न उपस्थित झाले आहेत. विद्यमान सुरक्षा यंत्रणा पूर्व-एजंट कॉम्प्युटिंग वातावरणासाठी विकसित केल्या गेल्या आहेत ज्यांना कडकपणे स्कोप केलेल्या आणि मोठ्या प्रमाणावर निर्धारी सॉफ्टवेअर वर्तन द्वारे वैशिष्ट्यीकृत केले गेले आहे. ऍक्सेस कंट्रोल मेकॅनिझम, विशेषतः, मानवी वापरकर्त्यांच्या आसपास डिझाइन केलेले आहेत आणि बहुतेकदा त्यांना व्यापक विशेषाधिकार देतात जे तत्त्वत:, महत्त्वपूर्ण नुकसान करण्यासाठी पुरेसे आहेत.

हे डिझाइन अनेक गृहितकांवर आधारित आहे: बहुतेक वापरकर्ते चांगल्या विश्वासाने वागतात; दुर्भावनापूर्ण अभिनेत्यांना ऑडिटिंग आणि वास्तविक जगातील परिणामांमुळे परावृत्त केले जाऊ शकते; आणि मानव कृती करतात, मग त्या योग्य असोत किंवा चुकीच्या, نسبत्या मर्यादित दराने. हे सुरक्षा यंत्र एजंटना लागू करण्यासाठी मानवी आणि एजंट वर्तनातील फरकांचा हिशोब देणे आवश्यक आहे. आम्ही आमच्या AI एजंट सुरक्षेवरील माहितीसाठी NIST च्या विनंतीला प्रतिसाद मध्ये लिहिल्याप्रमाणे, AI एजंट या गृहितकांना आव्हान देतात. ते विशेषाधिकार वापरू शकतात आणि मशीनच्या वेगाने कृती करू शकतात, वास्तविक जगाच्या परिणामाங்களால் स्वतः परावृत्त होत नाहीत आणि अशा कृती करू शकतात ज्या तांत्रिकदृष्ट्या परवानगीयोग्य आहेत परंतु सामान्य मानवी वापरकर्ता क्वचितच करेल.

त्या प्रश्नांची उत्तरे देण्यासाठी सुरक्षा अभियांत्रिकी आवश्यक आहे. वैयक्तिक घटक चुकीचे वागतात तेव्हा धोके नियंत्रणात ठेवणाऱ्या प्रणाली तयार करण्यासाठी सुरक्षा तत्त्वे आम्हाला माहीत आहेत. परंतु एआय एजंट्सच्या प्रशिक्षण, चाचणी आणि वापरासाठी वातावरण तयार करताना ही तत्त्वे लागू केली जात आहेत याची खात्री करणे आम्हाला आवश्यक आहे.

संरक्षण-मध्ये-खोली (Defense-in-depth) सुरक्षा तत्त्व

एआय एजंट्स सुरक्षित करण्यासाठी लागू करण्याची गरज असलेले कदाचित सर्वात महत्त्वाचे सुरक्षा तत्त्व म्हणजे डिझाइन-इन-डेप्थ, जे स्तरा M-आधारित सुरक्षा आर्किटेक्चरची वकिली करते, जिथे प्रणाली संसाधनांचे रक्षण करण्यासाठी अनेक, वैविध्यपूर्ण आणि अतिरिक्त संरक्षणात्मक उपाय नियोजित केले जातात. कोणताही एक सुरक्षा उपाय परिपूर्ण नसतो. लोक सोशल-इंजिनिअरिंग हल्ल्यांना बळी पडू शकतात आणि त्यांची लॉगिन क्रेडेन्शियल्स उघड करू शकतात, शून्य-दिवसांच्या सॉफ्टवेअर असुरक्षा शोधल्या जातात आणि शोषण केल्या जातात आणि घुसखोरी शोधणे नवीन आक्रमण प्रकार चुकवते. डिझाइन-इन-डेप्थ ते स्वीकारते आणि संरक्षणाचे अनेक स्वतंत्र स्तर स्टॅक करते. एखादा संरक्षणात्मक स्तर बायपास केला गेला, तर घुसखोरीचा मुकाबला करण्यासाठी किंवा शोधण्यासाठी इतर स्तर जागेवर राहतात.

हगिंग फेसची घटना दर्शवते की संरक्षण-मध्ये-खोली (defense-in-depth) का महत्त्वाची आहे. ओपनएआयच्या पूर्वलक्षी अहवालानुसार, त्याच्या उत्पादन प्रणालींमध्ये वापरलेले स्वयंचलित सुरक्षा उपाय, ज्यामध्ये हार्नेस, ऑटो-रिव्ह्यू मॉडेल्स आणि सेफ्टी क्लासिफायर्स समाविष्ट आहेत, मूल्यमापन वातावरणात अनुपस्थित होते. जर त्याची सध्या उपयोगात आणलेली चेन-ऑफ-थॉट मॉनिटरिंग त्या मूल्यांकनांवर चालत असती, तर तिने प्रारंभिक क्रियाकलाप पकडले असते आणि उल्लंघनाच्या दिवसापेक्षा अधिक काळ सुरक्षा टीमला पेजर केले असते (OpenAI). ज्या स्तरांवर ही समस्या पकडता आली असती ते अस्तित्वात होते. ते केवळ एकाच वेळी सर्व ठिकाणी नव्हते.

एआय एजंट्स सुरक्षित करण्यासाठी एआय मॉडेल्सची सुरक्षा आणि सुरक्षा सुधारणे आणि त्यांच्याभोवतीच्या प्रणालींची आवश्यकता आहे. मॉडेल लेयरवरील काम महत्त्वाचे आहे आणि त्याचे फळ मिळत आहे. सुरुवातीच्या एलएलएममध्ये इंजेक्शन केलेल्या सूचनांद्वारे सहज फेरफार केली जात होती, तर आजची मॉडेल त्यांना ओळखण्यात आणि नाकारण्यात लक्षणीयरीत्या चांगली आहेत. मॉडेल डेव्हलपर सुरक्षित वर्तनासाठी मॉडेल्सना प्रशिक्षित करतात आणि, ओपनएआयचा पूर्वलक्षी वर्णन करतो तसे, समस्याप्रधान वर्तनाच्या चिन्हांसाठी तर्क ट्रेसचे निरीक्षण करतात. परंतु मॉडेल-स्तरीय संरक्षण हे केवळ उपायाचा एक भाग आहे. ज्या प्रणालींमध्ये एजंट प्रशिक्षित, चाचणी आणि तैनात केले जातात त्या देखील सुरक्षा आणि प्रतिबंधासाठी डिझाइन केल्या पाहिजेत. मॉडेल-स्तरीय सुरक्षा एजंट मार्ग चुकण्याची शक्यता कमी करते; सिस्टम-स्तरीय सुरक्षा नुकसान होते तेव्हा ते मर्यादित करते.

विस्तृत करा

अतिरिक्त सुरक्षेसाठी डिझाइन नियम

संरक्षण-मध्ये-खोलीसाठी अतिरिक्त सुरक्षेची आवश्यकता असते. एजंट्ससाठी, आम्ही तीन डिझाइन नियमांसह ते लागू करण्याची वकिली करतो:

1. स्वातंत्र्य. प्रत्येक स्तर स्वतंत्र कारणांमुळे अयशस्वी झाला पाहिजे. समान गृहीतके सामायिक करणारे दोन नियंत्रण समान हल्ल्याद्वारे पराभूत केले जाऊ शकतात. मॉनिटर आणि अंमलबजावणी बिंदू एजंटच्या आवाक्याबाहेर असले पाहिजेत.
2. एजंटच्या खाली अंमलबजावणी. किमान एक स्तर निर्धारवादी (deterministic) असला पाहिजे: पारंपारिक, पडताळणी करण्यायोग्य कोड जो मॉडेल काहीही उत्पन्न करत असला तरीही प्रतिबंधित कृती ब्लॉक करतो. एजंट ज्या सुरक्षिततेचा आह्वान करण्यास नकार देऊ शकतो किंवा पुन्हा कॉन्फिगर करू शकतो, ती सुरक्षा नाही.
3. सिग्नल केवळ अधिकार कमी करू शकतात. शोधामुळे असे प्रतिसाद ट्रिगर केले पाहिजेत जे एजंट काय करू शकतो ते कमी करतात, जसे की थांबवणे, क्रेडेन्शियल्स रद्द करणे, नेटवर्क प्रवेश कापून टाकणे किंवा सत्र समाप्त करणे. कोणत्याही धोका सिग्नलने कधीही अतिरिक्त प्रवेश देऊ नये.

NVIDIA सह, आम्ही Open Secure AI Alliance मधील आमच्या भागीदारांसह ही तत्त्वे सामायिक करतो, ज्याने असा युक्तिवाद केला आहे की हार्नेस एजंट काय प्रयत्न करतो याचे मार्गदर्शन करते तर इन्फ्रास्ट्रक्चर ते काय करू शकते हे नियंत्रित करते (NVIDIA).

Perplexity च्या उत्पादनांमध्ये डिझाइन-इन-डेप्थ

Perplexity चार प्रकारच्या वातावरणात एजंट चालवते: आमच्या एजंट प्लॅटफॉर्म Computer द्वारे क्लाउडमध्ये, Comet द्वारे ब्राउझरमध्ये, Portable Computer द्वारे वापरकर्ता डिव्हाइसवर, आणि कर्मचारी लॅपटॉपवर, जेथे आमचे अभियंते तृतीय-पक्ष कोडिंग एजंट वापरतात. प्रत्येक वातावरणात स्वतःचे धोके असतात आणि प्रत्येकाला संरक्षणाचे अनेक स्तर मिळतात.

क्लाउडमध्ये: Computer आणि SPACE

प्रत्येक Computer कार्य आमच्या SPACE सँडबॉक्स प्लॅटफॉर्ममध्ये चालते, जे डीफॉल्टनुसार एजंटला अनट्रस्टेड मानतो. प्रत्येक कार्याला स्वतःचे मायक्रोव्हीएम मिळते, क्रेडेन्शियल्स सँडबॉक्सच्या बाहेर राहतात आणि केवळ आवश्यक असेल तेव्हाच जोडले जातात, आउटबाउंड ट्रॅफिक गेस्टच्या बाहेर नियंत्रित केले जाते आणि स्नॅपशॉट्स आम्हाला विनाशात्मक बदल परत रोल करण्यास परवानगी देतात (Making SPACE). एंटरप्राइझ ग्राहक त्यांच्या स्वतःच्या एन्क्रिप्शन की देखील आणू शकतात. की रद्द केल्याने संरक्षित डेटा वाचता येत नाही आणि एजंट त्या निर्णयाला ओव्हरराईड करू शकत नाही.

हे स्तर टिकून राहतात की नाही याचीही आम्ही चाचणी करतो. Escaping SPACE: Part I मध्ये, आम्ही नऊ फ्रंटियर मॉडेल्सना SPACE सँडबॉक्समध्ये रूट ऍक्सेस दिला आणि त्यांना बाहेर पडण्यास सांगितले. कोणीही व्हीएममधून पळून गेले नाही, परंतु जेव्हा अंशतः नेटवर्क प्रवेशास अनुमती दिली गेली तेव्हा काहींनी नेटवर्क धोरणाभोवती मार्ग शोधले. आम्ही ती पोकळी दुरुस्त केली, पुन: चाचणीमध्ये दुरुस्तीची पुष्टी केली आणि इतर १० सँडबॉक्स प्लॅटफॉर्मपैकी ८ मध्ये आम्हाला आढळलेल्या तत्सम कमकुवतपणा त्यांच्या विक्रेत्यांना उघड केल्या.

ब्राउझरमध्ये: Comet आणि BrowseSafe

लॉन्च केल्यापासून कॉमेटने स्तरावरील प्रॉम्प्ट-इंजक्शन संरक्षण वापरले आहे: वर्गीकरणकर्ते पुनर्प्राप्त सामग्रीची स्क्रीन करतात, संरचित प्रॉम्प्ट्स ते अनट्रस्टेड म्हणून चिन्हांकित करतात, ईमेल पाठवणे किंवा ऑर्डर देणे यासारख्या संवेदनशील कृतींसाठी वापरकर्त्याची पुष्टी आवश्यक असते आणि काहीतरी ब्लॉक केल्यावर वापरकर्त्यांना सांगितले जाते (Comet prompt-injection defenses). BrowseSafe, पहिल्या स्तरामागील ओपन-सोर्स डिटेक्शन मॉडेल, आमच्या BrowseSafe-Bench बेंचमार्कवर फ्रंटियर मॉडेल्सपेक्षा चांगली कामगिरी करते, तरीही त्याच बेंचमार्कवरून असे दिसून येते की कोणतेही डिटेक्टर फेल-सेफ नाही, म्हणूनच डिटेक्शन हा कधीही एकमेव स्तर नसतो (BrowseSafe research). Computer ही संरक्षणे वारशाने मिळवते, ज्यांचे ट्रेल ऑफ बिट्स द्वारे ऑडिट केले गेले आहे (Perplexity).

डिव्हाइसवर: Portable Computer

Perplexity च्या क्लाउड, ब्राउझर आणि एंडपॉइंट एजंट्समध्ये स्तरित सुरक्षा उपाय, स्वतंत्र मॉनिटरिंग आणि मानवी देखरेख.

एंडपॉइंटवर: Numbat

डेवलपर लॅपटॉपवरील कोडिंग एजंट्स स्त्रोत कोड, क्रेडेन्शियल्स आणि उत्पादन प्रणालींमध्ये प्रवेशासह तासेंदिवस चालतात. Numbat, आमची ओपन-सोर्स एजंट सुरक्षा सुट, एक स्वतंत्र स्तर जोडते जो कोणत्याही एका एजंटच्या बाहेर बसतो. हे Claude Code, Codex, OpenCode आणि Pi सारख्या हार्नेससह कार्य करते, चालण्यापूर्वी धोकादायक कृती ब्लॉक करते, गुप्त वाचणे आणि नंतर डेटा पाठवणे यांसारख्या संशयास्पद बहु-चरण अनुक्रम फ्लॅग करते आणि तपासणीसाठी सत्र कालरेषा जतन करते. Numbat आमचे ओपन-सोर्स सप्लाय-चेन स्कॅनर Bumblebee सोबत हजारो Perplexity एंडपॉइंट्सवर चालते. Computer नियमितपणे त्यांच्या निष्कर्षांचे पुनरावलोकन करते आणि सुधारित शोध नियमांचा प्रस्ताव देते आणि मानव ते पाठवण्यापूर्वी प्रत्येक बदलाला मंजुरी देतो.

संपूर्ण उद्योगासाठी एक नोकरी

एआय एजंट्स अधिक सक्षम आणि मोठ्या प्रमाणावर वापरले जात असताना, सुरक्षा अभियांत्रिकी त्यांच्या विकास आणि उपयोगाच्या केंद्रस्थानी राहिली पाहिजे. संशोधक आणि अभियंते प्रस्थापित तत्त्वांवर तयार करू शकतात, संरक्षणास परिष्कृत करण्यासाठी वास्तविक-जगातील निष्कर्ष वापरू शकतात आणि एजंट ज्या वातावरणात कार्य करतात त्या वातावरणात सुरक्षेची चाचणी करू शकतात. सुरक्षा ही एक चालू असलेली अभियांत्रिकी शाखा आहे जी तंत्रज्ञानासोबत विकसित होते.

एजंट्ससाठी सुरक्षा अभियांत्रिकी हे संपूर्ण उद्योगासाठी एक काम आहे. कोणतीही एक कंपनी एजंट चालणाऱ्या पूर्ण स्टॅकवर नियंत्रण ठेवत नाही. मॉडेल डेव्हलपर, हार्नेस बिल्डर, सँडबॉक्स आणि रनटाइम प्रदाते, क्लाउड आणि हार्डवेअर विक्रेते आणि एंटरप्राइझ सुरक्षा संघ प्रत्येक एका स्तराची मालकी घेतात. संपूर्ण सुरक्षा प्रत्येक स्तरावर अवलंबून असते जेव्हा दुसरा स्तर घसरतो. म्हणूनच आम्ही असे सुरक्षा उपाय तयार करतो जे एजंट हार्नेसवर काम करतात आणि आमची साधने ओपन-सोर्स करतात. आम्ही इतर प्लॅटफॉर्ममध्ये आम्हाला आढळणाऱ्या कमकुवतपणा का उघड करतो आणि ओपन सेक्युअर एआय अलायन्स सारख्या प्रयत्नांमध्ये भाग का घेतो याचे हे कारण आहे.

या आव्हानांवर व्यापक समुदायासोबत काम करण्यासाठी, Perplexity ने अग्रगण्य एआय सिस्टम्सची सुरक्षा, विश्वासार्हता आणि व्यावहारिक रक्षणाचा अभ्यास करण्यासाठी मार्च २०२६ मध्ये Secure Intelligence Institute सुरू केला (Perplexity). Perplexity सध्या स्टॅनफोर्ड, सीएमयू, ड्यूक, कोलंबिया, ओहायो स्टेट आणि व्हर्जिनिया विद्यापीठातील शैक्षणिक संशोधकांचे सहकार्य आणि/किंवा निधी पुरवत आहे. एजंट सुरक्षा संशोधनाची सीमा पुढे नेण्यासाठी, त्या प्रगतीचे Perplexity च्या प्रणालींमध्ये ठोस सुधारणांमध्ये रूपांतर करण्यासाठी आणि व्यापक एआय इकोसिस्टम मजबूत करण्यात मदत करणारे ज्ञान आणि संसाधने सामायिक करण्यासाठी आम्ही अंतर्गत संशोधन देखील करत आहोत. सुरक्षित एजंट ही अशी गोष्ट आहे जी उद्योग अभियांत्रिकी करू शकतो. आमचा आमची भूमिका पार पाडत राहण्याचा मानस आहे आणि आम्ही इतरांना आमच्यासोबत तयार करण्यासाठी आमंत्रण देतो.