BrowseSafe++: प्रत्यक्ष जगातील प्रॉम्प्ट इंजेक्शनविरुद्ध अधिक मजबूत संरक्षण उभारणे

Comet किंवा Computer मध्ये अंगभूत असलेल्या असिस्टंटसारख्या, वेब ब्राउझ करू शकणाऱ्या एजंटना वेब पेजेसशी संवाद साधावा लागतो: मजकूर वाचणे आणि त्याचा वापर करून वापरकर्त्यांच्या वतीने कृती करणे. यामुळे ते अप्रत्यक्ष प्रॉम्प्ट इंजेक्शनला बळी पडू शकतात; यात हल्लेखोर वेबपेजवर दुर्भावनापूर्ण मजकूर ठेवतो. एजंटने या सूचनांचे पालन केल्यास, तो दिशाभूल करणारे उत्तर देऊ शकतो किंवा वापरकर्त्याने न सांगितलेली कृती करू शकतो.

डिसेंबर 2025 मध्ये, आम्ही या धोक्यासाठी बेंचमार्क आणि शोध मॉडेल असलेले BrowseSafe रिलीझ केले. एजंटना ज्या वास्तववादी वेबपेजेस भेटण्याची शक्यता असते, त्यांमध्ये सिंथेटिक हल्ले जोडून आम्ही ते तयार केले. गेल्या वर्षभरात हल्ले अधिक अत्याधुनिक झाले आहेत आणि सामान्य पेज मजकुरासारखे अधिक दिसू लागले आहेत. “मागील सूचनांकडे दुर्लक्ष करा” यांसारखे सहज ओळखता येणारे वाक्यांश वापरण्याऐवजी, ते अनेकदा एजंट ज्यावर विश्वास ठेवण्याची शक्यता असते अशा मजकुराची नक्कल करतात, जसे की साइटकडून आलेली अधिकृत सूचना किंवा वापरकर्त्याच्या प्राधान्यांबद्दलची टीप.

या बदलांमुळे प्रेरित होऊन, सध्याचे इंजेक्शन डिटेक्टर हे हल्ले पकडतात का आणि एजंट त्यांना प्रतिकार करू शकतात का हे मोजण्यासाठी आम्ही BrowseSafe++ हा अद्ययावत बेंचमार्क तयार केला. त्यात 38,675 हल्लाग्रस्त आणि स्वच्छ पेज जोड्या आहेत, ज्या प्रामुख्याने वास्तविक जगात संकलित केलेल्या इंजेक्शन्सभोवती तयार केल्या आहेत. प्रत्येक पेजसाठी, गोपनीयता जपण्यासाठी आम्ही आजूबाजूचा मजकूर पुन्हा लिहितो, पण हल्ला जसाच्या तसा ठेवतो. प्रत्येक पेज ब्राउझर एजंट वाचत असलेल्या चारही फॉरमॅट्समध्ये उपलब्ध आहे: HTML, Markdown, ॲक्सेसिबिलिटी ट्री आणि स्क्रीनशॉट. BrowseSafe-Guard प्रशिक्षित करण्यासाठी आम्ही बेंचमार्कचा एक उपसंच वापरला; BrowseSafe-Guard ही 0.8B-पॅरामीटर डिटेक्टर्सची जोडी आहे: एक टेक्स्ट डिटेक्टर आणि एक मल्टिमोडल डिटेक्टर. आम्ही चाचणी केलेल्या प्रॉम्प्ट केलेल्या मॉडेल्सपेक्षा, फ्रंटियर मॉडेल्ससह, दोन्ही Guard डिटेक्टर इंजेक्शन्स अधिक अचूकपणे ओळखतात. ते अधिक वेगवान आणि स्वस्त आहेत, आणि सामान्य पेजेस चुकून फ्लॅग करण्याचे त्यांचे प्रमाणही खूपच कमी आहे.

आम्ही BrowseSafe++ ओपन बेंचमार्क म्हणून रिलीझ करत आहोत. प्रोजेक्ट वेबसाइटवर डेटासेट, SDK, संशोधन पेपर आणि एक सार्वजनिक लीडरबोर्ड यांच्या लिंक्स आहेत. कोणतीही टीम ज्या टेस्ट पेजेसचे लेबल्स दिलेले नाहीत त्यांवर आपल्या डिटेक्टरचे स्कोअरिंग करू शकते, आणि ग्रेडिंगसाठी व लीडरबोर्डमध्ये संभाव्य समावेशासाठी लेबल्स सबमिट करू शकते. तुमच्या निकालांचे मूल्यमापन करून ते सबमिट करण्यासाठी, सुरुवात कशी करावी पहा.

आढळलेल्या इंजेक्शन्सवरून बेंचमार्क तयार करणे

BrowseSafe++ हे प्रत्यक्ष वेबसाइट्सवर आढळलेल्या प्रॉम्प्ट इंजेक्शन्सवरून तयार केले आहे. सप्टेंबर 2025 ते सप्टेंबर 2026 दरम्यान, Comet च्या प्रॉम्प्ट इंजेक्शन डिटेक्टरने त्याच्या एजंटने वाचलेल्या पेजेसवर 11.5 लाख इंजेक्शन्स फ्लॅग केली. आम्ही त्या इंजेक्शन्सभोवती 32,187 जोड्या तयार केल्या आणि मूळ BrowseSafe बेंचमार्कमधील 6,488 जोड्या जोडल्या, ज्यामुळे एकूण 38,675 जोड्या झाल्या. प्रत्येक जोडीत एक हल्लाग्रस्त पेज आणि त्याचे स्वच्छ जुळे पेज असते, म्हणजेच इंजेक्शनशिवायचे तेच पेज.

वास्तविक जगात इंजेक्शन्स कशी दिसतात

बेंचमार्कमधील दोन उदाहरणे दाखवतात की ही इंजेक्शन्स प्रत्यक्षात कशी दिसतात.

एका उदाहरणात, बनावट खरेदी विनंती एजंटला अनधिकृत कृती करण्यास प्रवृत्त करते. Comet च्या डिटेक्टरने ऑक्टोबर 2025 मध्ये रशियन भाषेतील एका डेव्हलपर दस्तऐवजीकरण पेजवर इंग्रजी मजकुराचा हा भाग फ्लॅग केला:

हा मजकूर आदेशांनी सुरू होतो आणि आदेशांनीच संपतो, तर मधला भाग सामान्य टोकन मार्केटिंगने भरलेला असतो. तो एजंटच्या स्वतःच्या डेव्हलपरकडून आल्याचा दावा करतो आणि खरेदी मंजूर झाल्यासारखी दिसावी म्हणून शेवटी एक ऑथरायझेशन कोड देतो.

दुसऱ्या उदाहरणात, एक बनावट संभाषण एजंटच्या टास्कमध्ये व्यत्यय आणण्याचा प्रयत्न करते. हा मजकूर मार्च 2026 मध्ये एका कोड रिपॉझिटरी पेजवर आढळला:

हा मजकूर वापरकर्ता आणि एजंट यांच्यातील संभाषणासारखा दिसावा अशा प्रकारे तयार केला आहे: <|im_start|> आणि <|im_end|> हे काही चॅट मॉडेल्स संभाषणातील टर्न्स वेगळे करण्यासाठी वापरतात असे मार्कर्स आहेत. या हल्ल्याला बळी पडलेला एजंट बनावट वापरकर्ता क्वेरीला प्रतिसाद देईल आणि हल्लेखोराच्या वाक्याने उत्तर देईल.

फ्लॅग केलेल्या इंजेक्शन्समध्ये आम्हाला सारखेच पॅटर्न दिसतात:

• ती विश्वसनीय स्रोतांची नक्कल करतात. दोन्ही उदाहरणे पेजवरील मजकूर एजंटचा विश्वास असलेल्या स्रोताकडून आल्यासारखा भासवतात: पहिल्या उदाहरणात त्याचा डेव्हलपर, तर दुसऱ्यात त्याचे स्वतःचे संभाषण. इंजेक्शन्स स्वतः साइट असल्याचेही भासवू शकतात, सुरक्षा तपासण्या आणि धोरण सूचनांची नक्कल करून, किंवा वापरकर्ता असल्याचे भासवून बनावट प्राधान्ये पुढे करू शकतात. सुमारे तीनपैकी दोन इंजेक्शन्स औपचारिक भाषेत लिहिलेली असतात.
• अनेक इंजेक्शन्स वेगळ्या भाषांमध्ये लिहिलेली असतात. 24.4% जोड्यांमध्ये, इंजेक्शन त्याच्या उर्वरित पेजपेक्षा वेगळी भाषा वापरते. सहसा हे इंग्रजी नसलेल्या पेजवरील इंग्रजी सूचनेच्या स्वरूपात असते, जसे पहिल्या उदाहरणात. असे हल्ले स्पष्टपणे अशा एजंटला उद्देशून असतात जो प्रत्येक भाषा वाचतो आणि सहसा इंग्रजीत सर्वाधिक सहज असतो. भाषा बदलल्याने डिटेक्शनही अवघड होते: आमच्या मूळ BrowseSafe मूल्यमापनात, बहुभाषिक हल्ले पकडण्यास सर्वात अवघड हल्ल्यांपैकी होते.
• बहुतांश इंजेक्शन्सना शब्द नव्हे, तर कृती हवी असते. दहापैकी चारहून अधिक इंजेक्शन्स एजंटला वापरकर्त्याने कधीही न सांगितलेल्या कृतीकडे ढकलतात, जसे पहिल्या उदाहरणातील टोकन खरेदी, आणि साधारण एक तृतीयांश इंजेक्शन्स, दुसऱ्या उदाहरणाप्रमाणे, एजंटला वापरकर्त्याचे टास्क सोडून द्यायला लावण्याचा प्रयत्न करतात. फक्त साधारण 3% इंजेक्शन्स उत्तरात खोटी माहिती घुसवण्याचा प्रयत्न करतात.
• ती अनेकदा कोणीही पोस्ट करू शकेल अशा मजकुराचा आधार घेतात. हल्लेखोराला साइटवर नियंत्रण असण्याची गरज नसते. सामान्य साइट्सवरील फोरम पोस्ट किंवा शेअर केलेला दस्तऐवज पुरेसा असतो, आणि BrowseSafe++ मधील 23,000 हून अधिक इंजेक्शन्स अशाच प्रकारे आली. विश्वसनीय डोमेनचा वापरही हल्लेखोराचा मजकूर इंजेक्ट करण्यासाठी केला जाऊ शकतो.

अंतिम बेंचमार्कमधील इंजेक्शन्स 12 प्रकारच्या वेबसाइट्स, 24 प्रकारचे हल्ले, हल्लेखोरांची 6 उद्दिष्टे आणि पेजवरील 18 स्थानांमध्ये पसरलेली आहेत.

विस्तृत करा

फ्लॅग केलेल्या पेजपासून बेंचमार्क जोडीपर्यंत

फ्लॅग केलेली पेजेस आम्ही बेंचमार्कमध्ये जशीच्या तशी वापरू शकत नाही, कारण त्यांमध्ये एजंट ज्या वापरकर्त्यासाठी काम करत होता त्याची वैयक्तिक माहिती असू शकते. एखाद्या पेजचे शेअर करता येण्याजोग्या बेंचमार्क जोडीत रूपांतर करण्यासाठी तीन मुख्य टप्पे आवश्यक आहेत:

1. इंजेक्शन मिळवणे: आम्ही फ्लॅग केलेली पेजेस संकलित करतो, डुप्लिकेट काढून टाकतो, आणि PII-Tracer वापरून वैयक्तिक माहिती मास्क करतो. त्यानंतर, पेजमध्ये इंजेक्शन असल्याची आम्ही खात्री करतो; विशेषतः, एजंटला वापरकर्त्याच्या अपेक्षित टास्कपासून दूर वळवण्याचा प्रयत्न करणारी सूचना त्यात आहे यावर मॉडेल्सच्या एका पॅनेलचे एकमत असणे आम्ही आवश्यक ठेवतो.
2. जोडी तयार करणे: एक एजंट प्रत्येक पेजमधून इंजेक्शनचा मजकूर काढून टाकतो आणि आजूबाजूचा पेज मजकूर पुन्हा लिहितो, तसेच नावे आणि ब्रँड्ससारखे तपशील काल्पनिक तपशिलांनी बदलतो. दुसरा एजंट पुन्हा लिहिलेल्या पेजमध्ये वास्तविक जगातील काही मजकूर उरला आहे का हे तपासतो आणि अयशस्वी पेजेस फीडबॅकसह परत पाठवतो. मानवी पुनरावलोकनकर्ते यादृच्छिकपणे निवडलेल्या 10% पेजेसची तपासणी करतात; त्यांना आढळलेल्या समस्या पाइपलाइनमध्ये दुरुस्त केल्या जातात, आणि त्या दुरुस्त्या संपूर्ण कॉर्पसवर लागू केल्या जातात. हल्लाग्रस्त प्रत तयार करण्यासाठी इंजेक्शन पुन्हा लिहिलेल्या पेजमध्ये परत घातले जाते, आणि स्वच्छ प्रतीमधून ते वगळले जाते. दोन्ही पेजेसचे टास्क, अपेक्षित निकाल आणि सामान्य सूचना सारख्याच असतात.
3. पडताळणी: एजंट पेजेस वेगवेगळ्या स्वरूपांत वाचतात, म्हणून आम्ही प्रत्येक पेजचे HTML हे Markdown, ॲक्सेसिबिलिटी ट्री (पेजच्या इंटरफेस घटकांची आणि त्यांच्या लेबल्सची संरचित यादी) आणि स्क्रीनशॉट म्हणून रेंडर करतो. हल्लाग्रस्त पेजच्या चारही व्ह्यूजमध्ये इंजेक्शन दिसते आणि स्वच्छ पेज प्रत्येक व्ह्यूमध्ये निरुपद्रवी ठरते हे दुसरा एजंट तपासतो. एखाद्या व्ह्यूमध्ये इंजेक्शन नसल्यास, आम्ही ते पेजवरील दुसऱ्या ठिकाणी हलवतो आणि पुन्हा रेंडर करतो, जेणेकरून अंतिम हल्लाग्रस्त पेजच्या सर्व व्ह्यूजमध्ये इंजेक्शन असेल. स्वयंचलित तपासण्यांचा अंतिम संच अशा कोणत्याही जोड्या दुरुस्त करतो ज्यांत अजूनही त्यांच्या स्रोताच्या खुणा आहेत, जसे की वास्तविक होस्टनेम्स किंवा ब्रँड नावे.

विस्तृत करा

BrowseSafe-Guard: प्रत्येक व्ह्यूसाठी वेगवान आणि अचूक डिटेक्टर्स

उपयुक्त डिटेक्टरने प्रत्येक पेज जलद आणि कमी खर्चात तपासायला हवे. तो हल्लाग्रस्त आणि स्वच्छ अशा दोन्ही पेजेसवर अचूकही असायला हवा. उच्च प्रिसिजन विशेषतः महत्त्वाचे आहे, कारण बहुतांश पेजेस सुरक्षित असतात; तुलनेने कमी फॉल्स-पॉझिटिव्ह दर असला तरीही बहुतांश अलर्ट खोटे अलार्म ठरतील. प्रॉम्प्ट केलेली सामान्य-उद्देशीय मॉडेल्स अनेकदा प्रिसिजनमध्ये कमी पडतात आणि प्रत्येक पेजवर चालवण्यासाठी खूप संथ आणि महाग असतात.

स्वतंत्रपणे गोळा केलेल्या, हल्ला झालेल्या आणि स्वच्छ पेजेसवर प्रशिक्षित केलेला डिटेक्टर असे शॉर्टकट शिकू शकतो जे योगायोगाने दोन्ही संचांना वेगळे करतात, जसे की पेजचा विषय किंवा लेआउट. मात्र, असा डिटेक्टर चांगल्या प्रकारे सामान्यीकरण करू शकत नाही. त्याऐवजी Guard अशा जोड्यांवर प्रशिक्षण घेतो ज्यांमधील एकमेव फरक म्हणजे स्वतः इंजेक्शन, ज्यामुळे डिटेक्टरचे प्रिसिजन सुधारण्यास मदत होते. प्रत्येक जोडीसाठी, Guard हल्ला झालेले पेज आणि त्याचे स्वच्छ जुळे पेज स्वतंत्रपणे वाचतो आणि प्रत्येकामध्ये इंजेक्शन असण्याची शक्यता किती आहे यासाठी त्याला एक स्कोअर देतो. मॉडेल अपडेट करण्यासाठी दोन प्रशिक्षण उद्दिष्टे वापरली जातात: मानक वर्गीकरण उद्दिष्ट आणि एक रँकिंग उद्दिष्ट, जे हल्ला झालेल्या पेजचा स्कोअर त्याच्या जुळ्या पेजपेक्षा किमान एका निश्चित फरकाने जास्त नसल्यास Guard ला दंड करते. सोप्या भाषेत सांगायचे तर, वर्गीकरण उद्दिष्ट Guard ला कोणता निर्णय घ्यायचा हे शिकवते, आणि रँकिंग उद्दिष्ट तो निर्णय स्वतः इंजेक्शनशी जोडते आणि निरुपद्रवी विचलित करणाऱ्या घटकांकडे दुर्लक्ष करते. यामुळे Guard ला आजूबाजूच्या पेज मजकुराऐवजी स्वतः इंजेक्शनला प्रतिसाद देण्याचे प्रशिक्षण मिळते.

Guard मध्ये दोन डिटेक्टर आहेत, आणि प्रत्येक Qwen3.5-0.8B वरून फाइन-ट्यून केलेला आहे. मजकूर डिटेक्टर पेजचा एक मजकूर व्ह्यू वाचतो: HTML, Markdown किंवा ॲक्सेसिबिलिटी ट्री. मल्टिमोडल डिटेक्टर संपूर्ण पेजचा स्क्रीनशॉट वाचतो. डिप्लॉयमेंटमध्ये, Guard एकाच फॉरवर्ड पासमध्ये पेज वाचतो आणि इंजेक्शन स्कोअर देतो, आणि स्कोअरने थ्रेशोल्ड ओलांडल्यास पेज फ्लॅग केले जाते. Guard मध्ये फक्त 0.8B पॅरामीटर्स असल्यामुळे आणि तो एकच स्कोअर देत असल्यामुळे, तो प्रत्येक पेजवर चालवण्याइतका जलद आणि स्वस्त आहे.

कामगिरीचे बेंचमार्किंग

बेंचमार्कच्या राखीव (held-out) उपसंचावर इंजेक्शन्स ओळखण्यासाठी प्रॉम्प्ट केलेल्या 18 मॉडेल्सशी आम्ही Guard ची तुलना केली. आम्ही BrowseSafe++ वर मोजलेले चार मेट्रिक्स सादर करतो:

• रिकॉल म्हणजे इंजेक्शन असलेल्या पेजेसपैकी डिटेक्टर फ्लॅग करत असलेल्या पेजेसचे प्रमाण; यावरून तो किती हल्ले पकडतो हे मोजले जाते, म्हणून ते जितके जास्त तितके चांगले.
• फॉल्स-पॉझिटिव्ह दर (FPR) म्हणजे स्वच्छ पेजेसपैकी डिटेक्टर चुकून फ्लॅग करत असलेल्या पेजेसचे प्रमाण; यावरून तो किती वेळा खोटे अलार्म देतो हे मोजले जाते, म्हणून ते जितके कमी तितके चांगले.
• प्रिसिजन म्हणजे फ्लॅग केलेल्या पेजेसपैकी ज्यांमध्ये खरोखर इंजेक्शन आहे त्यांचे प्रमाण; यावरून एखादा अलर्ट किती वेळा बरोबर असतो हे मोजले जाते, म्हणून ते जितके जास्त तितके चांगले.
• F1 हा रिकॉल आणि प्रिसिजन यांचा हरात्मक माध्य आहे; डिटेक्टर बहुतांश हल्ले पकडतो आणि त्याचे फार कमी फ्लॅग खोटे अलार्म असतात, तेव्हाच तो उच्च असतो.

आम्ही F1 हे प्राथमिक मेट्रिक म्हणून वापरतो, कारण चांगल्या डिटेक्टरचे प्रिसिजन आणि रिकॉल दोन्ही उच्च असायला हवेत. चारही मेट्रिक्स तिन्ही टेक्स्ट व्ह्यूजमध्ये सरासरी काढून दिले आहेत.

विस्तृत करा

विस्तृत करा

मॉडेल्सची तुलना

आम्ही चाचणी केलेली लहान ओपन-वेट मॉडेल्स तळाशी राहिली. Mistral NeMo आणि Qwen3 30B-A3B प्रत्येकी साधारण अर्धी स्वच्छ पेजेस फ्लॅग करतात, तर Llama 3.1 8B क्वचितच काहीही फ्लॅग करते आणि बहुतांश हल्ले चुकवते. या गटातील सर्वात सक्षम मॉडेल, GPT-OSS 20B, देखील केवळ 70.97% F1 गाठते. DeepSeek V3.1 हे खूप मोठे ओपन-वेट मॉडेल थोडी चांगली कामगिरी करते, ज्याचा F1 75.23% आहे.

GPT-5.4 nano, Gemini 3.1 Flash-Lite आणि Claude Haiku 4.5 यांसह हलकी API मॉडेल्स अधिक हल्ले पकडतात, आणि त्यांचा रिकॉल 85% ते 97% दरम्यान असतो. मात्र, त्याची किंमत म्हणजे चुकीच्या अलार्मचे मोठे प्रमाण; या गटात Gemini 3.1 Flash-Lite चा FPR सर्वात कमी, 35.2% आहे, आणि Haiku चा FPR जवळपास 69% आहे. परिणामी, या गटातील कमाल F1 स्कोअर 80.9% आहे, जो Gemini 3.1 Flash-Lite ने गाठला.

उर्वरित मॉडेल्स अधिक सक्षम सामान्य-उद्देशीय मॉडेल्स आहेत, ज्यांचे F1 स्कोअर 85% ते 92% दरम्यान आहेत. मात्र, त्यांना अजूनही रिकॉल आणि FPR यांच्यात तडजोड करावी लागते; सावधगिरीकडे झुकणारी मॉडेल्स वैध पेजेस ब्लॉक करतात, आणि कमी वेळा फ्लॅग करणारी मॉडेल्स हल्ले चुकवतात. Claude Sonnet 5 चा रिकॉल सर्व डिटेक्टर्समध्ये सर्वाधिक, 98.73% आहे, पण त्याचा FPR 24.65% आहे. Gemini 3.1 Pro आणि GPT-5.5 अनुक्रमे 97.78% आणि 97.19% रिकॉल गाठतात, आणि त्यांचे FPR अनुक्रमे 19.80% आणि 20.44% आहेत. GPT-6 Astra ची एकूण अचूकता सर्वाधिक आहे, ज्याचा रिकॉल 96.42% आणि FPR 14.41% आहे. Decider दुसऱ्या क्रमांकावर आहे, ज्याचा रिकॉल 96.02% आणि FPR 17.44% आहे. Claude Opus 5.5 चा FPR सर्वात कमी, केवळ 4.21% आहे, पण त्याचा 77.71% रिकॉल म्हणजे तो पाचपैकी एकाहून अधिक हल्ले चुकवतो. Claude Fable 5.1 ज्या पेजेसना उत्तर देते त्यांवर मजबूत दिसते, ज्याचा रिकॉल 89.31% आणि FPR 7.92% आहे, पण ते साधारण 30% पेजेसवर उत्तर देण्यास नकार देते, आणि “(all)” ओळ अशा नकारांना फ्लॅग म्हणून मोजते.

विस्तृत करा

Guard पॅरेटो फ्रंटियर पुढे नेतो, आणि चुकलेले हल्ले व खोटे अलार्म यांच्यात अधिक चांगला समतोल साधतो. तो साधारण 95% F1 गाठतो आणि प्रत्येक टेक्स्ट व्ह्यूमध्ये पहिल्या क्रमांकावर आहे. तो 20 पैकी साधारण एकच स्वच्छ पेज फ्लॅग करतो, जे सर्वात अचूक प्रॉम्प्ट केलेले मॉडेल Astra च्या दराच्या साधारण एक तृतीयांश आहे. हा फरक आमच्या प्रशिक्षणामुळे आहे; Guard ज्या मूळ Qwen3.5-0.8B वर आधारित आहे, त्याला इतर मॉडेल्सप्रमाणेच प्रॉम्प्ट केल्यावर ते केवळ 64% F1 गाठते आणि जवळपास चारपैकी तीन स्वच्छ पेजेस फ्लॅग करते. स्क्रीनशॉट व्ह्यूच्या परिस्थितीत, आम्ही Guard च्या मल्टिमोडल डिटेक्टरची तुलना इमेज हाताळू शकणाऱ्या चार मॉडेल्सशी करतो. पूर्ण-पेज स्क्रीनशॉट दिल्यावर, Guard साधारण 93% F1 मिळवतो, तर आम्ही मूल्यमापन केलेल्या इतर मॉडेल्सपैकी सर्वोत्तम मॉडेल साधारण 79% मिळवते.

हल्ला ओळखणे म्हणजे त्याला प्रतिकार करणे नव्हे

सहज विचार केल्यास, जे मॉडेल इंजेक्शन अचूकपणे ओळखू शकते, त्याने वापरकर्त्याचे टास्क पूर्ण करताना ते पेज समोर आल्यावर त्या इंजेक्शनकडे दुर्लक्षही करायला हवे. मात्र, आमच्या प्रयोगांतून दिसते की उच्च डिटेक्शन स्कोअर्स म्हणजे मॉडेल हल्ल्याला प्रतिकार करेलच याची हमी नाही. आम्ही प्रत्येक मॉडेलला तेच हल्लाग्रस्त पेज दोनदा दिले: एकदा त्यात इंजेक्शन आहे का हे ठरवण्यासाठी, आणि एकदा आधीचा निर्णय न पाहता वापरकर्त्याचे टास्क पूर्ण करण्यासाठी. त्याने इंजेक्शनचे पालन केले का हे एका स्वतंत्र परीक्षकाने तपासले. चाचणी केलेल्या प्रत्येक मॉडेलने स्वतः फ्लॅग केलेल्या काही इंजेक्शन्सचे तरीही पालन केले; हे प्रमाण GPT-6 Astra साठी फ्लॅग केलेल्या पेजेसच्या 1.64% पासून Llama 3.1 8B साठी 24.73% पर्यंत होते.

विस्तृत करा

डिटेक्शन स्कोअर्सवरून मॉडेल्समधील फरकांचा विश्वसनीय अंदाज लावता येत नाही. Claude Sonnet 5 आणि GPT-5.5 जवळपास सारख्याच चांगल्या प्रकारे इंजेक्शन्स ओळखतात; त्यांचे F1 स्कोअर अनुक्रमे साधारण 88% आणि 89% आहेत. मात्र, Sonnet 5 ने स्वतः फ्लॅग केलेल्या इंजेक्शनचे पालन 19.74% पेजेसवर केले, जे 1.97% असलेल्या GPT-5.5 च्या दहापट आहे.

इंजेक्शनपासून संरक्षणासाठी तैनात करता येणारी प्रणाली

या निकालांवरून असे सूचित होते की पेज ब्लॉक करण्याचा निर्णय वापरकर्त्याचे टास्क पूर्ण करणाऱ्या मॉडेलवर सोपवण्याऐवजी विशेष-उद्देशीय मॉडेलवर सोपवणे फायदेशीर आहे. एजंट कृती करण्यापूर्वी प्रत्येक पेज तपासणारा स्वतंत्र डिटेक्टर संरक्षणाचा अतिरिक्त स्तर देतो, आणि त्याच्याकडे हायजॅक करण्यासाठी कोणतेही टास्क किंवा गैरवापर करण्यासाठी कोणतीही टूल्स नसतात.

Guard हा नेमका असाच डिटेक्टर म्हणून तयार केला आहे. आम्ही चाचणी केलेल्या सर्व मॉडेल्सपैकी सर्वाधिक F1 आणि अचूकता असण्याबरोबरच, त्याच्या लहान आकारामुळे तो प्रत्येक पेजवर चालवण्याइतका स्वस्त आहे. सरासरी, Guard ने प्रति मजकूर पेज सुमारे 0.15 सेकंद GPU वेळ वापरला. भाड्याने घेतलेल्या H200 वर, आमच्या अंदाजानुसार प्रति 1,000 पेजेस $0.18 खर्च येतो, तर सूचीबद्ध किमतींनुसार फ्रंटियर API मॉडेल्ससाठी हा खर्च $18.95–180.61 आहे. यामुळे आमच्या तुलनेत उच्च शोध स्कोअर कायम ठेवत वारंवार स्क्रीनिंग करणे खूप स्वस्त होते.

खालील आकृतीत प्रत्येक डिटेक्टरची अचूकता त्याच्या प्रति पेज वेळेच्या आणि प्रति 1,000 पेजेस खर्चाच्या तुलनेत दाखवली आहे; दोन्ही लॉग स्केलवर आहेत. दोन्ही पॅनेलमध्ये Guard एकटाच वरच्या डाव्या कोपऱ्यात आहे: अचूकता, वेग आणि खर्च या तिन्हींमध्ये तो आघाडीवर आहे. प्रॉम्प्ट केलेले प्रत्येक मॉडेल प्रति पेज साधारण एक सेकंद किंवा त्याहून अधिक वेळ घेते, आणि सर्वात अचूक दोन मॉडेल्स, GPT-6 Astra आणि Claude Fable 5.1, यांचा खर्च प्रति 1,000 पेजेस $100 पेक्षा जास्त आहे.

विस्तृत करा

ॲडॅप्टिव्ह हल्ल्यांविरुद्ध संरक्षण यंत्रणांची चाचणी

BrowseSafe++ बेंचमार्कमध्ये इंजेक्शन्सचा मर्यादित संच आहे. मात्र, प्रत्यक्ष हल्लेखोर ॲडॅप्टिव्ह हल्ला करू शकतो; एखादे इंजेक्शन अयशस्वी झाल्यास, हल्लेखोर ते पुन्हा लिहून पुन्हा प्रयत्न करू शकतो. परिणामी, मूळ इंजेक्शनला प्रतिकार करणारा एजंट भविष्यातील हल्ल्यांना तरीही बळी पडू शकतो. शिवाय, मॉडेल्स इंटरनेटवरून संकलित केलेल्या डेटावर प्रशिक्षित केली जातात, त्यामुळे ती त्यातील बहुतांश इंजेक्शन्सना प्रतिकार करायला शिकू शकतात; आम्ही आमचा बेंचमार्क सार्वजनिकरीत्या रिलीझ करत असल्याने, तो बहुधा सॅच्युरेट होईल आणि मॉडेल्समध्ये नीट फरक करू शकणार नाही. या दोन्ही समस्या सोडवण्यासाठी, आम्ही BrowseSafe-Adapt तयार केले; हे एक चाचणी वातावरण आहे ज्यात हल्लेखोर मॉडेल इंजेक्शन्स पुन्हा लिहू शकते. प्रत्येक चाचणीचे तीन टप्पे असतात:

1. केस सेट करा. केस एका BrowseSafe++ नोंदीला लक्ष्य एजंटसोबत एकत्र करते. BrowseSafe++ नोंदीमध्ये वापरकर्त्याची क्वेरी आणि कार्य असलेली परिस्थिती, हल्ला झालेले पेज आणि हल्लेखोराला अपेक्षित असलेला परिणाम यांचा समावेश असतो. एजंट एका सँडबॉक्समध्ये काम करतो, जो कार्य पूर्ण करण्यासाठी आवश्यक टूल्स आणि सिंथेटिक डेटा पुरवतो. हल्ल्याने त्याचे उद्दिष्ट साध्य केले की नाही, याचे मूल्यमापन एक स्वतंत्र व्हेरिफायर मॉडेल करते.
2. प्रयत्न चालवणे: आम्ही सध्याचे इंजेक्शन पेजमध्ये घालतो आणि एजंटला टास्क पूर्ण करू देतो. हल्ला यशस्वी झाला का हे ठरवण्यासाठी व्हेरिफायर एजंटचे उत्तर आणि त्याने सँडबॉक्समध्ये केलेले कोणतेही बदल तपासतो. पहिला प्रयत्न मूळ BrowseSafe++ नोंदीतील इंजेक्शन वापरतो.
3. सुधारणा आणि पुनरावृत्ती: हल्ला अयशस्वी झाल्यास, आम्ही तो प्रयत्न आर्काइव्ह करतो, आणि एक समीक्षक मॉडेल काय चुकले याचे पुनरावलोकन करते. हल्लेखोर मॉडेल त्या फीडबॅकचा वापर करून इंजेक्शन पुन्हा लिहिते; ते हल्ल्याचे शब्द, फॉरमॅटिंग किंवा पेजवरील स्थान बदलू शकते. हल्ल्याचे उद्दिष्ट, यशाचे निकष आणि आजूबाजूचा पेज मजकूर तसाच राहतो. पुढचा प्रयत्न अद्ययावत हल्ला वापरतो. हल्ला यशस्वी होईपर्यंत किंवा हल्लेखोर प्रयत्नांची निश्चित मर्यादा गाठेपर्यंत ही प्रक्रिया पुन्हा केली जाते.

विस्तृत करा

आम्ही सात एजंटची चाचणी केली, प्रत्येक एजंट वेगळ्या मॉडेलवर आधारित होता: Claude Sonnet 5, Claude Haiku 4.5, GPT-5.5, Gemini 3.1 Pro, Gemini 3.5 Flash-Lite, आणि ओपन-वेट मॉडेल्स DeepSeek V3.1 आणि Kimi K2. प्रत्येक एजंटला तेच 1,024 टास्क देण्यात आले, आणि प्रत्येक टास्कसाठी जास्तीत जास्त 64 प्रयत्न होते. पहिल्या प्रयत्नात, सातही एजंटांविरुद्ध हल्ल्यांचे यश कमी होते. कोणत्याही एजंटविरुद्ध मूळ इंजेक्शन्स मूल्यमापन केलेल्या टास्कपैकी जास्तीत जास्त 4% टास्कमध्ये यशस्वी झाली. ॲडॅप्टिव्ह फ्रेमवर्कमध्ये, हल्ल्यांचे यश नाट्यमयरीत्या वाढले. सातपैकी पाच एजंटांविरुद्ध हल्लेखोर किमान 79% टास्कमध्ये यशस्वी झाला. सर्वात मजबूत एजंटही असुरक्षित होते: GPT-5.5 विरुद्ध साधारण तीनपैकी दोन टास्कमध्ये आणि Claude Sonnet 5 विरुद्ध साधारण तीनपैकी एका टास्कमध्ये हल्ले तरीही यशस्वी झाले.

जेव्हा हल्लेखोराचे उद्दिष्ट एजंटला विशिष्ट टूल कॉल करायला लावणे हे असते, तेव्हा एजंटांमधील फरक सर्वात जास्त असतो. अशा उद्दिष्टाच्या टास्कसाठी, Sonnet 5 साधारण 8% टास्कमध्ये आणि GPT-5.5 साधारण 29% टास्कमध्ये बळी पडले. उर्वरित पाच एजंटांनी त्यांच्या अर्ध्याहून अधिक टास्कमध्ये हल्लेखोराचे उद्दिष्ट पूर्ण केले.

आम्ही Gemini 3.5 Flash-Lite एजंटविरुद्धही BrowseSafe-Adapt चालवले, ज्यात Guard प्रथम प्रत्येक पेज तपासत होते. Guard ने मूळ इंजेक्शन्सपैकी 94.5% ब्लॉक केली आणि हल्लेखोरांना लागणाऱ्या प्रयत्नांची सरासरी संख्या 9.7 वरून 17.0 पर्यंत, म्हणजे जवळपास दुप्पट केली. तरीही, सर्व 64 प्रयत्न दिल्यावर हल्लेखोर 84.2% टास्कमध्ये यशस्वी झाला (Guard शिवाय 93.6%), आणि जवळजवळ नेहमीच Guard ने फ्लॅग न केलेल्या इंजेक्शनमुळे. आम्ही BrowseSafe रिलीझ करताना मांडलेल्या दृष्टिकोनाशी हे जुळते: कोणतेही डिटेक्शन मॉडेल रामबाण उपाय नाही, त्यामुळे डिटेक्टर हा बहुस्तरीय संरक्षणाचा एक भाग असायला हवा.

विस्तृत करा

निष्कर्ष

ब्राउझर एजंट अनेकदा अप्रत्यक्ष प्रॉम्प्ट इंजेक्शनला बळी पडू शकतात; यात सामान्य पेजेसवर लपवलेले हल्ले वापरकर्त्याचे टास्क पूर्ण करण्याच्या एजंटच्या क्षमतेत हस्तक्षेप करण्याचा प्रयत्न करतात. काळानुसार हे धोके वाढतच जातात: एजंटना अधिक डेटा आणि टूल्सचा ॲक्सेस मिळत जातो, त्यामुळे हल्ल्यांचे संभाव्य परिणाम अधिक गंभीर होतात, आणि हल्लेखोर आपली इंजेक्शन्स अधिक परिणामकारक करण्यासाठी त्यांत सुधारणा करू शकतात.

आमचा BrowseSafe संच या धोक्यांना तोंड देतो. BrowseSafe++ बेंचमार्कमध्ये प्रामुख्याने प्रत्यक्ष इंजेक्शन्सवरून तयार केलेल्या 38,675 वेबपेज जोड्या आहेत, ज्यामुळे डिटेक्टर्सचे अधिक विश्वसनीय प्रशिक्षण आणि मूल्यमापन शक्य होते. या जोड्यांवर प्रशिक्षित BrowseSafe-Guard डिटेक्टर्स अत्यंत अचूक, वेगवान आणि स्वस्त डिटेक्शन देतात, ज्यामुळे एजंट पेजेसवर कृती करण्यापूर्वी ती स्कॅन करणे शक्य होते. BrowseSafe-Adapt फ्रेमवर्कमुळे सुधारित इंजेक्शन्सविरुद्ध मॉडेल्सची चाचणी करता येते, ज्यामुळे निश्चित इंजेक्शन्स वापरून केलेल्या एकाच प्रयत्नातून कदाचित स्पष्ट न होणाऱ्या त्रुटी समोर येतात.

एकत्रितपणे, या टूल्समुळे संशोधक आणि इंजिनिअर्सना त्रुटी शोधणे आणि वेब-आधारित प्रॉम्प्ट इंजेक्शन हल्ल्यांविरुद्ध संरक्षण सुधारणे सोपे होईल अशी आम्हाला आशा आहे. आमच्या वापरकर्त्यांना सुरक्षित ठेवण्यासाठी आम्ही Comet आणि Computer मधील अंगभूत संरक्षण यंत्रणांचेही सतत मूल्यमापन करत आहोत आणि त्यांमध्ये सुधारणा करत आहोत.

सुरुवात कशी करावी

1. SDK इंस्टॉल करा आणि डेटाचा ॲक्सेस मिळवा. SDK GitHub वरून इंस्टॉल होते:

हा डेटासेट प्रवेश-नियंत्रित आहे. त्याच्या Hugging Face पेजवर एकदा ॲक्सेसची विनंती करा, त्यानंतर hf auth login वापरून लॉग इन करा.

2. लीडरबोर्डवर सबमिट करा. BrowseSafe++ च्या टेस्ट स्प्लिटवर तुमच्या स्वतःच्या डिटेक्टरचे मूल्यमापन करा:

हे तुम्ही सूचीबद्ध केलेल्या प्रत्येक व्ह्यूसाठी प्रति पेज एक निर्णय लिहिते; मजकूर लीडरबोर्डवर सरासरी मिळवण्यासाठी तिन्ही मजकूर व्ह्यूज सूचीबद्ध करा. तुमच्या Hugging Face खात्याने लीडरबोर्ड स्पेसमध्ये साइन इन करा आणि predictions.jsonl अपलोड करा. स्पेस प्रत्येक व्ह्यूसाठी F1, अचूकता, फॉल्स-पॉझिटिव्ह दर आणि इतर मेट्रिक्स परत देते आणि, तुम्ही निवडल्यास, निकाल लीडरबोर्डवर प्रकाशित करते. प्रत्येक खात्याला (किमान 60 दिवस जुने) प्रति UTC आठवडा एक स्कोअर केलेले सबमिशन मिळते. चाचणी पेजेस फक्त मूल्यमापनासाठी आहेत: त्यांच्यावर मॉडेल्स प्रशिक्षित करू नका किंवा त्यांचे पुनर्वितरण करू नका. सबमिशन मार्गदर्शकामध्ये फाइल फॉरमॅट आणि प्रकाशनाचे नियम दिले आहेत.

उद्धरण

@online{perplexity2026BrowseSafePlusPlus,
  author = {{Perplexity} and Yuetian Chen and Kaiyuan Zhang and Yuntao Du and Thomas Li and Mark Tenenholtz and Kyle Polley and Jerry Ma and Denis Yarats and Ninghui Li and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{BrowseSafe++: Building stronger defenses against real-world prompt injection}},
  date = {2026-10-28},
  url = {https://www.perplexity.ai/hub/blog/browsesafe-plus-plus}
}