BrowseSafe++: യഥാർത്ഥ ലോകത്തെ പ്രോംപ്റ്റ് ഇൻജക്ഷനെതിരെ കൂടുതൽ ശക്തമായ പ്രതിരോധങ്ങൾ നിർമ്മിക്കുന്നു

Comet-ലോ Computer-ലോ ബിൽറ്റ്-ഇൻ ആയ അസിസ്റ്റന്റ് പോലെ, വെബ് ബ്രൗസ് ചെയ്യാൻ കഴിയുന്ന ഏജന്റുകൾക്ക് വെബ് പേജുകളുമായി സംവദിക്കേണ്ടതുണ്ട്; ഉള്ളടക്കം വായിക്കുകയും ഉപയോക്താക്കൾക്ക് വേണ്ടി പ്രവർത്തനങ്ങൾ നടത്താൻ അത് ഉപയോഗിക്കുകയും വേണം. ഇത് അവയെ പരോക്ഷ പ്രോംപ്റ്റ് ഇൻജക്ഷന് വിധേയമാക്കുന്നു; ഒരു ആക്രമണകാരി ഒരു വെബ്‌പേജിൽ ദുരുദ്ദേശ്യപരമായ ടെക്സ്റ്റ് സ്ഥാപിക്കുന്നതാണിത്. ഏജന്റ് ഈ നിർദ്ദേശങ്ങൾ പിന്തുടർന്നാൽ, അതിന് തെറ്റിദ്ധരിപ്പിക്കുന്ന ഉത്തരം നൽകാനോ ഉപയോക്താവ് ആവശ്യപ്പെടാത്ത ഒരു പ്രവർത്തനം നടത്താനോ കഴിയും.

2025 ഡിസംബറിൽ, ഈ ഭീഷണിക്കായുള്ള ഒരു ബെഞ്ച്മാർക്കും ഡിറ്റക്ഷൻ മോഡലുമായ BrowseSafe ഞങ്ങൾ പുറത്തിറക്കി. ഏജന്റുകൾ കണ്ടുമുട്ടാൻ സാധ്യതയുള്ള യഥാർത്ഥ വെബ്‌പേജുകൾക്ക് സമാനമായ പേജുകളിലേക്ക് സിന്തറ്റിക് ആക്രമണങ്ങൾ ചേർത്താണ് ഞങ്ങൾ അത് നിർമ്മിച്ചത്. കഴിഞ്ഞ ഒരു വർഷത്തിനിടെ, ആക്രമണങ്ങൾ കൂടുതൽ സങ്കീർണ്ണമാവുകയും സാധാരണ പേജ് ഉള്ളടക്കം പോലെ തോന്നിക്കുന്ന രീതിയിലേക്ക് വികസിക്കുകയും ചെയ്തു. “മുമ്പത്തെ നിർദ്ദേശങ്ങൾ അവഗണിക്കുക” പോലുള്ള എളുപ്പം തിരിച്ചറിയാവുന്ന വാചകങ്ങൾ ഉപയോഗിക്കുന്നതിനു പകരം, സൈറ്റിൽ നിന്നുള്ള ഔദ്യോഗിക അറിയിപ്പോ ഉപയോക്തൃ മുൻഗണനകളെക്കുറിച്ചുള്ള കുറിപ്പോ പോലെ, ഏജന്റ് വിശ്വസിക്കാൻ സാധ്യതയുള്ള ഉള്ളടക്കത്തെയാണ് അവ പലപ്പോഴും അനുകരിക്കുന്നത്.

ഈ മാറ്റങ്ങളുടെ പശ്ചാത്തലത്തിൽ, നിലവിലെ ഇൻജക്ഷൻ ഡിറ്റക്ടറുകൾ ഈ ആക്രമണങ്ങൾ പിടികൂടുന്നുണ്ടോ എന്നും ഏജന്റുകൾക്ക് അവയെ ചെറുക്കാനാകുമോ എന്നും അളക്കാൻ ഞങ്ങൾ ഒരു പുതുക്കിയ ബെഞ്ച്മാർക്ക്, BrowseSafe++, നിർമ്മിച്ചു. പ്രധാനമായും യഥാർത്ഥ ലോകത്ത് ശേഖരിച്ച ഇൻജക്ഷനുകളെ അടിസ്ഥാനമാക്കി നിർമ്മിച്ച, ആക്രമിക്കപ്പെട്ടതും ക്ലീനുമായ 38,675 പേജ് ജോഡികൾ ഇതിലുണ്ട്. ഓരോ പേജിനും, സ്വകാര്യത സംരക്ഷിക്കാൻ ചുറ്റുമുള്ള ഉള്ളടക്കം ഞങ്ങൾ മാറ്റിയെഴുതുന്നു, എന്നാൽ ആക്രമണം അതേപടി നിലനിർത്തുന്നു. ബ്രൗസർ ഏജന്റുകൾ വായിക്കുന്ന നാല് ഫോർമാറ്റുകളിലും ഓരോ പേജും ലഭ്യമാണ്: HTML, Markdown, ആക്സസിബിലിറ്റി ട്രീകൾ, സ്ക്രീൻഷോട്ടുകൾ. 0.8B-പാരാമീറ്റർ ഡിറ്റക്ടറുകളുടെ ഒരു ജോഡിയായ BrowseSafe-Guard പരിശീലിപ്പിക്കാൻ ഞങ്ങൾ ബെഞ്ച്മാർക്കിന്റെ ഒരു ഉപഗണം ഉപയോഗിച്ചു: ഒരു ടെക്സ്റ്റ് ഡിറ്റക്ടറും ഒരു മൾട്ടിമോഡൽ ഡിറ്റക്ടറും. ഫ്രണ്ടിയർ മോഡലുകൾ ഉൾപ്പെടെ ഞങ്ങൾ പരീക്ഷിച്ച പ്രോംപ്റ്റ് ചെയ്ത മോഡലുകളെക്കാൾ കൃത്യമായി രണ്ട് Guard ഡിറ്റക്ടറുകളും ഇൻജക്ഷനുകൾ തിരിച്ചറിയുന്നു. അവ കൂടുതൽ വേഗതയുള്ളതും ചെലവ് കുറഞ്ഞതുമാണ്, കൂടാതെ സാധാരണ പേജുകളെ തെറ്റായി ഫ്ലാഗ് ചെയ്യുന്നത് വളരെ കുറവുമാണ്.

ഞങ്ങൾ BrowseSafe++ ഒരു ഓപ്പൺ ബെഞ്ച്മാർക്കായി പുറത്തിറക്കുന്നു. പ്രോജക്റ്റ് വെബ്സൈറ്റ് ഡാറ്റാസെറ്റ്, SDK, ഗവേഷണ പ്രബന്ധം, ഒരു പൊതു ലീഡർബോർഡ് എന്നിവയിലേക്ക് ലിങ്ക് ചെയ്യുന്നു. ലേബലുകൾ നൽകിയിട്ടില്ലാത്ത ടെസ്റ്റ് പേജുകളിൽ ഏത് ടീമിനും അവരുടെ ഡിറ്റക്ടർ സ്കോർ ചെയ്യാനും, ഗ്രേഡിംഗിനും ലീഡർബോർഡിൽ ഉൾപ്പെടാനുള്ള സാധ്യതയ്ക്കുമായി ലേബലുകൾ സമർപ്പിക്കാനും കഴിയും. നിങ്ങളുടെ ഫലങ്ങൾ വിലയിരുത്താനും സമർപ്പിക്കാനും, ആരംഭിക്കാം കാണുക.

നിരീക്ഷിച്ച ഇൻജക്ഷനുകളിൽ നിന്ന് ഒരു ബെഞ്ച്മാർക്ക് നിർമ്മിക്കുന്നു

യഥാർത്ഥ വെബ്സൈറ്റുകളിൽ നിരീക്ഷിച്ച പ്രോംപ്റ്റ് ഇൻജക്ഷനുകളിൽ നിന്നാണ് BrowseSafe++ നിർമ്മിച്ചിരിക്കുന്നത്. 2025 സെപ്റ്റംബറിനും 2026 സെപ്റ്റംബറിനും ഇടയിൽ, Comet-ന്റെ പ്രോംപ്റ്റ് ഇൻജക്ഷൻ ഡിറ്റക്ടർ അതിന്റെ ഏജന്റ് വായിച്ച പേജുകളിൽ 1.15 ദശലക്ഷം ഇൻജക്ഷനുകൾ ഫ്ലാഗ് ചെയ്തു. ആ ഇൻജക്ഷനുകളെ അടിസ്ഥാനമാക്കി ഞങ്ങൾ 32,187 ജോഡികൾ നിർമ്മിക്കുകയും യഥാർത്ഥ BrowseSafe ബെഞ്ച്മാർക്കിൽ നിന്ന് 6,488 ജോഡികൾ ചേർക്കുകയും ചെയ്തു, ആകെ 38,675 ജോഡികൾ. ഓരോ ജോഡിയിലും ഒരു ആക്രമിക്കപ്പെട്ട പേജും അതിന്റെ ക്ലീൻ ഇരട്ടയും ഉണ്ട്, അതായത് ഇൻജക്ഷൻ ഇല്ലാത്ത അതേ പേജ്.

യഥാർത്ഥ ലോകത്ത് ഇൻജക്ഷനുകൾ എങ്ങനെയിരിക്കും

ഈ ഇൻജക്ഷനുകൾ പ്രായോഗികമായി എങ്ങനെയിരിക്കുമെന്ന് ബെഞ്ച്മാർക്കിൽ നിന്നുള്ള രണ്ട് ഉദാഹരണങ്ങൾ കാണിക്കുന്നു.

ഒന്നിൽ, ഒരു വ്യാജ വാങ്ങൽ അഭ്യർത്ഥന അനധികൃതമായ ഒരു പ്രവർത്തനം നടത്താൻ ഏജന്റിനെ പ്രേരിപ്പിക്കുന്നു. 2025 ഒക്ടോബറിൽ, റഷ്യൻ ഭാഷയിലുള്ള ഒരു ഡെവലപ്പർ ഡോക്യുമെന്റേഷൻ പേജിലെ ഇംഗ്ലീഷ് ടെക്സ്റ്റിന്റെ ഈ ഭാഗം Comet-ന്റെ ഡിറ്റക്ടർ ഫ്ലാഗ് ചെയ്തു:

ടെക്സ്റ്റ് ആരംഭിക്കുന്നതും അവസാനിക്കുന്നതും ആജ്ഞകളോടെയാണ്, ഇടയിൽ സാധാരണ ടോക്കൺ മാർക്കറ്റിംഗ് ഉള്ളടക്കം നിറച്ചിരിക്കുന്നു. ഇത് ഏജന്റിന്റെ സ്വന്തം ഡെവലപ്പറിൽ നിന്നാണ് വരുന്നതെന്ന് അവകാശപ്പെടുകയും, വാങ്ങൽ അംഗീകരിക്കപ്പെട്ടതായി തോന്നിക്കാൻ ഒരു ഓതറൈസേഷൻ കോഡോടെ അവസാനിക്കുകയും ചെയ്യുന്നു.

മറ്റൊന്നിൽ, ഒരു വ്യാജ സംഭാഷണം ഏജന്റിന്റെ ടാസ്ക് തടസ്സപ്പെടുത്താൻ ലക്ഷ്യമിടുന്നു. 2026 മാർച്ചിൽ ഒരു കോഡ് റിപ്പോസിറ്ററി പേജിലാണ് ഈ ടെക്സ്റ്റ് കണ്ടെത്തിയത്:

ഒരു ഉപയോക്താവും ഏജന്റും തമ്മിലുള്ള സംഭാഷണം പോലെ തോന്നിക്കുന്ന രീതിയിലാണ് ഈ ടെക്സ്റ്റ് രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത്: <|im_start|>, <|im_end|> എന്നിവ ചില ചാറ്റ് മോഡലുകൾ സംഭാഷണത്തിലെ ഊഴങ്ങൾ വേർതിരിക്കാൻ ഉപയോഗിക്കുന്ന മാർക്കറുകളാണ്. ഈ ആക്രമണത്തിൽ വീഴുന്ന ഒരു ഏജന്റ് വ്യാജ ഉപയോക്തൃ ചോദ്യത്തോട് പ്രതികരിക്കുകയും ആക്രമണകാരിയുടെ വാചകം മറുപടിയായി നൽകുകയും ചെയ്യും.

ഫ്ലാഗ് ചെയ്ത ഇൻജക്ഷനുകളിലുടനീളം സമാനമായ പാറ്റേണുകൾ ഞങ്ങൾ നിരീക്ഷിക്കുന്നു:

• അവ വിശ്വസനീയ സ്രോതസ്സുകളെ അനുകരിക്കുന്നു. രണ്ട് ഉദാഹരണങ്ങളും പേജ് ടെക്സ്റ്റിനെ ഏജന്റ് വിശ്വസിക്കുന്ന ഒരു സ്രോതസ്സ് പോലെ തോന്നിപ്പിക്കുന്നു: ആദ്യത്തേതിൽ അതിന്റെ ഡെവലപ്പർ, രണ്ടാമത്തേതിൽ അതിന്റെ സ്വന്തം സംഭാഷണം. സുരക്ഷാ പരിശോധനകളും നയ അറിയിപ്പുകളും അനുകരിച്ചുകൊണ്ട് സൈറ്റ് തന്നെയായോ, വ്യാജ മുൻഗണനകൾ മുന്നോട്ടുവെച്ചുകൊണ്ട് ഉപയോക്താവായോ ഇൻജക്ഷനുകൾക്ക് വേഷമിടാനും കഴിയും. ഏകദേശം മൂന്നിൽ രണ്ടെണ്ണം ഔപചാരിക ഭാഷയിലാണ് എഴുതിയിരിക്കുന്നത്.
• പലതും വ്യത്യസ്ത ഭാഷകളിലാണ് എഴുതിയിരിക്കുന്നത്. 24.4% ജോഡികളിൽ, പേജിന്റെ ബാക്കി ഭാഗത്തുനിന്ന് വ്യത്യസ്തമായ ഒരു ഭാഷയാണ് ഇൻജക്ഷൻ ഉപയോഗിക്കുന്നത്. ആദ്യ ഉദാഹരണത്തിലെന്നപോലെ, ഇംഗ്ലീഷ് അല്ലാത്ത ഒരു പേജിലെ ഇംഗ്ലീഷ് നിർദ്ദേശത്തിന്റെ രൂപത്തിലാണ് ഇത് സാധാരണയായി കാണപ്പെടുന്നത്. എല്ലാ ഭാഷകളും വായിക്കുന്നതും സാധാരണയായി ഇംഗ്ലീഷിൽ ഏറ്റവും പ്രാവീണ്യമുള്ളതുമായ ഒരു ഏജന്റിനെയാണ് ഇത്തരം ആക്രമണങ്ങൾ വ്യക്തമായി ലക്ഷ്യമിടുന്നത്. ഭാഷാമാറ്റങ്ങൾ ഡിറ്റക്ഷനെ കൂടുതൽ ബുദ്ധിമുട്ടാക്കുകയും ചെയ്യുന്നു: ഞങ്ങളുടെ യഥാർത്ഥ BrowseSafe വിലയിരുത്തലിൽ, പിടികൂടാൻ ഏറ്റവും പ്രയാസമുള്ളവയിൽ ബഹുഭാഷാ ആക്രമണങ്ങളും ഉൾപ്പെട്ടിരുന്നു.
• മിക്കവയ്ക്കും വേണ്ടത് പ്രവൃത്തികളാണ്, വാക്കുകളല്ല. പത്തിൽ നാലിലധികവും, ആദ്യ ഉദാഹരണത്തിലെ ടോക്കൺ വാങ്ങൽ പോലെ, ഉപയോക്താവ് ഒരിക്കലും ആവശ്യപ്പെടാത്ത ഒരു പ്രവൃത്തിയിലേക്ക് ഏജന്റിനെ തള്ളിവിടുന്നു; ഏകദേശം മൂന്നിലൊന്ന്, രണ്ടാമത്തെ ഉദാഹരണത്തിലെന്നപോലെ, ഉപയോക്താവിന്റെ ടാസ്ക് ഉപേക്ഷിക്കാൻ ഏജന്റിനെ പ്രേരിപ്പിക്കാൻ ശ്രമിക്കുന്നു. ഏകദേശം 3% മാത്രമാണ് ഉത്തരത്തിൽ തെറ്റായ വിവരങ്ങൾ തിരുകാൻ ശ്രമിക്കുന്നത്.
• അവ പലപ്പോഴും ആർക്കും പോസ്റ്റ് ചെയ്യാവുന്ന ഉള്ളടക്കത്തിലൂടെയാണ് എത്തുന്നത്. ആക്രമണകാരിക്ക് ഒരു സൈറ്റ് നിയന്ത്രിക്കേണ്ട ആവശ്യമില്ല. സാധാരണ സൈറ്റുകളിലെ ഒരു ഫോറം പോസ്റ്റോ പങ്കിട്ട ഡോക്യുമെന്റോ മതി; BrowseSafe++-ലെ 23,000-ത്തിലധികം ഇൻജക്ഷനുകൾ ഈ രീതിയിലാണ് എത്തിയത്. വിശ്വസനീയമായ ഒരു ഡൊമെയ്ൻ പോലും ആക്രമണകാരിയുടെ ടെക്സ്റ്റ് ഇൻജക്റ്റ് ചെയ്യാൻ ഉപയോഗിക്കാം.

അന്തിമ ബെഞ്ച്മാർക്കിലെ ഇൻജക്ഷനുകൾ 12 തരം വെബ്സൈറ്റുകൾ, 24 ആക്രമണ തരങ്ങൾ, 6 ആക്രമണ ലക്ഷ്യങ്ങൾ, പേജിലെ 18 സ്ഥാനങ്ങൾ എന്നിവയിൽ വ്യാപിച്ചുകിടക്കുന്നു.

വലുതാക്കുക

ഫ്ലാഗ് ചെയ്ത പേജിൽ നിന്ന് ഒരു ബെഞ്ച്മാർക്ക് ജോഡിയിലേക്ക്

ഫ്ലാഗ് ചെയ്ത പേജുകൾ അതേപടി ബെഞ്ച്മാർക്കിൽ ഉപയോഗിക്കാൻ ഞങ്ങൾക്ക് കഴിയില്ല, കാരണം ഏജന്റ് ഏത് ഉപയോക്താവിനു വേണ്ടിയാണോ പ്രവർത്തിച്ചിരുന്നത് ആ ഉപയോക്താവിന്റെ വ്യക്തിഗത വിവരങ്ങൾ അവയിൽ ഉണ്ടായിരിക്കാം. ഒരു പേജിനെ പങ്കിടാവുന്ന ബെഞ്ച്മാർക്ക് ജോഡിയാക്കി മാറ്റുന്നതിന് മൂന്ന് പ്രധാന ഘട്ടങ്ങൾ ആവശ്യമാണ്:

1. ഇൻജക്ഷൻ ശേഖരിക്കുക: ഞങ്ങൾ ഫ്ലാഗ് ചെയ്ത പേജുകൾ ശേഖരിക്കുകയും ഡ്യൂപ്ലിക്കേറ്റുകൾ നീക്കം ചെയ്യുകയും PII-Tracer ഉപയോഗിച്ച് വ്യക്തിഗത വിവരങ്ങൾ മാസ്ക് ചെയ്യുകയും ചെയ്യുന്നു. തുടർന്ന്, പേജിൽ ഒരു ഇൻജക്ഷൻ ഉണ്ടെന്ന് ഞങ്ങൾ സ്ഥിരീകരിക്കുന്നു; പ്രത്യേകിച്ചും, ഉപയോക്താവ് ഉദ്ദേശിച്ച ടാസ്കിൽ നിന്ന് ഏജന്റിനെ വഴിതിരിച്ചുവിടാൻ ശ്രമിക്കുന്ന ഒരു നിർദ്ദേശം അതിലുണ്ടെന്ന് ഒരു കൂട്ടം മോഡലുകൾ സമ്മതിക്കണമെന്ന് ഞങ്ങൾ നിഷ്കർഷിക്കുന്നു.
2. ജോഡി നിർമ്മിക്കുക: ഒരു ഏജന്റ് ഓരോ പേജിൽ നിന്നും ഇൻജക്ഷൻ ടെക്സ്റ്റ് നീക്കം ചെയ്യുകയും ചുറ്റുമുള്ള പേജ് ഉള്ളടക്കം മാറ്റിയെഴുതുകയും ചെയ്യുന്നു, പേരുകൾ, ബ്രാൻഡുകൾ തുടങ്ങിയ വിശദാംശങ്ങൾ സാങ്കൽപ്പികമായവ ഉപയോഗിച്ച് മാറ്റിസ്ഥാപിക്കുന്നു. രണ്ടാമതൊരു ഏജന്റ് മാറ്റിയെഴുതിയ പേജിൽ യഥാർത്ഥ ലോക ഉള്ളടക്കം അവശേഷിക്കുന്നുണ്ടോ എന്ന് പരിശോധിക്കുകയും പരാജയപ്പെട്ടവ ഫീഡ്‌ബാക്കോടെ തിരികെ അയയ്ക്കുകയും ചെയ്യുന്നു. ക്രമരഹിതമായി തിരഞ്ഞെടുത്ത 10% പേജുകൾ മനുഷ്യ അവലോകകർ പരിശോധിക്കുന്നു; അവർ കണ്ടെത്തുന്ന പ്രശ്നങ്ങൾ പൈപ്പ്‌ലൈനിൽ പരിഹരിക്കുകയും ആ പരിഹാരങ്ങൾ മുഴുവൻ കോർപ്പസിലും പ്രയോഗിക്കുകയും ചെയ്യുന്നു. ആക്രമിക്കപ്പെട്ട പകർപ്പ് സൃഷ്ടിക്കാൻ ഇൻജക്ഷൻ മാറ്റിയെഴുതിയ പേജിലേക്ക് വീണ്ടും ചേർക്കുന്നു, ക്ലീൻ പകർപ്പിൽ നിന്ന് ഒഴിവാക്കുന്നു. രണ്ട് പേജുകൾക്കും ഒരേ ടാസ്കും പ്രതീക്ഷിക്കുന്ന ഫലവും സാധാരണ നിർദ്ദേശങ്ങളുമാണ് ഉള്ളത്.
3. സ്ഥിരീകരിക്കുക: ഏജന്റുകൾ പേജുകൾ വ്യത്യസ്ത രൂപങ്ങളിൽ വായിക്കുന്നതിനാൽ, ഞങ്ങൾ ഓരോ പേജിന്റെയും HTML-നെ Markdown, ഒരു ആക്സസിബിലിറ്റി ട്രീ (ഒരു പേജിന്റെ ഇന്റർഫേസ് ഘടകങ്ങളുടെയും അവയുടെ ലേബലുകളുടെയും ഘടനാപരമായ ലിസ്റ്റ്), ഒരു സ്ക്രീൻഷോട്ട് എന്നിങ്ങനെ റെൻഡർ ചെയ്യുന്നു. ആക്രമിക്കപ്പെട്ട പേജിന്റെ നാല് വ്യൂകളിലും ഇൻജക്ഷൻ ദൃശ്യമാണെന്നും ക്ലീൻ പേജ് എല്ലാ വ്യൂകളിലും നിരുപദ്രവകരമായി വിലയിരുത്തപ്പെടുന്നുവെന്നും മറ്റൊരു ഏജന്റ് പരിശോധിക്കുന്നു. ഏതെങ്കിലും ഒരു വ്യൂവിൽ ഇൻജക്ഷൻ ഇല്ലെങ്കിൽ, ഞങ്ങൾ അത് പേജിലെ മറ്റൊരു സ്ഥലത്തേക്ക് മാറ്റി വീണ്ടും റെൻഡർ ചെയ്യുന്നു, അന്തിമ ആക്രമിക്കപ്പെട്ട പേജിൽ എല്ലാ വ്യൂകളിലും ഇൻജക്ഷൻ ഉണ്ടെന്ന് ഉറപ്പാക്കുന്നു. യഥാർത്ഥ ഹോസ്റ്റ്‌നെയിമുകളോ ബ്രാൻഡ് പേരുകളോ പോലുള്ള ഉറവിടത്തിന്റെ അടയാളങ്ങൾ ഇപ്പോഴും അവശേഷിക്കുന്ന ഏതൊരു ജോഡിയെയും ഒരു അന്തിമ കൂട്ടം ഓട്ടോമേറ്റഡ് പരിശോധനകൾ തിരുത്തുന്നു.

വലുതാക്കുക

BrowseSafe-Guard: എല്ലാ വ്യൂകൾക്കുമായി വേഗതയേറിയതും കൃത്യവുമായ ഡിറ്റക്ടറുകൾ

ഉപയോഗപ്രദമായ ഒരു ഡിറ്റക്ടർ ഓരോ പേജും വേഗത്തിലും ചെലവ് കുറഞ്ഞും പരിശോധിക്കണം. ആക്രമിക്കപ്പെട്ടതും ക്ലീനുമായ പേജുകളിൽ ഒരുപോലെ അത് കൃത്യവുമായിരിക്കണം. മിക്ക പേജുകളും സുരക്ഷിതമായതിനാൽ ഉയർന്ന പ്രിസിഷൻ പ്രത്യേകിച്ചും പ്രധാനമാണ്; താരതമ്യേന കുറഞ്ഞ ഫാൾസ് പോസിറ്റീവ് നിരക്ക് പോലും മിക്ക അലേർട്ടുകളെയും തെറ്റായ അലാറങ്ങളാക്കും. പ്രോംപ്റ്റ് ചെയ്ത പൊതു-ഉദ്ദേശ്യ മോഡലുകൾ പലപ്പോഴും പ്രിസിഷനിൽ പിന്നിലാണ്, ഓരോ പേജിലും പ്രവർത്തിപ്പിക്കാൻ അവ വളരെ മന്ദഗതിയിലുള്ളതും ചെലവേറിയതുമാണ്.

വെവ്വേറെ ശേഖരിച്ച ആക്രമിക്കപ്പെട്ട പേജുകളിലും ക്ലീൻ പേജുകളിലും പരിശീലിപ്പിച്ച ഒരു ഡിറ്റക്ടർ, പേജിന്റെ വിഷയമോ ലേഔട്ടോ പോലെ, യാദൃച്ഛികമായി ഈ രണ്ട് സെറ്റുകളെയും വേർതിരിക്കുന്ന കുറുക്കുവഴികൾ പഠിച്ചേക്കാം. എന്നാൽ അത്തരമൊരു ഡിറ്റക്ടർ നന്നായി സാമാന്യവൽക്കരിക്കില്ല. പകരം, ഇൻജക്ഷൻ മാത്രം വ്യത്യാസമായുള്ള ജോഡികളിലാണ് Guard പരിശീലിപ്പിക്കപ്പെടുന്നത്, ഇത് ഡിറ്റക്ടറിന്റെ പ്രിസിഷൻ മെച്ചപ്പെടുത്താൻ സഹായിക്കുന്നു. ഓരോ ജോഡിക്കും, Guard ആക്രമിക്കപ്പെട്ട പേജും അതിന്റെ ക്ലീൻ ഇരട്ടയും വെവ്വേറെ വായിക്കുകയും, ഓരോന്നിലും ഇൻജക്ഷൻ അടങ്ങിയിരിക്കാനുള്ള സാധ്യതയ്ക്ക് ഒരു സ്കോർ നൽകുകയും ചെയ്യുന്നു. മോഡൽ അപ്ഡേറ്റ് ചെയ്യാൻ രണ്ട് പരിശീലന ലക്ഷ്യങ്ങൾ ഉപയോഗിക്കുന്നു: സ്റ്റാൻഡേർഡ് ക്ലാസിഫിക്കേഷൻ ലക്ഷ്യവും, ആക്രമിക്കപ്പെട്ട പേജ് അതിന്റെ ഇരട്ടയേക്കാൾ കുറഞ്ഞത് ഒരു നിശ്ചിത മാർജിനിൽ ഉയർന്ന സ്കോർ നേടിയില്ലെങ്കിൽ Guard-ന് പെനാൽറ്റി നൽകുന്ന ഒരു റാങ്കിംഗ് ലക്ഷ്യവും. ലളിതമായി പറഞ്ഞാൽ, എന്ത് തീരുമാനമെടുക്കണമെന്ന് ക്ലാസിഫിക്കേഷൻ ലക്ഷ്യം Guard-നെ പഠിപ്പിക്കുന്നു; റാങ്കിംഗ് ലക്ഷ്യം ആ തീരുമാനത്തെ ഇൻജക്ഷനുമായി തന്നെ ബന്ധിപ്പിക്കുകയും ദോഷകരമല്ലാത്ത ശ്രദ്ധ തിരിക്കുന്ന ഘടകങ്ങളെ അവഗണിക്കുകയും ചെയ്യുന്നു. ചുറ്റുമുള്ള പേജ് ഉള്ളടക്കത്തോടല്ല, ഇൻജക്ഷനോട് തന്നെ പ്രതികരിക്കാൻ ഇത് Guard-നെ പരിശീലിപ്പിക്കുന്നു.

Guard-ൽ രണ്ട് ഡിറ്റക്ടറുകളുണ്ട്, ഓരോന്നും Qwen3.5-0.8B-ൽ നിന്ന് ഫൈൻ-ട്യൂൺ ചെയ്തതാണ്. ടെക്സ്റ്റ് ഡിറ്റക്ടർ ഒരു പേജിന്റെ ഒരു ടെക്സ്റ്റ് വ്യൂ വായിക്കുന്നു: HTML, Markdown, അല്ലെങ്കിൽ ആക്സസിബിലിറ്റി ട്രീ. മൾട്ടിമോഡൽ ഡിറ്റക്ടർ ഒരു ഫുൾ-പേജ് സ്ക്രീൻഷോട്ട് വായിക്കുന്നു. വിന്യാസത്തിൽ, Guard ഒരൊറ്റ ഫോർവേഡ് പാസിൽ ഒരു പേജ് വായിച്ച് ഒരു ഇൻജക്ഷൻ സ്കോർ നൽകുന്നു; സ്കോർ ഒരു പരിധി കടന്നാൽ പേജ് ഫ്ലാഗ് ചെയ്യപ്പെടുന്നു. Guard-ന് 0.8B പാരാമീറ്ററുകൾ മാത്രമുള്ളതിനാലും അത് ഒരൊറ്റ സ്കോർ മാത്രം നൽകുന്നതിനാലും, ഓരോ പേജിലും പ്രവർത്തിപ്പിക്കാൻ തക്ക വേഗതയും ചെലവ് കുറവും ഇതിനുണ്ട്.

പ്രകടന ബെഞ്ച്മാർക്കിംഗ്

ബെഞ്ച്മാർക്കിന്റെ, പരിശീലനത്തിന് ഉപയോഗിക്കാതെ മാറ്റിവെച്ച ഒരു ഉപഗണത്തിൽ, ഇൻജക്ഷനുകൾ കണ്ടെത്താൻ പ്രോംപ്റ്റ് ചെയ്ത 18 മോഡലുകളുമായി ഞങ്ങൾ Guard-നെ താരതമ്യം ചെയ്തു. BrowseSafe++-ൽ അളന്ന നാല് മെട്രിക്കുകൾ ഞങ്ങൾ റിപ്പോർട്ട് ചെയ്യുന്നു:

• ഇൻജക്ഷനുള്ള പേജുകളിൽ ഡിറ്റക്ടർ ഫ്ലാഗ് ചെയ്യുന്നവയുടെ അനുപാതമാണ് റീകോൾ (Recall). അത് എത്ര ആക്രമണങ്ങൾ പിടികൂടുന്നുവെന്ന് ഇത് അളക്കുന്നു, അതിനാൽ ഉയർന്നതാണ് നല്ലത്.
• ക്ലീൻ പേജുകളിൽ ഡിറ്റക്ടർ തെറ്റായി ഫ്ലാഗ് ചെയ്യുന്നവയുടെ അനുപാതമാണ് ഫാൾസ്-പോസിറ്റീവ് നിരക്ക് (FPR). അത് എത്ര തവണ തെറ്റായ അലാറങ്ങൾ ഉയർത്തുന്നുവെന്ന് ഇത് അളക്കുന്നു, അതിനാൽ കുറഞ്ഞതാണ് നല്ലത്.
• ഫ്ലാഗ് ചെയ്ത പേജുകളിൽ യഥാർത്ഥത്തിൽ ഇൻജക്ഷൻ അടങ്ങിയിട്ടുള്ളവയുടെ അനുപാതമാണ് പ്രിസിഷൻ (Precision). ഒരു അലേർട്ട് എത്ര തവണ ശരിയാകുന്നുവെന്ന് ഇത് അളക്കുന്നു, അതിനാൽ ഉയർന്നതാണ് നല്ലത്.
• റീകോളിന്റെയും പ്രിസിഷന്റെയും ഹാർമോണിക് മീൻ ആണ് F1; ഒരു ഡിറ്റക്ടർ മിക്ക ആക്രമണങ്ങളും പിടികൂടുകയും അതിന്റെ ഫ്ലാഗുകളിൽ കുറച്ചെണ്ണം മാത്രം തെറ്റായ അലാറങ്ങളാകുകയും ചെയ്യുമ്പോൾ മാത്രമേ ഇത് ഉയർന്നതാകൂ.

ഒരു നല്ല ഡിറ്റക്ടറിന് ഉയർന്ന പ്രിസിഷനും റീകോളും ഉണ്ടായിരിക്കണം എന്നതിനാൽ, ഞങ്ങൾ F1 പ്രാഥമിക മെട്രിക്കായി ഉപയോഗിക്കുന്നു. നാല് മെട്രിക്കുകളും മൂന്ന് ടെക്സ്റ്റ് വ്യൂകളിലുടനീളം ശരാശരി കണക്കാക്കിയവയാണ്.

വലുതാക്കുക

വലുതാക്കുക

മോഡൽ താരതമ്യങ്ങൾ

ഞങ്ങൾ പരീക്ഷിച്ച ചെറിയ ഓപ്പൺ-വെയ്റ്റ് മോഡലുകൾ ഏറ്റവും താഴെയാണ് എത്തിയത്. Mistral NeMo-യും Qwen3 30B-A3B-യും ക്ലീൻ പേജുകളിൽ ഏകദേശം പകുതിയും ഫ്ലാഗ് ചെയ്യുന്നു, അതേസമയം Llama 3.1 8B അപൂർവമായി മാത്രമേ എന്തെങ്കിലും ഫ്ലാഗ് ചെയ്യുന്നുള്ളൂ, മിക്ക ആക്രമണങ്ങളും നഷ്ടപ്പെടുത്തുന്നു. ഗ്രൂപ്പിലെ ഏറ്റവും ശക്തമായ മോഡലായ GPT-OSS 20B പോലും 70.97% F1 മാത്രമേ നേടുന്നുള്ളൂ. വളരെ വലിയ ഓപ്പൺ-വെയ്റ്റ് മോഡലായ DeepSeek V3.1, 75.23% F1-ഓടെ അൽപ്പം മെച്ചപ്പെട്ട പ്രകടനം കാഴ്ചവെക്കുന്നു.

GPT-5.4 nano, Gemini 3.1 Flash-Lite, Claude Haiku 4.5 എന്നിവ ഉൾപ്പെടെയുള്ള ലൈറ്റ്‌വെയ്റ്റ് API മോഡലുകൾ 85%-നും 97%-നും ഇടയിലുള്ള റീകോളോടെ കൂടുതൽ ആക്രമണങ്ങൾ കണ്ടെത്തുന്നു. എന്നാൽ, ഉയർന്ന തോതിലുള്ള തെറ്റായ അലാറങ്ങളാണ് ഇതിന്റെ വില; ഈ ഗ്രൂപ്പിലെ ഏറ്റവും കുറഞ്ഞ FPR ആയ 35.2% ഉള്ളത് Gemini 3.1 Flash-Lite-നാണ്, Haiku-ന്റെ FPR ഏകദേശം 69% ആണ്. തൽഫലമായി, ഗ്രൂപ്പിലെ പരമാവധി F1 സ്കോർ 80.9% ആണ്, അത് നേടിയത് Gemini 3.1 Flash-Lite ആണ്.

ബാക്കിയുള്ള മോഡലുകൾ കൂടുതൽ ശക്തമായ പൊതു-ഉദ്ദേശ്യ മോഡലുകളാണ്, 85%-നും 92%-നും ഇടയിൽ F1 സ്കോറുകൾ നേടുന്നു. എന്നിരുന്നാലും, റീകോളും FPR-ഉം തമ്മിലുള്ള വിട്ടുവീഴ്ചകൾ അവ ഇപ്പോഴും നേരിടുന്നു; ജാഗ്രതയിലേക്ക് ചായുന്ന മോഡലുകൾ നിയമാനുസൃത പേജുകൾ തടയുന്നു, കുറച്ച് മാത്രം ഫ്ലാഗ് ചെയ്യുന്ന മോഡലുകൾ ആക്രമണങ്ങൾ നഷ്ടപ്പെടുത്തുന്നു. ഏതൊരു ഡിറ്റക്ടറിനെക്കാളും ഉയർന്ന റീകോൾ ആയ 98.73% Claude Sonnet 5-നാണ്, എന്നാൽ അതിന്റെ FPR 24.65% ആണ്. Gemini 3.1 Pro-യും GPT-5.5-ഉം യഥാക്രമം 97.78%, 97.19% റീകോളുകളും 19.80%, 20.44% FPR-കളും നേടുന്നു. 96.42% റീകോളും 14.41% FPR-ഉം ഉള്ള GPT-6 Astra-യ്ക്കാണ് ഏറ്റവും ഉയർന്ന മൊത്തത്തിലുള്ള കൃത്യത. 96.02% റീകോളും 17.44% FPR-ഉം ഉള്ള Decider രണ്ടാം സ്ഥാനത്താണ്. വെറും 4.21% എന്ന ഏറ്റവും കുറഞ്ഞ FPR Claude Opus 5.5-നാണ്, എന്നാൽ അതിന്റെ 77.71% റീകോൾ അർത്ഥമാക്കുന്നത് അത് അഞ്ചിൽ ഒന്നിലധികം ആക്രമണങ്ങൾ നഷ്ടപ്പെടുത്തുന്നു എന്നാണ്. ഉത്തരം നൽകുന്ന പേജുകളിൽ 89.31% റീകോളും 7.92% FPR-ഉം ഉള്ള Claude Fable 5.1 ശക്തമായി കാണപ്പെടുന്നു, എന്നാൽ ഏകദേശം 30% പേജുകളിൽ അത് ഉത്തരം നൽകാൻ വിസമ്മതിക്കുന്നു, “(all)” വരി അവയെ ഫ്ലാഗുകളായി കണക്കാക്കുന്നു.

വലുതാക്കുക

നഷ്ടപ്പെട്ട ആക്രമണങ്ങളും തെറ്റായ അലാറങ്ങളും തമ്മിൽ മികച്ച സന്തുലനം കൈവരിച്ചുകൊണ്ട് Guard പരേറ്റോ ഫ്രണ്ടിയർ മുന്നോട്ട് നീക്കുന്നു. ഇത് ഏകദേശം 95% F1 നേടുകയും എല്ലാ ടെക്സ്റ്റ് വ്യൂകളിലും ഒന്നാം സ്ഥാനത്തെത്തുകയും ചെയ്യുന്നു. 20 ക്ലീൻ പേജുകളിൽ ഏകദേശം ഒന്ന് മാത്രമേ ഇത് ഫ്ലാഗ് ചെയ്യുന്നുള്ളൂ, ഏറ്റവും കൃത്യതയുള്ള പ്രോംപ്റ്റ് ചെയ്ത മോഡലായ Astra-യുടെ നിരക്കിന്റെ ഏകദേശം മൂന്നിലൊന്ന്. ഈ വ്യത്യാസം ഞങ്ങളുടെ പരിശീലനത്തിൽ നിന്നാണ് വരുന്നത്; Guard നിർമ്മിച്ചിരിക്കുന്ന അടിസ്ഥാന Qwen3.5-0.8B, മറ്റ് മോഡലുകളെപ്പോലെ തന്നെ പ്രോംപ്റ്റ് ചെയ്യുമ്പോൾ, 64% F1 മാത്രമേ നേടുന്നുള്ളൂ, കൂടാതെ നാലിൽ ഏകദേശം മൂന്ന് ക്ലീൻ പേജുകളും ഫ്ലാഗ് ചെയ്യുന്നു. സ്ക്രീൻഷോട്ട് വ്യൂ സാഹചര്യത്തിൽ, Guard-ന്റെ മൾട്ടിമോഡൽ ഡിറ്റക്ടറിനെ ചിത്രങ്ങൾ കൈകാര്യം ചെയ്യാൻ കഴിവുള്ള നാല് മോഡലുകളുമായി ഞങ്ങൾ താരതമ്യം ചെയ്യുന്നു. ഫുൾ-പേജ് സ്ക്രീൻഷോട്ടുകൾ നൽകിയപ്പോൾ, ഞങ്ങൾ വിലയിരുത്തിയ മറ്റ് മോഡലുകളിൽ ഏറ്റവും മികച്ചതിന്റെ ഏകദേശം 79%-നെതിരെ Guard ഏകദേശം 93% F1 സ്കോർ നേടി.

ഒരു ആക്രമണം തിരിച്ചറിയുന്നതും അതിനെ ചെറുക്കുന്നതും ഒന്നല്ല

സ്വാഭാവികമായും, ഒരു ഇൻജക്ഷൻ ശരിയായി തിരിച്ചറിയാൻ കഴിയുന്ന ഒരു മോഡൽ, ഉപയോക്താവിന്റെ ടാസ്കുകൾ പൂർത്തിയാക്കുന്നതിനിടെ ആ പേജ് കാണുമ്പോൾ ആ ഇൻജക്ഷൻ അവഗണിക്കുകയും വേണം. എന്നാൽ, ശക്തമായ ഡിറ്റക്ഷൻ സ്കോറുകൾ ഒരു മോഡൽ ആക്രമണത്തെ ചെറുക്കുമെന്ന് ഉറപ്പുനൽകുന്നില്ലെന്ന് ഞങ്ങളുടെ പരീക്ഷണങ്ങൾ കാണിക്കുന്നു. ഞങ്ങൾ ഓരോ മോഡലിനും ഒരേ ആക്രമിക്കപ്പെട്ട പേജ് രണ്ട് തവണ നൽകി: ഒരിക്കൽ അതിൽ ഇൻജക്ഷൻ ഉണ്ടോ എന്ന് വിധിക്കാനും, മറ്റൊരിക്കൽ മുൻ വിധി കാണാതെ ഉപയോക്താവിന്റെ ടാസ്ക് നിർവഹിക്കാനും. മോഡൽ ഇൻജക്ഷൻ പിന്തുടർന്നോ എന്ന് ഒരു പ്രത്യേക വിധികർത്താവ് പരിശോധിച്ചു. പരീക്ഷിച്ച എല്ലാ മോഡലുകളും തങ്ങൾ ഫ്ലാഗ് ചെയ്ത ചില ഇൻജക്ഷനുകൾ ഇപ്പോഴും പിന്തുടർന്നു; GPT-6 Astra-യുടെ കാര്യത്തിൽ ഫ്ലാഗ് ചെയ്ത പേജുകളുടെ 1.64% മുതൽ Llama 3.1 8B-യുടെ കാര്യത്തിൽ 24.73% വരെ.

വലുതാക്കുക

മോഡലുകൾ തമ്മിലുള്ള വ്യത്യാസങ്ങൾ ഡിറ്റക്ഷൻ സ്കോറുകൾ വിശ്വസനീയമായി പ്രവചിക്കുന്നില്ല. Claude Sonnet 5-ഉം GPT-5.5-ഉം ഏകദേശം ഒരുപോലെ ഇൻജക്ഷനുകൾ കണ്ടെത്തുന്നു, യഥാക്രമം ഏകദേശം 88%, 89% F1 സ്കോറുകളോടെ. എന്നിരുന്നാലും, Sonnet 5 സ്വയം ഫ്ലാഗ് ചെയ്ത ഇൻജക്ഷൻ 19.74% പേജുകളിൽ പിന്തുടർന്നു; ഇത് 1.97% മാത്രമുള്ള GPT-5.5-നെക്കാൾ പത്തിരട്ടിയാണ്.

ഇൻജക്ഷൻ പ്രതിരോധത്തിനായി വിന്യസിക്കാവുന്ന ഒരു സിസ്റ്റം

ഉപയോക്താവിന്റെ ടാസ്ക് നിർവഹിക്കുന്ന മോഡലിനെ ആശ്രയിക്കുന്നതിനു പകരം, ഒരു പേജ് തടയാനുള്ള തീരുമാനം ഒരു പ്രത്യേക-ഉദ്ദേശ്യ മോഡലിനെ ഏൽപ്പിക്കുന്നതിൽ മൂല്യമുണ്ടെന്ന് ഈ ഫലങ്ങൾ സൂചിപ്പിക്കുന്നു. ഏജന്റ് പ്രവർത്തിക്കുന്നതിന് മുമ്പ് ഓരോ പേജും സ്ക്രീൻ ചെയ്യുന്ന ഒരു പ്രത്യേക ഡിറ്റക്ടർ ഒരു അധിക പ്രതിരോധ പാളി നൽകുന്നു, അതിന് ഹൈജാക്ക് ചെയ്യാൻ ടാസ്കോ ദുരുപയോഗം ചെയ്യാൻ ടൂളുകളോ ഇല്ല.

അത്തരമൊരു ഡിറ്റക്ടർ ആകാനാണ് Guard നിർമ്മിച്ചിരിക്കുന്നത്. ഞങ്ങൾ പരീക്ഷിച്ച എല്ലാ മോഡലുകളിലും വെച്ച് ഏറ്റവും ഉയർന്ന F1-ഉം കൃത്യതയും ഉള്ളതിനു പുറമേ, ചെറിയ വലിപ്പം കാരണം ഓരോ പേജിലും പ്രവർത്തിപ്പിക്കാൻ തക്ക ചെലവ് കുറഞ്ഞതുമാണ് ഇത്. ശരാശരി, ഒരു ടെക്സ്റ്റ് പേജിന് Guard ഏകദേശം 0.15 സെക്കൻഡ് GPU സമയം ഉപയോഗിച്ചു. വാടകയ്‌ക്കെടുത്ത ഒരു H200-ൽ, 1,000 പേജുകൾക്ക് $0.18 ചെലവ് വരുമെന്ന് ഞങ്ങൾ കണക്കാക്കുന്നു; ലിസ്റ്റ് വിലകളിൽ ഫ്രണ്ടിയർ API മോഡലുകൾക്ക് ഇത് $18.95–180.61 ആണ്. ഉയർന്ന ഡിറ്റക്ഷൻ സ്കോറുകൾ നിലനിർത്തിക്കൊണ്ടുതന്നെ, ഞങ്ങളുടെ താരതമ്യത്തിൽ പതിവായുള്ള സ്ക്രീനിംഗ് ഇത് വളരെ ചെലവ് കുറഞ്ഞതാക്കുന്നു.

താഴെയുള്ള ചിത്രം ഓരോ ഡിറ്റക്ടറിന്റെയും കൃത്യതയെ ഓരോ പേജിനുമുള്ള സമയവുമായും 1,000 പേജുകൾക്കുള്ള ചെലവുമായും താരതമ്യം ചെയ്ത് പ്ലോട്ട് ചെയ്യുന്നു, രണ്ടും ലോഗ് സ്കെയിലുകളിൽ. രണ്ട് പാനലുകളിലും മുകളിൽ ഇടത് കോണിൽ Guard ഒറ്റയ്ക്കാണ്: കൃത്യത, വേഗത, ചെലവ് എന്നിവയിലെല്ലാം അത് മുന്നിലാണ്. പ്രോംപ്റ്റ് ചെയ്ത ഓരോ മോഡലും ഒരു പേജിന് ഏകദേശം ഒരു സെക്കൻഡോ അതിലധികമോ എടുക്കുന്നു, ഏറ്റവും കൃത്യതയുള്ള രണ്ടെണ്ണമായ GPT-6 Astra-യ്ക്കും Claude Fable 5.1-നും 1,000 പേജുകൾക്ക് $100-ലധികം ചെലവാകുന്നു.

വലുതാക്കുക

അഡാപ്റ്റീവ് ആക്രമണങ്ങൾക്കെതിരെ പ്രതിരോധങ്ങൾ പരീക്ഷിക്കുന്നു

BrowseSafe++ ബെഞ്ച്മാർക്കിൽ പരിമിതമായ എണ്ണം ഇൻജക്ഷനുകളാണുള്ളത്. എന്നാൽ, ഒരു യഥാർത്ഥ ആക്രമണകാരിക്ക് അഡാപ്റ്റീവ് ആക്രമണം നടത്താനാകും; ഒരു ഇൻജക്ഷൻ പരാജയപ്പെടുമ്പോൾ, ആക്രമണകാരിക്ക് അത് മാറ്റിയെഴുതി വീണ്ടും ശ്രമിക്കാം. തൽഫലമായി, യഥാർത്ഥ ഇൻജക്ഷനെ ചെറുക്കുന്ന ഒരു ഏജന്റ് ഭാവിയിലെ ആക്രമണങ്ങൾക്ക് ഇപ്പോഴും വിധേയമായേക്കാം. കൂടാതെ, ഇന്റർനെറ്റിൽ നിന്ന് ശേഖരിച്ച ഡാറ്റയിലാണ് മോഡലുകൾ പരിശീലിപ്പിക്കപ്പെടുന്നത്, അതിനാൽ അതിലെ മിക്ക ഇൻജക്ഷനുകളെയും ചെറുക്കാൻ അവ പഠിച്ചേക്കാം; ഞങ്ങൾ ബെഞ്ച്മാർക്ക് പൊതുവായി പുറത്തിറക്കുന്നതിനാൽ, അത് സാച്ചുറേറ്റ് ആകാനും മോഡലുകളെ നന്നായി വേർതിരിച്ചറിയാൻ കഴിയാതാകാനും സാധ്യതയുണ്ട്. ഈ രണ്ട് പ്രശ്നങ്ങളും പരിഹരിക്കാൻ, ഒരു ആക്രമണകാരി മോഡലിന് ഇൻജക്ഷനുകൾ മാറ്റിയെഴുതാൻ കഴിയുന്ന ഒരു ടെസ്റ്റിംഗ് എൻവയോൺമെന്റായ BrowseSafe-Adapt ഞങ്ങൾ നിർമ്മിച്ചു. ഓരോ ടെസ്റ്റിനും മൂന്ന് ഘട്ടങ്ങളുണ്ട്:

1. കേസ് സജ്ജീകരിക്കുക. ഒരു കേസ് ഒരു BrowseSafe++ എൻട്രിയെ ഒരു ടാർഗെറ്റ് ഏജന്റുമായി ചേർക്കുന്നു. BrowseSafe++ എൻട്രിയിൽ ഒരു ഉപയോക്തൃ ചോദ്യവും ടാസ്‌ക്കും അടങ്ങിയ ഒരു സാഹചര്യം, ആക്രമിക്കപ്പെട്ട ഒരു പേജ്, ആക്രമണകാരി ആഗ്രഹിക്കുന്ന ഫലം എന്നിവ ഉൾപ്പെടുന്നു. ടാസ്‌ക് നിർവഹിക്കാൻ ആവശ്യമായ ടൂളുകളും സിന്തറ്റിക് ഡാറ്റയും നൽകുന്ന ഒരു സാൻഡ്‌ബോക്സിലാണ് ഏജന്റ് പ്രവർത്തിക്കുന്നത്. ആക്രമണം അതിന്റെ ലക്ഷ്യം നേടിയോ എന്ന് ഒരു പ്രത്യേക വെരിഫയർ മോഡൽ വിലയിരുത്തുന്നു.
2. ഒരു ശ്രമം നടത്തുക: ഞങ്ങൾ നിലവിലെ ഇൻജക്ഷൻ പേജിൽ ചേർക്കുകയും ഏജന്റിനെ ടാസ്ക് നിർവഹിക്കാൻ അനുവദിക്കുകയും ചെയ്യുന്നു. ആക്രമണം വിജയിച്ചോ എന്ന് നിർണ്ണയിക്കാൻ, വെരിഫയർ ഏജന്റിന്റെ ഉത്തരവും അത് സാൻഡ്‌ബോക്സിൽ വരുത്തിയ മാറ്റങ്ങളും പരിശോധിക്കുന്നു. ആദ്യ ശ്രമം യഥാർത്ഥ BrowseSafe++ എൻട്രിയിലെ ഇൻജക്ഷൻ ഉപയോഗിക്കുന്നു.
3. പരിഷ്കരിച്ച് ആവർത്തിക്കുക: ഒരു ആക്രമണം പരാജയപ്പെട്ടാൽ, ഞങ്ങൾ ആ ശ്രമം ആർക്കൈവ് ചെയ്യുന്നു, എന്താണ് പിഴച്ചതെന്ന് ഒരു ക്രിട്ടിക് മോഡൽ അവലോകനം ചെയ്യുന്നു. ആ ഫീഡ്‌ബാക്ക് ഉപയോഗിച്ച് ഒരു ആക്രമണകാരി മോഡൽ ഇൻജക്ഷൻ മാറ്റിയെഴുതുന്നു; ആക്രമണത്തിന്റെ വാക്കുകൾ, ഫോർമാറ്റിംഗ്, അല്ലെങ്കിൽ പേജിലെ സ്ഥാനം എന്നിവ അതിന് മാറ്റാനാകും. ആക്രമണ ലക്ഷ്യം, വിജയ മാനദണ്ഡങ്ങൾ, ചുറ്റുമുള്ള പേജ് ഉള്ളടക്കം എന്നിവ അതേപടി തുടരുന്നു. അടുത്ത ശ്രമം പുതുക്കിയ ആക്രമണം ഉപയോഗിക്കുന്നു. ആക്രമണം വിജയിക്കുന്നതുവരെയോ ആക്രമണകാരി നിശ്ചിത ശ്രമ പരിധിയിൽ എത്തുന്നതുവരെയോ ഈ പ്രക്രിയ ആവർത്തിക്കുന്നു.

വലുതാക്കുക

ഓരോന്നും വ്യത്യസ്ത മോഡലിൽ നിർമ്മിച്ച ഏഴ് ഏജന്റുകളെ ഞങ്ങൾ പരീക്ഷിച്ചു: Claude Sonnet 5, Claude Haiku 4.5, GPT-5.5, Gemini 3.1 Pro, Gemini 3.5 Flash-Lite, ഓപ്പൺ-വെയ്റ്റ് മോഡലുകളായ DeepSeek V3.1, Kimi K2. ഓരോ ഏജന്റും ഒരേ 1,024 ടാസ്കുകൾ നേരിട്ടു, ഓരോ ടാസ്കിനും പരമാവധി 64 ശ്രമങ്ങൾ. ആദ്യ ശ്രമത്തിൽ, ഏഴ് ഏജന്റുകളിലും ആക്രമണ വിജയം കുറവായിരുന്നു. ഏത് ഏജന്റിനെതിരെയും, വിലയിരുത്തിയ ടാസ്കുകളുടെ പരമാവധി 4%-ൽ മാത്രമാണ് യഥാർത്ഥ ഇൻജക്ഷനുകൾ വിജയിച്ചത്. അഡാപ്റ്റീവ് ഫ്രെയിംവർക്കിൽ, ആക്രമണ വിജയം നാടകീയമായി ഉയർന്നു. ഏഴിൽ അഞ്ച് ഏജന്റുകൾക്കെതിരെ കുറഞ്ഞത് 79% ടാസ്കുകളിൽ ആക്രമണകാരി വിജയിച്ചു. ഏറ്റവും ശക്തമായ ഏജന്റുകൾ പോലും സുരക്ഷിതമായിരുന്നില്ല: GPT-5.5-നെതിരെ ഏകദേശം മൂന്നിൽ രണ്ട് ടാസ്കുകളിലും Claude Sonnet 5-നെതിരെ ഏകദേശം മൂന്നിൽ ഒന്ന് ടാസ്കുകളിലും ആക്രമണങ്ങൾ വിജയിച്ചു.

ഒരു പ്രത്യേക ടൂൾ കോൾ നടത്താൻ ഏജന്റിനെ പ്രേരിപ്പിക്കുക എന്നതാണ് ആക്രമണകാരിയുടെ ലക്ഷ്യമെങ്കിൽ ഏജന്റുകൾ തമ്മിലുള്ള വ്യത്യാസം ഏറ്റവും വലുതാണ്. ഇത്തരം ലക്ഷ്യമുള്ള ടാസ്കുകളിൽ, Sonnet 5 ഏകദേശം 8% ടാസ്കുകളിലും GPT-5.5 ഏകദേശം 29% ടാസ്കുകളിലും വഴങ്ങി. മറ്റ് അഞ്ചെണ്ണം അവയുടെ ടാസ്കുകളിൽ പകുതിയിലധികത്തിലും ആക്രമണകാരിയുടെ ലക്ഷ്യം നടപ്പാക്കി.

ഓരോ പേജും ആദ്യം Guard സ്ക്രീൻ ചെയ്യുന്ന രീതിയിൽ, Gemini 3.5 Flash-Lite ഏജന്റിനെതിരെയും ഞങ്ങൾ BrowseSafe-Adapt പ്രവർത്തിപ്പിച്ചു. യഥാർത്ഥ ഇൻജക്ഷനുകളുടെ 94.5% Guard തടഞ്ഞു, ആക്രമണകാരികൾക്ക് ആവശ്യമായ ശരാശരി ശ്രമങ്ങളുടെ എണ്ണം 9.7-ൽ നിന്ന് 17.0 ആയി ഏകദേശം ഇരട്ടിയാക്കുകയും ചെയ്തു. എന്നിരുന്നാലും, 64 ശ്രമങ്ങളും നൽകിയപ്പോൾ, ആക്രമണകാരി 84.2% ടാസ്കുകളിലും വിജയിച്ചു (Guard ഇല്ലാതെ 93.6%), മിക്കവാറും എപ്പോഴും Guard ഫ്ലാഗ് ചെയ്യാത്ത ഒരു ഇൻജക്ഷൻ ഉപയോഗിച്ച്. ഞങ്ങൾ BrowseSafe പുറത്തിറക്കിയപ്പോൾ മുന്നോട്ടുവെച്ച കാഴ്ചപ്പാടുമായി ഇത് യോജിക്കുന്നു: ഒരു ഡിറ്റക്ഷൻ മോഡലും എല്ലാറ്റിനുമുള്ള ഒറ്റമൂലിയല്ല, അതിനാൽ ഒരു ഡിറ്റക്ടർ ബഹുതല പ്രതിരോധ സംവിധാനത്തിന്റെ ഭാഗമായിരിക്കണം.

വലുതാക്കുക

ഉപസംഹാരം

ബ്രൗസർ ഏജന്റുകൾ പലപ്പോഴും പരോക്ഷ പ്രോംപ്റ്റ് ഇൻജക്ഷന് വിധേയമാകാറുണ്ട്; സാധാരണ പേജുകളിൽ മറഞ്ഞിരിക്കുന്ന ആക്രമണങ്ങൾ ഉപയോക്താവിന്റെ ടാസ്കുകൾ നിർവഹിക്കാനുള്ള ഏജന്റുകളുടെ കഴിവിൽ ഇടപെടാൻ ശ്രമിക്കുന്നതാണിത്. ഏജന്റുകൾക്ക് കൂടുതൽ ഡാറ്റയിലേക്കും ടൂളുകളിലേക്കും ആക്സസ് ലഭിക്കുന്നതോടെ ആക്രമണങ്ങളുടെ സാധ്യതയുള്ള ആഘാതം വർദ്ധിക്കുന്നതിനാലും, ആക്രമണകാരികൾക്ക് അവരുടെ ഇൻജക്ഷനുകൾ കൂടുതൽ ഫലപ്രദമാക്കാൻ പരിഷ്കരിക്കാൻ കഴിയുന്നതിനാലും, അപകടങ്ങൾ കാലക്രമേണ വർദ്ധിക്കുകയേ ഉള്ളൂ.

ഞങ്ങളുടെ BrowseSafe സ്യൂട്ട് ഈ ഭീഷണികളെ നേരിടുന്നു. പ്രധാനമായും യഥാർത്ഥ ഇൻജക്ഷനുകളിൽ നിന്ന് നിർമ്മിച്ച 38,675 വെബ്‌പേജ് ജോഡികൾ BrowseSafe++ ബെഞ്ച്മാർക്കിലുണ്ട്, ഇത് ഡിറ്റക്ടറുകൾക്ക് കൂടുതൽ വിശ്വസനീയമായ പരിശീലനവും വിലയിരുത്തലും സാധ്യമാക്കുന്നു. ഈ ജോഡികളിൽ പരിശീലിപ്പിച്ച BrowseSafe-Guard ഡിറ്റക്ടറുകൾ വളരെ കൃത്യവും വേഗതയേറിയതും ചെലവ് കുറഞ്ഞതുമായ ഡിറ്റക്ഷൻ സാധ്യമാക്കുന്നു, ഒരു ഏജന്റ് പേജുകളിൽ പ്രവർത്തിക്കുന്നതിന് മുമ്പ് അവ സ്കാൻ ചെയ്യാൻ ഇത് വഴിയൊരുക്കുന്നു. പരിഷ്കരിച്ച ഇൻജക്ഷനുകൾക്കെതിരെ മോഡലുകളെ പരീക്ഷിക്കാൻ BrowseSafe-Adapt ഫ്രെയിംവർക്ക് സഹായിക്കുന്നു, സ്ഥിരമായ ഇൻജക്ഷനുകൾ ഉപയോഗിച്ചുള്ള ഒറ്റ ശ്രമങ്ങളിൽ നിന്ന് വ്യക്തമാകാത്ത ദൗർബല്യങ്ങൾ ഇത് എടുത്തുകാണിക്കുന്നു.

ഈ ടൂളുകൾ ഒരുമിച്ച്, പരാജയങ്ങൾ കണ്ടെത്താനും വെബ് അധിഷ്ഠിത പ്രോംപ്റ്റ് ഇൻജക്ഷൻ ആക്രമണങ്ങൾക്കെതിരായ പ്രതിരോധങ്ങൾ മെച്ചപ്പെടുത്താനും ഗവേഷകർക്കും എഞ്ചിനീയർമാർക്കും എളുപ്പമാക്കുമെന്ന് ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു. ഞങ്ങളുടെ ഉപയോക്താക്കളെ സുരക്ഷിതരാക്കാൻ Comet-ന്റെയും Computer-ന്റെയും ബിൽറ്റ്-ഇൻ പ്രതിരോധങ്ങൾ ഞങ്ങൾ തുടർച്ചയായി വിലയിരുത്തുകയും മെച്ചപ്പെടുത്തുകയും ചെയ്യുന്നു.

ആരംഭിക്കാം

1. SDK ഇൻസ്റ്റാൾ ചെയ്ത് ഡാറ്റയിലേക്ക് ആക്സസ് നേടുക. SDK GitHub-ൽ നിന്ന് ഇൻസ്റ്റാൾ ചെയ്യാം:

ഡാറ്റാസെറ്റിലേക്കുള്ള ആക്സസ് നിയന്ത്രിതമാണ്. അതിന്റെ Hugging Face പേജിൽ ഒരിക്കൽ ആക്സസ് അഭ്യർത്ഥിക്കുക, തുടർന്ന് hf auth login ഉപയോഗിച്ച് ലോഗിൻ ചെയ്യുക.

2. ലീഡർബോർഡിലേക്ക് സമർപ്പിക്കുക. BrowseSafe++-ന്റെ ടെസ്റ്റ് സ്പ്ലിറ്റിൽ നിങ്ങളുടെ സ്വന്തം ഡിറ്റക്ടർ വിലയിരുത്തുക:

നിങ്ങൾ ലിസ്റ്റ് ചെയ്യുന്ന ഓരോ വ്യൂവിനും ഓരോ പേജിനും ഇത് ഒരു തീരുമാനം എഴുതുന്നു; ടെക്സ്റ്റ് ലീഡർബോർഡിൽ ശരാശരി ലഭിക്കാൻ മൂന്ന് ടെക്സ്റ്റ് വ്യൂകളും ലിസ്റ്റ് ചെയ്യുക. നിങ്ങളുടെ Hugging Face അക്കൗണ്ട് ഉപയോഗിച്ച് ലീഡർബോർഡ് സ്‌പേസിൽ സൈൻ ഇൻ ചെയ്‌ത് predictions.jsonl അപ്‌ലോഡ് ചെയ്യുക. സ്‌പേസ് ഓരോ വ്യൂവിനുമുള്ള F1, കൃത്യത, ഫാൾസ്-പോസിറ്റീവ് നിരക്ക്, മറ്റ് മെട്രിക്കുകൾ എന്നിവ നൽകുന്നു; നിങ്ങൾ തിരഞ്ഞെടുക്കുകയാണെങ്കിൽ, ഫലം ലീഡർബോർഡിൽ പ്രസിദ്ധീകരിക്കുകയും ചെയ്യുന്നു. ഓരോ അക്കൗണ്ടിനും (കുറഞ്ഞത് 60 ദിവസം പഴക്കമുള്ളത്) ഓരോ UTC ആഴ്ചയിലും സ്കോർ ചെയ്യപ്പെടുന്ന ഒരു സമർപ്പണം അനുവദിക്കും. ടെസ്റ്റ് പേജുകൾ വിലയിരുത്തലിന് മാത്രമുള്ളതാണ്: അവയിൽ പരിശീലിപ്പിക്കുകയോ അവ പുനർവിതരണം ചെയ്യുകയോ ചെയ്യരുത്. ഫയൽ ഫോർമാറ്റും പ്രസിദ്ധീകരണ നിയമങ്ങളും സമർപ്പണ ഗൈഡിൽ വിശദീകരിക്കുന്നു.

അവലംബം

@online{perplexity2026BrowseSafePlusPlus,
  author = {{Perplexity} and Yuetian Chen and Kaiyuan Zhang and Yuntao Du and Thomas Li and Mark Tenenholtz and Kyle Polley and Jerry Ma and Denis Yarats and Ninghui Li and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{BrowseSafe++: Building stronger defenses against real-world prompt injection}},
  date = {2026-10-28},
  url = {https://www.perplexity.ai/hub/blog/browsesafe-plus-plus}
}