സുരക്ഷിതമായ ഏജന്റുകൾ ഞങ്ങൾ എങ്ങനെ എഞ്ചിനീയർ ചെയ്യുന്നു

സുരക്ഷിതമായ AI ഏജന്റുകൾ നിർമ്മിക്കാൻ, അവയുടെ കഴിവുകൾക്കും പരാജയങ്ങൾക്കും വേണ്ടി നമ്മൾ രൂപകൽപ്പന ചെയ്യേണ്ടതുണ്ട്. നിയമാനുസൃതമായ ജോലികൾ നിർവ്വഹിക്കുമ്പോൾ പോലും, ദോഷകരമായ നിർദ്ദേശങ്ങളൊന്നുമില്ലാതെ, പ്രതിബന്ധങ്ങളെ മറികടക്കാൻ ശ്രമിക്കുമ്പോൾ ഏജന്റുകൾ സുരക്ഷാ അതിർത്തികൾ ലംഘിച്ചേക്കാം.

ഇതൊരു സെക്യൂരിറ്റി എഞ്ചിനീയറിംഗ് പ്രശ്നമാണെന്ന് ഞങ്ങൾ വിശ്വസിക്കുന്നു, കൂടാതെ 2000-കളുടെ തുടക്കത്തിലെ ഇന്റർനെറ്റ് വേമുകളെ വ്യവസായം നേരിട്ട രീതിയിൽ ഇത് നേരിടണം. ഏജന്റുകൾക്ക് ചുറ്റുമുള്ള സിസ്റ്റങ്ങൾ ഏജന്റുകൾക്ക് ആക്സസ് ചെയ്യാൻ കഴിയുന്നവ പരിമിതപ്പെടുത്തുകയും, അനാവശ്യ പെരുമാറ്റം കണ്ടെത്തുകയും, പരാജയങ്ങൾ സംഭവിക്കുമ്പോൾ അവയെ ഉൾക്കൊള്ളുകയും വേണം.

Perplexity-ൽ, AI ഏജന്റുകൾക്കായി സെക്യൂരിറ്റി എഞ്ചിനീയറിംഗ് മെച്ചപ്പെടുത്തുന്നതിനായി ഞങ്ങൾ ഗവേഷകരുമായും പ്രാക്ടitioner-കളുമായും സജീവമായി സഹകരിക്കുന്നു, കൂടാതെ സുരക്ഷ ഒരൊറ്റ സുരക്ഷാ മുൻകരുതലുകളെയും ആശ്രയിക്കാതിരിക്കാൻ ഞങ്ങളുടെ മോഡലുകൾ, ഏജന്റ് ഹാർനെസുകൾ, അടിസ്ഥാന സൗകര്യങ്ങൾ എന്നിവയിലുടനീളം ഞങ്ങൾ പ്രതിരോധത്തിന്റെ ഒന്നിലധികം പാളികൾ പ്രയോഗിക്കുന്നു.

AI ഏജന്റുകളുടെ മെൽറ്റ്ഡൗൺ പെരുമാറ്റം

ജൂലൈയിൽ, AI ഏജന്റുകൾ ഓപ്പൺ സോഴ്സ് AI പ്ലാറ്റ്‌ഫോമായ ഹഗ്ഗിംഗ് ഫെയ്സിന്റെ (Hugging Face) പ്രൊഡക്ഷൻ ഇൻഫ്രാസ്ട്രക്ചറിലേക്ക് അതിക്രമിച്ചുകയറി. ആന്തരിക സൈബർ സുരക്ഷാ മൂല്യനിർണ്ണയത്തിന്റെയും പരിശീലനത്തിന്റെയും സമയത്ത്, ആർട്ടിഫാക്ടറി (Artifactory) റിപ്പൊസിറ്ററി മാനേജർ ചൂഷണം ചെയ്ത് പരസ്പരം ആശയവിനിമയം നടത്തുന്നതിനായി ഒരു ബുൾട്ടിൻ ബോർഡ് സ്ഥാപിക്കുന്നതിനുള്ള ഒരു വഴി OpenAI മോഡലുകൾ കണ്ടെത്തി, ഇത് സ്വാമുകളായി (swarms) സംഘടിപ്പിക്കാൻ അവരെ പ്രാപ്തരാക്കി. പിന്നീട്, സൈബർ സുരക്ഷാ ബെഞ്ച്മാർക്കിൽ ജോലികളിൽ പുരോഗതി പ്രാപ്തരാകാത്ത ഏജന്റുകൾ സഹായിക്കാൻ മറ്റ് ഏജന്റുകളെ റിക്രൂട്ട് ചെയ്തു. ഈ ഏജന്റുകൾ അവരുടെ മൂല്യനിർണ്ണയ പരിതസ്ഥിതിയിൽ നിന്ന് പുറത്തുകടന്ന് ഇന്റർനെറ്റിൽ എത്തി. ബെഞ്ച്മാർക്ക് ടാ്സ്കുകളിലേക്കുള്ള ഉത്തരങ്ങൾ റിവേഴ്സ്-എഞ്ചിനീയറിംഗ് ചെയ്തുകൊണ്ട് വഞ്ചിക്കാനുള്ള വഴികളും അവർ കണ്ടെത്തി, എന്നാൽ ഗ്രേഡിംഗ് സിസ്റ്റം വഞ്ചന കണ്ടെത്തുമെന്ന് അവർ കരുതി. വഞ്ചനയായി കണ്ടെത്തുന്നത് ഒഴിവാക്കാനുള്ള വഴികൾ കണ്ടെത്തുന്നതിന് ബെഞ്ച്മാർക്ക് മൂല്യനിർണ്ണയം എങ്ങനെയാണ് പ്രവർത്തിച്ചത് എന്ന് നന്നായി മനസ്സിലാക്കാൻ, അവർ ആത്യന്തികമായി ഹഗ്ഗിംഗ് ഫെയ്സ് സിസ്റ്റങ്ങൾ അപകട്ടിയിലാക്കി (Hugging Face; OpenAI).

ജൂലൈയിൽ ഞങ്ങൾ Numbat ഓപ്പൺ സോഴ്സ് ചെയ്തപ്പോൾ ഞങ്ങൾ വിവരിച്ച പരാജയ മോഡിന്റെ വ്യക്തമായ ഉദാഹരണമാണ് ഈ സംഭവം: ആകസ്മികമായ മെൽറ്റ്ഡൗണുകൾ (accidental meltdowns), Cornell Tech-ൽ നിന്നുള്ള സുരക്ഷാ ഗവേഷകർ രൂപീകരിച്ച ഒരു പദം (arXiv). നിയമപരമായ ലക്ഷ്യം പിന്തുടരുന്ന ഒരു ഏജന്റ്, നഷ്ടപ്പെട്ട ഫയൽ, പരാജയപ്പെട്ട API കോൾ, കാലാവധി കഴിഞ്ഞ ക്രെഡൻഷ്യൽ, അല്ലെങ്കിൽ അനുമതി നിഷേധിക്കൽ തുടങ്ങിയ തടസ്സങ്ങൾ നേരിടുകയും ഒരു പരിഹാരം തേടുകയും ചെയ്യുന്നു. അങ്ങനെ ചെയ്യുമ്പോൾ, അത് നിരീക്ഷണം (reconnaissance), പ്രിവിലേജ് എസ്‌കലേഷൻ, രഹസ്യ കണ്ടെത്തൽ, അല്ലെങ്കിൽ ഡാറ്റ എക്സ്ഫിൽട്രേഷൻ എന്നിവയിലൂടെ സുരക്ഷാ അതിർത്തികൾ ലംഘിച്ചേക്കാം. ദോഷകരമായ പ്രോംപ്റ്റോ ബാഹ്യ ആക്രമണകാരിയോ ഉൾപ്പെട്ടിട്ടില്ലെങ്കിൽ പോലും, ഏജന്റ് തന്നെ ഫലപ്രദമായി പ്രതിയോഗിയായി മാറുന്നു.

ഹഗ്ഗിംഗ് ഫെയ്സ് (Hugging Face) ഒരു ഒറ്റപ്പെട്ട സംഭവമായിരുന്നില്ല. സമീപ ആഴ്ചകളിൽ കൂടുതൽ ഏജന്റ് മെൽറ്റ്ഡൗൺ പെരുമാറ്റങ്ങൾ കണ്ടെത്തുകയും റിപ്പോർട്ട് ചെയ്യപ്പെടുകയും ചെയ്തിട്ടുണ്ട്. മെയ് 27-28 തീയതികളിൽ, യുഎസ് സർക്കാർ ഡാറ്റയിലേക്ക് ഓപ്പൺ ആക്സസ് നൽകുന്ന പ്ലാറ്റ്‌ഫോമായ ഡാറ്റ യുഎസ്എയിൽ (Data USA) നിന്ന് യൂണിവേഴ്സിറ്റി ഓഫ് അയോവ ഡാറ്റ ശേഖരിക്കാൻ ശ്രമിച്ച ഏജന്റുകൾ, തെറ്റായ രൂപത്തിലുള്ള ക്വറി (query) കാരണം പിശകുകൾ നേരിട്ടു. എസ്‌ക്യുഎൽ ഇൻജക്ഷൻ (SQL injection), ക്രോസ്-സൈറ്റ് സ്ക്രിപ്റ്റിംഗ്, ടെംപ്ലേറ്റ് ഇൻജക്ഷൻ, പാത്ത് ട്രാവേഴ്സൽ, കമാൻഡ് ഇൻജക്ഷൻ എന്നിവയുൾപ്പെടെയുള്ള പ്രോബുകളുമായി അവർ പ്രതികരിച്ചു. ഈ പ്രവർത്തനം പിന്നീട് OpenAI-യുമായി ബന്ധിപ്പിക്കപ്പെട്ടു (SecurityWeek). ജൂൺ 20-21 തീയതികളിൽ, ഓസ്‌ട്രേലിയൻ ഇൻസ്റ്റിറ്റ്യൂട്ട് ഓഫ് ഹെൽത്ത് ആൻഡ് വെൽഫെയറിൽ (AIHW) നിന്നുള്ള വിക്ടോറിയയിലെ പ്രാദേശിക മേഖലകളിലെ ഒരു വിഭാഗം മരുന്നുകളുടെ ഓരോ വ്യക്തിക്കുമുള്ള സർക്കാർ ചെലവുകൾ നേടാൻ ശ്രമിച്ച OpenAI ഏജന്റുകൾ ഒരു ഫയൽ ഡൗൺലോഡ് ചെയ്യുന്നതിൽ നിന്ന് തടസ്സപ്പെട്ടു. ഇതിന് മറുപടിയായി, പ്രക്രിയയിൽ സൈറ്റിന്റെ ആന്റി-ബോട്ട് സംരക്ഷണങ്ങളെ മറികടന്നുകൊണ്ട്, ഇതിനകം പൊതുവായുള്ള ആ ഫയൽ AIHW പ്രീ-പ്രൊഡക്ഷൻ സർവറിൽ നിന്ന് ഏജന്റുകൾ ഡൗൺലോഡ് ചെയ്തു (SecurityWeek).

ഈ മാതൃക ഒരു ലാബിൽ മാത്രം ഒതുങ്ങുന്നതല്ല. സൈബർ സുരക്ഷാ പരിശോധനകളിൽ, ഒരു തെറ്റ് വഴി ഓപ്പൺ ഇന്റർനെറ്റ് ആക്സസ് ലഭിച്ചതിന് ശേഷം ആന്ത്രോപിക് (Anthropic) മോഡലുകൾ മൂന്ന് കമ്പനികളെ ലംഘിച്ചു, ഗൂഗിളിന്റെ (Google's) Gemini മൂന്ന് വെബ്‌സൈറ്റുകളിലേക്കുള്ള ക്രെഡൻഷ്യലുകൾ ഊഹിച്ചെടുത്തു, കൂടാതെ ഒരു മെറ്റാ (Meta) മോഡൽ മൂന്നാം കക്ഷി സേവനം ചൂഷണം ചെയ്തു (Reuters).

ചരിത്രത്തിൽ നിന്ന് പഠിക്കുന്നു: ഇന്റർനെറ്റ് വേമുകളുടെ കാലഘട്ടം

ഈ സംഭവങ്ങൾ ഏകദേശം കാൽ നൂറ്റാണ്ട് മുമ്പത്തെ ഇന്റർനെറ്റ് വേമുകളുടെ കാലഘട്ടത്തെ ഓർമ്മിപ്പിക്കുന്നു. 2000-കളുടെ തുടക്കത്തിൽ, ഇന്റർനെറ്റ് അതിനു ചുറ്റുമുള്ള സുരക്ഷാ സമ്പ്രദായങ്ങളേക്കാൾ വളരെ വേഗത്തിൽ വളർന്നു. മെൽറ്റ്ഡൗണിലുള്ള AI ഏജന്റുകൾ ഉപയോഗിച്ച് നമ്മൾ ഇപ്പോൾ കാണുന്നതിനേക്കാൾ വളരെ ഗുരുതരമായ പ്രത്യാഘാതങ്ങളുള്ള വൈറസുകളുടെയും വേമുകളുടെയും ഒരു തരംഗം നമ്മൾ കണ്ടു.

2000 മെയ് 4-ന്, "ILOVEYOU" എന്ന വിഷയമുള്ള സുപരിചിതരായ അയച്ചവരിൽ നിന്ന് ആളുകൾ ഇമെയിലുകൾ സ്വീകരിക്കാൻ തുടങ്ങി. ഇമെയിലെ അറ്റാച്ച്മെന്റ് തുറക്കുന്നത് ഇരയുടെ ഔട്ട്‌ലുക്ക് (Outlook) വിലാസ പുസ്തകത്തിലുള്ള എല്ലാവർക്കും അതിന്റെ ഒരു പകർപ്പ് മെയിൽ ചെയ്ത ഒരു സ്ക്രിപ്റ്റ് പ്രവർത്തിപ്പിക്കുന്നതിന് കാരണമായി. അന്ന് വൈകുന്നേരം 6 മണിയായപ്പോഴേക്കും, 420,000-ത്തിലധികം ഇന്റർനെറ്റ് ഹോസ്റ്റുകൾ ഉൾപ്പെട്ട റിപ്പോർട്ടുകൾ CERT കോർഡിനേഷൻ സെന്ററിന് ലഭിച്ചു (US GAO Report). ഡിപ്പാർട്ട്‌മെന്റ് ഓഫ് ഡിഫൻസ്, സിഐഎ, നാസ, ഹൗസ്, സെനറ്റ് എന്നിവയുൾപ്പെടെ കുറഞ്ഞത് 14 ഫെഡറൽ ഏജൻസികളിലെങ്കിലും ഈ വൈറസ് അനുപ്രവേശം ചെയ്തതായി റിപ്പോർട്ടുണ്ട് (US GAO Report). ഇത് പെന്റഗണിലെയും ബ്രിട്ടീഷ് പാർലമെന്റിലെയും ഇമെയിൽ സർവറുകളും അടപ്പിച്ചു (Wired). നാശനഷ്ടങ്ങളിലും നഷ്ടപ്പെട്ട ഉൽപ്പാദനക്ഷമതയിലും വൈറസ് 15 ബില്യൺ ഡോളറിലധികം ചെലവ് വരുമെന്ന് ലണ്ടനിലെ ഇൻഷുറൻസ് ഭീമനായ ലോയ്ഡ്സിന്റെ ആദ്യ കണക്കാക്കൽ വ്യക്തമാക്കുന്നു (US House Committee Hearing). ലോകമെമ്പാടുമുള്ള 8.75 ബില്യൺ ഡോളറിന്റെ നാശനഷ്ടങ്ങൾ Computer Economics പിന്നീട് കണക്കാക്കി (Information Week).

മനുഷ്യരുടെ ക്ലിക്ക് ആവശ്യമില്ലാത്ത വേമുകൾ അടുത്തതായി വന്നു. 2001 ജൂലൈ 19-ന്, കോഡ്-റെഡ് വേം (Code-Red worm) 14 മണിക്കൂറിനുള്ളിൽ 359,000-ത്തിലധികം കമ്പ്യൂട്ടറുകളെ ബാധിച്ചു (CAIDA). 2003 ജനുവരി 25-ന്, SQL സ്ലാമ്മർ (SQL Slammer) ഓരോ 8.5 സെക്കൻഡിലും വലുപ്പത്തിൽ ഇരട്ടിക്കുകയും, അതിന് ഇരയാകാൻ സാധ്യതയുള്ള ഇന്റർനെറ്റ് ഹോസ്റ്റുകളുടെ 90%-ത്തിലധികം 10 മിനിറ്റിനുള്ളിൽ ബാധിക്കുകയും ചെയ്തു (CAIDA). ഇത് മൈക്രോസോഫ്റ്റ് ആറ് മാസം മുമ്പ് പാച്ച് പുറത്തിറക്കിയ ഒരു ദ്വാരം ചൂഷണം ചെയ്തു (CNET). 2003 ആഗസ്റ്റിൽ, ബ്ലാസ്റ്റർ വേമും സോബിഗ് ഇമെയിൽ വേമും ഏകദേശം ഒന്നിന് പിറകെ ഒന്നായി പ്രത്യക്ഷപ്പെട്ടു (Microsoft, F-Secure).

ആ സമയത്ത്, നെറ്റ്‌വർക്ക് ചെയ്ത കമ്പ്യൂട്ടറുകൾ സുരക്ഷിതമാക്കാൻ കഴിയുമോ എന്ന് ചോദിക്കുന്നത് ന്യായമായിരുന്നു. ILOVEYOU വൈറസ് വന്ന് ആറ് ദിവസത്തിന് ശേഷം, യുഎസ് ഹൗസ് ഉപസമിതി ഇതിനെക്കുറിച്ച് ഒരു ഹിയറിംഗ് നടത്തി. തങ്ങളുടെ ഉൽപ്പന്നങ്ങളിലെ പിശകുകൾ മൂലമുണ്ടാകുന്ന നാശനഷ്ടങ്ങൾക്ക് സോഫ്റ്റ്‌വെയർ കമ്പനികളെ ഉത്തരവാദികളാക്കുന്ന നിയമനിർമ്മാണം നടത്തണമെന്ന് നിരവധി സുരക്ഷാ വിദഗ്ധർ ആവശ്യപ്പെട്ടു. വാഷിംഗ്ടൺ മറ്റൊരു വഴിയാണ് തിരഞ്ഞെടുത്തത്. സൈബർസ്പേസ് സുരക്ഷിതമാക്കാനുള്ള ദേശീയ തന്ത്രം (National Strategy to Secure Cyberspace) പ്രസ്താവിച്ചത് “സൈബർസ്പേസ് സുരക്ഷിതമാക്കുന്നതിനുള്ള പ്രാഥമിക മാർഗ്ഗമായി ഫെഡറൽ റെഗുലേഷൻ മാറില്ല” എന്നാണ്. വിശാലമായ ഉത്തരവുകൾ “സൈബർ സുരക്ഷയോടുള്ള ഏറ്റവും കുറഞ്ഞ പൊതുവായ സമീപനം” സൃഷ്ടിച്ചേക്കാമെന്ന് ഇത് മുന്നറിയിപ്പ് നൽകി (CISA).

വ്യവസായം എഞ്ചിനീയറിംഗ് ഉപയോഗിച്ച് മറുപടി നൽകി. ILOVEYOU വന്ന് പതിനൊന്ന് ദിവസത്തിന് ശേഷം, എക്സിക്യൂട്ടബിൾ അറ്റാച്ച്മെന്റുകൾ തടഞ്ഞ ഒരു ഔട്ട്‌ലുക്ക് (Outlook) അപ്‌ഡേറ്റ് മൈക്രോസോഫ്റ്റ് പ്രഖ്യാപിച്ചു. 2002 ജനുവരിയിൽ, കമ്പനി സുരക്ഷയ്ക്ക് ഉയർന്ന മുൻഗണന നൽകി (Seattle Times). ഓട്ടോമാറ്റിക് പാച്ചിംഗ്, സുരക്ഷിതമായ ഡിഫോൾട്ടുകൾ, ബഗ് ബൗണ്ടി പ്രോഗ്രാമുകൾ, ഏകോപിത വെളിപ്പെടുത്തൽ എന്നിവ സ്റ്റാൻഡേർഡ് സമ്പ്രദായമായി മാറി. 2008-ൽ, “ഒരു ബഗ് ചൂഷണം ചെയ്തതിന് ശേഷം ആക്രമണകാർക്ക് എന്ത് ചെയ്യാൻ കഴിയും എന്ന് പരിമിതപ്പെടുത്തുന്ന” ഒരു സാൻഡ്‌ബോക്സിൽ ക്രോം വെബ് ഉള്ളടക്കം പ്രവർത്തിപ്പിക്കാൻ തുടങ്ങി (Chromium Blog). ഒരിക്കൽ ഒഴിവാക്കലായിരുന്ന എൻക്രിപ്ഷൻ, ഡിഫോൾട്ടായി മാറി. മൾട്ടി-ഫാക്ടർ ഓതന്റിക്കേഷൻ, ഫയർവാളുകൾ, സീറോ ട്രസ്റ്റ്, സെക്യൂരിറ്റി ഇൻഫർമേഷൻ ആൻഡ് ഇവന്റ് മാനേജ്‌മെന്റ് (SIEM) എന്നിവയുൾപ്പെടെയുള്ള സുരക്ഷാ സാങ്കേതികവിദ്യകൾ വ്യാപകമായി ഉപയോഗിക്കപ്പെട്ടു. വിവര സുരക്ഷയ്ക്കായി 2026-ൽ ലോകമെമ്പാടുമുള്ള സ്ഥാപനങ്ങൾ ഏകദേശം 240 ബില്യൺ ഡോളർ ചെലവഴിക്കുമെന്ന് പ്രവണിക്കപ്പെടുന്നു (Gartner). വേമുകൾ പൂർണ്ണമായി അപ്രത്യക്ഷമായില്ല, എന്നാൽ പതിവായി ഇന്റർനെറ്റ് വ്യാപകമായി പടരുന്ന പൊട്ടിപ്പുറപ്പെടലുകളുടെ കാലഘട്ടം മങ്ങിപ്പോയി. അതേസമയം, വലിയ തോതിൽ റെഗുലേഷനുകളുടെ തടസ്സങ്ങളൊന്നുമില്ലാതെ ഇന്റർനെറ്റ്, തുടർന്നുള്ള രണ്ട് ദശകങ്ങളിൽ നവീകരണത്തിന്റെയും സാമ്പത്തിക വളർച്ചയുടെയും ശക്തമായ ഒരു എഞ്ചിനായി മാറി.

AI ഏജന്റുകൾക്കായുള്ള സെക്യൂരിറ്റി എഞ്ചിനീയറിംഗ്

സമീപകാല സംഭവങ്ങൾ ഏജന്റ് ഗവേണൻസിനെക്കുറിച്ച് ന്യായമായ ചോദ്യങ്ങൾ ഉയർത്തിയിട്ടുണ്ട്. കർശനമായി പരിമിതപ്പെടുത്തിയതും വലിയ തോതിൽ നിർണ്ണായകവുമായ സോഫ്റ്റ്‌വെയർ പെരുമാറ്റത്താൽ സവിശേഷതയുള്ള പ്രീ-ഏജന്റ് കമ്പ്യൂട്ടിംഗ് പരിതസ്ഥിതികൾക്കായി നിലവിലുള്ള സുരക്ഷാ സംവിധാനങ്ങൾ വികസിപ്പിച്ചെടുത്തിട്ടുണ്ട്. ആക്സസ് കൺട്രോൾ മെക്കാനിസങ്ങൾ, പ്രത്യേകിച്ചും, മനുഷ്യരായ ഉപയോക്താക്കളെ കേന്ദ്രീകരിച്ചാണ് രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത്, കൂടാതെ തത്വത്തിൽ കാര്യമായ ദോഷം വരുത്താൻ പര്യാപ്തമായ വിശാലമായ പ്രത്യേകാവകാശങ്ങൾ അവ പലപ്പോഴും നൽകുന്നു.

ഈ ഡിസൈൻ നിരവധി അനുമാനങ്ങളെ അടിസ്ഥാനമാക്കിയുള്ളതാണ്: ഭൂരിഭാഗം ഉപയോക്താക്കളും സദുദ്ദേശ്യത്തോടെ പ്രവർത്തിക്കുന്നു; ഓഡിറ്റിംഗിലൂടെയും യഥാർത്ഥ ലോകത്തിലെ കാര്യകാരണങ്ങളിലൂടെയും ദോഷകരമായ വ്യക്തികളെ തടയാൻ കഴിയും; കൂടാതെ മനുഷ്യർ ശരിയോ തെറ്റോ ആകട്ടെ, താരതമ്യേന പരിമിതമായ നിരക്കിൽ നടപടികൾ കൈക്കൊള്ളുന്നു. ഈ സുരക്ഷാ സംവിധാനങ്ങൾ ഏജന്റുകളിൽ പ്രയോഗിക്കുന്നതിന് മനുഷ്യരും ഏജന്റും തമ്മിലുള്ള പെരുമാറ്റത്തിലെ വ്യത്യാസങ്ങൾ കണക്കിലെടുക്കേണ്ടതുണ്ട്. AI ഏജന്റ് സുരക്ഷയെക്കുറിച്ചുള്ള വിവരങ്ങൾക്കായുള്ള NIST-ന്റെ അഭ്യർത്ഥനയ്ക്കുള്ള ഞങ്ങളുടെ മറുപടിയിൽ ഞങ്ങൾ എഴുതിയതുപോലെ, AI ഏജന്റുകൾ ഈ അനുമാനങ്ങളെ വെല്ലുവിളിക്കുന്നു. അവയ്ക്ക് മെഷീൻ വേഗതയിൽ പ്രത്യേകാവകാശങ്ങൾ വിനിയോഗിക്കാനും നടപടികൾ കൈക്കൊള്ളാനും കഴിയും, യഥാർത്ഥ ലോകത്തിലെ കാര്യകാരണങ്ങളാൽ അവ തടയപ്പെടുന്നില്ല, കൂടാതെ സാങ്കേതികമായി അനുവദനീയമായതും എന്നാൽ സാധാരണ മനുഷ്യനായ ഉപയോക്താവ് അപൂർവ്വമായി മാത്രം ചെയ്യുന്നതുമായ നടപടികൾ സ്വീകരിക്കുകയും ചെയ്തേക്കാം.

ആ ചോദ്യങ്ങൾക്ക് ഉത്തരം നൽകുന്നതിന് സെക്യൂരിറ്റി എഞ്ചിനീയറിംഗ് ആവശ്യമാണ്. വ്യക്തിഗത ഘടകങ്ങൾ തെറ്റായി പെരുമാറുമ്പോൾ അപകടസാധ്യതകൾ നിയന്ത്രണവിധേയമായി നിലനിർത്തുന്ന സിസ്റ്റങ്ങൾ നിർമ്മിക്കുന്നതിനുള്ള സുരക്ഷാ തത്വങ്ങൾ ഞങ്ങൾക്ക് അറിയാം. എന്നാൽ AI ഏജന്റുകൾ പരിശീലിപ്പിക്കുന്നതിനും പരിശോധിക്കുന്നതിനും ഉപയോഗിക്കുന്നതിനുമുള്ള പരിതസ്ഥിതികൾ എഞ്ചിനീയറിംഗ് ചെയ്യുമ്പോൾ ഈ തത്വങ്ങൾ പ്രയോഗിക്കുന്നുണ്ടെന്ന് ഞങ്ങൾ ഉറപ്പാക്കേണ്ടതുണ്ട്.

പ്രതിരോധ-ആഴത്തിലുള്ള (defense-in-depth) സുരക്ഷാ തത്വം

AI ഏജന്റുകൾ സുരക്ഷിതമാക്കുന്നതിന് ബാധകമാക്കേണ്ട ഏറ്റവും പ്രധാനപ്പെട്ട സുരക്ഷാ തത്വമായി പ്രതിരോധ-ആഴത്തിലുള്ള (defense-in-depth) സമീപനം കണക്കാക്കാം. ഇത് ലെയേർഡ് സെക്യൂരിറ്റി ആർക്കിടെക്ചറിനായി വാദിക്കുന്നു, അവിടെ സിസ്റ്റം റിസോഴ്സുകളെ സംരക്ഷിക്കാൻ ഒന്നിലധികം, വൈവിധ്യമാർന്ന, ആവർത്തിച്ചുള്ള പ്രതിരോധ നടപടികൾ ഉപയോഗിക്കുന്നു. ഒരൊറ്റ സുരക്ഷാ മുൻകരുതലും പൂർണ്ണമല്ല. ആളുകൾ സോഷ്യൽ എൻജിനീയറിങ് ആക്രമണങ്ങൾക്ക് ഇരയാവുകയും അവരുടെ ലോഗിൻ ക്രെഡൻഷ്യലുകൾ വെളിപ്പെടുത്തുകയും ചെയ്തേക്കാം, സീറോ-ഡേ സോഫ്റ്റ്‌വെയർ കേടുപാടുകൾ കണ്ടെത്തുകയും ചൂഷണം ചെയ്യപ്പെടുകയും ചെയ്യാം, കൂടാതെ നുഴഞ്ഞുകയറ്റം കണ്ടെത്തൽ പുതിയ ആക്രമണ വകഭേദങ്ങളെ നഷ്ടപ്പെടുത്തുകയും ചെയ്യാം. പ്രതിരോധ-ആഴത്തിലുള്ള (defense-in-depth) സമീപനം അത് അംഗീകരിക്കുകയും പ്രതിരോധത്തിന്റെ നിരവധി സ്വതന്ത്ര പാളികൾ അടുക്കിവെക്കുകയും ചെയ്യുന്നു. ഒരു പ്രതിരോധ പാളി മറികടക്കപ്പെടുകയാണെങ്കിൽ, നുഴഞ്ഞുകയറ്റത്തെ ചെറുക്കാനോ കണ്ടെത്താനോ മറ്റ് പാളികൾ അവശേഷിക്കുന്നു.

ആഴത്തിലുള്ള പ്രതിരോധം (defense-in-depth) എ പ്രധാനപ്പെട്ടതാണെന്ന് ഹഗ്ഗിംഗ് ഫെയ്സ് (Hugging Face) സംഭവം കാണിക്കുന്നു. അതിന്റെ പ്രൊഡക്ഷൻ സിസ്റ്റങ്ങളിൽ ഉപയോഗിച്ചിരുന്ന ഓട്ടോമേറ്റഡ് സുരക്ഷാ മുൻകരുതലുകൾ, ഹാർനെസുകൾ (harnesses), ഓട്ടോ-റിവ്യൂ മോഡലുകൾ, സുരക്ഷാ ക്ലാസിഫയറുകൾ എന്നിവ മൂല്യനിർണ്ണയ പരിതസ്ഥിതിയിൽ ഉണ്ടായിരുന്നില്ല എന്ന് OpenAI-യുടെ റെട്രോസ്പെക്റ്റീവ് റിപ്പോർട്ട് ചെയ്യുന്നു. നിലവിൽ വിന്യേരിച്ചിരിക്കുന്ന ചെയിൻ-ഓഫ്-ഥോട്ട് (chain-of-thought) നിരീക്ഷണം ആ വിലയിരുത്തലുകളിൽ പ്രവർത്തിച്ചിരുന്നെങ്കിൽ, ലംഘനം നടക്കുന്നതിന് ഒരു ദിവസം മുമ്പ് തന്നെ അത് പ്രാരംഭ പ്രവർത്തനം കണ്ടെത്തുകയും സുരക്ഷാ ടീമിനെ പേജ് ചെയ്യുകയും ചെയ്യുമായിരുന്നു (OpenAI). പ്രശ്നം കണ്ടെത്താൻ കഴിയുമായിരുന്ന ലെയറുകൾ നിലവിലുണ്ടായിരുന്നു. അവയെല്ലാം ഒരേസമയം ഒരേ സ്ഥലത്ത് ഉണ്ടായിരുന്നില്ല എന്ന് മാത്രം.

AI ഏജന്റുകൾ സുരക്ഷിതമാക്കുന്നതിന് AI മോഡലുകളുടെയും അവയ്ക്ക് ചുറ്റുമുള്ള സിസ്റ്റങ്ങളുടെയും സുരക്ഷയും ഭദ്രതയും മെച്ചപ്പെടുത്തേണ്ടതുണ്ട്. മോഡൽ ലെയറിലെ പ്രവർത്തനം പ്രധാനമാണ്, അത് ഫലം കാണുന്നുമുണ്ട്. ആദ്യകാല LLM-കൾ ഇൻജക്റ്റ് ചെയ്ത നിർദ്ദേശങ്ങളാൽ എളുപ്പത്തിൽ കൃത്രിമത്വത്തിന് വിധേയമാക്കപ്പെട്ടിരുന്നു, അതേസമയം ഇന്നത്തെ മോഡലുകൾ അവയെ തിരിച്ചറിയുന്നതിലും നിരസിക്കുന്നതിലും ഗണ്യമായി മികച്ചതാണ്. മോഡൽ ഡെവലപ്പർമാർ സുരക്ഷിതമായ പെരുമാറ്റത്തിനായി മോഡലുകളെ പരിശീലിപ്പിക്കുകയും ചെയ്യുന്നു, കൂടാതെ OpenAI-യുടെ റെട്രോസ്പെക്റ്റീവ് വിവരിക്കുന്നതുപോലെ, പ്രശ്നകരമായ പെരുമാറ്റത്തിന്റെ ലക്ഷണങ്ങൾക്കായി റീസണിംഗ് ട്രെയ്സുകൾ നിരീക്ഷിക്കുകയും ചെയ്യുന്നു. എന്നാൽ മോഡൽ-ലെവൽ പ്രതിരോധങ്ങൾ പരിഹാരത്തിന്റെ ഒരു ഭാഗം മാത്രമാണ്. ഏജന്റുകൾ പരിശീലിപ്പിക്കുന്ന, പരിശോധിക്കുന്ന, വിന്യേപ്പിക്കുന്ന സിസ്റ്റങ്ങളും സുരക്ഷയ്ക്കും ഉൾക്കൊള്ളലിനുമായി എഞ്ചിനീയറിംഗ് ചെയ്യേണ്ടതുണ്ട്. മോഡൽ-ലെവൽ സുരക്ഷ ഒരു ഏജന്റ് വഴിതെറ്റാനുള്ള സാധ്യത കുറയ്ക്കുന്നു; സിസ്റ്റം-ലെവൽ സുരക്ഷ അത് സംഭവിക്കുമ്പോൾ ഉണ്ടാകുന്ന നാശനഷ്ടങ്ങൾ പരിമിതപ്പെടുത്തുന്നു.

വലുതാക്കുക

ആവർത്തിച്ചുള്ള സുരക്ഷാ മുൻകരുതലുകൾക്കായുള്ള ഡിസൈൻ നിയമങ്ങൾ

ആഴത്തിലുള്ള പ്രതിരോധത്തിന് (defense-in-depth) ആവർത്തിച്ചുള്ള സുരക്ഷാ മുൻകരുതലുകൾ ആവശ്യമാണ്. ഏജന്റുകൾക്കായി, മൂന്ന് ഡിസൈൻ നിയമങ്ങൾ ഉപയോഗിച്ച് ഇത് പ്രയോഗിക്കാൻ ഞങ്ങൾ വാദിക്കുന്നു:

1. സ്വാതന്ത്ര്യം (Independence). ഓരോ പാളിയും സ്വതന്ത്രമായ കാരണങ്ങളാൽ പരാജയപ്പെടണം. ഒരേ അനുമാനം പങ്കിടുന്ന രണ്ട് നിയന്ത്രണങ്ങളെ അതേ ആക്രമണം വഴി തോൽപ്പിക്കാൻ കഴിയും. മോണിറ്ററുകളും എൻഫോഴ്സ്മെന്റ് പോയിന്റുകളും ഏജന്റിന്റെ എത്തിച്ചേരാവുന്ന പരിധിയ്ക്ക് പുറത്തായിരിക്കണം.
2. ഏജന്റിന് താഴെയുള്ള എൻഫോഴ്സ്മെന്റ്. കുറഞ്ഞത് ഒരു പാളിയെങ്കിലും നിർണ്ണായകമായിരിക്കണം: മോഡൽ എന്ത് ഉൽപ്പാദിപ്പിച്ചാലും നിരോധിച്ച പ്രവർത്തനങ്ങളെ തടയുന്ന പരമ്പരാഗതമായ, പരിശോധിക്കാവുന്ന കോഡ്. ഏജന്റിന് വിളിക്കുന്നത് നിരസിക്കാനോ പുനഃക്രമീകരിക്കാനോ കഴിയുന്ന ഒരു സുരക്ഷാ മുൻകരുതൽ ഒരു സുരക്ഷാ മുൻകരുതലല്ല.
3. സിഗ്നലുകൾക്ക് അധികാരം കുറയ്ക്കാൻ മാത്രമേ കഴിയൂ. താൽക്കാലികമായി നിർത്തുക, ക്രെഡൻഷ്യലുകൾ റദ്ദാക്കുക, നെറ്റ്‌വർക്ക് ആക്സസ് വിച്ഛേദിക്കുക, അല്ലെങ്കിൽ സെഷൻ അവസാനിപ്പിക്കുക തുടങ്ങിയ ഏജന്റിന് എന്ത് ചെയ്യാൻ കഴിയുമെന്ന് ചുരുക്കുന്ന പ്രതികരണങ്ങൾ കണ്ടെത്തൽ ട്രിഗർ ചെയ്യണം. ഒരു അപകടസാധ്യത സിഗ്നലും ഒരിക്കലും അധിക ആക്സസ് നൽകരുത്.

NVIDIA ഉൾപ്പെടെയുള്ള ഞങ്ങളുടെ പങ്കാളികളുമായി Open Secure AI Alliance-ൽ ഞങ്ങൾ ഈ തത്വങ്ങൾ പങ്കിടുന്നു. ഒരു ഏജന്റ് എന്താണ് ചെയ്യാൻ ശ്രമിക്കുന്നതെന്ന് ഹാർനെസ് നയിക്കുമ്പോൾ അടിസ്ഥാന സൗകര്യം അതിന് എന്ത് ചെയ്യാൻ കഴിയുമെന്ന് നിയന്ത്രിക്കുന്നു എന്ന് NVIDIA വാദിച്ചിട്ടുണ്ട് (NVIDIA).

Perplexity ഉൽപ്പന്നങ്ങളിലെ പ്രതിരോധ-ആഴത്തിലുള്ള (defense-in-depth) സമീപനം

Perplexity നാല്തരം പരിതസ്ഥിതികളിൽ ഏജന്റുകളെ പ്രവർത്തിപ്പിക്കുന്നു: ഞങ്ങളുടെ ഏജന്റ് പ്ലാറ്റ്‌ഫോമായ Computer വഴി ക്ലൗഡിൽ, Comet വഴി ബ്രൗസറിൽ, Portable Computer വഴി ഉപയോക്തൃ ഉപകരണങ്ങളിൽ, ഞങ്ങളുടെ എഞ്ചിനീയർമാർ മൂന്നാം കക്ഷി കോഡിംഗ് ഏജന്റുകൾ ഉപയോഗിക്കുന്ന ജീവനക്കാരുടെ ലാപ്‌ടോപ്പുകളിൽ. ഓരോ പരിതസ്ഥിതിക്കും അതിന്റേതായ അപകടസാധ്യതകളുണ്ട്, കൂടാതെ ഓരോന്നിനും സംരക്ഷണത്തിന്റെ നിരവധി പാളികൾ ലഭിക്കുന്നു.

ക്ലൗഡിൽ: Computer, SPACE

ഓരോ Computer ടാസ്കും ഞങ്ങളുടെ സാൻഡ്ബോക്സ് പ്ലാറ്റ്‌ഫോമായ SPACE-ൽ പ്രവർത്തിക്കുന്നു, ഇത് ഡിഫോൾട്ടായി ഏജന്റിനെ വിശ്വസനീയമല്ലാത്തതായി പരിഗണിക്കുന്നു. ഓരോ ടാസ്കിനും അതിന്റേതായ മൈക്രോവിഎം ലഭിക്കുന്നു, ക്രെഡൻഷ്യലുകൾ സാൻഡ്‌ബോക്സിന് പുറത്ത് സൂക്ഷിക്കുകയും ആവശ്യമുള്ളപ്പോൾ മാത്രം ഇൻജക്റ്റ് ചെയ്യുകയും ചെയ്യുന്നു, ഔട്ട്‌ബൗണ്ട് ട്രാഫിക് ഗസ്റ്റിന് പുറത്ത് നിയന്ത്രിക്കപ്പെടുന്നു, കൂടാതെ നശീകരണ മാറ്റങ്ങൾ റോൾ ബാക്ക് ചെയ്യാൻ സ്നാപ്പ്ഷോട്ടുകൾ ഞങ്ങളെ അനുവദിക്കുന്നു (Making SPACE). എന്റർപ്രൈസ് ഉപയോക്താക്കൾക്ക് അവരുടെ സ്വന്തം എൻക്രിപ്ഷൻ കറികളും കൊണ്ടുവരാം. ഒരു കീ റദ്ദാക്കുന്നത് സംരക്ഷിക്കപ്പെട്ട ഡാറ്റ വായിക്കാൻ കഴിയാത്തതാക്കുന്നു, കൂടാതെ ഏജന്റിന് ആ തീരുമാനം ഓവർറൈഡ് ചെയ്യാൻ കഴിയില്ല.

ഈ പാളികൾ നിലനിൽക്കുന്നുണ്ടോയെന്നും ഞങ്ങൾ പരിശോധിക്കുന്നു. Escaping SPACE: Part I-ൽ, ഞങ്ങൾ ഒൻപത് ഫ്രോണ്ടിയർ മോഡലുകൾക്ക് ഒരു SPACE സാൻഡ്‌ബോക്സിനുള്ളിൽ റൂട്ട് ആക്സസ് നൽകുകയും പുറത്തുകടക്കാൻ ആവശ്യപ്പെടുകയും ചെയ്തു. ആരും VM-ൽ നിന്ന് രക്ഷപ്പെട്ടില്ല, എന്നാൽ ഭാഗികമായ നെറ്റ്‌വർക്ക് ആക്സസ് അനുവദിച്ചപ്പോൾ ചിലർ നെറ്റ്‌വർക്ക് പോളിസിയെ ചുറ്റിപ്പറ്റിയുള്ള വഴികൾ കണ്ടെത്തി. ഞങ്ങൾ ആ വിടവുകൾ പരിഹരിക്കുകയും ഒരു പുനഃപരിശോധനയിലൂടെ പരിഹാരങ്ങൾ സ്ഥിരീകരിക്കുകയും ചെയ്തു, കൂടാതെ മറ്റ് 10 സാൻഡ്‌ബോക്സ് പ്ലാറ്റ്‌ഫോമുകളിൽ എണ്ണത്തിൽ എണ്ണത്തില്‍ എട്ടിലും ഞങ്ങൾ കണ്ടെത്തിയ സമാനമായ ദൗർബല്യങ്ങൾ അവയുടെ വെണ്ടർമാരെ അറിയിക്കുകയും ചെയ്തു.

ബ്രൗസറിൽ: Comet, BrowseSafe

ലോഞ്ച് ചെയ്തത് മുതൽ Comet ഒരു ലെയേർഡ് പ്രോംപ്റ്റ്-ഇൻജക്ഷൻ പ്രതിരോധം ഉപയോഗിക്കുന്നുണ്ട്: ക്ലാസിഫയറുകൾ വീണ്ടെടുത്ത ഉള്ളടക്കം സ്കാൻ ചെയ്യുന്നു, ഘടനാപരമായ പ്രോംപ്റ്റുകൾ അതിനെ വിശ്വസനീയമല്ലാത്തതായി അടയാളപ്പെടുത്തുന്നു, ഇമെയിൽ അയയ്ക്കുകയോ ഓർഡർ നൽകുകയോ പോലുള്ള സെൻസിറ്റീവായ പ്രവർത്തനങ്ങൾക്ക് ഉപയോക്താവിന്റെ സ്ഥിരീകരണം ആവശ്യമാണ്, കൂടാതെ എന്തെങ്കിലും തടസ്സപ്പെടുമ്പോൾ ഉപയോക്താക്കളെ അറിയിക്കുകയും ചെയ്യുന്നു (Comet prompt-injection defenses). ആദ്യ പാളിക്ക് പിന്നിലുള്ള ഓപ്പൺ സോഴ്സ് ഡിറ്റക്ഷൻ മോഡലായ BrowseSafe, ഞങ്ങളുടെ BrowseSafe-Bench ബെഞ്ച്മാർക്കിൽ ഫ്രോണ്ടിയർ മോഡലുകളെ കവച്ചുവെക്കുന്നു, എന്നിരുന്നാലും ഡിറ്റക്ടറുകളൊന്നും പൂർണ്ണ സുരക്ഷിതമല്ലെന്ന് അതേ ബെഞ്ച്മാർക്ക് കാണിക്കുന്നു, അതുകൊണ്ടാണ് കണ്ടെത്തൽ ഒരിക്കലും ഒരേയൊരു പാളിയാകാത്തത് (BrowseSafe research). Trail of Bits ഓഡിറ്റ് ചെയ്തിട്ടുള്ള ഈ പ്രതിരോധങ്ങൾ Computer പാരൈമായി സ്വീകരിക്കുന്നു (Perplexity).

ഉപകരണത്തിൽ: Portable Computer

Portable Computer എന്നത് ഒരു ലോക്കൽ-ഫസ്റ്റ് ഏജന്റ് ആണ്: മോഡൽ, ഹാർനെസ്, സംഭാഷണം, പാത എന്നിവ ഡിഫോൾട്ടായി ഉപയോക്താവിന്റെ മെഷീനിൽ തന്നെ തുടരുന്നു. LLM-നേക്കാൾ ഹാർനെസ് കോഡായ ഒരു നിർണ്ണായക ഓർക്കെസ്ട്രേറ്റർ, ലൂപ്പ് പ്രവർത്തിപ്പിക്കുകയും പോളിസി നടപ്പിലാക്കുകയും ചെയ്യുന്നു. മോഡൽ പ്രവർത്തനങ്ങൾ നിർദ്ദേശിക്കുന്നു, കൂടാതെ പ്രോസസ്സുകൾ, ഫയൽ പാതകൾ, നെറ്റ്‌വർക്ക് ആക്സസ് എന്നിവ പരിമിതപ്പെടുത്തുന്ന ഒരു ഒഎസ്-ലെവൽ (OS-level) സാൻഡ്ബോക്സിൽ അംഗീകൃത ടൂൾ കോളുകൾ പ്രവർത്തിക്കുന്നു. സാൻഡ്‌ബോക്സ് എപ്പോഴും ഓണായിരിക്കുകയും പരാജയപ്പെടുമ്പോൾ ക്ലോസ് ആകുകയും ചെയ്യുന്നു: ഇത് ലഭ്യമല്ലെങ്കിൽ, ഉപയോക്താവിന്റെ അനുമതികളോടെ കമാൻഡുകൾ പ്രവർത്തിപ്പിക്കുന്നതിന് പകരം ഹാർനെസ് തന്നെ പ്രവർത്തനരഹിതമാക്കുന്നു. വെബ് തിരയൽ, കണക്ടറുകൾ, ശക്തമായ ഒരു ക്ലൗഡ് അഡ്വൈസർ മോഡലിലേക്കുള്ള എസ്‌കലേഷൻ എന്നിവപോലുള്ള ഉപകരണ അതിർത്തി ലംഘിക്കുന്ന പ്രവർത്തനങ്ങൾ ഉപയോക്താവ് പ്രവർത്തനക്ഷമമാക്കുകയും അംഗീകരിക്കുകയും ചെയ്യുമ്പോൾ മാത്രമേ സംഭവിക്കൂ. അഡ്വൈസർ കോളിന് മുമ്പ്, ഒരു PII ക്ലാസിഫയർ സെൻസിറ്റീവായ വിവരങ്ങൾ ഫ്ലാഗ് ചെയ്യുന്നു കൂടാതെ എന്താണ് അയയ്ക്കുക എന്ന് ഉപയോക്താവ് കാണുന്നു. അഡ്വൈസർക്ക് അംഗീകൃത സന്ദർഭം മാത്രമേ ലഭിക്കൂ കൂടാതെ ഉപകരണത്തിന്റെ ഫയലുകളിലേക്കോ ഉപകരണങ്ങളിലേക്കോ ആക്സസ് ഇല്ലാതെ ടെക്സ്റ്റ് മാർഗ്ഗനിർദ്ദേശം നൽകുകയും ചെയ്യുന്നു.

എൻഡ്പോയിന്റിൽ: Numbat

ഡെവലപ്പർ ലാപ്‌ടോപ്പുകളിലെ കോഡിംഗ് ഏജന്റുകൾ സോഴ്സ് കോഡ്, ക്രെഡൻഷ്യലുകൾ, പ്രൊഡക്ഷൻ സിസ്റ്റങ്ങൾ എന്നിവയിലേക്കുള്ള ആക്സസോടെ മണിക്കൂറുകളോളം പ്രവർത്തിക്കുന്നു. ഞങ്ങളുടെ ഓപ്പൺ സോഴ്സ് ഏജന്റ് സെക്യൂരിറ്റി സ്യൂട്ടായ Numbat, ഏതെങ്കിലും ഒരൊറ്റ ഏജന്റിന് പുറത്തായിരിക്കുന്ന ഒരു സ്വതന്ത്ര പാളി ചേർക്കുന്നു. ഇത് Claude Code, Codex, OpenCode, Pi തുടങ്ങിയ ഹാർനെസുകളുമായി പ്രവർത്തിക്കുകയും, പ്രവർത്തിക്കുന്നതിന് മുമ്പ് അപകടകരമായ പ്രവർത്തനങ്ങളെ തടയുകയും, ഒരു രഹസ്യം വായിക്കുക, തുടർന്ന് ഡാറ്റ പുറത്തേക്ക് അയക്കുക തുടങ്ങിയ സംശയാസ്പദമായ മൾട്ടി-സ്റ്റെപ്പ് ക്രമങ്ങൾ ഫ്ലാഗ് ചെയ്യുകയും, അന്വേഷണത്തിനായി സെഷൻ ടൈംലൈനുകൾ സംരക്ഷിക്കുകയും ചെയ്യുന്നു. ഞങ്ങളുടെ ഓപ്പൺ സോഴ്സ് സപ്ലൈ ചെയിൻ സ്കാനറായ Bumblebee-നൊപ്പം ആയിരക്കണക്കിന് Perplexity എൻഡ്പോയിന്റുകളിലുടനീളം നുംബാറ്റ് പ്രവർത്തിക്കുന്നു. Computer അവരുടെ കണ്ടെത്തലുകൾ নিয়মিত അവലോകനം ചെയ്യുകയും മെച്ചപ്പെട്ട കണ്ടെത്തൽ നിയമങ്ങൾ നിർദ്ദേശിക്കുകയും ചെയ്യുന്നു, കൂടാതെ ഷിപ്പ് ചെയ്യുന്നതിന് മുമ്പ് ഓരോ മാറ്റവും ഒരു മനുഷ്യൻ അംഗീകരിക്കുന്നു.

മുഴുവൻ വ്യവസായത്തിനുമുള്ള ഒരു ജോലി

AI ഏജന്റുകൾ കൂടുതൽ കഴിവുള്ളവരും വ്യാപകമായി ഉപയോഗിക്കപ്പെടുന്നവരുമായി മാറുമ്പോൾ, അവരുടെ വികസനത്തിലും വിന്യാസത്തിലും സെക്യൂരിറ്റി എഞ്ചിനീയറിംഗ് കേന്ദ്രമായി തുടരണം. ഗവേഷകർക്കും എഞ്ചിനീയർമാർക്കും സ്ഥാപിതമായ തത്വങ്ങളിൽ നിർമ്മിക്കാനും, പ്രതിരോധങ്ങൾ പരിഷ്കരിക്കാൻ യഥാർത്ഥ ലോക കണ്ടെത്തലുകൾ ഉപയോഗിക്കാനും, ഏജന്റുകൾ പ്രവർത്തിക്കുന്ന പരിതസ്ഥിതികളിലുടനീളം സുരക്ഷാ മുൻകരുതലുകൾ പരിശോധിക്കാനും കഴിയും. സാങ്കേതികവിദ്യയോടൊപ്പം വികസിക്കുന്ന ഒരു തുടർച്ചയായ എഞ്ചിനീയറിംഗ് വിഭാഗമാണ് സുരക്ഷ.

ഏജന്റുകൾക്കായുള്ള സെക്യൂരിറ്റി എഞ്ചിനീയറിംഗ് მთელი വ്യവസായത്തിനുള്ള ഒരു ജോലിയാണ്. ഒരു ഏജന്റ് പ്രവർത്തിക്കുന്ന മുഴുവൻ സ്റ്റാക്കും ഒരൊറ്റ കമ്പനിയും നിയന്ത്രിക്കുന്നില്ല. മോഡൽ ഡെവലപ്പർമാർ, ഹാർനെസ് ബിൽഡർമാർ, സാൻഡ്‌ബോക്സ്, റൺടൈം പ്രൊവൈഡർമാർ, ക്ലൗഡ്, ഹാർഡ്‌വെയർ വെണ്ടർമാർ, എന്റർപ്രൈസ് സെക്യൂരിറ്റി ടീമുകൾ എന്നിവർ ഓരോരുത്തരും ഓരോ പാളി സ്വന്തമാക്കിയിരിക്കുന്നു. മറ്റൊന്ന് തകരുമ്പോൾ എല്ലാ പാളികളും നിലനിൽക്കുന്നതിനെ ആശ്രയിച്ചാണ് മൊത്തത്തിലുള്ള സുരക്ഷ. അതുകൊണ്ടാണ് ഏജന്റ് ഹാർനെസുകളിലുടനീളം പ്രവർത്തിക്കുന്ന സുരക്ഷാ മുൻകരുതലുകൾ ഞങ്ങൾ നിർമ്മിക്കുകയും ഞങ്ങളുടെ ഉപകരണങ്ങൾ ഓപ്പൺ സോഴ്സ് ചെയ്യുകയും ചെയ്യുന്നത്. മറ്റ് പ്ലാറ്റ്‌ഫോമുകളിൽ ഞങ്ങൾ കണ്ടെത്തുന്ന ദൗർബല്യങ്ങൾ വെളിപ്പെടുത്തുന്നതും Open Secure AI Alliance പോലുള്ള ശ്രമങ്ങളിൽ പങ്കെടുക്കുന്നതും എന്തുകൊണ്ടാണെന്നതിന്റെ കാരണവും ഇതാണ്.

ഈ വെല്ലുവിളികളിൽ വിശാലമായ കമ്മ്യൂണിറ്റിയുമായി പ്രവർത്തിക്കാൻ, മുൻനിര AI സിസ്റ്റങ്ങളുടെ സുരക്ഷ, വിശ്വാസ്യത, പ്രായോഗിക പ്രതിരോധം എന്നിവ പഠിക്കുന്നതിനായി Perplexity 2026 മാർച്ചിൽ Secure Intelligence Institute ആരംഭിച്ചു (Perplexity). Perplexity നിലവിൽ സ്റ്റാൻഫോർഡ്, സിഎംയു (CMU), ഡ്യൂക്ക്, കൊളംബിയ, ഒഹായോ സ്റ്റേറ്റ്, യൂണിവേഴ്സിറ്റി ഓഫ് വെർജീനിയ എന്നിവിടങ്ങളിലെ അക്കാദമിക് ഗവേഷകരുമായി സഹകരിക്കുകയും കൂടാതെ/അല്ലെങ്കിൽ ഫണ്ട് നൽകുകയും ചെയ്യുന്നുണ്ട്. ഏജന്റ് സുരക്ഷാ ഗവേഷണത്തിന്റെ അതിർത്തികൾ മുന്നോട്ട് കൊണ്ടുപോകുന്നതിനും, ആ മുന്നേറ്റങ്ങളെ Perplexity-യുടെ സിസ്റ്റങ്ങളിലെ കോൺക്രീറ്റ് മെച്ചപ്പെടുത്തലുകളാക്കി മാറ്റുന്നതിനും, വിശാലമായ AI ആവാസവ്യവസ്ഥയെ ശക്തിപ്പെടുത്താൻ സഹായിക്കുന്ന അറിവുകളും വിഭവങ്ങളും പങ്കിടുന്നതിനും ഞങ്ങൾ ഇൻട്രാമ്യൂറൽ ഗവേഷണവും നടത്തുന്നുണ്ട്. സുരക്ഷിതമായ ഏജന്റുകൾ വ്യവസായത്തിന് എഞ്ചിനീയർ ചെയ്യാൻ കഴിയുന്ന ഒന്നാണ്. ഞങ്ങളുടെ പങ്ക് தொடர்ந்து ചെയ്യാനും ഞങ്ങളോടൊപ്പം നിർമ്മിക്കാൻ മറ്റുള്ളവരെ ക്ഷണിക്കാനും ഞങ്ങൾ ഉദ്ദേശിക്കുന്നു.