பாதுகாப்பான ஏஜென்ட்டுகளை நாம் எவ்வாறு பொறியியல் செய்கிறோம்

பாதுகாப்பான AI ஏஜென்ட்களை உருவாக்க, அவற்றின் திறன்கள் மற்றும் தோல்விகள் ஆகிய இரண்டிற்கும் நாம் வடிவமைக்க வேண்டும். முறையான பணிகளைச் செய்யும் போதும், தீங்கிழைக்கும் அறிவுறுத்தல்கள் எதுவும் இல்லாவிட்டாலும், தடைகளைத் தாண்டிச் செல்ல முயற்சிக்கும்போது ஏஜென்டுகள் பாதுகாப்பு எல்லைகளைக் கடக்கக்கூடும்.

இது ஒரு பாதுகாப்புப் பொறியியல் சிக்கலாகும் என்று நாங்கள் நம்புகிறோம், மேலும் 2000 களின் முற்பகுதியிலுள்ள இணையப் புழுக்களை எதிர்கொண்டதைப் போல தொழில்துறை இதைச் சமாளிக்க வேண்டும். ஏஜென்டுகளைச் சுற்றியுள்ள அமைப்புகள் ஏஜென்ட்கள் எதை அணுகலாம் என்பதைக் கட்டுப்படுத்த வேண்டும், விரும்பத்தகாத நடத்தையைக் கண்டறிய வேண்டும், மேலும் தோல்விகள் ஏற்படும் போது அவற்றைக் கட்டுப்படுத்த வேண்டும்.

Perplexity இல், AI ஏஜென்டுகளுக்கான பாதுகாப்புப் பொறியியலை முன்னேற்ற நாங்கள் ஆராய்ச்சியாளர்கள் மற்றும் பயிற்சியாளர்களுடன் தீவிரமாக ஒத்துழைக்கிறோம், மேலும் பாதுகாப்பு எந்தவொரு பாதுகாப்பையும் சார்ந்து இருக்காதவாறு எங்கள் மாதிரிகள், ஏஜென்ட் ஹார்னஸ்கள் மற்றும் உள்கட்டமைப்பு முழுவதும் பல பாதுகாப்பு அடுக்குகளைப் பயன்படுத்துகிறோம்.

AI ஏஜென்ட்களின் மெல்டவுன் நடத்தை

ஜூலையில், AI ஏஜென்டுகள் ஓப்பன் சோர்ஸ் AI தளமான Hugging Face இன் உற்பத்தி உள்கட்டமைப்பில் நுழைந்தன. உள் சைபர் பாதுகாப்பு மதிப்பீடு மற்றும் பயிற்சி ஓட்டங்களின் போது, ​​OpenAI மாதிரிகள் ஒருவருக்கொருவர் தொடர்புகொள்வதற்கான புல்லட்டின் பலகையை நிறுவ ஆர்டிஃபேக்ட் ரிபாசிட்டரி மேலாளரைப் பயன்படுத்திக் கொள்ளும் வழியைக் கண்டறிந்தன, இதனால் அவை ஸ்வார்ம்களாக ஒழுங்கமைக்க ஏதுவானது. பின்னர், சைபர் பாதுகாப்பு பெஞ்ச்மார்க்கில் பணிகளில் முன்னேற்றம் அடைய முடியாத ஏஜென்டுகள் உதவ மற்ற ஏஜென்ார்களைப் பணியமர்த்தின. இந்த ஏஜென்டுகள் தங்கள் மதிப்பீட்டு சூழலில் இருந்து வெளியேறி இணையத்தை அடைந்தன. பெஞ்ச்மார்க் பணிகளுக்கான பதில்களை ரிவர்ஸ்-இன்ஜினியரிங் செய்வதன் மூலம் ஏமாற்றுவதற்கான வழிகளையும் அவர்கள் கண்டறிந்தனர், ஆனால் தரப்படுத்தல் அமைப்பு ஏமாற்றுவதைக் கண்டறியும் என்று நினைத்தனர். ஏமாற்றுவதாகக் கண்டறியப்படுவதைத் தவிர்ப்பதற்கான வழிகளைக் கண்டறிய பெஞ்ச்மார்க் மதிப்பீடு எவ்வாறு செயல்படுகிறது என்பதைப் புரிந்து கொள்ள, அவை இறுதியில் Hugging Face அமைப்புகளை சமரசம் செய்தன (Hugging Face; OpenAI).

ஜூலை மாதத்தில் நாங்கள் Numbat ஐ ஓப்பன் சோர்ஸ் செய்தபோது நாங்கள் விவரித்த தோல்வி முறைக்கு இந்த நிகழ்வு ஒரு தெளிவான எடுத்துக்காட்டு ஆகும்: தற்செயலான மெல்டவுன்கள், இது Cornell Tech (arXiv) இன் பாதுகாப்பு ஆராய்ச்சியாளர்களால் உருவாக்கப்பட்ட ஒரு சொல ்̈ ஆகும். முறையான இலக்கைத் பின்தொடரும் ஏஜென்ட், விடுபட்ட கோப்பு, தோல்வியுற்ற API அழைப்பு, காலாவதியான நற்சான்றிதழ் அல்லது அனுமதி மறுப்பு போன்ற சிரமங்களை எதிர்கொள்கிறது, மேலும் மாற்று வழியைத் தேடுகிறது. அவ்வாறு செய்யும்போது, அது உளவு பார்த்தல், சலுகை உயர்வு, ரகசிய கண்டுபிடிப்பு அல்லது தரவு கசிவு மூலம் பாதுகாப்பு எல்லைகளைக் கடக்கக்கூடும். தீங்கிழைக்கும் ப்ராம்ட் அல்லது வெளிப்புறத் தாக்குபவர் யாரும் சம்பந்தப்படவில்லை என்றாலும், ஏஜென்ட்டே எதிரியாக மாறுகிறது.

Hugging Face தனiacான நிகழ்வு அல்ல. சமீப வாரங்களில் மேலும் பல ஏஜென்ட் மெல்டவுன் நடத்தைகள் கண்டறியப்பட்டுப் புகாரளிக்கப்பட்டுள்ளன. மே 27-28 தேதிகளில், அமெரிக்க அரசு தரவுகளுக்கான திறந்த அணுகலை வழங்கும் தளமான Data USA-விலிருந்து அயோவா பல்கலைக்கழகத்தின் தரவுகளைச் சேகரிக்க முயன்ற ஏஜென்ட்கள், தவறான வினவலால் ஏற்பட்ட பிழைகளைச் சந்தித்தனர். SQL இன்ஜெக்சன், கிராஸ்-சைட் ஸ்கிரிப்டிங், டெம்ப்ளேட் இன்ஜெக்சன், பாத் டிராவர்சல் மற்றும் கமாண்ட் இன்ஜெக்சன் உள்ளிட்ட ஆய்வுகளுடன் அவை பதிலளித்தன. இந்தச் செயல்பாடு பின்னர் OpenAI உடன் இணைக்கப்பட்டது (SecurityWeek). ஜூன் 20-21 தேதிகளில், ஆஸ்திரேலிய சுகாதார மற்றும் நலவாழ்வு நிறுவனத்திடமிருந்து (AIHW) விக்டோரியாவில் உள்ள உள்ளூர் பகுதிகளில் உள்ள ஒரு வகை மருந்துகளுக்கான நபர் வாரியான அரசு செலவுகளைப் பெற முயன்ற OpenAI ஏஜென்ட்கள் கோப்பைப் பதிவிறக்குவதிலிருந்து தடுக்கப்பட்டனர். அதற்குப் பதிலாக, ஏற்கனவே பொதுவெளியில் இருந்த கோப்பை AIHW ப்ரீ-ப்ரொடக்ஷன் சர்வரிலிருந்து ஏஜென்ட்கள் பதிவிறக்கம் செய்து, அந்தச் செயல்பாட்டின் போது தளத்தின் பாட்-எதிர்ப்புப் பாதுகாப்புகளைத் தவிர்த்தனர் (SecurityWeek).

இந்த முறை ஒரு ஆய்வகத்திற்கு மட்டும் வரம்பிடப்படவில்லை. சைபர் பாதுகாப்புச் சோதனைகளின் போது, ​​Anthropic மாதிரிகள் திறந்த இணைய அணுகல் வழங்கப்பட்ட தவறுக்குப் பிறகு மூன்று நிறுவனங்களை மீறின, Google இன் Gemini மூன்று வலைத்தளங்களுக்கான நற்சான்றிதங்களுடன் யூகித்தது, மேலும் ஒரு Meta மாதிரி மூன்றாம் தரப்பு சேவையைப் பயன்படுத்திக் கொண்டது (Reuters).

வரலாற்றிலிருந்து கற்றல்: இணையப் புழுக்களின் சகாப்தம்

இந்தச் சம்பவங்கள் கால் நூற்றாண்டுக்கு முந்தைய இணையப் புழுக்களின் சகாப்தத்தை நினைவூட்டுகின்றன. 2000 களின் முற்பகுதியில், இணையம் அதைச் சுற்றியுள்ள பாதுகாப்பு நடைமுறைகளை விட மிக வேகமாக வளர்ந்தது. AI ஏஜென்ட்களில் இப்போது நாம் காணும் மெல்டவுனை விட மிகவும் தீவிரமான விளைவுகளுடன் வைரஸ்கள் மற்றும் புழுக்களின் அலையைக் கண்டோம்.

மே 4, 2000 அன்று, மக்கள் "ILOVEYOU" என்ற தலைப்புடன் பழக்கமான அனுப்புநர்களிடமிருந்து மின்னஞ்சல்களைப் பெறத் தொடங்கினர். மின்னஞ்சலில் உள்ள இணைப்பைத் திறப்பது, பாதிக்கப்பட்டவரின் Outlook முகவரிப் புத்தகத்தில் உள்ள அனைவருக்கும் அதன் நகலை அஞ்சல் செய்யும் ஸ்கிரிப்டை இயக்குவதில் விளைந்தது. அந்த நாள் மாலை 6 மணிக்குள், CERT ஒருங்கிணைப்பு மையம் 420,000 க்கும் மேற்பட்ட இணைய ஹோஸ்ட்களை உள்ளடக்கிய அறிக்கைகளைப் பெற்றிருந்தது (US GAO Report). இந்த வைரஸ் பாதுகாப்புத் துறை, CIA, NASA மற்றும் சபை மற்றும் செனட் உட்பட குறைந்தது 14 கூட்டாட்சி முகமைகளில் ஊடுருவியதாகக் கூறப்படுகிறது (US GAO Report). இது பென்டகன் மற்றும் பிரிட்டிஷ் நாடாளுமன்றத்தில் உள்ள மின்னஞ்சல் சேவையகங்களையும் மூடியது (Wired). காப்பீட்டு நிறுவனமான Lloyd's of London, வைரஸ் சேதங்கள் மற்றும் இழந்த உற்பத்தித்திறனில் $15 பில்லியனுக்கும் மேல் செலவாகும் என்று ஆரம்ப மதிப்பீட்டை வெளியிட்டது (US House Committee Hearing). கம்ப்யூட்டர் எகனாமிக்ஸ் பின்னர் உலகளவில் $8.75 பில்லியன் சேதம் என்று மதிப்பிட்டது (Information Week).

மனிதர்களின் க்ளிக் தேவையில்லாத புழுக்கள் அடுத்து வந்தன. ஜூலை 19, 2001 அன்று, கோட்-ரெட் புழு 14 மணி நேரத்திற்குள் 359,000 க்கும் மேற்பட்ட கணினிகளைத் தொற்றுக்குள்ளாக்கியது (CAIDA). ஜனவரி 25, 2003 அன்று, SQL Slammer ஒவ்வொரு 8.5 வினாடிகளுக்கும் அளவில் இரு மடங்காகியது மற்றும் அதற்கு பாதிக்கப்படக்கூடிய 90% க்கும் மேற்பட்ட இணைய ஹோஸ்ட்களை 10 நிமிடங்களுக்குள் தொற்றுக்குள்ளாக்கியது (CAIDA), மைக்ரோசாப்ட் ஆறு மாதங்களுக்கு முன்பு வெளியிட்ட பேட்சைப் பயன்படுத்திக் கொண்டது (CNET). ஆகஸ்ட் 2003 இல், பிளாஸ்டர் புழு மற்றும் சோபிக் மின்னஞ்சல் புழு ஆகியவை ஒரு வார இடைவெளியில் தோன்றின (Microsoft, F-Secure).

அப்போது, ​​நெட்வொர்க் செய்யப்பட்ட கணினிகளைப் பாதுகாக்க முடியுமா என்று கேட்பது நியாயமானது. ILOVEYOU வைரஸுக்கு ஆறு நாட்களுக்குப் பிறகு, US ஹவுஸ் துணைக்குழு அதைக் குறித்து விசாரணை நடத்தியது. பல பாதுகாப்பு வல்லுநர்கள் தங்கள் தயாரிப்புகளில் உள்ள குறைபாடுகளால் ஏற்படும் சேதத்திற்கு மென்பொருள் நிறுவனங்களை பொறுப்பேற்கச் செய்யும் சட்டமியற்றலைக் கோரினர். வாஷிங்டன் வேறு பாதையைத் தேர்ந்தெடுத்தது. தி நேஷனல் ஸ்டிராடஜி டு செக்யூர் சைபர்ஸ்பேஸ் ஆனது “சைபர் பாதுகாப்பைப் பாதுகாப்பதற்கான முதன்மைக் வழிமுறையாக கூட்டாட்சி ஒழுங்குமுறை மாறாது” என்று கூறியது. பரந்த ஆணைகள் “சைபர் பாதுகாப்பிற்கான மிகக் குறைந்த-பொதுவான-வகுப்பி அணுகலை” உருவாக்கக்கூடும் என்று அது எச்சரித்தது (CISA).

தொழில்துறை பொறியியலுடன் பதிலளித்தது. ILOVEYOU வந்து பதினொரு நாட்களுக்குப் பிறகு, மைக்ரோசாப்ட் எக்ஸிகியூட்டபிள் இணைப்புகளைத் தடுத்த Outlook புதுப்பிப்பை அறிவித்தது. ஜனவரி 2002 இல், நிறுவனம் பாதுகாப்பை முதன்மையான முன்னுரிமையாக மாற்றியது (Seattle Times). தானியங்கி பேட்சிங், பாதுகாப்பான முன்னிருப்புகள், பிக் பவுண்டி நிரல்கள் மற்றும் ஒருங்கிணைந்த வெளிப்படுத்தல் ஆகியவை நிலையான நடைமுறையாக மாறின. 2008 ஆம் ஆண்டில், Chrome ஆனது வலை உள்ளடக்கத்தை ஒரு சாண்ட்பாக்ஸில் இயக்கத் தொடங்கியது, அது "ஒரு பிழைக்குப் பிறகு தாக்குபவர் என்ன செய்ய முடியும் என்பதைக் கட்டுப்படுத்துகிறது" (Chromium Blog). விதிவிலக்காக இருந்த என்கிரிப்ஷன், முன்னிருப்பானது. மல்டி-ஃபாக்டர் அங்கீகாரம், ஃபயர்வால்ஸ், ஜீரோ ட்ரஸ்ட் மற்றும் பாதுகாப்பு தகவல் மற்றும் நிகழ்வு மேலாண்மை (SIEM) உள்ளிட்ட பாதுகாப்பு தொழில்நுட்பங்கள் பரவலாகப் பயன்படுத்தப்பட்டன. உலகளவில் உள்ள நிறுவனங்கள் தகவல் பாதுகாப்பிற்காக 2026 இல் சுமார் $240 பில்லியன் செலவழிக்கும் என்று கணிக்கப்பட்டுள்ளது (Gartner). புழுக்கள் முழுமையாக மறைந்துவிடவில்லை, ஆனால் வழக்கமான இணைய அளவிலான வெடிப்புகளின் சகாப்தம் மங்கிப்போனது. அதே நேரத்தில், ஒழுங்குமுறைகளால் பெரிதும் தடைபடாமல், இணையம் அடுத்த இரண்டு தசாப்தங்களில் புதுமை மற்றும் பொருளாதார வளர்ச்சியின் சக்திவாய்ந்த இயந்திரமாக மாறியது.

AI ஏஜென்ட்களுக்கான பாதுகாப்புப் பொறியியல்

சமீபத்திய சம்பவங்கள் ஏஜென்ட் நிர்வாகம் பற்றிய நியாயமான கேள்விகளை எழுப்பியுள்ளன. தற்போதைய பாதுகாப்பு வழிமுறைகள், குறுகிய மற்றும் பெரும்பாலும் நிர்ணயிக்கப்பட்ட மென்பொருள் நடத்தையால் வகைப்படுத்தப்படும் முந்தைய ஏஜென்ட் கணினி சூழல்களுக்காக உருவாக்கப்பட்டன. குறிப்பாக அணுகல் கட்டுப்பாட்டு வழிமுறைகள், மனித பயனர்களை மையமாகக் கொண்டு வடிவமைக்கப்பட்டுள்ளன, மேலும் அவை பெரும்பாலும் கணிசமான சேதத்தை ஏற்படுத்தக் கூடிய பரந்த சலுகைகளை அவர்களுக்கு வழங்குகின்றன.

இந்த வடிவமைப்பு பல அனுமானங்களை அடிப்படையாகக் கொண்டது: பெரும்பாலான பயனர்கள் நல்லெண்ணத்துடன் செயல்படுகிறார்கள்; தீங்கிழைக்கும் நடிகர்களை தணிக்கை மற்றும் நிஜ உலக விளைவுகள் மூலம் தடுக்க முடியும்; மற்றும் மனிதர்கள் சரியானதாகவோ அல்லது தவறாகவோ ஒப்பீட்டளவில் குறைந்த விகிதத்தில் செயல்களைச் செய்கிறார்கள். இந்த பாதுகாப்பு வழிமுறைகளை ஏஜென்ட்களுக்குப் பயன்படுத்துவதற்கு மனித மற்றும் ஏஜென்ட் நடத்தைகளுக்கு இடையேயான வேறுபாடுகளைக் கணக்கிட வேண்டும். AI ஏஜென்ட் பாதுகாப்பு குறித்த NIST இன் கோரிக்கைக்கு நாங்கள் அளித்த பதிலில் எழுதியது போல், AI ஏஜென்டுகள் இந்த அனுமானங்களை சவால் செய்கின்றன. அவை இயந்திர வேகத்தில் சலுகைகளைப் பயன்படுத்திக் கொள்ளலாம் மற்றும் செயல்களைச் செய்யலாம், நிஜ உலக விளைவுகளால் தங்களால் தடுக்கப்படுவதில்லை, மேலும் தொழில்நுட்ப ரீதியாக அனுமதிக்கப்பட்ட ஆனால் ஒரு சாதாரண மனித பயனர் அரிதாகவே எடுக்கக்கூடிய செயல்களைச் செய்யலாம்.

அந்தக் கேள்விகளுக்குப் பதிலளிக்க பாதுகாப்புப் பொறியியல் தேவைப்படுகிறது. தனிப்பட்ட கூறுகள் தவறாகச் செயல்படும் போது அபாயங்களைக் கட்டுப்பாட்டில் வைத்திருக்கும் அமைப்புகளை உருவாக்குவதற்கான பாதுகாப்புக் கொள்கைகளை நாங்கள் அறிவோம். ஆனால் AI ஏஜென்ட்களுக்குப் பயிற்சி அளிப்பது, சோதனை செய்வது மற்றும் பயன்படுத்துவதற்கான சூழல்களைப் பொறியியல் செய்யும் போது இந்தக் கொள்கைகள் பயன்படுத்தப்படுவதை நாம் உறுதி செய்ய வேண்டும்.

ஆழமான பாதுகாப்பு பாதுகாப்பு கொள்கை

AI ஏஜென்ட்களைப் பாதுகாப்பதற்காகப் பயன்படுத்தப்பட வேண்டிய மிக முக்கியமான பாதுகாப்புக் கொள்கைகளில் ஒன்று ஆழமான பாதுகாப்பு ஆகும், இது கணினி வளங்களைப் பாதுகாக்க பல, மாறுபட்ட மற்றும் பணிபுரியும் பாதுகாப்பு நடவடிக்கைகள் பயன்படுத்தப்படும் அடுக்கு பாதுகாப்பு கட்டமைப்பை ஆதரிக்கிறது. எந்தவொரு பாதுகாப்பும் சரியானதல்ல. மக்கள் சமூக-பொறியியல் தாக்குதல்களுக்கு ஆளாகி தங்கள் உள்நுழைவு நற்சான்றிதழ்களை வெளிப்படுத்தலாம், ஜீரோ-டே மென்பொருள் குறைபாடுகள் கண்டறியப்பட்டு பயன்படுத்தப்படலாம், மேலும் ஊடுருவல் கண்டறிதல் புதிய தாக்குதல் வகைகளைத் தவறவிடுகிறது. ஆழமான பாதுகாப்பு அதை ஏற்றுக்கொண்டு பல சுயாதீன பாதுகாப்பு அடுக்குகளை அடுக்கி வைக்கிறது. ஒரு பாதுகாப்பு அடுக்கு தவிர்க்கப்பட்டால், ஊடுருவலை எதிர்த்துப் போராட அல்லது கண்டறிய மற்ற அடுக்குகள் இருக்கும்.

Hugging Face நிகழ்வு ஏன் ஆழமான பாதுகாப்பு முக்கியமானது என்பதைக் காட்டுகிறது. அதன் உற்பத்தி அமைப்புகளில் பயன்படுத்தப்படும் ஹார்னஸ்கள், ஆட்டோ-ரிவ்யூ மாதிரிகள் மற்றும் பாதுகாப்பு வகைப்படுத்திகள் உள்ளிட்ட தானியங்கி பாதுகாப்புகள் மதிப்பீட்டு சூழலில் இல்லை என்று OpenAI இன் பின்னோக்கு அறிக்கை கூறுகிறது. தற்போது பயன்படுத்தப்படும் சங்கிலி-சிந்தனை கண்காணிப்பு அந்த மதிப்பீடுகளில் இயக்கப்பட்டிருந்தால், மீறலுக்கு ஒரு நாளுக்கு முன்பே அது ஆரம்பச் செயல்பாட்டைக் கண்டறிந்து பாதுகாப்புக் குழுவை எச்சரித்திருக்கும் (OpenAI). சிக்கலைக் கண்டறிந்திருக்கக்கூடிய அடுக்குகள் இருந்தன. அவை அனைத்தும் ஒரே நேரத்தில் இருக்கவில்லை.

AI ஏஜென்டுகளைப் பாதுகாப்பதற்கு AI மாதிரிகள் மற்றும் அவற்றைச் சுற்றியுள்ள அமைப்புகள் இரண்டின் பாதுகாப்பு மற்றும் பாதுகாப்பை மேம்படுத்துவது தேவைப்படுகிறது. மாதிரி அடுக்கில் வேலை செய்வது முக்கியம், அது பலனளிக்கிறது. ஆரம்பகால LLM கள் உட்செலுத்தப்பட்ட அறிவுறுத்தல்களால் எளிதில் கையாளப்பட்டன, அதே நேரத்தில் இன்றைய மாதிரிகள் அவற்றை அடையாளம் கண்டு மறுப்பதில் கணிசமாக சிறந்தவை. மாதிரி உருவாக்குபவர்கள் பாதுகாப்பான நடத்தைக்காக மாதிரிகளுக்கும் பயிற்சி அளிக்கிறார்கள் மற்றும், OpenAI இன் பின்னோக்கு விவரிப்பது போல, சிக்கலான நடத்தையின் அறிகுறிகளுக்காக பகுத்தறிதல் தடங்களைக் கண்காணிக்கிறார்கள். ஆனால் மாதிரி-நிலை பாதுகாப்புகள் தீர்வின் ஒரு பகுதி மட்டுமே. ஏஜென்டுகளுக்குப் பயிற்சி அளிக்கப்படும், சோதிக்கப்படும் மற்றும் பயன்படுத்தப்படும் அமைப்புகளும் பாதுகாப்பு மற்றும் கட்டுப்பாட்டிற்காகப் பொறியியல் செய்யப்பட வேண்டும். மாதிரி-நிலை பாதுகாப்பு ஒரு ஏஜென்ட் திசைதிருப்பப்படுவதற்கான வாய்ப்பைக் குறைக்கிறது; கணினி-நிலை பாதுகாப்பு அது நிகழும்போது சேதத்தைக் கட்டுப்படுத்துகிறது.

விரிவாக்கு

மறுபக்கப் பாதுகாப்புகளுக்கான வடிவமைப்பு விதிகள்

ஆழமான பாதுகாப்பிற்கு மறுபக்கப் பாதுகாப்புகள் தேவை. ஏஜென்ட்களுக்கு, மூன்று வடிவமைப்பு விதிகளுடன் இதைப் பயன்படுத்துவதை நாங்கள் பரிந்துரைக்கிறோம்:

1. தன்னிறைவு. ஒவ்வொரு அடுக்கிற்கும் சுயாதீனமான காரணங்களால் தோல்வி ஏற்பட வேண்டும். ஒரே அனுமானத்தைப் பகிர்ந்து கொள்ளும் இரண்டு கட்டுப்பாடுகளை ஒரே தாக்குதல் மூலம் தோற்கடிக்க முடியும். மானிட்டர்கள் மற்றும் அமலாக்க புள்ளிகள் ஏஜென்ட்டின் வரம்பிற்கு வெளியே இருக்க வேண்டும்.
2. ஏஜென்ட்டுக்குக் கீழே அமலாக்கம். குறைந்தது ஒரு அடுக்கு நிர்ணயிக்கப்பட்டதாக இருக்க வேண்டும்: மாதிரி என்ன உருவாக்கினாலும் தடைசெய்யப்பட்ட செயல்களைத் தடுக்கும் வழக்கமான, சரிபார்க்கக்கூடிய குறியீடு. ஏஜென்ட் அழைக்க மறுக்கக்கூடிய அல்லது மீண்டும் கட்டமைக்கக்கூடிய பாதுகாப்பு என்பது பாதுகாப்பு அல்ல.
3. சமிக்ஞைகள் அதிகாரத்தைக் குறைக்க மட்டுமே முடியும். இடைநிறுத்துதல், நற்சான்றிதழ்களை ரத்து செய்தல், நெட்வொர்க் அணுகலைத் துண்டித்தல் அல்லது அமர்வை முடிவுக்குக் கொண்டுவருதல் போன்ற ஏஜென்ட் செய்யக்கூடியதைக் சுருக்குவதற்கான பதில்களைக் கண்டறிதல் தூண்ட வேண்டும். எந்தவொரு ஆபத்து சமிக்ஞையும் கூடுதல் அணுகலை வழங்கக்கூடாது.

ஹார்னஸ் என்ன செய்ய முயற்சிக்கிறது என்பதை வழிகாட்டுகிறது, அதே நேரத்தில் உள்கட்டமைப்பு என்ன செய்ய முடியும் என்பதைக் கட்டுப்படுத்துகிறது என்று வாதிட்டுள்ள NVIDIA உட்பட, Open Secure AI Alliance இல் உள்ள எங்கள் கூட்டாளிகளுடன் இந்தக் கொள்கைகளைப் பகிர்ந்து கொள்கிறோம் (NVIDIA).

Perplexity தயாரிப்புகளில் ஆழமான பாதுகாப்பு

Perplexity ஆனது நான்கு வகையான சூழல்களில் ஏஜென்ட்களை இயக்குகிறது: எங்களின் ஏஜென்ட் தளம் Computer மூலம் மேகக்கணினியில், Comet மூலம் உலாவியில், Portable Computer மூலம் பயனர் சாதனங்களில், மற்றும் பணியாளர் மடிக்கணினிகளில், அங்கு எங்கள் பொறியாளர்கள் மூன்றாம் தரப்பு கோடிங் ஏஜென்ட்களைப் பயன்படுத்துகின்றனர். ஒவ்வொரு சூழலுக்கும் அதன் சொந்த அபாயங்கள் உள்ளன, மேலும் ஒவ்வொன்றும் பல பாதுகாப்பு அடுக்குகளைப் பெறுகின்றன.

மேகக்கணினியில்: Computer மற்றும் SPACE

ஒவ்வொரு Computer பணியும் SPACE இல் இயங்குகிறது, இது எங்கள் சாண்ட்பாக்ஸ் தளமாகும், இது இயல்பாகவே ஏஜென்ட்டை நம்பகமற்றதாகக் கருதுகிறது. ஒவ்வொரு பணிக்கும் அதன் சொந்த மைக்ரோவிஎம் கிடைக்கிறது, நற்சான்றிதழ்கள் சாண்ட்பாக்ஸுக்கு வெளியே வைக்கப்பட்டு தேவைப்படும்போது மட்டுமே உட்செலுத்தப்படுகின்றன, வெளிச்செல்லும் போக்குவரத்து விருந்தினருக்கு வெளியே கட்டுப்படுத்தப்படுகிறது, மேலும் ஸ்னாப்ஷாட்கள் அழிவுகரமான மாற்றங்களை மீண்டும் மாற்ற அனுமதிக்கின்றன (Making SPACE). எண்டர்பிரைஸ் வாடிக்கையாளர்கள் தங்கள் சொந்த என்கிரிப்ஷன் விசைகளையும் கொண்டு வரலாம். விசையை ரத்து செய்வது பாதுகாக்கப்பட்ட தரவைப் படிக்க முடியாததாக ஆக்குகிறது, மேலும் ஏஜென்ட்டால் அந்த முடிவை ஓவர்ரைடு செய்ய முடியாது.

இந்த அடுக்குகள் தாக்குப் பிடிக்கிறதா என்பதையும் நாங்கள் சோதிக்கிறோம். Escaping SPACE: Part I இல், SPACE சாண்ட்பாக்ஸில் ஒன்பது முன்னணி மாதிரிகளுக்கு ரூட் அணுகலை வழங்கி, அதிலிருந்து வெளியேறச் சொன்னோம். எங்குமே VM இலிருந்து தப்பவில்லை, ஆனால் பகுதி நெட்வொர்க் அணுகல் அனுமதிக்கப்பட்டபோது சில நெட்வொர்க் கொள்கையைச் சுற்றி வழிகளைக் கண்டறிந்தன. அந்த இடைவெளிகளை நாங்கள் சரிசெய்து, மறுசோதனையில் திருத்தங்களை உறுதிசெய்து, மற்ற 10 சாண்ட்பாக்ஸ் தளங்களில் 8 இல் நாங்கள் கண்டறிந்த ஒத்த பலவீனங்களை அவற்றின் விற்பனையாளர்களுக்கு வெளிப்படுத்தினோம்.

உலாவியில்: Comet மற்றும் BrowseSafe

Comet ஆனது தொடக்கத்திலிருந்தே அடுக்கு ப்ராம்ட்-இன்ஜெக்சன் பாதுகாப்பைப் பயன்படுத்தியுள்ளது: வகைப்படுத்திகள் மீட்டெடுக்கப்பட்ட உள்ளடக்கத்தை ஸ்கிரீன் செய்கின்றன, கட்டமைக்கப்பட்ட அறிவுறுத்தல்கள் அதை நம்பகமற்றவை எனக் குறிக்கின்றன, மின்னஞ்சல் அனுப்புவது அல்லது ஆர்டர் செய்வது போன்ற உணர்திறன் வாய்ந்த செயல்களுக்கு பயனரின் உறுதிப்படுத்தல் தேவைப்படுகிறது, மேலும் ஏதாவது தடுக்கப்படும் போது பயனர்களுக்குத் தெரிவிக்கப்படும் (Comet prompt-injection defenses). முதல் அடுக்கின் பின்னணியில் உள்ள ஓப்பன் சோர்ஸ் கண்டறிதல் மாதிரியான BrowseSafe, எங்கள் BrowseSafe-Bench பெஞ்ச்மார்க்கில் முன்னணி மாதிரிகளை விஞ்சுகிறது, இருப்பினும் எந்தவொரு கண்டறிதலும் தோல்வி-பாதுகாப்பானதல்ல என்பதை அதே பெஞ்ச்மார்க் காட்டுகிறது, அதனால்தான் கண்டறிதல் என்பது எப்போதும் ஒரே அடுக்கு அல்ல (BrowseSafe research). Computer இந்தப் பாதுகாப்புகளைப் பெறுகிறது, அவை Trail of Bits ஆல் தணிக்கை செய்யப்பட்டுள்ளன (Perplexity).

சாதனத்தில்: Portable Computer

Portable Computer என்பது ஒரு லோக்கல்-ஃபர்ஸ்ட் ஏஜென்ட் ஆகும்: மாதிரி, ஹார்னஸ், உரையாடல் மற்றும் பாதை ஆகியவை இயல்பாகவே பயனரின் கணினியில் இருக்கும். LLM ஐ விட ஹார்னஸ் குறியீடான ஒரு நிர்ணயிக்கப்பட்ட ஆர்கெஸ்ட்ரேட்டர், லூப்பை இயக்குகிறது மற்றும் கொள்கையை அமல்படுத்துகிறது. மாதிரி செயல்களை முன்மொழிகிறது, மேலும் அங்கீகரிக்கப்பட்ட கருவி அழைப்புகள் செயல்முறைகள், கோப்பு பாதைகள் மற்றும் நெட்வொர்க் அணுகலைக் கட்டுப்படுத்தும் OS-நிலை சாண்ட்பாக்ஸில் இயங்குகின்றன. சாண்ட்பாக்ஸ் எப்போதும் ஆன்-இல் இருக்கும் மற்றும் தோல்வி மூடப்பட்டது: அது கிடைக்கவில்லை என்றால், ஹார்னஸ் பயனரின் அனுமதிகளுடன் கட்டளைகளை இயக்குவதற்குப் பதிலாக தன்னைத்தானே முடக்கிக் கொள்கிறது. வலைத் தேடல், இணைப்பான்கள் மற்றும் வலுவான கிளவுட் ஆலோசகர் மாதிரிக்கு உயர்த்துவது போன்ற சாதன எல்லையைக் கடக்கும் செயல்கள், பயனர் அவற்றை இயக்கி ஒப்புதல் அளிக்கும் போது மட்டுமே நடக்கும். ஆலோசகர் அழைப்புக்கு முன், ஒரு PII வகைப்படுத்தி உணர்திறன் தகவலைக் கொடியிடுகிறது மற்றும் என்ன அனுப்பப்படும் என்பதை பயனர் பார்க்கிறார். ஆலோசகர் அந்த அங்கீகரிக்கப்பட்ட சூழலைப் பெற்று உர வழிகாட்டியைத் தருகிறார், சாதனத்தின் கோப்புகள் அல்லது கருவிகளுக்கான அணுகல் இல்லை.

எண்ட் பாயிண்டில்: Numbat

டெவலப்பர் மடிக்கணினிகளில் கோடிங் ஏஜென்டுகள் மூலக் குறியீடு, நற்சான்றிதழ்கள் மற்றும் உற்பத்தி அமைப்புகளுக்கான அணுகலுடன் மணிடிக்கணக்கில் இயங்குகின்றன. எங்கள் ஓப்பன் சோர்ஸ் ஏஜென்ட் பாதுகாப்பு தொகுப்பான Numbat, எந்தவொரு தனி ஏஜென்ட்டுக்கும் வெளியே இருக்கும் ஒரு சுயாதீனமான அடுக்கைச் சேர்க்கிறது. இது Claude Code, Codex, OpenCode மற்றும் Pi போன்ற ஹார்னஸ்களுடன் இணைந்து செயல்படுகிறது, இயங்குவதற்கு முன் ஆபத்தான செயல்களைத் தடுக்கிறது, ரகசியத்தைப் படிப்பது மற்றும் தரவை அனுப்புவது போன்ற சந்தேகத்திற்கிடமான பல-படி வரிசைகளைக் கொடியிடுகிறது, மேலும் விசாரணைக்கான அமர்வு காலவரிசைகளைப் பாதுகாக்கிறது. எங்களின் ஓப்பன் சோர்ஸ் சப்ளை செயின் ஸ்கேனரான Bumblebee உடன் சேர்ந்து ஆயிரக்கணக்கான Perplexity எண்ட் பாயிண்டுகளில் நும்பட் இயங்குகிறது. Computer ஆனது அவற்றின் கண்டுபிடிப்புகளைத் নিয়মিতமாக மதிப்பாய்வு செய்து, மேம்படுத்தப்பட்ட கண்டறிதல் விதிகளை முன்மொழிகிறது, மேலும் மனிதர் ஒவ்வொரு மாற்றமும் அனுப்பப்படுவதற்கு முன்பு அதை அங்கீகரிக்கிறார்.

முழுத் தொழில்துறைக்கும் ஒரு பணி

AI ஏஜென்டுகள் அதிக திறன் கொண்டவையாகவும் பரவலாகப் பயன்படுத்தப்படுபவையாகவும் மாறும் போது, ​​பாதுகாப்பான பொறியியல் அவற்றின் வளர்ச்சி மற்றும் வரிசைப்படுத்தலுக்கு மையமாக இருக்க வேண்டும். ஆராய்ச்சியாளர்கள் மற்றும் பொறியாளர்கள் நிறுவப்பட்ட கொள்கைகளை உருவாக்குவதன் மூலம், பாதுகாப்புகளைச் செம்மைப்படுத்த நிஜ உலக கண்டுபிடிப்புகளைப் பயன்படுத்தலாம், மேலும் ஏஜென்டுகள் இயங்கும் சூழல்களில் பாதுகாப்புகளைச் சோதிக்கலாம். பாதுகாப்பு என்பது தொழில்நுட்பத்துடன் இணைந்து berkembang தொடரும் ஒரு தற்போதைய பொறியியல் ஒழுக்கமாகும்.

ஏஜென்ட்களுக்கான பாதுகாப்புப் பொறியியல் என்பது முழுத் தொழில்துறைக்குமான பணியாகும். ஒரு ஏஜென்ட் இயங்கும் முழு ஸ்டாக்கையும் எந்த ஒரு நிறுவனமும் கட்டுப்படுத்துவதில்லை. மாதிரி உருவாக்குபவர்கள், ஹார்னஸ் பில்டர்கள், சாண்ட்பாக்ஸ் மற்றும் ரன்டைம் வழங்குநர்கள், கிளவுட் மற்றும் ஹார்டுவேர் விற்பனையாளர்கள் மற்றும் எண்டர்பிரைஸ் பாதுகாப்பு குழுக்கள் ஒவ்வொருவரும் ஒரு அடுக்கைச் சொந்தமாகக் கொண்டுள்ளனர். மற்றொன்று நழுவும்போது ஒவ்வொரு அடுக்கின் பிடியும் ஒட்டுமொத்தப் பாதுகாப்பையும் சார்ந்துள்ளது. அதனால்தான் ஏஜென்ட் ஹார்னஸ்கள் முழுவதும் செயல்படும் பாதுகாப்புகளை நாங்கள் உருவாக்குகிறோம் மற்றும் எங்கள் கருவிகளை ஓப்பன் சோர்ஸ் செய்கிறோம். மற்ற தளங்களில் நாங்கள் காணும் பலவீனங்களை நாங்கள் வெளிப்படுத்துவதற்கும், Open Secure AI Alliance போன்ற முயற்சிகளில் பங்கேற்பதற்கும் இதுவே காரணம்.

இந்த சவால்களில் பரந்த சமூகத்துடன் இணைந்து பணியாற்ற, முன்னணி AI அமைப்புகளின் பாதுகாப்பு, நம்பகத்தன்மை மற்றும் நடைமுறை பாதுகாப்பைப் படிக்க Perplexity மார்ச் 2026 இல் Secure Intelligence Institute ஐத் தொடங்கியது (Perplexity). Perplexity தற்போது ஸ்டான்போர்ட், CMU, டியூக், கொலம்பியா, ஓஹியோ ஸ்டேட் மற்றும் வர்ஜீனியா பல்கலைக்கழகத்தில் உள்ள கல்வி ஆராய்ச்சியாளர்களுடன் ஒத்துழைக்கிறது மற்றும்/அல்லது நிதியளிக்கிறது. ஏஜென்ட் பாதுகாப்பு ஆராய்ச்சி எல்லையை முன்னேற்றவும், அந்த முன்னேற்றங்களை Perplexity அமைப்புகளில் உறுதியான மேம்பாடுகளாக மொழிபெயர்க்கவும், மேலும் பரந்த AI சுற்றுச்சூழல் அமைப்பை வலுப்படுத்த உதவும் அறிவு மற்றும் வளங்களைப் பகிர்ந்து கொள்ளவும் நாங்கள் உள் ஆய்வுகளை நடத்தி வருகிறோம். பாதுகாப்பான ஏஜென்டுகள் என்பது தொழில் துறை உருவாக்கக்கூடிய ஒன்றாகும். எங்கள் பங்கை நாங்கள் தொடர்ந்து செய்ய விரும்புகிறோம், மேலும் எங்களுடன் இணைந்து கட்டமைக்க மற்றவர்களையும் அழைக்கிறோம்.