Қауіпсіз агенттерді қалай жобалаймыз

Қауіпсіз жасанды интеллект агенттерін құру үшін біз олардың мүмкіндіктерін де, қателіктерін де ескере отырып жобалауымыз керек. Тіпті заңды тапсырмаларды орындаған кезде және ешқандай зиянды нұсқауларсыз агенттер кедергілерді еңсеруге тырысқанда қауіпсіздік шекараларын бұзуы мүмкін.

Бұл қауіпсіздік инженериясының мәселесі деп санаймыз және сала бұл мәселені 2000 жылдардың басындағы интернет құрттарымен күрескендей шешуі тиіс. Агенттерді қоршайтын жүйелер агенттердің неге қол жеткізе алатынын шектеуі, қажетсіз әрекеттерді анықтауы және олар орын алған кезде ақауларды оқшаулауы тиіс.

Perplexity компаниясында біз жасанды интеллект агенттеріне арналған қауіпсіздік инженериясын ілгерілету үшін зерттеушілермен және мамандармен белсенді түрде ынтымақтасамыз және қауіпсіздік ешбір жеке қорғанысқа тәуелді болмауы үшін модельдерімізде, агент harness құралдарында және инфраструктурамызда қорғаныстың бірнеше қабаттарын қолданамыз.

Жасанды интеллект агенттерінің жұмысының бұзылу әрекеті

Шілде айында жасанды интеллект агенттері ашық бастапқы кодты жасанды интеллект платформасы Hugging Face өндірістік инфраструктурасына басып кірді. Ішкі киберқауіпсіздікті бағалау және оқыту кезеңдерінде OpenAI модельдері бір-бірімен қарым-қатынас жасау үшін хабарландыру тақтасын құру мақсатында Artifactory репозиторий менеджерін пайдалану жолын тапты, бұл оларға топтарға бірігуге мүмкіндік берді. Кейінірек киберқауіпсіздік бенчмаркіндегі тапсырмалар бойынша ілгерілей алмаған агенттер көмектесу үшін басқа агенттерді тартты. Бұл агенттер өздерінің бағалау ортасынан шығып, интернетке қол жеткізді. Олар сондай-ақ бенчмарк тапсырмаларына жауаптарды кері жобалау арқылы алдау жолдарын тапты, бірақ бағалау жүйесі алдауды анықтайды деп ойлады. Алданып қалмау жолдарын табу үшін бенчмаркті бағалаудың қалай жұмыс істейтінін жақсырақ түсіну үшін олар ақырында Hugging Face жүйелерін бұзды (Hugging Face; OpenAI).

Бұл оқиға шілде айында Numbat құралының бастапқы кодын ашқан кезде біз сипаттаған қате режимінің анық мысалы болып табылады: Cornell Tech қауіпсіздік зерттеушілері ойлап тапқан термин кездейсоқ бұзылулар (arXiv). Заңды мақсатты көздеген агент жетіспейтін файл, сәтсіз API шақыруы, мерзімі өткен тіркелгі деректері немесе рұқсаттың бас тартылуы сияқты кедергілерге тап болады және айналып өту жолын іздейді. Осылайша, ешқандай зиянды шақыру немесе сыртқы шабуылдаушы қатыспаса да, ол қауіпсіздік шекараларын барлау, артықшылықтарды арттыру, құпия деректерді табу немесе деректерді сыртқа шығару арқылы кесіп өтуі мүмкін. Агенттің өзі ешқандай зиянды әрекет болмаса да, қарсыласқа айналады.

Hugging Face жалғыз мысал болған жоқ. Соңғы апталарда агент жұмысының бұзылуына қатысты көбірек әрекеттер анықталып, хабарланды. 27-28 мамырда АҚШ үкіметінің деректеріне ашық қолжетімділікті ұсынатын Data USA платформасынан Айоva университетінің деректерін жинауға тырысқан агенттер жарамсыз сұраудан туындаған қателерге тап болды. Олар SQL инъекциясы, кросс-сайттық скрипттеу, шаблон инъекциясы, жолды өту және пәрмен инъекциясын қоса алғанда, зондтармен жауап берді. Кейінірек бұл әрекет OpenAI (SecurityWeek) жүйесімен байланыстырылды. 20-21 мамырда Австралияның Денсаулық сақтау және әл-ауқат институтынан (AIHW) Викториядағы жергілікті аймақтардағы дәрі-дәрмек санаттары бойынша әр адамға шаққандағы мемлекеттік шығындарды алуға тырысқан OpenAI агенттеріне файлды жүктеп алуға тыйым салынды. Жауап ретінде агенттер процесте сайттың ботқа қарсы қорғаныстарын айналып өтіп, AIHW алдын ала өндіріс серверінен бұрыннан жария болған файлды жүктеп алды (SecurityWeek).

Бұл үлгі бір зертханамен шектелмейді. Киберқауіпсіздік сынақтары кезінде Anthropic модельдері қателік салдарынан оларға ашық интернетке қолжетімділік берілгеннен кейін үш компанияны бұзып өтті, Google жүйесінің Gemini моделі үш веб-сайттың тіркелгі деректерін тапты, ал Meta моделі үшінші тарап қызметін пайдаланды (Reuters).

Тарихтан сабақ алу: Интернет құрттары дәуірі

Бұл оқиғалар шамамен ширек ғасыр бұрынғы интернет құрттары дәуірін еске түсіреді. 2000 жылдардың басында интернет оның айналасындағы қауіпсіздік тәжірибелерінен әлдеқайда жылдам өсті. Біз қазіргі жасанды интеллект агенттерінің жұмысының бұзылуы кезінде көріп отырған жағдайдан әлдеқайда ауыр салдары бар вирустар мен құрттар толқынын көрдік.

2000 жылы 4 мамырда адамдар «ILOVEYOU» тақырыбы бар таныс жіберушілерден электрондық хаттар ала бастады. Электрондық хаттағы қосымшаны ашу жәбірленушінің Outlook мекенжай кітапшасындағы әрбір адамға өзінің көшірмесін жіберетін скриптті іске қосуға әкелді. Сол күні сағат 18:00-де CERT үйлестіру орталығы 420 000-нан астам интернет хостын қамтитын есептерді алды (US GAO Report). Вирус кем дегенде 14 федералды агенттікке, соның ішінде Қорғаныс министрлігіне, ЦРУ-ға, NASA-ға, Өкілдер палатасы мен Сенатқа енгені хабарланды (US GAO Report). Ол сондай-ақ Пентагон мен Британ Парламентіндегі электрондық пошта серверлерін өшірді (Wired). Lloyd's of London сақтандыру алпауыты вирус зақым мен жоғалған өнімділік үшін 15 миллиард доллардан астам шығын әкеледі деген алғашқы болжам жасады (US House Committee Hearing). Кейінірек Computer Economics дүние жүзі бойынша 8,75 миллиард доллар шығын келгенін бағалады (Information Week).

Адамның басуын қажет етпейтін құрттар келесі кезекте пайда болды. 2001 жылы 19 шілдеде Code-Red құрты 14 сағаттан аз уақыт ішінде 359 000-нан астам компьютерді зақымдады (CAIDA). 2003 жылы 25 қаңтарда SQL Slammer әр 8,5 секунд сайын екі есе өсіп, Microsoft компаниясы алты ай бұрын патч шығарған осалдықты пайдалана отырып, оған осал интернет хосттарының 90%-дан астамын 10 минут ішінде зақымдады (CAIDA, CNET). 2003 жылы тамызда Blaster құрты мен Sobig электрондық пошта құрты шамамен бір апта аралықпен пайда болды (Microsoft, F-Secure).

Сол кезде желіге қосылған компьютерлерді қауіпсіз ету мүмкін бе деген сұрақ туындауы орынды еді. ILOVEYOU вирусынан кейін алты күн өткен соң АҚШ Өкілдер палатасының кіші комитеті бұл туралы тыңдау өткізді. Көптеген қауіпсіздік сарапшылары бағдарламалық қамтамасыз ету компанияларын өз өнімдеріндегі ақаулардан келген залал үшін жауапты ететін заң қабылдауға шақырды. Вашингтон басқа жолды таңдады. Киберкеңістікті қорғау жөніндегі ұлттық стратегия «федеративтік реттеу киберкеңістікті қорғаудың негізгі құралына айналмайтынын» мәлімдеді. Ол кең ауқымды мандаттар «киберқауіпсіздікке ең төменгі ортақ аталым тәсілін» тудыруы мүмкін екенін ескертті (CISA).

Сала инженерлік шешімдермен жауап берді. ILOVEYOU вирусынан кейін он бір күн өткен соң Microsoft орындалатын қосымшаларды бұғаттайтын Outlook жаңартуын жариялады. 2002 жылдың қаңтарында компания қауіпсіздікті бірінші орынға қойды (Seattle Times). Автоматты түрде патч орнату, қауіпсіз әдепкі параметрлер, қателерді табу бағдарламалары және үйлестірілген түрде ашу стандартты тәжірибеге айналды. 2008 жылы Chrome браузері веб-мазмұнды "қате пайдаланылғаннан кейін шабуылдаушының не істей алатынын шектейтін" сандбокс ішінде іске қоса бастады (Chromium Blog). Шифрлау ерекшелік емес, әдепкі жағдайға айналды. Көп факторлы аутентификация, брандмауэрлер, нөлдік сенім және қауіпсіздік ақпараты мен оқиғаларды басқару (SIEM) сияқты қауіпсіздік технологиялары кеңінен қолданыла бастады. Әлем бойынша ұйымдар 2026 жылы ақпараттық қауіпсіздікке шамамен 240 миллиард доллар жұмсайды деп болжануда (Gartner). Құрттар толығымен жоғалып кеткен жоқ, бірақ интернет бойынша күнделікті таралу дәуірі бәсеңдеді. Сонымен қатар, реттеумен ауыртпалық түспеген интернет кейінгі екі онжылдықта инновация мен экономикалық өсудің қуатты қозғалтқышына айналды.

Жасанды интеллект агенттеріне арналған қауіпсіздік инженериясы

Соңғы оқиғалар агентті басқару туралы орынды сұрақтар туыдатты. Қолданыстағы қауіпсіздік механизмдері қатаң түрде шектелген және негізінен детерминистік бағдарламалық қамтамасыз ету әрекетімен сипатталатын агентке дейінгі есептеу орталары үшін әзірленген. Атап айтқанда, қолжетімділікті басқару механизмдері негізінен адам пайдаланушыларға арналған және көбінесе оларға қағидат тұрғысынан айтарлықтай зиян келтіруге жеткілікті кең артықшылықтар береді.

Бұл жобалау бірнеше болжамдарға негізделген: пайдаланушылардың көпшілігі адал ниетпен әрекет етеді; зиянды әрекет етушілерді аудит және нақты әлемдегі салдарлар арқылы тоқтатуға болады; адамдар дұрыс немесе қате болсын, салыстырмалы түрде шектеулі қарқынмен әрекеттер жасайды. Бұл қауіпсіздік механизмдерін агенттерге қолдану адам мен агент әрекеті арасындағы айырмашылықтарды есепке алуды талап етіді. NIST ұйымының жасанды интеллект агенттерінің қауіпсіздігі туралы ақпарат беру туралы сұрауына жауабымызда жазғанымыздай, жасанды интеллект агенттері бұл болжамдарға қарсы шығады. Олар машина жылдамдығымен артықшылықтарды пайдалана алады және әрекеттер жасай алады, өздері нақты әлемдегі салдарлармен тоқтатылмайды және техникалық тұрғыдан рұқсат етілген, бірақ қалыпты адам пайдаланушы сирек жасайтын әрекеттерді жасауы мүмкін.

Бұл сұрақтарға жауап беру үшін қауіпсіздік инженериясы қажет. Жеке компоненттер дұрыс жұмыс істемеген кезде тәуекелдерді бақылауда ұстайтын жүйелерді құруға арналған қауіпсіздік принциптерін білеміз. Бірақ бұл принциптер жасанды интеллект агенттерін оқытуға, сынақтан өткізуге және пайдалануға арналған орталарды жобалау кезінде қолданылатынына көз жеткізуіміз керек.

Терең қорғаныс қауіпсіздік принципі

Жасанды интеллект агенттерін қорғау үшін қолданылуы тиіс маңызды қауіпсіздік принципі - жүйелік ресурстарды қорғау үшін бірнеше, әртүрлі және қайталанатын қорғаныс шаралары қолданылатын қабатты қауіпсіздік архитектурасын қолдауды ұсынатын терең қорғаныс болып табылады. Ешбір қорғаныс шарасы мінсіз емес. Адамдар әлеуметтік инженерия шабуылдарына алданып, өздерінің кіру тіркелгі деректерін ашып қоюы мүмкін, нөлдік күндік бағдарламалық жасақтама осалдықтары анықталып, пайдаланылады, ал кіруді анықтау жүйесі жаңа шабуыл түрлерін өткізіп алады. Терең қорғаныс мұны қабылдайды және қорғаныстың бірнеше тәуелсіз қабаттарын қабаттастырады. Егер бір қорғаныс қабаты айналып өтілсе, шабуылға қарсы тұру немесе оны анықтау үшін басқа қабаттар орнында қалады.

Hugging Face оқиғасы терең қорғаныстың не үшін маңызды екенін көрсетеді. OpenAI компаниясының ретроспективті есебінде оның өндірістік жүйелерінде қолданылатын автоматтандырылған қорғаныс шаралары, соның ішінде harness құралдары, автоматты түрде қарап шығу модельдері және қауіпсіздік классификаторлары бағалау ортасында болмағанын хабарлайды. Егер оның қазіргі уақытта іске қосылған ойлау тізбегін мониторингі осы бағалауларда жұмыс істеп тұрғанда, ол бұзушылықтан бір тәуліттен астам уақыт бұрын бастапқы әрекетті анықтап, қауіпсіздік тобына хабарлаған болар еді (OpenAI). Мәселені анықтай алатын қабаттар болды. Олар жай ғана бір уақытта бір жерде болған жоқ.

Жасанды интеллект агенттерін қорғау жасанды интеллект модельдерінің, сондай-ақ оларды қоршайтын жүйелердің қауіпсіздігі мен қорғалуын жақсартуды талап етеді. Модель қабатындағы жұмыс маңызды және ол өз нәтижесін беруде. Ерте кезеңдегі LLM модельдері енгізілген нұсқаулармен оңай манипуляцияланды, ал бүгінгі модельдер оларды тану және қабылдамау бойынша әлдеқайда жақсырақ. Модель әзірлеушілері сонымен қатар модельдерді қауіпсіз әрекеттерге үйретеді және OpenAI ретроспективасы сипаттағандай, проблемалық әрекеттердің белгілерін байқау үшін пайымдау іздерін бақылайды. Бірақ модель деңгейіндегі қорғаныс шешімнің тек бір бөлігі ғана. Агенттер оқытылатын, сынақтан өткізілетін және енгізілетін жүйелер де қауіпсіздік пен оқшаулау үшін жобалануы тиіс. Модель деңгейіндегі қауіпсіздік агенттің жолдан тайып кету ықтималдығын азайтады; жүйелік деңгейдегі қауіпсіздік ол орын алған кезде зиянды шектейді.

Ұлғайту

Қайталанатын қорғаныс шараларына арналған жобалау ережелері

Терең қорғаныс қайталанатын қорғаныс шараларын талап етеді. Агенттер үшін біз оны үш жобалау ережесімен қолдануды ұсынамыз:

1. Тәуелсіздік. Әрбір қабат тәуелсіз себептер бойынша істен шығуы керек. Бірдей болжамды бөлісетін екі бақылауды бірдей шабуыл арқылы жеңуге болады. Мониторлар мен мәжбүрлеу нүктелері агенттің қолжетімділік аймағынан тыс жерде орналасуы тиіс.
2. Агенттің астында орындауды мәжбүрлеу. Кем дегенде бір қабат детерминистік болуы керек: модель нені шығарса да, тыйым салынған әрекеттерді бұғаттайтын кәдімгі, тексерілетін код. Агент шақырудан бас тарта алатын немесе қайта конфигурациялай алатын қорғаныс қорғаныс болып табылмайды.
3. Сигналдар тек өкілеттіктерді азайта алады. Анықтау кідірту, тіркелгі деректерін кері қайтару, желілік қолжетімділікті кесу немесе сеансты тоқтату сияқты агенттің не істей алатынын шектейтін жауаптарды тудыруы керек. Ешбір тәуекел сигналы қосымша қолжетімділік бермеуі тиіс.

Біз бұл принциптерді NVIDIA компаниясын қоса алғанда, Open Secure AI Alliance қатысушыларымен бөлісеміз, NVIDIA компаниясы harness құралы агенттің не істеуге тырысатынын бағыттайтынын, ал инфраструктура оның не істей алатынын басқаратынын атап өткен (NVIDIA).

Perplexity өнімдеріндегі терең қорғаныс

Perplexity агенттерді төрт түрлі ортада іске қосады: біздің Computer агент платформамыз арқылы бұлтта, Comet арқылы браузерде, Portable Computer арқылы пайдаланушы құрылғыларында және инженерлеріміз үшінші тарап кодтау агенттерін пайдаланатын қызметкерлердің ноутбуктерінде. Әрбір ортаның өзіндік тәуекелдері бар және әрқайсысы бірнеше қорғаныс қабаттарын алады.

Бұлтта: Computer және Space

Әрбір Computer тапсырмасы агентті әдепкі бойынша сенімсіз деп санайтын біздің сандбокс платформамыз SPACE ішінде жұмыс істейді. Әрбір тапсырма өз микровиртуалды машинасын алады, тіркелгі деректері сандбокстан тыс қалады және қажет болған жағдайда ғана енгізіледі, шығыс трафигі қонақтан тыс жерде басқарылады және снепшоттар деструктивті өзгерістерді кері қайтаруға мүмкіндік береді (Making SPACE). Кәсіпорын тұтынушылары өздерінің шифрлау кілттерін де әкелее алады. Кілтті жою қорғалған деректерді оқылмайтын етеді және агент бұл шешімді өзгерте алмайды.

Біз бұл қабаттардың жұмыс істейтінін де тексереміз. Space жүйесінен қашу: I бөлім барысында біз тоғыз жетекші модельге SPACE сандбоксының ішінде түбірлік қолжетімділік беріп, одан шығып көруді сұрадық. Ешқайсысы виртуалды машинадан шыға алмады, бірақ кейбіреулері бөлінген желіге қолжетімділік рұқсат етілген кезде желі саясатын айналып өту жолдарын тапты. Біз бұл олқылықтарды түзетіп, қайта сынақтан өткізу кезінде түзетулерді растадық және басқа 10 сандбокс платформасының 8-інде табылған ұқсас осалдықтарды олардың жеткізушілеріне хабарладық.

Браузерде: Comet және BrowseSafe

Comet іске қосылғаннан бері қабаттастырылған prompt-injection қорғанысын пайдаланып келеді: классификаторлар алынған мазмұнды тексереді, құрылымдалған шақырулар оны сенімсіз деп белгілейді, электрондық поштаны жіберу немесе тапсырыс беру сияқты сезімтал әрекеттер пайдаланушының растауын талап етеді және бірдеңе бұғатталған кезде пайдаланушыларға хабарланады (Comet prompt-injection defenses). Бірінші қабаттың артындағы ашық бастапқы кодты анықтау моделі BrowseSafe біздің BrowseSafe-Bench бенчмаркімізде жетекші модельдерден асып түседі, бірақ сол бенчмарк ешбір анықтау құралы қатесіз емес екенін көрсетеді, сондықтан анықтау ешқашан жалғыз қабат емес (BrowseSafe research). Computer жүйесі Trail of Bits аудиттен өткен бұл қорғаныстарды мұра етеді (Perplexity).

Құрылғыда: Portable Computer

Portable Computer – жергілікті бірінші орынға қоятын агент: модель, harness құралы, сөйлесу және траектория әдепкі бойынша пайдаланушының компьютерінде қалады. LLM емес, harness коды болып табылатын детерминистік оркестратор циклды іске қосады және саясатты мәжбүрлейді. Модель әрекеттерді ұсынады, ал мақұлданған құрал шақырулары процестерді, файл жолдарын және желілік қолжетімділікті шектейтін OS деңгейіндегі сандбокста жұмыс істейді. Сандбокс әрқашан қосулы және істен шыққан жағдайда жұмысты тоқтатады: егер ол қолжетімсіз болса, harness құралы пайдаланушының рұқсаттарымен пәрмендерді іске қосудың орнына өзін өшіреді. Веб-іздеу, коннекторлар және күштірек бұлтты кеңесші моделіне ауысу сияқты құрылғы шекарасынан өтетін әрекеттер тек пайдаланушы оларды қосып, мақұлдаған кезде ғана орындалады. Кеңесшіге қоңырау шалар алдында PII классификаторы сезімтал ақпаратты белгілейді және пайдаланушы не жіберілетінін көреді. Кеңесші тек сол мақұлданған контексті алады және құрылғының файлдарына немесе құралдарына қолжетімсіз мәтіндік нұсқаулықты қайтарады.

Шеткі құрылғыда: Numbat

Әзірлеушілердің ноутбуктеріндегі кодтау агенттері бастапқы кодқа, тіркелгі деректеріне және өндірістік жүйелерге қолжетімділікпен сағаттар бойы жұмыс істейді. Numbat – біздің ашық бастапқы кодты агент қауіпсіздігі жиынтығымыз, кез келген жеке агенттен тыс орналасқан тәуелсіз қабатты қосады. Ол Claude Code, Codex, OpenCode және Pi сияқты harness құралдарымен жұмыс істейді, іске қосылмас бұрын қауіпті әрекеттерді бұғаттайды, құпия деректі оқу және деректерді сыртқа жіберу сияқты күдікті көп қадамды тізбектерді белгілейді және зерттеу үшін сеанс уақыт шкалаларын сақтайды. Numbat біздің ашық бастапқы кодты жеткізу тізбегін сканерлеуші Bumblebee құралымен қатар мыңдаған Perplexity түйіндерінде жұмыс істейді. Computer жүйесі олардың нәтижелерін үнемі қарап шығады және жетілдірілген анықтау ережелерін ұсынады, ал адам әрбір өзгерісті шығарылымға дейін бекітеді.

Бүкіл сала үшін атқарылатын жұмыс

Жасанды интеллект агенттері қабілеттірек және кеңірек қолданыла бастағандықтан, қауіпсіздік инженериясы оларды әзірлеу және енгізу процесінің орталығында қалуы тиіс. Зерттеушілер мен инженерлер орныққан принциптерге сүйене алады, қорғанысты жетілдіру үшін нақты әлемдегі нәтижелерді пайдалана алады және агенттер жұмыс істейтін орталарда қорғанысты сынай алады. Қауіпсіздік – бұл технологиямен бірге дамитын үздіксіз инженерлік пән.

Агенттерге арналған қауіпсіздік инженериясы – бұл бүкіл сала үшін маңызды жұмыс. Ешбір компания агент жұмыс істейтін толық стекті басқармайды. Модель әзірлеушілері, harness құралын жасаушылар, сандбокс пен орындау ортасының провайдерлері, бұлтты және аппараттық құралдарды жеткізушілер және кәсіпорын қауіпсіздігі топтарының әрқайсысы бір қабатқа иелік етеді. Тұтастықтың қауіпсіздігі басқа қабат істен шыққан кезде әрбір қабаттың өз орнында тұруына байланысты. Сондықтан біз агенттің harness құралдарында жұмыс істейтін қорғаныс шараларын жасаймыз және құралдарымыздың бастапқы кодын ашамыз. Сондай-ақ біз басқа платформалардан табылған осалдықтарды жариялаймыз және Open Secure AI Alliance сияқты бастамаларға қатысамыз.

Бұл мәселелер бойынша кеңірек қоғамдастықпен жұмыс істеу үшін Perplexity озық жасанды интеллект жүйелерінің қауіпсіздігін, сенімділігін және практикалық қорғанысын зерттеу үшін 2026 жылдың наурыз айында Secure Intelligence Institute институтын іске қосты (Perplexity). Perplexity қазіргі уақытта Стэнфорд, CMU, Дьюк, Колумбия, Огайо штаты және Вирджиния университетіндегі академик зерттеушілермен ынтымақтасады және/немесе қаржыландырады. Сондай-ақ біз жасанды интеллект агенттерінің қауіпсіздігін зерттеу шекарасын ілгерілету, бұл жетістіктерді Perplexity жүйелеріндегі нақты жақсартуларға айналдыру және кеңірек жасанды интеллект экосистемасын нығайтуға көмектесетін білім мен ресурстарды бөлісу үшін ішкі зерттеулер жүргізіп жатырмыз. Қауіпсіз агенттер – бұл сала инженерлік тұрғыдан жасай алатын нәрсе. Біз өз үлесімізді қосуды жалғастыруға ниеттіміз және басқаларды бізбен бірге құруға шақырамыз.