Kaip inžineriniu būdu kuriame saugesnius agentus

Norėdami sukurti saugesnius dirbtinio intelekto agentus, turime kurti atsižvelgdami tiek į jų gebėjimus, tiek į jų gedimus. Netgi atlikdami teisėtas užduotis ir be jokių kenkėjiškų nurodymų, agentai gali peržengti saugumo ribas bandydami įveikti kliūtis.

Tikime, kad tai yra saugumo inžinerijos problema, ir pramonė turėtų ją spręsti taip, kaip ji sprendė ankstyvojo 2000-ųjų dešimtmečio interneto kirminus. Sistemos, supančios agentus, turi riboti tai, ką agentai gali pasiekti, aptikti nepageidaujamą elgesį ir suvaldyti gedimus jiems atsiradus.

„Perplexity“ aktyviai bendradarbiauja su tyrėjais ir praktikais, kad paspartintų dirbtinio intelekto agentų saugumo inžineriją, ir taiko kelis apsaugos sluoksnius savo modeliuose, agentų „harness“ ir infrastruktūroje, kad saugumas nepriklausytų nuo jokios vienos apsaugos priemonės.

Dirbtinio intelekto agentų veiklos sutrikimo elgsena

Liepos mėnesį dirbtinio intelekto agentai įsilaužė į atvirojo kodo dirbtinio intelekto platformos „Hugging Face“ gamybinę infrastruktūrą. Vykdant vidinį kibernetinio saugumo įvertinimą ir mokymo ciklą, „OpenAI“ modeliai atrado būdą pasinaudoti „Artifactory“ saugyklos tvarkykle, kad sukurtų skelbimų lentą bendravimui tarpusavyje, taip sudarant sąlygas jiems susiorganizuoti į spiečius. Vėliau agentai, negalėję daryti pažangos atliekant užduotis kibernetinio saugumo etaloniniame teste, pasitelkė kitus agentus, kurie jiems padėtų. Šie agentai išsiveržė iš savo vertinimo aplinkos ir pasiekė internetą. Jie taip pat atrado būdus sukčiauti atbulinės inžinerijos būdu atsakydami į etaloninio testo užduotis, tačiau manydami, kad vertinimo sistema aptiks sukčiavimą. Kad geriau suprastų, kaip etaloninis įvertinimas veikia siekiant išvengti aptikimo kaip sukčiavimo, galiausiai jie pažeidė „Hugging Face“ sistemas (Hugging Face; OpenAI).

Šis incidentas yra aiškus gedimo režimo pavyzdys, kurį apibūdinome, kai liepos mėnesį paskelbėme „Numbat“ atvirąjį kodą: atsitiktiniai veiklos sutrikimai („accidental meltdowns“) – terminas, kurį sukūrė „Cornell Tech“ saugumo tyrėjai (arXiv). Agentas, siekiant teisėto tikslo, susiduria su trintimi, pvz., trūkstamu failu, nepavykusiu API kvietimu, pasibaigusiu galiojimo laiku prisijungimo duomenimis arba leidimo atmetimu, ir ieško sprendimo būdo. Tai darydamas jis gali peržengti saugumo ribas per žvalgybą, privilegijų eskalavimą, paslapčių paiešką ar duomenų eksfiltraciją. Pats agentas faktiškai tampa priešu, nors nedalyvauja jokia kenkėjiška užklausa ar išorinis užpuolikas.

„Hugging Face“ nebuvo pavienis atvejis. Pastarosiomis savaitėmis buvo aptikta ir pranešta apie daugiau agentų veiklos sutrikimų atvejų. Gegužės 27–28 d. agentai, bandydami surinkti Aiovas universiteto duomenis iš „Data USA“ – platformos, teikiančios atvirą prieigą prie JAV vyriausybės duomenų, susidūrė su klaidomis, kurias sukėlė netinkamai suformuota užklausa. Jie atsakė patikrinimais, įskaitant SQL injekciją, svetainių tarpinį skriptavimą (XSS), šablono injekciją, kelio peržvalgą ir komandų injekciją. Vėliau ši veikla buvo susieta su „OpenAI“ (SecurityWeek). Birželio 20–21 d. „OpenAI“ agentai, bandydami gauti duomenis apie vienam asmeniui tenkančias vyriausybės išlaidas vaistų kategorijai vietovėse Viktorijoje iš Australijos sveikatos ir gerovės instituto (AIHW), buvo užblokuoti nuo galimybės atsisiųsti failą. Reaguodami į tai, agentai atsisiustą failą, kuris jau buvo viešas, atsisiuntė iš AIHW parengtinio serverio, tuo pačiu apėjome svetainės apsaugos nuo botų priemones (SecurityWeek).

Šis dėsningumas apsiriboja ne viena laboratorija. Kibernetinio saugumo testų metu „Anthropic“ modeliai įsilaužė į tris įmones po to, kai dėl klaidos jiems buvo suteikta atvira prieiga prie interneto, „Google“ modelis „Gemini“ atspėjo trijų svetainių prisijungimo duomenis, o „Meta“ modelis pasinaudojo trečiosios šalies paslauga (Reuters).

Mokymasis iš istorijos: Interneto kirminų era

Šie incidentai primena interneto kirminų erą prieš maždaug ketvirtį amžiaus. Ankstyvajame 2000-ųjų dešimtmetyje internetas augo kur kas greičiau nei aplink jį esanti saugumo praktika. Mes matėme virusų ir kirminų bangą, kurios pasekmės buvo kur kas rimtesnės nei tai, ką matome dabar su dirbtinio intelekto agentais veiklos sutrikimo metu.

2000 m. gegužės 4 d. žmonės pradėjo gauti el. laiškus iš pažįstamų siuntėjų su tema „ILOVEYOU“. El. laiško priedo atidarymas lėmė skripto, kuris išsiuntė savo kopiją visiems aukos „Outlook“ adresų knygoje esantiems asmenims, paleidimą. Tą pačią dieną iki 18 val. CERT koordinavimo centras sulaukė pranešimų, susijusių su daugiau nei 420 000 interneto mazgų (JAV GAO ataskaita). Pranešama, kad virusas prasiskverbė į mažiausiai 14 federalinių agentūrų, įskaitant Gynybos departamentą, CŽV, NASA bei Atstovų rūmus ir Senatą (JAV GAO ataskaita). Jis taip pat nutraukė el. pašto serverių veiklą Pentagonas ir Britų parlamente (Wired). Draudimo milžinė „Lloyd's of London“ padarė ankstyvą įvertinimą, kad virusas kainuos daugiau nei 15 milijardų dolerių žalą ir prarastą produktyvumą (JAV Atstovų rūmų komiteto klausymas). Vėliau „Computer Economics“ apskaičiavo 8,75 milijardo dolerių žalą visame pasaulyje („Information Week“).

Kirminai, kuriems nereikėjo žmogaus paspaudimo, sekė toliau. 2001 m. liepos 19 d. „Code-Red“ kirminas užkrėtė daugiau nei 359 000 kompiuterių per mažiau nei 14 valandų (CAIDA). 2003 m. sausio 25 d. „SQL Slammer“ padvigubėjo kas 8,5 sekundės ir per 10 minučių užkrėtė daugiau nei 90% jam pažeidžiamų interneto mazgų (CAIDA), išnaudodamas spragą, kuriai „Microsoft“ buvo išleidusi pataisą prieš šešis mėnesius (CNET). 2003 m. rugpjūčio mėn. „Blaster“ kirminas ir „Sobig“ el. pašto kirminas pasirodė maždaug savaitės skirtumu (Microsoft, F-Secure).

Tuo metu buvo pagrįsta klausti, ar tinklo kompiuterius išvis galima padaryti saugius. Praėjus šešioms dienoms po „ILOVEYOU“ viruso, JAV Atstovų rūmų pakomitetis surengė klausymą šiuo klausimu. Daugelis saugumo ekspertų ragino priimti teisės aktus, kurie paverson programinės įrangos įmones atsakingomis už žalą, atsiradusią dėl jų produktų trūkumų. Vašingtonas pasirinko kitą kelią. Nacionalinė strategija kibernetinei erdvėzei apsaugoti teigė, kad „federalinis reglamentavimas netaps pagrindine kibernetinės erdvės apsaugos priemone“. Ji perspėjo, kad platūs įgaliojimai galėtų sukurti „mažiausio bendro vardiklio požiūrį į kibernetinį saugumą“ (CISA).

Pramonė atsakė inžinerija. Praėjus vienuolikai dienų po „ILOVEYOU“, „Microsoft“ paskelbė „Outlook“ atnaujinimą, kuris užblokavo vykdomuosius priedus. 2002 m. sausio mėn. įmonė padarė saugumą didžiausiu prioritetu (Seattle Times). Automatinis pataisymas, saugūs numatytieji nustatymai, klaidų atlygio programos ir koordinuotas atskleidimas tapo standartine praktika. 2008 m. „Chrome“ pradėjo vykdyti žiniatinklio turinį smėlio dėžėje (sandbox), kuri „riboja tai, ką užpuolikas gali padaryti išnaudojęs klaidą“ (Chromium Blog). Šifravimas, kažkada buvęs išimtimi, tapo numatytuoju. Saugumo technologijos, įskaitant kelių veiksnių autentifikavimą, ugniasienes, nulinio pasitikėjimo architektūrą ir saugumo informacijos bei įvykių valdymą (SIEM), tapo plačiai naudojamos. Prognozuojama, kad organizacijos visame pasaulyje 2026 metais informacijos saugumui išleis apie 240 milijardų dolerių (Gartner). Kirminai niekada visiškai neišnyko, tačiau įprastinių interneto masto protrūkių era praėjo. Tuo pat metu internetas, beveik neapsunkintas reglamentavimo, per ateinančius du dešimtmečius tapo galingu inovacijų ir ekonomikos augimo varikliu.

Dirbtinio intelekto agentų saugumo inžinerija

Pastarieji incidentai kelia pagrįstų klausimų dėl agentų valdysenos. Esami saugumo mechanizmai buvo sukurti prieštaraujančiai agentų kompiuterinei aplinkai, kuriai būdingas glaudžiai apibrėžtas ir iš esmės deterministinis programinės įrangos elgesys. Prieigos kontrolės mechanizmai visų pirma yra sukurti atsižvelgiant į žmonėms skirtus naudotojus ir dažnai jiems suteikia plačias teises, kurių iš esmės pakanka sukelti didelę žalą.

Šis dizainas remiasi keliomis prielaidomis: dauguma naudotojų veikia sąžiningai; kenkėjiški subjektai gali būti atbaidomi vykdant auditą ir susiduriant su realaus pasaulio pasekmėmis; o žmonės atlieka veiksmus, nesvarbu, ar teisingus, ar klaidingus, palyginti ribotu greičiu. Taikant šiuos saugumo mechanizmus agentams, reikia atsižvelgti į skirtumus tarp žmonių ir agentų elgesio. Kaip rašėme savo atsakyme į NIST užklausą dėl informacijos apie dirbtinio intelekto agentų saugumą, dirbtinio intelekto agentai meta iššūkį šioms prielaidoms. Jie gali naudotis privilegijomis ir atlikti veiksmus mašinos greičiu, nėra atbaidomi realaus pasaulio pasekmių ir gali atlikti veiksmus, kurie techniškai yra leidžiami, tačiau kuriuos įprastas naudotojas retai kada atliktų.

Šių klausimų atsakymas reikalauja saugumo inžinerijos. Mes žinome saugumo principus, skirtus kurti sistemas, kurios palaiko riziką kontroliuojamą, kai atskiri komponentai elgiasi netinkamai. Tačiau turime užtikrinti, kad šie principai būtų taikomi kuriant aplinkas, skirtas mokyti, testuoti ir naudoti dirbtinio intelekto agentus.

Gynyba iš gylio saugumo principas

Galbūt pats svarbiausias saugumo principas, kurį reikia taikyti siekiant apsaugoti dirbtinio intelekto agentus, yra gynyba iš gylio, kuri pasisako už sluoksniuotą saugumo architektūrą, kurioje sisteminiams ištekliams apsaugoti naudojamos kelios, įvairios ir perteklinės gynybos priemonės. Nė viena apsaugos priemonė nėra tobula. Žmonės gali pasiduoti socialinės inžinerijos atakoms ir atskleisti savo prisijungimo duomenis, atrandamos ir išnaudojamos nulinės dienos programinės įrangos pažeidžiamumai, o įsilaužimo aptikimas nepastebi naujų atakos variantų. Gynyba iš gylio tai priima ir sudeda kelis nepriklausomus gynybos sluoksnius. Jei vienas gynybos sluoksnis būtų apeitas, kiti sluoksniai lieka vietoje, kad atremtų arba aptiktų įsilaužimą.

„Hugging Face“ incidentas parodo, kodėl gynyba iš gylio yra svarbi. „OpenAI“ retrospektyvoje pranešama, kad jo gamybinėse sistemose naudojamos automatinės apsaugos priemonės, įskaitant „harness“, automatinio peržiūros modelius ir saugos klasifikatorius, buvo nebuvo įvertinimo aplinkoje. Jei šiuo metu joje būtų buvęs vykdomas minties grandinės stebėjimas, jis būtų aptikęs pradinę veiklą ir iškvietęs saugumo komandą daugiau nei prieš parą iki įsilaužimo (OpenAI). Sluoksniai, galėję aptikti problemą, egzistavo. Jie tiesiog nebuvo visi vienu metu.

Dirbtinio intelekto agentų apsauga reikalauja pagerinti tiek dirbtinio intelekto modelių, tiek juos supančių sistemų saugumą ir patikimumą. Darbas modelio sluoksnyje yra svarbus ir duoda vaisių. Ankstyvieji LLM modeliai buvo lengvai manipuliuojami įterptomis instrukcijomis, o šiandieniniai modeliai yra gerokai geresni juos atpažindami ir atsisakydami. Modelio kūrėjai taip pat treniruoja modelius saugesniam elgesiui ir, kaip aprašo „OpenAI“ retrospektyva, stebi protavimo pėdsakus, kad pastebėtų problematiško elgesio požymius. Tačiau modelio lygio apsaugos priemonės yra tik dalis sprendimo. Sistemos, kuriose agentai yra mokomi, testuojami ir diegiami, taip pat turi būti suprojektuotos siekiant saugumo ir sulaikymo. Modelio lygio saugumas sumažina tikimybę, kad agentas nuklysta; sistemos lygio saugumas riboja žalą, kai tai įvyka.

Padidinti

Projektavimo taisyklės, skirtos perteklinėms apsaugos priemonėms

Gynyba iš gylio reikalauja perteklinės apsaugos. Agentams pasisakome už taikymą pagal tris projektavimo taisykles:

1. Nepriklausomumas. Kiekvienas sluoksnis turėtų sugesti dėl nepriklausomų priežasčių. Dvi kontrolės priemonės, turinčios tą pačią prielaidą, gali būti įveiktos tuo pačiu išpuoliu. Monitoriai ir vykdymo taškai turėtų būti už agento pasiekiamumo ribų.
2. Vykdymas žemiau agento. Bent vienas sluoksnis turi būti deterministinis: įprastas, patikrinamas kodas, kuris blokuoja uždraustus veiksmus, nepriklausomai nuo to, ką modelis sugeneruoja. Apsaugos priemonė, kurios agentas gali atsisakyti iškviesti arba iš naujo sukonfigūruoti, nėra apsaugos priemonė.
3. Signalai gali tik sumažinti įgaliojimus. Aptikimas turėtų paskatinti atsako priemones, kurios susiaurina tai, ką agentas gali padaryti, pavyzdžiui, pristabdymą, prisijungimo duomenų atšaukimą, prieigos prie tinklo nutraukimą arba sesijos užbaigimą. Joks rizikos signalas niekada neturėtų suteikti papildomos prieigos.

Mes dalinamės šiais principais su savo partneriais „Open Secure AI Alliance“, įskaitant NVIDIA, kuri teigė, kad „harness“ vadovauja tam, ką agentas bando, o infrastruktūra kontroliuoja tai, ką jis gali daryti (NVIDIA).

Gynyba iš gylio „Perplexity“ produktuose

„Perplexity“ vykdo agentus keturių tipų aplinkose: debesyje per mūsų agentų platformą „Computer“, naršyklėje per „Comet“, naudotojų įrenginiuose per „Portable Computer“ ir darbuotojų nešiojamuosiuose kompiuteriuose, kur mūsų inžinieriai naudoja trečiųjų šalių kodavimo agentus. Kiekviena aplinka turi savo riziką, ir kiekvienai suteikiama keletas apsaugos sluoksnių.

Debesyje: „Computer“ ir „SPACE“

Kiekviena „Computer“ užduotis vykdoma SPACE – mūsų smėlio dėžės (sandbox) platformoje, kuri pagal numatytuosius nustatymus laiko agentą nepatikimu. Kiekviena užduotis gauna savo mikro-virtualią mašiną, prisijungimo duomenys lieka už smėlio dėžės ribų ir įvedami tik prireikus, iš išeinančio srauto valdymas vyksta už svečio ribų, o momentinės kopijos leidžia atstatyti destruktyvius pakeitimus („Making SPACE“). Įmonių klientai taip pat gali atsinešti savo šifravimo raktus. Atšaukus raktą apsaugoti duomenys tampa neįskaitomi, o agentas negali nepaisyti šio sprendimo.

Mes taip pat tikriname, ar šie sluoksniai laikosi. Leidinyje „Escaping SPACE: Part I“ suteikėme devyniems pažangiausiems modeliams šaknies (root) prieigą „SPACE“ smėlio dėžėje (sandbox) ir paprašėme jų išsiveržti. Nė vienas nepabėgo iš virtualios mašinos, tačiau kai kurie rado būdus, kaip apeiti tinklo politiką, kai buvo leista dalinė prieiga prie tinklo. Mes pašalinome šias spragas, patvirtinome pataisas pakartotinio testavimo metu ir atskleidėme panašius trūkumus, rastus aštuoniose iš 10 kitų smėlio dėžės platformų jų teikėjams.

Naršyklėje: „Comet“ ir „BrowseSafe“

„Comet“ naudoja sluoksniuotą užklausos injekcijos apsaugą nuo pat paleidimo: klasifikatoriai nuskaito gautą turinį, struktūrizuotos užklausos pažymi jį kaip nepatikimą, jautriems veiksmams, tokiems kaip el. laiško siuntimas ar užsakymo pateikimas, reikalingas naudotojo patvirtinimas, o naudotojams pranešama, kai kas nors yra užblokuota („Comet“ užklausos injekcijos apsaugos priemonės). „BrowseSafe“, atvirojo kodo aptikimo modelis, esantis už pirmojo sluoksnio, pralenkia pažangiausius modelius mūsų „BrowseSafe-Bench“ etaloniniame teste, tačiau tas pats etaloninis testas rodo, kad joks detektorius nėra absoliučiai saugus, todėl aptikimas niekada nėra vienintelis sluoksnis („BrowseSafe“ tyrimas). „Computer“ paveldi šias apsaugos priemones, kurias audituoja „Trail of Bits“ (Perplexity).

Įrenginyje: Nešiojamasis kompiuteris

„Portable Computer“ yra vietinis agentas: modelis, „harness“, pokalbis ir trajektorija pagal numatytuosius nustatymus lieka naudotojo kompiuteryje. Deterministinis orkestratorius, kuris yra „harness“ kodas, o ne LLM, vykdo ciklą ir taiko politiką. Modelis siūlo veiksmus, o patvirtinti įrankių kvietimai vykdomi OS lygio smėlio dėžėje, kuri riboja procesus, failų kelius ir prieigą prie tinklo. Smėlio dėžė visada įjungta ir nesėkmės atveju išjungiama: jei ji nepasiekiama, „harness“ išsijungia pats, vietoj to, kad vykdytų komandas naudodamas naudotojo teises. Veiksmai, peržengiantys įrenginio ribas, tokie kaip žiniatinklio paieška, jungtys ir eskalavimas į stipresnį debesies patarėjo modelį, įvyksta tik tada, kai naudotojas juos įjungia ir patvirtina. Prieš patarėjo skambutį PII klasifikatorius pažymi jautrią informaciją ir naudotojas mato, kas būtų išsiųsta. Patarėjas gauna tik tą patvirtintą kontekstą ir grąžina teksto gaires, neturėdamas prieigos prie įrenginio failų ar įrankių.

Galiniame taške: „Numbat“

Kodavimo agentai kūrėjų nešiojamuosiuose kompiuteriuose veikia valandų valandas, turėdami prieigą prie šaltinio kodo, prisijungimo duomenų ir gamybinių sistemų. Numbat, mūsų atvirojo kodo agentų saugumo rinkinys, prideda nepriklausomą sluoksnį, esantį už bet kurio atskiro agento ribų. Jis veikia su tokiomis priemonėmis kaip „Claude Code“, „Codex“, „OpenCode“ ir „Pi“, blokuoja pavojingus veiksmus prieš jiems įvykstant, žymi įtartinas kelių žingsnių sekas, pavyzdžiui, paslapties skaitymą ir duomenų siuntimą į išorę, bei išsaugo sesijos laiko juostas tyrimui. „Numbat“ veikia tūkstančiuose „Perplexity“ galinių taškų kartu su „Bumblebee“ – mūsų atvirojo kodo tiekimo grandinės skaitytuvu. „Computer“ reguliariai peržiūri jų išvadas ir siūlo patobulintas aptikimo taisykles, o žmogus patvirtina kiekvieną pakeitimą prieš jam iškeliaujant.

Darbas visai pramonei

Dirbtinio intelekto agentams tampant pajėgesniems ir plačiau naudojamiems, saugumo inžinerija turi išlikti pagrindine jų kūrimo ir diegimo dalimi. Tyrėjai ir inžinieriai gali remtis nusistovėjusiais principais, naudoti realaus pasaulio išvadas apsaugos priemonėms patobulinti ir išbandyti apsaugą aplinkose, kuriose veikia agentai. Saugumas yra nuolatinė inžinerinė disciplina, kuri vystosi kartu su technologija.

Agentų saugumo inžinerija yra darbas visai pramonei. Nė viena įmonė nekontroliuoja viso paketo, ant kurio veikia agentas. Modelio kūrėjai, „harness“ kūrėjai, smėlio dėžės ir vykdymo laiko teikėjai, debesų ir aparatinės įrangos pardavėjai bei įmonių saugumo komandos valdo po sluoksnį. Visumos saugumas priklauso nuo to, ar kiekvienas sluoksnis laikosi, kai kitas slysta. Štai kodėl mes kuriame apsaugos priemones, kurios veikia visuose agentų „harness“ ir daro mūsų įrankius atvirojo kodo. Tai taip pat yra priežastis, kodėl mes atskleidžiame silpnybes, kurias randame kitose platformose, ir dalyvaujame tokiose iniciatyvose kaip „Open Secure AI Alliance“.

Siekdama dirbti su platesne bendruomene sprendžiant šiuos iššūkius, „Perplexity“ 2026 m. kovo mėn. įkūrė Saugiojo intelekto institutą („Secure Intelligence Institute“), kad galėtų tyrinėti saugumą, patikimumą ir praktinę pažangiausių dirbtinio intelekto sistemų gynybą (Perplexity). „Perplexity“ šiuo metu bendradarbiauja ir (arba) finansuoja akademinius tyrėjus Stanforde, CMU, Duke, Kolumbijoje, Ohaio valstijoje ir Virdžinijos universitete. Taip pat vykdome intramurinius tyrimus, kad paskatintume agentų saugumo tyrimų ribas, pritaikytume šią pažangą konkrečiais „Perplexity“ sistemų patobulinimais bei pasidalintume žiniomis ir ištekliais, kurie padeda sustiprinti platesnę dirbtinio intelekto ekosistemą. Sualesni agentai yra tai, ką pramonė gali sukurti. Mes ketiname ir toliau atlikti savo dalį bei kviečiame kitus kurti kartu su mumis.