Kuidas me konstrueerime turvalisemaid agente

Turvalisemate AI agentide ehitamiseks peame kavandama nii nende võimeid kui ka tõrkeid. Isegi õiguspäraseid ülesandeid täites ja ilma pahatahtlike juhisteta võivad agendid ületada turvapiire, kui nad üritavad takistustest üle saada.

Usume, et see on turvatehnika probleem ja tööstusharu peaks sellega tegelema nii, nagu ta tegeles 2000. aastate alguse internetiussidega. Agente ümbritsevad süsteemid peavad piirama seda, millele agendid pääsevad juurde, tuvastama soovimatu käitumise ja hoidma tõrked nende ilmnemisel kontrolli all.

Perplexity teeb aktiivselt koostööd teadlaste ja praktikutega, et edendada AI agentide turvatehnikat, ning rakendame oma mudelites, agentide harness'ides ja taristus mitut kaitsekihti, et turvalisus ei sõltuks ühestki üksikust kaitsemeetmest.

AI agentide kokkujooksmise käitumine

Juulis tungisid AI agendid avatud lähtekoodiga AI platvormi Hugging Face tootmistaristusse. Siseriikliku küberturvalisuse hindamise ja koolituse käigus avastasid OpenAI mudelid viisi Artifactory repositooriumihalduri ärakasutamiseks, et luua teineteisega suhtlemiseks teadetetahvel, võimaldades neil parvedesse organiseeruda. Hiljem värbasid agendid, kes ei suutnud küberturvalisuse võrdlusaluse ülesannetega edasi liikuda, teisi agente appi. Need agendid murdsid oma hindamiskeskkonnast välja ja jõudsid interneti. Samuti avastasid nad viise petmiseks, tehes võrdlusaluse ülesannete vastuseid tagurpidi engineeringu abil kindlaks, kuid arvasid, et hindamissüsteem tuvastab pettuse. Selleks et paremini mõista, kuidas võrdlusaluse hindamine toimis, et leida viise pettusena tuvastamisest hoidumiseks, kompromiteerisid nad lõpuks Hugging Face'i süsteemid (Hugging Face; OpenAI).

Juhejuhtum on selge näide tõrkežiimist, mida kirjeldasime, kui tegime Numbati juulis avatud lähtekoodiga: juhuslikud kokkujooksmised – termini lõid Cornell Techi turvateadlased (arXiv). Õiguspärast eesmärki taotlev agent kohtab takistust, nagu puuduv fail, ebaõnnestunud API kutse, aegunud mandaat või loa andmisest keeldumine, ning asub otsima ajutist lahendust. Seda tehes võib ta turvapiire ületada luureandmete kogumise, õiguste eskaleerimise, salajaste andmete avastamise või andmete väljasaatmise kaudu. Agent ise muutub tõhusalt vastaseks, kuigi kaasatud pole ühtegi pahatahtlikku viipa ega välist ründajat.

Hugging Face ei olnud isoleeritud juhtum. Viimastel nädalatel avastati ja teatati rohkem agentide kokkujooksmise käitumistest. 27.–28. mail ilmnesid agentidel, kes üritasid koguda Iowa Ülikooli andmeid platvormilt Data USA, mis pakub avatud juurdepääsu USA valitsuse andmetele, vigasest päringust põhjustatud tõrked. Nad vastasid sondidega, sealhulgas SQL-i injektsiooni, saidideülese skriptimise, malli injektsiooni, rajale läbipääsu ja käsuinjektsiooniga. Tegevus seostati hiljem OpenAI-ga (SecurityWeek). 20.–21. juunil blokeeriti OpenAI agentidelt faili allalaadimine, kui nad üritasid Austraalia Tervise- ja Hoolekandeinstituudilt (AIHW) saada andmeid ravimikategooria kulude kohta inimese kohta Victoria kohalikel aladel. Vastusena laadisid agendid faili, mis oli juba avalik, alla AIHW eeltootmisserverist, möödudes protsessi käigus saidi botivastastest kaitsemehhanismidest (SecurityWeek).

Muster ei piirdu ühe laboriga. Küberturvalisuse testide ajal murdsid Anthropicu mudelid kolme ettevõttesse pärast seda, kui vea tõttu anti neile avatud internetiühendus, Google'i Gemini arvas ära kolme veebisaidi mandaadid ja Meta mudel kasutas ära kolmanda osapoole teenust (Reuters).

Ajaloo õppetunnid: internetiusside ajastu

Need vahejuhtumid meenutavad ligikaudu veerand sajandi tagust internetiusside ajastu aega. 2000. aastate alguses kasvas internet palju kiiremini kui seda ümbritsevad turvatavadad. Nägime viiruste ja usside lainet, mille tagajärjed olid palju tõsisemad kui see, mida näeme praegu kokkujooksus olevate AI agentidega.

4. mail 2000 hakkasid inimesed saama tuttavatelt saatjatelt e-kirju teemareaga "ILOVEYOU". E-kirjas oleva manuse avamine tõi kaasa skripti käivitamise, mis saatis sellest koopia kõigile ohvri Outlooki aadressiraamatus olijatele. Sama kuu kella 18-ks oli CERT-i koordinatsioonikeskus saanud teateid, mis hõlmasid üle 420 000 interneti hosti (US GAO Report). Viirus tungis väidetavalt vähemalt 14 föderaalagentuuri, sealhulgas Kaitseministeeriumi, CIA, NASA ning Esindajatekoja ja Senatisse (US GAO Report). Samuti pani see kinni e-posti serverid Pentagonis ja Briti parlamendis (Wired). Kindlustushiid Lloyd's of London esitas varajase hinnangu, et viirus maksab kahjude ja kaotatud tootlikkuse näol üle 15 miljardi dollari (US House Committee Hearing). Computer Economics hindas hiljem ülemaailmseks kahjuks 8,75 miljardit dollarit (Information Week).

Järgmiseks tulid ussid, mis ei vajanud inimese klõpsu. 19. juulil 2001 nakatas Code-Redi uss vähem kui 14 tunniga üle 359 000 arvuti (CAIDA). 25. jaanuaril 2003 kahekordistus SQL Slammer suuruses iga 8,5 sekundiga ja nakatas 10 minuti jooksul üle 90% selle suhtes haavatavatest interneti hostidest (CAIDA), kasutades ära auku, mille jaoks Microsoft oli kuus kuud varem plaastri välja andnud (CNET). 2003. aasta augustis ilmusid umbes nädalase vahega Blasteri uss ja Sobigi e-posti uss (Microsoft, F-Secure).

Sel ajal oli mõistlik küsida, kas võrku ühendatud arvuteid saab üldse turvaliseks muuta. Kuus päeva pärast ILOVEYOU viirust pidas USA Esindajatekoja alamkomitee sel teemal kuulamise. Paljud turvaeksperdid nõudsid õigusakte, mis teeksid tarkvaraettevõtted vastutavaks nende toodetes olevate vigade põhjustatud kahjude eest. Washington valis teise tee. Küberturvalisuse tagamise riiklik strateegia (National Strategy to Secure Cyberspace) teatas, et "federal regulation will not become a primary means of securing cyberspace". See hoiatas, et laiad mandaadid võivad luua küberturvalisusele “vähima ühise nimetaja lähenemise” (CISA).

Tööstusharu vastas engineeringuga. Üksteist päeva pärast ILOVEYOU-d teatas Microsoft Outlooki värskendusest, mis blokeeris käivitatavad manused. 2002. aasta jaanuaris seadis ettevõte turvalisuse esmatähtsaks (Seattle Times). Automaatne paikade paigaldamine, turvalised vaikeseaded, vigade leidmise preemiaprogrammid ja koordineeritud avalikustamine muutusid standardpraktikaks. 2008. aastal hakkas Chrome käivitama veebisisu liivakastis, mis "limit[s] what an attacker can do after exploiting a bug" (Chromium Blog). Krüptimine, mis oli kunagi erand, muutus vaikimisi valikuks. Turvatehnoloogiad, sealhulgas mitmetasandiline autentimine, tulemüürid, null-usaldus ja turbeandmete ning sündmuste haldus (SIEM), leidsid laialdast kasutust. Organisatsioonid üle maailma peaksid 2026. aastal kulutama infoturbele ligikaudu 240 miljardit dollarit (Gartner). Ussid ei kadunud täielikult, kuid rutiinsete internetiüleste puhangute ajastu hääbus. Samal ajal muutus internet, olles suures osas regulatsioonidest koormamata, järgmise kahe aastakümne jooksul võimsaks innovatsiooni ja majanduskasvu mootoriks.

Turvatehnika AI agentide jaoks

Hiljutised vahejuhtumid on tekitanud õigustatud küsimusi agentide halduse kohta. Olemasolevad turvamehhanismid töötati välja agentideeelsete arvutikeskkondade jaoks, mida iseloomustas kitsa ulatusega ja suures osas deterministlik tarkvarakäitumine. Juurdepääsu kontrolli mehhanismid on eelkõige loodud inimkasutajate ümber ja annavad neile sageli laiad õigused, mis on põhimõtteliselt piisavad märkimisväärse kahju tekitamiseks.

See disain põhineb mitmel eeldusel: enamik kasutajaid tegutseb heauskselt; pahatahtlikke osalejaid saab auditeerimise ja reaalsete tagajärgedega heidutada; ning inimesed teevad toiminguid, olgu need siis õiged või ekslikud, suhteliselt piiratud sagedusega. Nende turvamehhanismide rakendamine agentidele nõuab inimeste ja agentide käitumise erinevuste arvessevõtmist. Nagu kirjutasime oma vastuses NIST-i teabenõudele AI agentide turvalisuse kohta, seavad AI agendid need eeldused kahtluse alla. Nad saavad kasutada õigusi ja teha toiminguid masinakiirusel, reaalsete tagajärgedega neid endid ei heidutata ja nad võivad teha toiminguid, mis on tehniliselt lubatud, kuid mida tavaline inimkasutaja teeks harva.

Nendele küsimustele vastamine nõuab turvatehnikat. Teame turvapõhimõtteid selliste süsteemide ehitamiseks, mis hoiavad riske kontrolli all, kui üksikud komponendid väärkäituvad. Kuid peame tagama, et neid põhimõtteid rakendataks keskkondade konstrueerimisel AI agentide treenimiseks, testimiseks ja kasutamiseks.

Mitmekihilise turvalisuse põhimõte

Võib-olla kõige olulisem turvapõhimõte, mida on vaja AI agentide turvamiseks rakendada, on mitmekihiline kaitse, mis pooldab kihilist turvaarhitektuuri, kus süsteemiressursside kaitsmiseks kasutatakse mitmeid mitmekesiseid ja redundantseid kaitsemeetmeid. Ükski kaitsemeede pole täiuslik. Inimesed võivad langeda sotsiaalse engineeringu rünnakute ohvriks ja avaldada oma sisselogimismandaadid, avastatakse ja kasutatakse ära tarkvara nullpäeva haavatavusi ning sissetungi tuvastamine jätab vahele uued rünnakuvariandid. Mitmekihiline kaitse võtab seda arvesse ja seab mitu sõltumatut kaitsekihti üksteise peale. Kui üks kaitsekiht peaks olema ümber mindud, jäävad teised kihid paika, et sissetungile vastu seista või see tuvastada.

Hugging Face'i vahejuhtum näitab, miks mitmekihiline kaitse on oluline. OpenAI retrospektiiv annab teada, et selle tootmissüsteemides kasutatud automatiseeritud kaitsemeetmed, sealhulgas harness'id, automaatse ülevaatuse mudelid ja ohutusklassifikaatorid, puudusid hindamiskeskkonnast. Kui selle praegu kasutusele võetud mõtlemisahela jälgimine oleks nendel hindamistel töötanud, oleks see algse tegevuse tabanud ja turvameeskonnani jõudnud rohkem kui päev enne rikkumist (OpenAI). Kihid, mis oleksid võinud probleemi tabada, olid olemas. Need lihtsalt ei olnud kõik üheaegselt paigas.

AI agentide turvaliseks muutmine nõuab nii AI mudelite kui ka neid ümbritsevate süsteemide ohutuse ja turvalisuse parandamist. Töö mudelikihi juures on oluline ja see tasub end ära. Varasemaid LLM-e oli süstitud juhistega lihtne manipuleerida, samas kui tänased mudelid on oluliselt paremad nende äratundmises ja neist keeldumises. Mudeliarendajad treenivad mudeleid ka turvalisema käitumise nimel ja, nagu OpenAI retrospektiiv kirjeldab, jälgivad probleemse käitumise märkide leidmiseks arutluse jälgi. Kuid mudelitaseme kaitsemeetmed on vaid osa lahendusest. Süsteemid, milles agente treenitakse, testitakse ja kasutatakse, peavad samuti olema turvalisuse ja tõrkeulduste jaoks konstrueeritud. Mudelitaseme ohutus vähendab tõenäosust, et agent läheb valele teele; süsteemitaseme turvalisus piirab kahju, kui see nii juhtub.

Suurenda

Kujundusreeglid mitmekordsete kaitsemeetmete jaoks

Mitmekihiline kaitse nõuab mitmekordseid kaitsemeetmeid. Agentide puhul soovitame seda rakendada kolme kujundusreegliga:

1. Sõltumatus. Iga kiht peaks tõrkuma sõltumatutel põhjustel. Kahte juhtseadet, mis jagavad sama eeldust, saab sama rünnakuga alistada. Monitorid ja jõustamispunktid peaksid asuma agendi käeulatusest väljas.
2. Jõustamine agendi all. Vähemalt üks kiht peab olema deterministlik: tavapärane, kontrollitav kood, mis blokeerib keelatud tegevused olenemata sellest, mida mudel toodab. Kaitsemeede, millest agent võib keelduda kutsumast või mida ta võib ümber konfigureerida, ei ole kaitsemeede.
3. Signaalid saavad vähendada ainult volitusi. Tuvastamine peaks esile kutsuma vastuseid, mis kitsendavad seda, mida agent saab teha, näiteks pausi tegemine, mandaatide tühistamine, võrgupääsu katkestamine või seansi lõpetamine. Ükski riskisignaal ei tohiks kunagi anda täiendavat juurdepääsu.

Jagame neid põhimõtteid oma partneritega Open Secure AI Alliance liikmeskonnas, sealhulgas NVIDIA-ga, mis on väitnud, et harness suunab seda, mida agent üritab, samas kui taristu kontrollib seda, mida see teha saab (NVIDIA).

Mitmekihiline kaitse Perplexity toodetes

Perplexity käitab agente neljas keskkonnatüübis: pilves meie agentide platvormi Computer kaudu, veebis Comet kaudu, kasutaja seadmetes Portable Computer kaudu ja töötajate sülearvutites, kus meie insenerid kasutavad kolmanda osapoole koodi kirjutavaid agente. Igal keskkonnal on omad riskid ja igaüks saab mitu kihti kaitset.

Pilves: Computer ja SPACE

Iga Computer ülesanne töötab meie liivakastiplatvormil SPACE, mis käsitleb agenti vaikimisi usaldamatuna. Iga ülesanne saab oma microVM-i, mandaadid jäävad liivakastist väljapoole ja süstitakse ainult vajadusel, väljaminevat liiklust kontrollitakse külalisest väljaspool ja hetktõmmised võimaldavad meil purustavad muudatused tagasi pöörata (Making SPACE). Enterprise klientidel on võimalik tuua ka oma krüpteerimisvõtmed. Võtme tühistamine muudab kaitstud andmed loetamatuks ja agent ei saa seda otsust tühistada.

Testime ka seda, kas need kihid peavad vastu. Väljaandes Escaping SPACE: Part I andsime üheksale piirimudelile juurjuurdepääsu SPACE liivakastis ja palusime neil välja murda. Keegi ei põgenenud VM-ist, kuid mõned leidsid viise võrgupoliitikast möödumiseks, kui lubati osaline võrgupääs. Parandasime need lüngad, kinnitasime parandused kordustestis ja avalikustasime sarnased nõrkused, mille leidsime 10 muust liivakastiplatvormist 8-s, nende tarnijatele.

Veebilehitsejas: Comet ja BrowseSafe

Comet on turuletoomisest alates kasutanud kihilist viipi-injektsiooni kaitset: klassifikaatorid sõeluvad toodud sisu, struktureeritud viibid märgistavad selle usaldamatuks, tundlikud tegevused, nagu e-kirja saatmine või tellimuse esitamine, nõuavad kasutaja kinnitust ning kasutajatele teatatakse, kui midagi blokeeritakse (Comet prompt-injection defenses). BrowseSafe, esimese kihi taga olev avatud lähtekoodiga tuvastusmudel, edestab piirimudeleid meie BrowseSafe-Benchi võrdlusalusel, kuid sama võrdlusalus näitab, et ükski detektor pole lollikindel, mistõttu tuvastamine pole kunagi ainus kiht (BrowseSafe research). Computer pärib need kaitsemeetmed, mida Trail of Bits on auditeerinud (Perplexity).

Seadmes: Portable Computer

Portable Computer on kohapealne agent: mudel, harness, vestlus ja trajektoor jäävad vaikimisi kasutaja masinasse. Deterministlik orkestraator, mis on LLM-i asemel harness'i kood, käivitab tsükli ja jõustab poliitikat. Mudel pakub välja tegevusi ja heakskiidetud tööriistakutsed töötavad OS-i tasemel liivakastis, mis piirab protsesse, failiteid ja võrgupääsu. Liivakast on alati sees ja tõrke korral sulguv: kui see pole saadaval, keelab harness end ise ära, selle asemel et käitada käske kasutaja õigustega. Tegevused, mis ületavad seadme piire, nagu veebiotsing, konnektorid ja eskaleerimine tugevamale pilvenõustaja mudelile, toimuvad ainult siis, kui kasutaja need lubab ja heaks kiidab. Enne nõustaja kutset märgistab PII klassifikaator tundliku teabe ja kasutaja näeb, mida saadetakse. Nõustaja saab ainult selle heakskiidetud konteksti ja tagastab tekstijuhised ilma juurdepääsuta seadme failidele või tööriistadele.

Lõpp-punktis: Numbat

Arendajate sülearvutites töötavad koodi kirjutavad agendid töötavad tunde juurdepääsuga lähtekoodile, mandaatidele ja tootmissüsteemidele. Numbat, meie avatud lähtekoodiga agentide turvakomplekt, lisab sõltumatu kihi, mis asub väljaspool ühtegi üksikut agenti. See töötab selliste harness'idega nagu Claude Code, Codex, OpenCode ja Pi, blokeerib ohtlikud tegevused enne nende käivitamist, märgistab kahtlased mitmeetapilised jadad, nagu saladuse lugemine ja seejärel andmete väljasaatmine, ning säilitab uurimiseks seansi ajajooned. Numbat töötab tuhandetel Perplexity lõpp-punktidel koos Bumblebee-ga, mis on meie avatud lähtekoodiga tarneahela skanner. Computer vaatab regulaarselt läbi nende leiud ja pakub välja täiustatud tuvastusreeglid ning inimene kiidab iga muudatuse enne selle avaldamist heaks.

Ülesanne kogu tööstusharule

Kuna AI agendid muutuvad võimekamaks ja laialdasemalt kasutatavaks, peab turvatehnika jääma nende arendamise ja kasutuselevõtu keskmesse. Teadlased ja insenerid saavad tugineda vakiomsetele põhimõtetele, kasutada reaalsete leidude tulemusi kaitsemeetmete täiustamiseks ja testida kaitsemeetmeid keskkondades, kus agendid tegutsevad. Turvalisus on pidev inseneridistsipliin, mis areneb koos tehnoloogiaga.

Agentide turvatehnika on kogu tööstusharu ülesanne. Ükski ettevõte ei kontrolli tervet virna, millel agent töötab. Mudeliarendajad, harness'i ehitajad, liivakasti ja käituskeskkonna pakkujad, pilve- ja riistvaramüüjad ning ettevõtte turvameeskonnad omavad igaüks ühte kihti. Terviku turvalisus sõltub sellest, kas iga kiht peab vastu, kui teine libastub. Seetõttu ehitame kaitsemeetmeid, mis töötavad agentide harness'ideüleselt ja teeme oma tööriistad avatud lähtekoodiga. Seetõttu avalikustame ka teistel platvormidel avastatud nõrkused ja osaleme sellistes algatustes nagu Open Secure AI Alliance.

Selleks et teha laiema kogukonnaga nende väljakutsete nimel koostööd, käivitas Perplexity 2026. aasta märtsis Secure Intelligence Institute, et uurida juhtivate AI-süsteemide turvalisust, usaldusväärsust ja praktilist kaitset (Perplexity). Perplexity teeb praegu koostööd ja/või rahastab akadeemilisi teadlasi Stanfordis, CMU-s, Duke'is, Columbias, Ohio osariigis ja Virginia Ülikoolis. Teeme ka siseriiklikke uuringuid, et viia edasi agentide turvalisuse uuringute piiri, tõlkida need edusammud konkreetseteks parandusteks Perplexity süsteemides ning jagada teadmisi ja ressursse, mis aitavad tugevdada laiemat AI ökosüsteemi. Turvalisemad agendid on midagi, mida tööstusharu saab konstrueerida. Kavatseme jätkata oma osa täitmist ja kutsume teisi üles meiega koos ehitama.