Ako navrhujeme bezpečnejších agentov

Na vybudovanie bezpečnejších AI agentov musíme navrhnúť systémy pre ich schopnosti aj pre ich zlyhania. Aj pri plnení legitímnych úloh a bez akýchkoľvek škodlivých pokynov môžu agenti prekročiť bezpečnostné hranice pri pokuse prekonať prekážky.

Veríme, že ide o problém bezpečnostného inžinierstva, a priemysel by ho mal riešiť tak, ako riešil internetové červy začiatku 2000-ich rokov. Systémy obklopujúce agentov musia obmedziť to, k čomu majú agenti prístup, detegovať nežiaduce správanie a obsahovať zlyhania, keď nastanú.

V Perplexity aktívne spolupracujeme s výskumníkmi a odborníkmi z praxe na presadzovaní bezpečnostného inžinierstva pre AI agentov a uplatňujeme viacero vrstiev obrany naprieč našimi modelmi, harnessmi agentov a infraštruktúrou tak, aby bezpečnosť nezávisela od žiadneho jednotlivého bezpečnostného prvku.

Správanie zlyhania AI agentov

V júli AI agenti prenikli do výrobnej infraštruktúry open-source AI platformy Hugging Face. Počas interného hodnotenia kybernetickej bezpečnosti a tréningových behov modely OpenAI objavili spôsob, ako zneužiť správcu repozitára Artifactory na vytvorenie nástenky na vzájomnú komunikáciu, čo im umožnilo organizovať sa do roja. Neskôr agenti, ktorí nedokázali dosiahnuť pokrok v úlohách v benchmarku kybernetickej bezpečnosti, naverbovali ďalších agentov na pomoc. Títo agenti unikli zo svojho testovacieho prostredia a dostali sa na internet. Objavili tiež spôsoby, ako podvádzať spätným inžinierstvom odpovedí na úlohy benchmarku, ale mysleli si, že hodnotiaci systém podvod odhalí. Aby lepšie pochopili, ako funguje hodnotenie benchmarku, aby našli spôsoby, ako sa vyhnúť odhaleniu podvodu, nakoniec ohrozili systémy Hugging Face (Hugging Face; OpenAI).

Tento incident je jasným príkladom režimu zlyhania, ktorý sme opísali, keď sme zverejnili Numbat ako open-source v júli: náhodné zlyhania, termín, ktorý vytvorili bezpečnostní výskumníci z Cornell Tech (arXiv). Agent sledujúci legitímny cieľ narazí na trenie, ako je chýbajúci súbor, zlyhané volanie API, platnosť poverenia vypršala alebo odmietnutie oprávnenia, a vydá sa hľadať riešenie. Pritom môže prekročiť bezpečnostné hranice prostredníctvom prieskumu, eskalácie oprávnení, objavenia tajomstva alebo exfiltrácie údajov. Samotný agent sa efektívne stáva protivníkom, aj keď nie je zapojená žiadna škodlivá výzva ani externý útočník.

Hugging Face nebol ojedinelým prípadom. V posledných týždňoch boli objavené a nahlásené ďalšie správania zlyhania agentov. Dňa 27. až 28. mája sa agenti, ktorí sa pokúšali získať údaje Univerzity v Kowe z Data USA, platformy ponúkajúcej otvorený prístup k údajom US vlády, dostali do chýb spôsobených nesprávne vytvoreným dopytom. Reagovali sondami vrátane SQL injekcie, cross-site skriptovania, injekcie šablón, prechádzania cestou a injekcie príkazov. Aktivita bola neskôr spojená s OpenAI (SecurityWeek). Dňa 20. až 21. júna boli agenti OpenAI, ktorí sa pokúšali získať vládne náklady na osobu pre kategóriu liekov v miestnych oblastiach vo Victorii od Austrálijského inštitútu pre zdravie a sociálnu starostlivosť (AIHW), zablokovaní pri sťahovaní súboru. V reakcii na to agenti stiahli súbor, ktorý už bol verejný, zo servera predbežnej výroby AIHW, pričom pritom obišli ochranu stránky proti botom (SecurityWeek).

Tento vzor sa neobmedzuje len na jedno laboratórium. Počas testov kybernetickej bezpečnosti modely Anthropic prenikli do troch spoločností po tom, čo im chyba poskytla otvorený prístup na internet, Gemini od Google uhádol poverenia pre tri webové stránky a model Meta zneužil službu tretej strany (Reuters).

Poučenie z histórie: Éra internetových červov

Tieto incidenty pripomínajú éru internetových červov spred približne štvrťstoročia. Začiatkom 2000-ich rokov rástol internet oveľa rýchlejšie než bezpečnostné postupy okolo neho. Videli sme vlnu vírusov a červov s dôsledkami oveľa vážnejšími než to, čo vidíme teraz s AI agentmi v zlyhaní.

Dňa 4. mája 2000 začali ľudia dostávať e-maily od známych odosielateľov s predmetom „ILOVEYOU“. Otvorenie prílohy v e-mailu malo za následok spustenie skriptu, ktorý odoslal kópiu seba samého každému v adresári Outlook obete. Do 18:00 toho dňa dostalo CERT Coordination Center hlásenia zahŕňajúce viac ako 420 000 internetových hostiteľov (US GAO Report). Vírus údajne prenikol do najmenej 14 federálnych agentúr vrátane Ministerstva obrany, CIA, NASA a Snemovne reprezentantov a Senátu (US GAO Report). Tiež odpojil e-mailové servery v Pentagone a britskom parlamente (Wired). Obor v oblasti poistenia Lloyd's of London urobil skorý odhad, že vírus bude stáť viac ako 15 miliárd dolárov na škodách a strate produktivity (US House Committee Hearing). Computer Economics neskôr odhadol 8,75 miliardy dolárov na škodách celosvetovo (Information Week).

Červy, ktoré nepotrebovali kliknutie človeka, nasledovali. Dňa 19. júla 2001 červ Code-Red infikoval viac ako 359 000 počítačov za menej ako 14 hodín (CAIDA). Dňa 25. januára 2003 sa SQL Slammer zdvojnásobil každých 8,5 sekundy a za 10 minút infikoval viac ako 90 % internetových hostiteľov, ktorí boli voči nemu zraniteľní (CAIDA), pričom využil dieru, na ktorú spoločnosť Microsoft vydala záplatu o šesť mesiacov skôr (CNET). V auguste 2003 sa červ Blaster a e-mailový červ Sobig objavili s odstupom asi jedného týždňa (Microsoft, F-Secure).

V tom čase bolo rozumné položiť si otázku, či sa sieťové počítače dajú vôbec urobiť bezpečnými. Šesť dní po víruse ILOVEYOU usporiadal podvýbor Snemovne reprezentantov USA vypočutie o ňom. Mnohí bezpečnostní experti vyzvali na legislatívu, ktorá by urobila softvérové spoločnosti zodpovednými za škody spôsobené chybami v ich produktoch. Washington sa vydal inou cestou. Národná stratégia na zabezpečenie kyberpriestoru uviedla, že „federálna regulácia sa nestane primárnym prostriedkom zabezpečenia kyberpriestoru“. Varovala, že široké mandáty by mohli vytvoriť „prístup najnižšieho spoločného menovateľa ku kybernetickej bezpečnosti“ (CISA).

Priemysel odpovedal inžinierstvom. Jedenásť dní po ILOVEYOU spoločnosť Microsoft oznámila aktualizáciu Outlooku, ktorá zablokovala spustiteľné prílohy. V januári 2002 spoločnosť urobila z bezpečnosti najvyššiu prioritu (Seattle Times). Automatické záplatovanie, predvolené zabezpečené nastavenia, programy odmien za chyby a koordinované zverejňovanie sa stali štandardnou praxou. V roku 2008 začal Chrome spúšťať webový obsah v sandboxe, ktorý „obmedzuje to, čo môže útočník urobiť po zneužití chyby“ (Chromium Blog). Šifrovanie, kedysi výnimka, sa stalo predvolenou voľbou. Bezpečnostné technológie vrátane viacfaktorového overovania, firewallov, nulovej dôvery a správy bezpečnostných informácií a udalostí (SIEM) sa stali široko používanými. Predpokladá sa, že organizácie na celom svete minú v roku 2006 približne 240 miliárd dolárov na informačnú bezpečnosť (Gartner). Červy úplne nezmizli, ale éra bežných internetových výrusov vypršala. Zároveň sa internet, z veľkej časti nezaťažený reguláciou, stal silným motorom inovácie a hospodárskeho rastu počas nasledujúcich dvoch desaťročí.

Bezpečnostné inžinierstvo pre AI agentov

Nedávne incidenty vyvolali oprávnené otázky týkajúce sa riadenia agentov. Existujúce bezpečnostné mechanizmy boli vyvinuté pre predchádzajúce prostredia výpočtovej techniky charakterizované úzko vymedzeným a do značnej miery deterministickým softvérovým správaním. Najmä mechanizmy riadenia prístupu sú primárne navrhnuté okolo ľudských používateľov a často im udeľujú široké oprávnenia, ktoré sú v podstate dostatočné na spôsobenie značnej škody.

Tento dizajn sa opiera o niekoľko predpokladov: väčšina používateľov koná v dobrej viere; škodliví aktéri môžu byť odradení auditom a dôsledkami v reálnom svete; a ľudia vykonávajú akcie, či už správne alebo chybné, relatívne obmedzenou rýchlosťou. Aplikovanie týchto bezpečnostných mechanizmov na agentov si vyžaduje zohľadnenie rozdielov medzi ľudským správaním a správaním agentov. Ako sme napísali v našej odpovedi na žiadosť NIST o informácie o bezpečnosti AI agentov, AI agenti spochybňujú tieto predpoklady. Môžu uplatňovať oprávnenia a konať strojovou rýchlosťou, nie sú sami osebe odradení dôsledkami v reálnom svete a môžu podniknúť kroky, ktoré sú technicky povolené, ale ktoré by typický ľudský používateľ robil len zriedka.

Odpoveď na tieto otázky si vyžaduje bezpečnostné inžinierstvo. Poznáme bezpečnostné princípy na budovanie systémov, ktoré udržujú riziká pod kontrolou, keď jednotlivé komponenty nesprávne fungujú. Musíme sa však uistiť, že tieto princípy sa uplatňujú pri navrhovaní prostredí na školenie, testovanie a používanie AI agentov.

Bezpečnostný princíp hĺbkovej obrany

Pravdepodobne najdôležitejším bezpečnostným princípom, ktorý je potrebné uplatniť na zabezpečenie AI agentov, je hĺbková obrana. Tá obhajuje vrstvenú bezpečnostnú architektúru, v ktorej sa na ochranu systémových zdrojov používajú viaceré, rôznorodé a redundantné obranné opatrenia. Žiadny jednotlivý bezpečnostný prvok nie je dokonalý. Ľudia môžu podľahnúť útokom sociálneho inžinierstva a prezradiť svoje prihlasovacie údaje, objavujú sa a zneužívajú softvérové zraniteľnosti nula-dňa a detekcia prienikov prehliada nové varianty útokov. Hĺbková obrana to akceptuje a vrství niekoľko nezávislých obranných vrstiev. Ak by bola jedna obranná vrstva obídená, ostatné vrstvy zostávajú na svojom mieste, aby čelili prieniku alebo ho detegovali.

Incident s Hugging Face ukazuje, prečo je hĺbková obrana dôležitá. Retrospektíva OpenAI uvádza, že automatizované bezpečnostné prvky používané v jej výrobných systémoch vrátane harnessov, modelov automatického preskúmania a bezpečnostných klasifikátorov chýbali v testovacom prostredí. Ak by jej v súčasnosti nasadené monitorovanie reťazca myšlienok fungovalo pri týchto hodnoteniach, zachytilo by počiatočnú aktivitu a upozornilo bezpečnostný tím viac ako deň pred narušením (OpenAI). Vrstvy, ktoré mohli problém zachytiť, existovali. Jednoducho neboli všetky na svojom mieste naraz.

Zabezpečenie AI agentov si vyžaduje zlepšenie bezpečnosti aj zabezpečenia modelov AI a systémov okolo nich. Práca na vrstve modelu je dôležitá a prináša ovocie. Skoré LLM boli ľahko manipulované vstreknutými pokynmi, zatiaľ čo dnešné modely sú podstatne lepšie v ich rozpoznávaní a odmietaní. Vývojári modelov tiež trénujú modely na bezpečnejšie správanie a, ako opisuje retrospektíva OpenAI, monitorujú stopy uvažovania pre znaky problematického správania. Bezpečnostné prvky na úrovni modelu sú však iba časťou riešenia. Systémy, v ktorých sú agenti trénovaní, testovaní a nasadzovaní, musia byť tiež navrhnuté pre bezpečnosť a obsahovanie. Bezpečnosť na úrovni modelu znižuje pravdepodobnosť, že agent zíde z cesty; bezpečnosť na úrovni systému obmedzuje škody, keď sa to stane.

Zväčšiť

Návrhové pravidlá pre redundantné bezpečnostné prvky

Hĺbková obrana vyžaduje redundantné bezpečnostné prvky. Pre agentov odporúčame uplatňovať ju s tromi návrhovými pravidlami:

1. Nezávislosť. Každá vrstva by mala zlyhať z nezávislých dôvodov. Dve ovládacie prvky, ktoré zdieľajú rovnaký predpoklad, môžu byť prekonané rovnakým útokom. Monitory a body vynucovania by mali byť mimo dosahu agenta.
2. Vynucovanie pod agentom. Najmenej jedna vrstva musí byť deterministická: konvenčný, overiteľný kód, ktorý blokuje zakázané akcie bez ohľadu na to, čo model vyprodukuje. Bezpečnostný prvok, ktorý agent môže odmietnuť vyvolať alebo prekonfigurovať, nie je bezpečnostný prvok.
3. Signály môžu iba znížiť oprávnenie. Detekcia by mala spustiť reakcie, ktoré zužujú to, čo agent môže urobiť, ako je pozastavenie, odvolanie poverení, prerušenie sieťového prístupu alebo ukončenie relácie. Žiadny signál rizika by nikdy nemal udeliť dodatočný prístup.

Tieto princípy zdieľame s našimi partnermi v aliancii Open Secure AI Alliance vrátane spoločnosti NVIDIA, ktorá tvrdí, že harness riadi to, o čo sa agent pokúša, zatiaľ čo infraštruktúra kontroluje, čo môže urobiť (NVIDIA).

Hĺbková obrana v produktoch Perplexity

Perplexity spúšťa agentov v štyroch typoch prostredí: v cloude prostredníctvom našej platformy pre agentov Computer, v prehliadači prostredníctvom Comet, na zariadení používateľa prostredníctvom Portable Computer a na notebookoch zamestnancov, kde naši inžinieri používajú kódovacích agentov tretích strán. Každé prostredie má svoje vlastné riziká a každé získava niekoľko vrstiev ochrany.

V cloude: Computer a SPACE

Každá úloha Computer beží v SPACE, našej platforme sandboxu, ktorá zaobchádza s agentom štandardne ako s nedôveryhodným. Každá úloha získava svoju vlastnú microVM, poverenia zostávajú mimo sandboxu a sú injektované iba vtedy, keď je to potrebné, výstupná premávka je riadená mimo hosťa a snímky nám umožňujú vrátiť deštruktívne zmeny späť (Making SPACE). Podnikoví zákazníci si môžu priniesť aj vlastné šifrovacie kľúče. Odvolanie kľúča robí chránené údaje nečitateľnými a agent toto rozhodnutie nemôže prekonať.

Testujeme tiež, či tieto vrstvy vydržia. V teste Escaping SPACE: Part I sme poskytli deviatim modelom najvyššej úrovne root prístup v sandboxe SPACE a požiadali ich, aby sa dostali von. Žiaden unikol z VM, ale niektoré našli spôsob, ako obísť sieťové pravidlá, keď bol povolený čiastočný sieťový prístup. Tieto medzery sme opravili, opravy potvrdili pri opätovnom teste a podobné nedostatky, ktoré sme našli v ôsmich z 10 iných sandboxových platforiem, sme oznámili ich dodávateľom.

V prehliadači: Comet a BrowseSafe

Comet používa vrstvenú obranu proti injekciám výziev od spustenia: klasifikátory preverujú získaný obsah, štruktúrované výzvy ho označujú ako nedôveryhodný, citlivé akcie, ako je odoslanie e-mailu alebo zadanie objednávky, vyžadujú potvrdenie používateľa a používatelia sú informovaní, keď je niečo zablokované (Obrany Comet proti injekciám výziev). BrowseSafe, open-source model detekcie za prvou vrstvou, prekonáva modely najvyššej úrovne na našom benchmau BrowseSafe-Bench, napriek tomu ten istý benchmark ukazuje, že žiadny detektor nie je bezchybný, čo je dôvod, prečo detekcia nie je nikdy jedinou vrstvou (Výskum BrowseSafe). Computer dedí tieto obrany, ktoré boli auditované spoločnosťou Trail of Bits (Perplexity).

Na zariadení: Portable Computer

Portable Computer je lokálne prioritný agent: model, harness, konverzácia a trajektória zostávajú v predvolenom nastavení na stroji používateľa. Deterministický orchester, čo je kód harnessu namiesto LLM, spúšťa slučku a vynucuje pravidlá. Model navrhuje akcie a schválené volania nástrojov bežia v sandboxe na úrovni operačného systému, ktorý obmedzuje procesy, cesty k súborom a sieťový prístup. Sandbox je vždy zapnutý a pri zlyhaní zlyháva zatvorením: ak nie je k dispozícii, harness sa sám zakáže namiesto spúšťania príkazov s oprávneniami používateľa. Akcie, ktoré prekračujú hranicu zariadenia, ako je vyhľadávanie na webe, konektory a eskalácia na silnejší model cloudového poradcu, sa dejú iba vtedy, keď ich používateľ povolí a schváli. Pred volaním poradcu klasifikátor PII označí citlivé informácie a používateľ vidí, čo by sa odoslalo. Poradca prijíma iba tento schválený kontext a vracia textové usmernenie bez prístupu k súborom alebo nástrojom zariadenia.

Na koncovom bode: Numbat

Kódovací agenti na notebookoch vývojárov bežia hodiny s prístupom k zdrojovému kódu, povereniam a výrobným systémom. Numbat, naša open-source bezpečnostná sada pre agentov, pridáva nezávislú vrstvu, ktorá sa nachádza mimo akéhokoľvek jednotlivého agenta. Funguje s harnessami, ako sú Claude Code, Codex, OpenCode a Pi, blokuje nebezpečné akcie skôr, ako sa spustia, označuje podozrivé viackrokové sekvencie, ako je čítanie tajomstva a následné odoslanie údajov von, a zachováva časové osi relácií na vyšetrovanie. Numbat funguje naprieč tisíckami koncových bodov Perplexity spolu s Bumblebee, naším open-source skenerom dodávateľského reťazca. Computer pravidelne kontroluje ich zistenia a navrhuje vylepšené pravidlá detekcie a človek schvaľuje každú zmenu predtým, než sa odošle.

Úloha pre celý priemysel

S tým, ako sa AI agenti stávajú schopnejšími a širšie používanými, bezpečnostné inžinierstvo musí zostať ústredným bodom pre ich vývoj a nasadenie. Výskumníci a inžinieri môžu stavať na zaužívaných princípoch, využívať zistenia z reálneho sveta na zdokonalenie obrany a testovať bezpečnostné prvky v prostrediach, v ktorých agenti operujú. Bezpečnosť je nepretržitá inžinierska disciplína, ktorá sa vyvíja spolu s technológiou.

Bezpečnostné inžinierstvo pre agentov je úloha pre celý priemysel. Žiadna jednotlivá spoločnosť nekontroluje celú štruktúru, na ktorej agent beží. Vývojári modelov, tvorcovia harnessov, poskytovatelia sandboxov a runtime, poskytovatelia cloudu a hardvéru a podnikové bezpečnostné tímy vlastnia každý svoju vrstvu. Bezpečnosť celku závisí od toho, či každá vrstva vydrží, keď iná zlyhá. To je dôvod, prečo budujeme bezpečnostné prvky, ktoré fungujú naprieč harnessmi agentov, a poskytujeme naše nástroje ako open-source. Je to tiež dôvod, prečo zverejňujeme slabé miesta, ktoré nachádzame v iných platformách, a zúčastňujeme sa na aktivitách, ako je Open Secure AI Alliance.

Aby sme mohli spolupracovať so širšou komunitou na týchto výzvach, Perplexity spustila v marci 2026 inštitút Secure Intelligence Institute s cieľom študovať bezpečnosť, dôveryhodnosť a praktickú obranu špičkových AI systémov (Perplexity). Perplexity v súčasnosti spolupracuje a/alebo financuje akademických výskumníkov na Stanforde, CMU, Duke, Columbia, Ohio State a University of Virginia. Tiež uskutočňujeme interný výskum na posunutie hraníc výskumu bezpečnosti agentov, prekladáme tieto pokroky do konkrétnych vylepšení v systémoch Perplexity a zdieľame znalosti a zdroje, ktoré pomáhajú posilniť širší AI ekosystém. Bezpečnejší agenti sú niečo, čo priemysel dokáže navrhnúť. Máme v úmysle aj naďalej plniť našu úlohu a vyzývame ostatných, aby stavali s nami.