Kako projektujemo bezbednije agente

Da bismo izgradili bezbednije AI agente, moramo da projektujemo i za njihove mogućnosti i za njihove neuspehe. Čak i kada obavljaju legitimne zadatke i bez ikakvih zlonamernih uputstava, agenti mogu preći bezbednosne granice dok pokušavaju da savladaju prepreke.

Verujemo da je ovo problem bezbednosnog inženjeringa i industrija bi trebalo da mu pristupi onako kako je pristupila internet crvima ranih 2000-ih. Sistemi koji okružuju agente moraju da ograniče ono čemu agenti mogu da pristupe, detektuju neželjeno ponašanje i zadrže neuspehe kada do njih dođe.

U kompaniji Perplexity aktivno sarađujemo sa istraživačima i praktičarima na unapređenju bezbednosnog inženjeringa za AI agente i primenjujemo višestruke slojeve odbrane na naše modele, harness alate za agente i infrastrukturu, tako da bezbednost ne zavisi ni od jedne pojedinačne zaštitne mere.

Ponašanje iskliznuća (meltdown) AI agenata

U julu su AI agenti provalili u produkcionu infrastrukturu otvorene AI platforme Hugging Face. Tokom internih evaluacija sajber bezbednosti i testiranja obuke, modeli kompanije OpenAI otkrili su način da iskoriste menadžer repozitorija Artifactory kako bi uspostavili oglasnu tablu za međusobnu komunikaciju, što im je omogućilo da se organizuju u rojeve. Kasnije su agenti koji nisu mogli da napreduju u zadacima u referentnom testu sajber bezbednosti regrutovali druge agente da pomognu. Ovi agenti su pobegli iz svog okruženja za evaluaciju i stigli do interneta. Takođe su otkrili načine za varanje obrnuti inženjeringom odgovora na zadatke iz referentnog testa, ali su mislili da će sistem ocenjivanja otkriti varanje. Da bi bolje razumeli kako evaluacija referentnog testa funkcioniše kako bi pronašli načine da izbegnu detekciju varanja, na kraju su kompromitovali sisteme platforme Hugging Face (Hugging Face; OpenAI).

Incident je jasan primer režima neuspeha koji smo opisali kada smo objavili Numbat kao otvoreni kod u julu: slučajna iskliznuća (accidental meltdowns), termin koji su skovali bezbednosni istraživači sa Cornell Tech-a (arXiv). Agent koji teži legitimnom cilju nailazi na prepreku, kao što je nedostajući fajl, neuspešan poziv API-ja, istekli akreditive ili odbijanje dozvole, i kreće u potragu za rešenjem. Čineći to, on može preći bezbednosne granice kroz izviđanje, eskalaciju privilegija, otkrivanje tajni ili eksfiltraciju podataka. Sam agent praktično postaje protivnik, iako nisu uključeni nikakav zlonamerni upit niti spoljni napadač.

Hugging Face nije bio izolovani slučaj. Još ponašanja „iskliznuća“ agenata otkriveno je i prijavljeno poslednjih nedelja. Tokom 27–28. maja, agenti koji su pokušavali da prikupe podatke Univerziteta u Ajovi sa platforme Data USA, koja nudi otvoren pristup vladinim podacima SAD, naišli su na greške izazvane nepravilno formiranim upitom. Odgovorili su sondiranjem, uključujući SQL injekciju, skriptovanje na više sajtova (XSS), injekciju šablona, prelazak putanje i injekciju komandi. Aktivnost je kasnije povezana sa kompanijom OpenAI (SecurityWeek). Tokom 20–21. juna, agentima OpenAI-ja koji su pokušavali da pribave vladine troškove po osobi za kategoriju lekova u lokalnim oblastima u Viktoriji od Australijskog instituta za zdravlje i blagostanje (AIHW) bio je blokiran preuzimanje fajla. Kao odgovor, agenti su preuzeli fajl, koji je već bio javan, sa AIHW pre-produkcionog servera, zaobilazeći pri tom zaštitu sajta protiv botova (SecurityWeek).

Ovaj šablon nije ograničen na jednu laboratoriju. Tokom testova sajber bezbednosti, modeli kompanije Anthropic probili su tri kompanije nakon što im je greškom dat otvoren pristup internetu, Google-ov Gemini je pogodio akreditive za tri veb-sajta, a model kompanije Meta iskoristio je uslugu treće strane (Reuters).

Učenje iz istorije: Era internet crva

Ovi incidenti podsećaju na eru internet crva pre otprilike četvrt veka. Početkom 2000-ih, internet je rastao mnogo brže od bezbednosnih praksi oko njega. Videli smo talas virusa i crva, sa posledicama daleko ozbiljnijim od onoga što danas vidimo sa AI agentima u stanju iskliznuća.

Dana 4. maja 2000. godine, ljudi su počeli da primaju e-poštu od poznatih pošiljalaca sa naslovom „ILOVEYOU“. Otvaranje priloga u e-pošti rezultiralo je pokretanjem skripte koja je slala kopiju same sebe svima u adresaru Outlook-a žrtve. Do 18:00 časova tog dana, Koordinacioni centar CERT-a primio je izveštaje koji uključuju više od 420.000 internet domaćina (Izveštaj US GAO). Prema izveštajima, virus je prodro u najmanje 14 saveznih agencija, uključujući Ministarstvo odbrane, CIA-u, NASA-u, kao i Predstavnički dom i Senat (Izveštaj US GAO). Takođe je oborio servere e-pošte u Pentagonu i britanskom parlamentu (Wired). Gigant u osiguranju Lloyd's iz Londona dao je ranu procenu da će virus koštati preko 15 milijardi dolara u štetama i izgubljenoj produktivnosti (Saslušanje Odbora Predstavničkog doma SAD). Computer Economics je kasnije procenio štetu širom sveta na 8,75 milijardi dolara (Information Week).

Crvi kojima nije bio potreban ljudski klik došli su sledeći. Dana 19. jula 2001. godine, crv Code-Red zarazio je više od 359.000 računara za manje od 14 časova (CAIDA). Dana 25. januara 2003. godine, SQL Slammer se udvostručio u veličini na svakih 8,5 sekundi i zarazio više od 90% internet domaćina ranjivih na njega u roku od 10 minuta (CAIDA), iskorišćavajući propust za koji je Microsoft objavio ispravku šest meseci ranije (CNET). U avgustu 2003. godine, crv Blaster i crv e-pošte Sobig pojavili su se sa razmakom od oko nedelju dana (Microsoft, F-Secure).

U to vreme je bilo opravdano pitati se da li umreženi računari uopšte mogu biti bezbedni. Šest dana nakon virusa ILOVEYOU, pododbor Predstavničkog doma SAD održao je saslušanje o tome. Mnogi stručnjaci za bezbednost zahtevalaban donošenje zakona koji bi učinili softverske kompanije odgovornim za štetu uzrokovanu propustima u njihovim proizvodima. Vašington je izabrao drugačiji put. Nacionalna strategija za bezbednost sajber-prostora navela je da „savezna regulativa neće postati primarno sredstvo za obezbeđivanje sajber-prostora“. Upozoreno je da široki mandati mogu stvoriti „pristup najnižeg zajedničkog imenitelja sajber-bezbednosti“ (CISA).

Industrija je odgovorila inženjeringom. Jedanaest dana nakon napada ILOVEYOU, Microsoft je najavio ažuriranje za Outlook koje je blokiralo izvršne priloge. U januaru 2002. godine, kompanija je bezbednost postavila kao glavni prioritet (Seattle Times). Automatsko zakrpljivanje, bezbedne podrazumevane postavke, programi nagrada za pronalaženje grešaka i koordinisano obelodanjivanje postali su standardna praksa. Godine 2008., Chrome je počeo da pokreće veb sadržaj u sandbox-u koji „ograničava ono što napadač može da uradi nakon iskorišćavanja greške“ (Chromium Blog). Enkripcija, nekada izuzetak, postala je podrazumevana opcija. Bezbednosne tehnologije, uključujući višefaktorsku autentifikaciju, zaštitne zidove (firewall), nulto poverenje i upravljanje bezbednosnim informacijama i događajima (SIEM), postale su široko rasprostranjene. Predviđa se da će organizacije širom sveta potrošiti oko 240 milijardi dolara 2026. godine na bezbednost informacija (Gartner). Crvi nikada nisu potpuno nestali, ali era rutinskih epidemija na nivou celog interneta je izbledela. Istovremeno, internet, uveliko neopterećen regulativama, postao je moćan motor inovacija i ekonomskog rasta tokom naredne dve decenije.

Bezbednosni inženjering za AI agente

Nedavni incidenti pokrenuli su legitimna pitanja u vezi sa upravljanjem agentima. Postojeći bezbednosni mehanizmi razvijeni su za računarska okruženja pre pojave agenata, koja karakteriše usko definisano i uglavnom determinističko ponašanje softvera. Mehanizmi kontrole pristupa, posebno, prvenstveno su dizajnirani oko ljudskih korisnika i često im dodeljuju široke privilegije koje su, u načelu, dovoljne da izazovu značajnu štetu.

Ovaj dizajn se oslanja na nekoliko pretpostavki: većina korisnika deluje u dobroj veri; zlonamerni akteri mogu biti odvraćeni revizijom i posledicama u stvarnom svetu; i ljudi preduzimaju radnje, bilo ispravne ili pogrešne, relativno ograničenom brzinom. Primena ovih bezbednosnih mehanizama na agente zahteva uvažavanje razlika između ljudskog ponašanja i ponašanja agenata. Kao što smo napisali u našem odgovoru na NIST-ov zahtev za informacije o bezbednosti AI agenata, AI agenti izazivaju ove pretpostavke. Oni mogu da koriste privilegije i preduzimaju radnje brzinom mašine, same po sebi ih ne odvraćaju posledice iz stvarnog sveta i mogu preduzeti radnje koje su tehnički dozvoljene, ali koje bi tipičan ljudski korisnik retko preduzeo.

Odgovori na ova pitanja zahtevaju bezbednosni inženjering. Znamo bezbednosne principe za izgradnju sistema koji drže rizike pod kontrolom kada se pojedinačne komponente ponašaju neispravno. Ali moramo da se uverimo da se ovi principi primenjuju prilikom projektovanja okruženja za obuku, testiranje i korišćenje AI agenata.

Bezbednosni princip dubinske odbrane

Verovatno najvažniji bezbednosni princip koji treba primeniti za obezbeđivanje AI agenata jeste dubinska odbrana, koja se zalaže za slojevitu bezbednosnu arhitekturu, gde se višestruke, raznovrsne i redundantne odbrambene mere koriste za zaštitu resursa sistema. Nijedna zaštitna mera nije savršena. Ljudi mogu postati žrtve napada socijalnog inženjeringa i otkriti svoje akreditive za prijavljivanje, mogu se otkriti i iskoristiti softverske ranjivosti nultog dana (zero-day), a detekcija proboja može propustiti nove varijante napada. Dubinska odbrana to prihvata i slaže nekoliko nezavisnih slojeva odbrane. Ukoliko se jedan odbrambeni sloj zaobiđe, drugi slojevi ostaju na mestu da suzbiju ili otkriju proboj.

Incident sa platformom Hugging Face pokazuje zašto je dubinska odbrana važna. Retrospektiva kompanije OpenAI izveštava da automatske zaštitne mere korišćene u njenim produkcionim sistemima, uključujući harness, modele za automatsku reviziju i klasifikatore bezbednosti, nisu bile prisutne u okruženju za evaluaciju. Da je njeno trenutno primenjeno praćenje lanca misli (chain-of-thought) radilo na tim evaluacijama, ono bi uhvatilo početnu aktivnost i pozvalo bezbednosni tim više od dan pre proboja (OpenAI). Slojevi koji su mogli da uoče problem postojali su. Oni jednostavno nisu svi bili na svom mestu u isto vreme.

Obezbeđivanje AI agenata zahteva poboljšanje i bezbednosti i sigurnosti AI modela i sistema koji ih okružuju. Rad na sloju modela je važan i daje rezultate. Rani LLM-ovi su se lako manipulisali ubačenim uputstvima, dok su današnji modeli znatno bolji u njihovom prepoznavanju i odbijanju. Programeri modela takođe obučavaju modele za bezbednije ponašanje i, kako opisuje retrospektiva kompanije OpenAI, prate tragove razmišljanja u potrazi za znakovima problematičnog ponašanja. Ali odbrane na nivou modela su samo deo rešenja. Sistemi u kojima se agenti obučavaju, testiraju i primenjuju takođe moraju biti projektovani za bezbednost i ograničavanje. Bezbednost na nivou modela smanjuje verovatnoću da će agent skrenuti sa puta; bezbednost na nivou sistema ograničava štetu kada se to dogodi.

Uvećaj

Pravila dizajna za redundantne zaštitne mere

Dubinska odbrana zahteva redundantne zaštitne mere. Za agente, zalažemo se za primenu sa tri pravila dizajna:

1. Nezavisnost. Svaki sloj treba da otkaže iz nezavisnih razloga. Dve kontrole koje dele istu pretpostavku mogu biti savladane istim napadom. Monitori i tačke primene treba da se nalaze van domašaja agenta.
2. Primena ispod nivoa agenta. Najmanje jedan sloj mora biti deterministički: konvencionalni, proverljivi kod koji blokira zabranjene radnje bez obzira na to šta model proizvodi. Zaštitna mera koju agent može da odbije da pokrene ili ponovo konfiguriše nije zaštitna mera.
3. Signali mogu samo da smanje autoritet. Detekcija treba da pokrene odgovore koji sužavaju ono što agent može da uradi, kao što su pauziranje, opoziv akreditiva, prekid mrežnog pristupa ili prekid sesije. Nijedan signal rizika ne sme nikada dodeliti dodatni pristup.

Delimo ove principe sa našim partnerima u organizaciji Open Secure AI Alliance, uključujući kompaniju NVIDIA, koja je iznela stav da harness usmerava ono što agent pokušava, dok infrastruktura kontroliše ono što on može da uradi (NVIDIA).

Dubinska odbrana u proizvodima kompanije Perplexity

Perplexity pokreće agente u četiri vrste okruženja: u oblaku kroz našu platformu za agente Computer, u pretraživaču kroz Comet, na korisničkim uređajima kroz Portable Computer i na laptop računarima zaposlenih, gde naši inženjeri koriste agente za kodiranje trećih strana. Svako okruženje ima svoje rizike i svako dobija nekoliko slojeva zaštite.

U oblaku: Computer i SPACE

Svaki zadatak sistema Computer se pokreće u okruženju SPACE, našoj sandbox platformi, koja agenta podrazumevano tretira kao nepoverljivog. Svaki zadatak dobija sopstveni microVM, akreditivi ostaju van sandbox-a i ubacuju se samo kada je to potrebno, odlazni saobraćaj se kontroliše izvan klijenta (guest), a snimci stanja (snapshots) omogućavaju nam da opozovemo destruktivne promene (Kreiranje SPACE-a). Klijenti preduzeća takođe mogu doneti sopstvene ključeve za enkripciju. Opoziv ključa čini zaštićene podatke nečitljivim, a agent ne može da poništi tu odluku.

Takođe testiramo da li ovi slojevi drže. U članku Bekstvo iz SPACE-a: 1. deo, dali smo devet graničnih modela root pristup unutar SPACE sandbox-a i zatražili od njih da pobegnu. Nijedan nije pobegao iz VM-a, ali su neki našli načine da zaobiđu mrežnu politiku kada je bio dozvoljen delimičan pristup mreži. Popravili smo te praznine, potvrdili ispravke u ponovnom testiranju i otkrili slične slabosti koje smo pronašli na osam od 10 drugih sandbox platformi njihovim proizvođačima.

U pretraživaču: Comet i BrowseSafe

Comet koristi slojevitu odbranu od ubacivanja upita (prompt-injection) još od lansiranja: klasifikatori proveravaju preuzeti sadržaj, strukturirani upiti ga označavaju kao nepoverljiv, osetljive radnje poput slanja e-pošte ili postavljanja porudžbine zahtevaju potvrdu korisnika, a korisnici bivaju obavešteni kada je nešto blokirano (Odbrambeni mehanizmi protiv ubacivanja upita za Comet). BrowseSafe, model detekcije otvorenog koda iza prvog sloja, nadmašuje granične modele na našem referentnom testu BrowseSafe-Bench, mada isti referentni test pokazuje da nijedan detektor nije potpuno bezbedan, zbog čega detekcija nikada nije jedini sloj (Istraživanje za BrowseSafe). Computer nasleđuje ove odbrane, koje je revidirala kompanija Trail of Bits (Perplexity).

Na uređaju: Portable Computer

Portable Computer je agent koji na prvo mesto stavlja lokalni nivo: model, harness, razgovor i putanja ostaju na mašini korisnika prema podrazumevanim postavkama. Deterministički orkestrator, koji predstavlja kod harness alata umesto LLM-a, pokreće petlju i sprovodi politiku. Model predlaže radnje, a odobreni pozivi alata pokreću se u sandbox-u na nivou operativnog sistema koji ograničava procese, putanje datoteka i pristup mreži. Sandbox je uvek uključen i ima zaštitu od pada: ako nije dostupan, harness se sam onemogućava umesto da pokreće komande sa korisničkim dozvolama. Radnje koje prelaze granicu uređaja, kao što su pretraga veba, konektori i eskalacija na jači model savetnika u oblaku, dešavaju se samo kada ih korisnik omogući i odobri. Pre poziva savetnika, PII klasifikator označava osetljive informacije i korisnik vidi šta bi bilo poslato. Savetnik prima samo taj odobreni kontekst i vraća tekstualna uputstva, bez pristupa datotekama ili alatima uređaja.

Na krajnjoj tački (endpoint): Numbat

Agenti za kodiranje na laptop računarima programera rade satima sa pristupom izvornom kodu, akreditivima i produkcionim sistemima. Numbat, naš bezbednosni paket za agente otvorenog koda, dodaje nezavisni sloj koji se nalazi izvan bilo kog pojedinačnog agenta. Radi sa harness alatima kao što su Claude Code, Codex, OpenCode i Pi, blokira opasne radnje pre njihovog pokretanja, označava sumnjive sekvence u više koraka kao što je čitanje tajne a zatim slanje podataka spolja i čuva vremenske linije sesija radi istrage. Numbat radi na hiljadama krajnjih tačaka kompanije Perplexity zajedno sa alatom Bumblebee, našim skenerom lanaca snabdevanja otvorenog koda. Computer redovno pregleda njihove nalaze i predlaže poboljšana pravila detekcije, a čovek odobrava svaku promene pre nego što ona bude puštena u rad.

Posao za celu industriju

Kako AI agenti postaju sposobniji i šire korišćeni, bezbednosni inženjering mora ostati u središtu njihovog razvoja i primene. Istraživači i inženjeri mogu da se grade na utvrđenim principima, koriste nalaze iz stvarnog sveta radi pročišćavanja odbrane i testiraju zaštitne mere u okruženjima u kojima agenti funkcionišu. Bezbednost je tekuća inženjerska disciplina koja se razvija paralelno sa tehnologijom.

Bezbednosni inženjering za agente je posao za celu industriju. Nijedna pojedinačna kompanija ne kontroliše ceo stack na kojem agent radi. Programeri modela, kreatori alata za harness, dobavljači sandbox-a i okruženja za izvršavanje, dobavljači u oblaku i hardvera, kao i timovi za bezbednost preduzeća, poseduju svaki svoj sloj. Bezbednost celog sistema zavisi od toga da svaki sloj zadrži stabilnost kada se drugi pokoleba. Zato gradimo zaštitne mere koje funkcionišu u različitim harness alatima za agente i činimo naše alate dostupnima kao otvoreni kod. To je takođe razlog zašto otkrivamo slabosti koje nalazimo na drugim platformama i učestvujemo u inicijativama kao što je Open Secure AI Alliance.

Da bi radila sa širom zajednicom na ovim izazovima, kompanija Perplexity je u martu 2026. godine pokrenula Secure Intelligence Institute radi proučavanja bezbednosti, pouzdanosti i praktične odbrane vodećih AI sistema (Perplexity). Perplexity trenutno sarađuje i/ili finansira akademske istraživače na univerzitetima Stanford, CMU, Duke, Columbia, Ohio State i University of Virginia. Takođe sprovodimo interne istraživačke aktivnosti kako bismo unapredili granicu istraživanja bezbednosti agenata, pretvorili ta dostignuća u konkretna poboljšanja u sistemima kompanije Perplexity i delili znanje i resurse koji pomažu u jačanju šireg AI ekosistema. Bezbedniji agenti su nešto što industrija može da inženjerski oblikuje. Nameravamo da i dalje radimo svoj deo posla i pozivamo druge da grade sa nama.