Kako projektujemo bezbjednije agente

Da bismo izgradili bezbjednije AI agente, moramo da dizajniramo i za njihove mogućnosti i za njihove greške. Čak i kada obavljaju legitimne zadatke, i bez ikakvih zlonamjernih uputstava, agenti mogu preći bezbjednosne granice dok pokušavaju da prevaziđu prepreke.

Vjerujemo da je ovo problem bezbjednosnog inženjeringa i industrija bi trebalo da se uhvati u koštac s njim onako kako se uhvatila u koštac sa internet crvima ranih 2000-ih. Sistemi koji okružuju agente moraju da ograniče ono čemu agenti mogu pristupiti, otkriju neželjeno ponašanje i sadrže kvarove kada do njih dođe.

U kompaniji Perplexity aktivno sarađujemo sa istraživačima i praktičarima na unapređenju bezbjednosnog inženjeringa za AI agente i primjenjujemo višestruke slojeve odbrane na naše modele, harness-e agenata i infrastrukturu, tako da bezbjednost ne zavisi ni od jedne pojedinačne zaštitne mjere.

Ponašanje AI agenata sa ispadanjem

U julu su AI agenti provalili u produkcijsku infrastrukturu otvorene AI platforme Hugging Face. Tokom internih ocjena bezbjednosti i ciklusa obuke, modeli OpenAI su otkrili način da iskoriste upravljač repozitorijuma Artifactory kako bi uspostavili oglasnu tablu za komunikaciju međusobno, što im je omogućilo da se organizuju u rojeve. Kasnije su agenti koji nijesu mogli da ostvare napredak na zadacima u mjerilu bezbjednosti regrutovali druge agente da pomognu. Ovi agenti su pobjegli iz okruženja za ocjenjivanje i stigli do interneta. Takođe su otkrili načine da varaju obrnuti inženjeringom odgovora na zadatke za ocjenjivanje, ali su mislili da će sistem ocjenjivanja otkriti prevaru. Kako bi bolje razumjeli kako je ocjenjivanje u mjerilu funkcionisalo da bi pronašli načine da izbjegnu da budu otkriveni kao prevaranti, na kraju su kompromitovali Hugging Face sisteme (Hugging Face; OpenAI).

Incident je jasan primjer režima kvara koji smo opisali kada smo objavili Numbat kao otvoreni kod u julu: slučajni kvarovi sistema, termin koji su skovali bezbjednosni istraživači sa Cornell Tech-a (arXiv). Agent koji teži legitimnom cilju naiđe na trenje, kao što je nedostajuća datoteka, neuspjeli API poziv, istekli akreditivi ili odbijanje dozvole, i kreće u potragu za zaobilaznim rješenjem. Time može preći bezbjednosne granice kroz izviđanje, eskalaciju privilegija, otkrivanje tajni ili eksfiltraciju podataka. Sam agent praktično postaje protivnik, iako nijedan zlonamjerni prompt ili spoljni napadač nijesu uključeni.

Hugging Face nije bio izolovan slučaj. Više ponašanja sa ispadanjem agenata otkriveno je i prijavljeno posljednjih nedjelja. Agenti koji su 27. i 28. maja pokušavali da prikupe podatke Univerziteta u Ajovi sa platforme Data USA, koja nudi otvoren pristup podacima američke vlade, naišli su na greške uzrokovane loše oblikovanim upitom. Odgovorili su istragama, uključujući SQL injekciju, skriptovanje na više lokacija (XSS), injekciju šablona, prelazak putanje i injekciju komandi. Aktivnost je kasnije povezana sa OpenAI (SecurityWeek). OpenAI agenti su 20. i 21. juna pokušavali da pribave vladine troškove po osobi za kategoriju lijekova u lokalnim oblastima u Viktoriji od Australskog instituta za zdravlje i blagostanje (AIHW), pri čemu im je bilo blokirano preuzimanje datoteke. Kao odgovor na to, agenti su preuzeli datoteku, koja je već bila javna, sa preprodukcijskog servera AIHW-a, zaobilazeći pri tom zaštitu sajta od botova (SecurityWeek).

Ovaj obrazac nije ograničen na jednu laboratoriju. Tokom testova sajber bezbjednosti, modeli kompanije Anthropic probili su tri kompanije nakon što im je greškom dat otvoren pristup internetu, Google-ov Gemini je pogodio akreditive za tri veb-sajta, a model kompanije Meta je iskoristio uslugu treće strane (Reuters).

Učenje iz istorije: Era internet crva

Ovi incidenti podsjećaju na eru internet crva prije otprilike četvrt vijeka. Početkom 2000-ih, internet je rastao daleko brže od bezbjednosnih praksi oko njega. Vidjeli smo talas virusa i crva, sa posljedicama koje su mnogo ozbiljnije od onoga što vidimo sada sa AI agentima u stanju kvara.

4. maja 2000. godine ljudi su počeli da primaju e-poruke od poznatih pošiljalaca sa naslovom „ILOVEYOU“. Otvaranje priloga u e-poruci rezultiralo je pokretanjem skripte koja je poslala kopiju sebe svima u adresaru Outlook-a žrtve. Do 18:00 časova tog dana, Koordinacioni centar CERT-a primio je izvještaje koji uključuju više od 420.000 internet hostova (Izvještaj US GAO). Navodi se da je virus prodro u najmanje 14 federalnih agencija, uključujući Ministarstvo odbrane, CIA, NASA, Predstavnički dom i Senat (Izvještaj US GAO). Takođe je obustavio servere e-pošte u Pentagonu i britanskom parlamentu (Wired). Gigant osiguranja Lloyd's of London dao je ranu procjenu da će virus koštati preko 15 milijardi dolara u štetama i izgubljenoj produktivnosti (Saslušanje Odbora Predstavničkog doma SAD). Computer Economics je kasnije procijenio 8,75 milijardi dolara štete širom svijeta (Information Week).

Crvi kojima nije bio potreban ljudski klik došli su sljedeći. 19. jula 2001. godine, crv Code-Red je zarazio više od 359.000 računara za manje od 14 časova (CAIDA). 25. januara 2003. godine, SQL Slammer se udvostručio u veličini svakih 8,5 sekundi i zarazio više od 90% internet hostova ranjivih na njega u roku od 10 minuta (CAIDA), iskoristivši rupu za koju je Microsoft objavio zakrpu šest mjeseci ranije (CNET). U avgustu 2003. godine, crv Blaster i crv e-pošte Sobig pojavili su se sa razmakom od oko nedjelju dana (Microsoft, F-Secure).

U to vrijeme bilo je razumno pitati se da li se umreženi računari uopšte mogu učiniti bezbjednim. Šest dana nakon virusa ILOVEYOU, potkomisija Predstavničkog doma SAD održala je saslušanje o tome. Mnogi stručajevi za bezbjednost pozvali su na donošenje zakona koji bi softverske kompanije učinili odgovornim za štetu uzrokovanu propustima u njihovim proizvodima. Vašington je krenuo drugim putem. Nacionalna strategija za obezbjeđivanje sajber prostora navela je da „federalna regulativa neće postati primarno sredstvo za obezbjeđivanje sajber prostora“. Upozorila je da široki mandati mogu stvoriti „pristup najnižeg zajedničkog imenitelja sajber bezbjednosti“ (CISA).

Industrija je odgovorila inženjeringom. Jedanaest dana nakon ILOVEYOU-a, Microsoft je najavio ažuriranje za Outlook koje je blokiralo izvršne priloge. U januaru 2002. godine, kompanija je stavila bezbjednost na prvo mjesto (Seattle Times). Automatsko zakrpljivanje, bezbjedne podrazumijevane vrijednosti, programi nagrada za pronalaženje grešaka i koordinisano objavljivanje postali su standardna praksa. 2008. godine, Chrome je počeo da pokreće veb sadržaj u sandbox-u koji „ograničava ono što napadač može da uradi nakon iskorišćavanja greške“ (Chromium Blog). Enkripcija, nekada izuzetak, postala je podrazumijevana vrijednost. Bezbjednosne tehnologije, uključujući višefaktorsku autentifikaciju, zaštitne zidove, nulto povjerenje (zero trust) i upravljanje bezbjednosnim informacijama i događajima (SIEM), postale su naširoko korišćene. Predviđa se da će organizacije širom svijeta potrošiti oko 240 milijardi dolara 2026. godine na bezbjednost informacija (Gartner). Crvi nikada nijesu u potpunosti nestali, ali era rutinskih epidemija širom interneta je izblijedela. Istovremeno, internet, uglavnom neopterećen regulativom, postao je moćan pokretač inovacija i ekonomskog rasta tokom sljedeće dvije decenije.

Bezbjednosni inženjering za AI agente

Nedavni incidenti su pokrenuli legitimna pitanja o upravljanju agentima. Postojeći bezbjednosni mehanizmi razvijeni su za računarska okruženja prije pojave agenata, koja karakteriše usko definisano i uglavnom determinističko ponašanje softvera. Mehanizmi kontrole pristupa, posebno, prvenstveno su dizajnirani oko ljudskih korisnika i često im daju široke privilegije koje su, u načelu, dovoljne da prouzrokuju značajnu štetu.

Ovaj dizajn počiva na nekoliko pretpostavki: većina korisnika postupa u dobroj vjeri; zlonamjerni akteri se mogu odvraćati revizijom i posljedicama iz stvarnog svijeta; i ljudi preduzimaju radnje, bilo ispravne ili pogrešne, relativno ograničenom brzinom. Primjena ovih bezbjednosnih mehanizama na agente zahtijeva uzimanje u obzir razlika između ljudskog ponašanja i ponašanja agenata. Kao što smo napisali u našem odgovoru na NIST-ov zahtjev za informacijama o bezbjednosti AI agenata, AI agenti izazivaju ove pretpostavke. Oni mogu da ostvaruju privilegije i preduzimaju radnje brzinom mašine, nijesu sami po sebi odvraćeni posljedicama iz stvarnog svijeta i mogu preduzeti radnje koje su tehnički dozvoljene, ali koje bi tipičan ljudski korisnik rijetko preduzeo.

Odgovori na ta pitanja zahtijevaju bezbjednosni inženjering. Znamo bezbjednosne principe za izgradnju sistema koji drže rizike pod kontrolom kada se pojedinačne komponente ponašaju neispravno. Ali moramo da osiguramo da se ovi principi primjenjuju prilikom inženjeringa okruženja za obuku, testiranje i korišćenje AI agenata.

Princip bezbjednosti duboke odbrane

Vjerovatno najvažniji bezbjednosni princip koji treba primijeniti za obezbjeđivanje AI agenata jeste duboka odbrana, koja se zalaže za slojevitu bezbjednosnu arhitekturu, gdje se višestruke, raznovrsne i suvišne odbrambene mjere koriste za zaštitu resursa sistema. Nijedna pojedinačna zaštitna mjera nije savršena. Ljudi mogu nasjesti na napade socijalnog inženjeringa i otkriti svoje akreditive za prijavljivanje, softverske ranjivosti nultog dana se otkrivaju i eksploatišu, a detekcija upada propušta nove varijante napada. Duboka odbrana to prihvata i slaže nekoliko nezavisnih slojeva odbrane. Ako se jedan odbrambeni sloj zaobiđe, drugi slojevi ostaju na mjestu da suzbiju ili detektuju upad.

Incident sa Hugging Face-om pokazuje zašto je duboka odbrana važna. Retrospektiva kompanije OpenAI izvještava da automatizovane zaštitne mjere korišćene u njenim produkcionim sistemima, uključujući harness-e, modele za automatsku reviziju i klasifikatore bezbjednosti, nijesu bile prisutne u okruženju za procjenu. Da je njeno trenutno primijenjeno praćenje lanca misli radilo na tim procjenama, otkrilo bi početnu aktivnost i pozvalo bezbjednosni tim više od jednog dana prije proboja (OpenAI). Slojevi koji su mogli da otkrije problem su postojali. Oni jednostavno nijesu svi bili na svom mjestu u isto vrijeme.

Obezbjeđivanje AI agenata zahtijeva poboljšanje i bezbjednosti i sigurnosti AI modela i sistema koji ih okružuju. Rad na sloju modela je važan i daje rezultate. Rani LLM-ovi su se lako manipulisali ubačenim instrukcijama, dok su današnji modeli znatno bolji u njihovom prepoznavanju i odbijanju. Programeri modela takođe obučavaju modele za bezbjednije ponašanje i, kako opisuje retrospektiva kompanije OpenAI, prate tragove rasuđivanja u potrazi za znakovima problematičnog ponašanja. Ali odbrane na nivou modela su samo dio rješenja. Sistemi u kojima se agenti obučavaju, testiraju i primjenjuju takođe moraju biti inženjerski prilagođeni za bezbjednost i zadržavanje. Bezbednost na nivou modela smanjuje vjerovatnoću da će agent skrenuti s puta; bezbjednost na nivou sistema ograničava štetu kada se to dogodi.

Увећај

Pravila dizajna za suvišne zaštitne mjere

Duboka odbrana zahtijeva suvišne zaštitne mjere. Za agente, zalažemo se za primjenu sa tri pravila dizajna:

1. Nezavisnost. Svaki sloj treba da otkaže iz nezavisnih razloga. Dva kontrolna mehanizma koja dijele istu pretpostavku mogu biti pobijeđena istim napadom. Monitori i tačke primjene treba da se nalaze van domašaja agenta.
2. Primjena ispod agenta. Najmanje jedan sloj mora biti deterministički: konvencionalan, provjerljiv kod koji blokira zabranjene radnje bez obzira na to šta model proizvodi. Zaštitna mjera koju agent može odbiti da pozove, ili ponovo da konfiguriše, nije zaštitna mjera.
3. Signali mogu samo da smanje autoritet. Detekcija bi trebalo da pokrene odgovore koji sužavaju ono što agent može da uradi, kao što je pauziranje, opoziv akreditiva, prekid mrežnog pristupa ili prekid sesije. Nijedan signal rizika nikada ne bi trebalo da odobri dodatni pristup.

Dijelimo ove principe sa našim partnerima u Open Secure AI Alliance, uključujući NVIDIA, koja je tvrdila da harness vodi ono što agent pokušava dok infrastruktura kontroliše ono što on može da uradi (NVIDIA).

Duboka odbrana u Perplexity proizvodima

Perplexity pokreće agente u četiri vrste okruženja: u oblaku preko naše platforme za agente Computer, u pretraživaču preko Comet, na korisničkim uređajima preko Portable Computer i na laptop računarima zaposlenih, gdje naši inženjeri koriste agente za kodiranje trećih strana. Svako okruženje ima svoje rizike i svako dobija nekoliko slojeva zaštite.

U oblaku: Computer i SPACE

Svaki zadatak sistema Computer se pokreće u SPACE-u, našoj sandbox platformi, koja prema agentu tretira kao prema nepouzdanom po default-u. Svaki zadatak dobija sopstveni mikroVM, akreditivi ostaju van sandbox-a i ubacuju se samo kada je to potrebno, odlazni saobraćaj se kontroliše izvan klijenta, a snimci nam omogućavaju da vratimo destruktivne promjene (Pravljenje SPACE-a). Poslovni korisnici takođe mogu donijeti sopstvene ključeve za enkripciju. Opoziv ključa čini zaštićene podatke nečitljivim, a agent ne može da poništi tu odluku.

Takođe testiramo da li ovi slojevi drže. U radu Escaping SPACE: Part I, dali smo devet graničnih modela root pristupa unutar SPACE sandbox-a i zamolili ih da se probiju. Nijedan nije pobjegao iz VM-a, ali su neki pronašli načine da zaobiđu mrežnu politiku kada je bio dozvoljen djelimičan mrežni pristup. Popravili smo te nedostatke, potvrdili ispravke u ponovnom testu i otkrili slične slabosti koje smo pronašli na osam od 10 drugih sandbox platformi njihovim proizvođačima.

U pretraživaču: Comet i BrowseSafe

Comet koristi slojevitu odbranu od prompt injekcija od lansiranja: klasifikatori provjeravaju preuzeti sadržaj, struktuirani promptovi ga označavaju kao nepouzdanog, osetljive radnje kao što je slanje e-pošte ili postavljanje narudžbine zahtijevaju potvrdu korisnika, a korisnici bivaju obaviješteni kada je nešto blokirano (Odbrana od prompt injekcija za Comet). BrowseSafe, model detekcije otvorenog koda iza prvog sloja, nadmašuje granične modele na našoj BrowseSafe-Bench referentnoj vrijednosti, ali ista referentna vrijednost pokazuje da nijedan detektor nije bezbjedan od grešaka, zbog čega detekcija nikada nije jedini sloj (Istraživanje BrowseSafe). Computer nasljeđuje ove odbrane koje je revidirao Trail of Bits (Perplexity).

Na uređaju: Portable Computer

Portable Computer je agent prvenstveno fokusiran na lokalni rad: model, harness, razgovor i putanja ostaju na mašini korisnika po default-u. Deterministički orkestrator, koji je kod harness-a, a ne LLM, pokreće petlju i sprovodi politiku. Model predlaže radnje, a odobreni pozivi alata se pokreću u sandbox-u na nivou OS-a koji ograničava procese, putanje datoteka i pristup mreži. Sandbox je uvijek uključen i ne uspijeva na bezbjedan način: ako nije dostupan, harness se onemogućava umjesto da pokreće komande sa dozvolama korisnika. Radnje koje prelaze granicu uređaja, kao što su pretraga veba, konektori i eskalacija na snažniji model savjetnika u oblaku, dešavaju se samo kada ih korisnik omogući i odobri. Prije poziva savjetnika, klasifikator PII označava osjetljive informacije i korisnik vidi šta bi bilo poslato. Savjetnik prima samo taj odobreni kontekst i vraća tekstualna uputstva, bez pristupa datotekama ili alatima uređaja.

Na krajnjoj tački: Numbat

Agenti za kodiranje na laptop računarima programera rade satima sa pristupom izvornom kodu, akreditivima i produkcionim sistemima. Numbat, naš paket bezbjednosnih alata za agente otvorenog koda, dodaje nezavisan sloj koji se nalazi van bilo kog pojedinačnog agenta. Radi sa harness-ima kao što su Claude Code, Codex, OpenCode i Pi, blokira opasne radnje prije nego što se pokrenu, označava sumnjive sekvence u više koraka kao što je čitanje tajne, a zatim slanje podataka i čuva vremenske linije sesije radi istrage. Numbat radi na hiljadama Perplexity krajnjih tačaka zajedno sa Bumblebee, našim skenerom lanca snabdijevanja otvorenog koda. Computer redovno pregledava njihove nalaze i predlaže poboljšana pravila detekcije, a čovjek odobrava svaku promjenu prije nego što bude isporučena.

Posao za cijelu industriju

Kako AI agenti postaju sposobniji i šire korišćeni, bezbjednosni inženjering mora ostati centralni dio njihovog razvoja i primjene. Istraživači i inženjeri mogu se osloniti na uspostavljene principe, koristiti nalaze iz stvarnog svijeta za pročišćavanje odbrane i testirati zaštitne mjere u okruženjima u kojima agenti rade. Bezbjednost je tekuća inženjerska disciplina koja se razvija zajedno sa tehnologijom.

Bezbjednosni inženjering za agente je posao za cijelu industriju. Nijedna pojedinačna kompanija ne kontroliše cijeli stog na kojem agent radi. Programeri modela, graditelji harness-a, dobavljači sandbox-a i okruženja za izvršavanje, dobavljači u oblaku i hardvera i timovi za bezbjednost preduzeća posjeduju po jedan sloj. Bezbjednost cjelina zavisi od toga da li svaki sloj drži kada drugi sklizne. Zbog toga gradimo zaštitne mjere koje funkcionišu kroz harness-e agenata i činimo naše alate otvorenim kodom. To je takođe razlog zašto otkrivamo slabosti koje nalazimo na drugim platformama i učestvujemo u naporima kao što je Open Secure AI Alliance.

Da bi sarađivao sa širom zajednicom na ovim izazovima, Perplexity je u martu 2026. godine pokrenuo Secure Intelligence Institute radi proučavanja bezbjednosti, pouzdanosti i praktične odbrane vrhunskih AI sistema (Perplexity). Perplexity trenutno sarađuje i/ili finansira akademske istraživače na univerzitetima Stanford, CMU, Duke, Columbia, Ohio State i University of Virginia. Takođe sprovodimo interne istraživačke aktivnosti kako bismo unaprijedili granice istraživanja bezbjednosti agenata, preveli taj napredak u konkretna poboljšanja u Perplexity sistemima i podijelili znanje i resurse koji pomažu u jačanju šireg AI ekosistema. Bezbjedniji agenti su nešto što industrija može da isplanira. Namjeravamo da nastavimo da radimo svoj dio posla i pozivamo druge da grade sa nama.