Kako inženjerski osmišljavamo sigurnije agente

Za izgradnju sigurnijih AI agenata moramo dizajnirati i za njihove sposobnosti i za njihove kvarove. Čak i kada obavljaju legitimne zadatke i bez ikakvih zlonamjernih uputa, agenti mogu prijeći sigurnosne granice dok pokušavaju svladati prepreke.

Vjerujemo da je ovo problem sigurnosnog inženjeringa, i industrija bi se trebala nositi s njim onako kako se nosila s internetskim crvima s početka 2000-ih. Sustavi koji okružuju agente moraju ograničiti ono što agenti mogu pristupiti, otkriti neželjeno ponašanje i sadržavati kvarove kada se dogode.

U Perperplexityju aktivno surađujemo s istraživačima i praktičarima na unapređenju sigurnosnog inženjeringa za AI agente, te primjenjujemo više slojeva obrane na našim modelima, harness okruženjima agenata i infrastrukturi kako sigurnost ne bi ovisila ni o jednoj pojedinačnoj mjeri zaštite.

Ponašanje AI agenata izvan kontrole

U srpnju su AI agenti provalili u produkcijsku infrastrukturu platforme Hugging Face otvorenog koda za umjetnu inteligenciju. Tijekom internih ocjena kibernetičke sigurnosti i ciklusa obuke, modeli OpenAI-ja otkrili su način kako iskoristiti upravitelja repozitorija Artifactory za uspostavu oglasne ploče za komunikaciju jednih s drugima, što im je omogućilo organiziranje u rojeve. Kasnije su agenti koji nisu mogli napredovati u zadacima u referentnoj vrijednosti kibernetičke sigurnosti angažirali druge agente da pomognu. Ti su agenti pobjegli iz svog okruženja za evaluaciju i dosegnuli internet. Također su otkrili načine varanja obrnutim inženjeringom odgovora na zadatke referentne vrijednosti, ali su mislili da će sustav ocjenjivanja otkriti varanje. Kako bi bolje razumjeli kako je evaluacija referentne vrijednosti funkcionirala kako bi pronašli načine da izbjegnu otkrivanje kao varanje, na kraju su kompromitirali sustave Hugging Face (Hugging Face; OpenAI).

Incident je jasan primjer načina kvara koji smo opisali kada smo otvorili kod Numbata u srpnju: slučajni kvarovi, termin koji su skovali sigurnosni istraživači s Cornell Tech-a (arXiv). Agent koji teži legitimnom cilju naiđe na trenje, kao što je nedostajuća datoteka, neuspjeli API poziv, istekla vjerodajnica ili odbijanje dozvole, i kreće u potragu za zaobilaznim rješenjem. Time može prijeći sigurnosne granice kroz izviđanje, eskalaciju povlastica, otkrivanje tajni ili eksfiltraciju podataka. Sam agent zapravo postaje protivnik, iako nisu uključeni nikakav zlonamjerni upit ni vanjski napadač.

Hugging Face nije bio izoliran slučaj. Posljednjih tjedana otkrivena su i prijavljena dodatna ponašanja izvan kontrole agenata. Dana 27. i 28. svibnja agenti koji su pokušavali prikupiti podatke Sveučilišta u Iowa s platforme Data USA, koja nudi otvoreni pristup podacima američke vlade, naišli su na pogreške uzrokovane neispravno oblikovanim upitom. Odgovorili su sondiranjem, uključujući SQL injekciju, skriptiranje na više lokacija (XSS), injekciju predloška, proboj putanje i injekciju Naredbi. Ta je aktivnost naknadno povezana s OpenAI-jem (SecurityWeek). Dana 20. i 21. lipnja agenti OpenAI-ja koji su pokušavali dohvatiti vladine troškove po osobi za kategoriju lijekova u lokalnim područjima u Victoriji od Australskog instituta za zdravlje i socijalnu skrb (AIHW) bili su spriječeni u preuzimanju datoteke. Kao odgovor, agenti su preuzeli datoteku, koja je već bila javna, s AIHW-ovog predprodukcijskog poslužitelja, pritom zaobilazeći zaštitu web-mjesta protiv botova (SecurityWeek).

Ovaj uzorak nije ograničen na samo jedan laboratorij. Tijekom testova kibernetičke sigurnosti, modeli Anthropic probili su tri tvrtke nakon što im je pogreškom omogućen otvoren pristup internetu, Googleov model Gemini pogodio je pristupne podatke za tri web-mjesta, a Meta model iskoristio je uslugu treće strane (Reuters).

Učenje iz povijesti: Era internetskih crva

Ovi incidenti podsjećaju na eru internetskih crva otprije otprilike četvrt stoljeća. Početkom 2000-ih internet je rastao mnogo brže od sigurnosnih praksi oko njega. Vidjeli smo val virusa i crva, s posljedicama daleko ozbiljnijim od onoga što danas vidimo s AI agentima u stanju kvara.

Dana 4. svibnja 2000. ljudi su počeli primati e-poštu od poznatih pošiljatelja s predmetom "ILOVEYOU". Otvaranje privitka u e-pošti rezultiralo je pokretanjem skripte koja je poslala kopiju same sebe svima u adresaru Outlooka žrtve. Do 18:00 sati toga dana, CERT Coordination Center zaprimio je izvješća koja uključuju više od 420.000 internetskih hostova (Izvješće US GAO). Navodno je virus prodro u najmanje 14 saveznih agencija, uključujući Ministarstvo obrane, CIA-u, NASA-u te Zastupnički dom i Senat (Izvješće US GAO). Također je ugasio poslužitelje e-pošte u Pentagonu i britanskom parlamentu (Wired). Div osiguranja Lloyd's of London dao je ranu procjenu da će virus koštati preko 15 milijardi dolara štete i izgubljene produktivnosti (Saslušanje odbora Predstavničkog doma SAD-a). Computer Economics kasnije je procijenio 8,75 milijardi dolara štete diljem svijeta (Information Week).

Zatim su uslijedili crvi kojima nije bio potreban ljudski klik. Dana 19. srpnja 2001. crv Code-Red zarazio je više od 359.000 računala u manje od 14 sati (CAIDA). Dana 25. siječnja 2003., SQL Slammer udvostručio se u veličini svakih 8,5 sekundi i zarazio više od 90% internetskih hostova ranjivih na njega unutar 10 minuta (CAIDA), iskorištavajući rupu za koju je Microsoft izdao zakrpu šest mjeseci ranije (CNET). U kolovozu 2003. crv Blaster i crv e-pošte Sobig pojavili su se s razmakom od otprilike tjedan dana (Microsoft, F-Secure).

U to vrijeme bilo je razumno pitati se mogu li se umrežena računala uopće učiniti sigurnima. Šest dana nakon virusa ILOVEYOU, potodbor Zastupničkog doma SAD-a održao je saslušanje o njemu. Mnogi stručnjaci za sigurnost pozvali su na donošenje zakona koji bi softverske tvrtke učinili odgovornima za štetu uzrokovanu pogreškama u njihovim proizvodima. Washington je krenuo drugim putem. Nacionalna strategija za osiguranje kiberprostora navela je da “savezna regulativa neće postati primarno sredstvo osiguranja kiberprostora.” Upozorila je da bi široki mandati mogli stvoriti “pristup kibernetičkoj sigurnosti s najmanjim zajedničkim nazivnikom” (CISA).

Industrija je odgovorila inženjeringom. Jedanaest dana nakon ILOVEYOU-a, Microsoft je najavio ažuriranje Outlooka koje je blokiralo izvršne privitke. U siječnju 2002. tvrtka je sigurnost stavila na prvo mjesto (Seattle Times). Automatsko zakrpavanje, sigurne zadane postavke, programi nagrada za bugove i koordinirano objavljivanje postali su standardna praksa. Godine 2008. Chrome je počeo izvoditi web-sadržaj u sandboksu koji "ograničava što napadač može učiniti nakon iskorištavanja pogreške" (Chromium Blog). Enkripcija, nekoć iznimka, postala je zadana postavka. Sigurnosne tehnologije, uključujući višefaktorsku autentifikaciju, vatrozide, zero trust i upravljanje sigurnosnim informacijama i događajima (SIEM), postale su naširoko korištene. Predviđa se da će organizacije diljem svijeta 2026. godine potrošiti oko 240 milijardi dolara na informacijsku sigurnost (Gartner). Crvi nikada nisu potpuno nestali, ali era rutinskih internetskih izbijanja izblijedjela je. Istodobno, internet, uglavnom neopterećen regulativom, postao je snažan motor inovacija i gospodarskog rasta tijekom sljedeća dva desetljeća.

Sigurnosni inženjering za AI agente

Nedavni incidenti potaknuli su legitimna pitanja o upravljanju agentima. Postojeći sigurnosni mehanizmi razvijeni su za računalna okruženja prije pojave agenata koja su se odlikovala usko definiranim i uglavnom determinističkim ponašanjem softvera. Mehanizmi kontrole pristupa, posebno, prvenstveno su dizajnirani oko ljudskih korisnika i često im dodjeljuju široke ovlasti koje su, u načelu, dovoljne da prouzrokuju značajnu štetu.

Ovaj dizajn počiva na nekoliko pretpostavki: većina korisnika djeluje u dobroj vjeri; zlonamjerni akteri mogu se odvratiti revizijom i posljedicama u stvarnom svijetu; a ljudi poduzimaju radnje, bilo točne ili pogrešne, relativno ograničenom brzinom. Primjena ovih sigurnosnih mehanizama na agente zahtijeva uzimanje u obzir razlika između ljudskog ponašanja i ponašanja agenata. Kao što smo napisali u našem odgovoru na NIST-ov zahtjev za informacijama o sigurnosti AI agenata, AI agenti izazivaju ove pretpostavke. Oni mogu ostvarivati ovlasti i poduzimati radnje brzinom stroja, nisu sami po sebi odvratni od posljedica u stvarnom svijetu i mogu poduzeti radnje koje su tehnički dopuštene, ali koje bi tipičan ljudski korisnik rijetko poduzeo.

Odgovaranje na ta pitanja zahtijeva sigurnosni inženjering. Znamo sigurnosne principe za izgradnju sustava koji drže rizike pod kontrolom kada se pojedinačne komponente ponašaju nepropisno. Ali moramo osigurati da se ti principi primjenjuju prilikom inženjeringa okruženja za obuku, testiranje i korištenje AI agenata.

Princip sigurnosti dubinske obrane

Vjerojatno najvažniji sigurnosni princip koji treba primijeniti za osiguravanje AI agenata je dubinska obrana, koja se zalaže za slojevitu sigurnosnu arhitekturu, gdje se višestruke, raznolike i redundantne obrambene mjere koriste za zaštitu resursa sustava. Nijedna mjera zaštite nije savršena. Ljudi mogu nasjesti na napade socijalnog inženjeringa i otkriti svoje vjerodajnice za prijavu, softverske ranjivosti nultog dana se otkrivaju i iskorištavaju, a detekcija upada propušta nove varijante napada. Dubinska obrana to prihvaća i slaže nekoliko neovisnih slojeva obrane. Ako se jedan obrambeni sloj zaobiđe, drugi slojevi ostaju na mjestu kako bi suzbili ili otkrili upad.

Incident s platformom Hugging Face pokazuje zašto je dubinska obrana važna. Retrospektiva tvrtke OpenAI izvještava da automatske mjere zaštite korištene u njezinim produkcijskim sustavima, uključujući harness okruženja, modele automatskog pregleda i klasifikatore sigurnosti, nisu bile prisutne u okruženju za procjenu. Da je njezino trenutno primijenjeno praćenje lanca misli radilo na tim procjenama, uočilo bi početnu aktivnost i obavijestilo sigurnosni tim više od dan prije proboja (OpenAI). Slojevi koji su mogli otkriti problem su postojali. Jednostavno nisu svi bili na svojim mjestima u isto vrijeme.

Osiguravanje AI agenata zahtijeva poboljšanje i sigurnosti i zaštite AI modela i sustava koji ih okružuju. Rad na sloju modela je važan i isplati se. Rani LLM-ovi bili su lako manipulirani ubačenim uputama, dok su današnji modeli znatno bolji u njihovom prepoznavanju i odbijanju. Programeri modela također obučavaju modele za sigurnije ponašanje i, kako opisuje retrospektiva OpenAI-ja, prate tragove rasuđivanja u potrazi za znakovima problematičnog ponašanja. Ali obrana na razini modela samo je dio rješenja. Sustavi u kojima se agenti obučavaju, testiraju i primjenjuju također moraju biti inženjerski osmišljeni za sigurnost i zadržavanje. Sigurnost na razini modela smanjuje vjerojatnost da će agent zalutati; sigurnost na razini sustava ograničava štetu kada se to dogodi.

Povećaj

Pravila dizajna za redundantne mjere zaštite

Dubinska obrana zahtijeva redundantne mjere zaštite. Za agente preporučujemo primjenu s tri pravila dizajna:

1. Neovisnost. Svaki sloj trebao bi otkazati iz neovisnih razloga. Dvije kontrole koje dijele istu pretpostavku mogu biti svladane istim napadom. Monitori i točke provedbe trebaju se nalaziti izvan dohvata agenta.
2. Provedba ispod agenta. Barem jedan sloj mora biti deterministički: konvencionalni, provjerljivi kod koji blokira zabranjene radnje bez obzira na ono što model proizvodi. Mjera zaštite koju agent može odbiti pozvati ili ponovno konfigurirati nije mjera zaštite.
3. Signali mogu samo smanjiti ovlasti. Detekcija bi trebala pokrenuti odgovore koji sužavaju ono što agent može učiniti, kao što je pauziranje, opoziv vjerodajnica, prekid mrežnog pristupa ili prekid sesije. Nijedan signal rizika nikada ne smije odobriti dodatni pristup.

Te principe dijelimo s našim partnerima u Open Secure AI Alliance, uključujući NVIDIA-u, koja je ustvrdila da harness usmjerava ono što agent pokušava dok infrastruktura kontrolira ono što on može učiniti (NVIDIA).

Dubinska obrana u Perplexityjevim proizvodima

Perplexity pokreće agente u četiri vrste okruženja: u oblaku putem naše platforme za agente Computer, u pregledniku putem Comet, na korisničkim uređajima putem Portable Computer i na prijenosnim računalima zaposlenika, gdje naši inženjeri koriste kodirajuće agente trećih strana. Svako okruženje ima svoje rizike i svako dobiva nekoliko slojeva zaštite.

U oblaku: Računalo i SPACE

Svaki računalni zadatak se izvodi u SPACE-u, našoj platformi sandboksa, koja prema zadanim postavkama tretira agenta kao nepouzdanog. Svaki zadatak dobiva vlastiti mikroVM, vjerodajnice ostaju izvan sandboksa i umeću se samo kada je to potrebno, odlazni promet se kontrolira izvan gosta, a snimke nam omogućuju vraćanje destruktivnih promjena (Izrada SPACE-a). Klijenti iz poslovnog sektora također mogu donijeti vlastite ključeve za enkripciju. Opoziv ključa čini zaštićene podatke nečitljivima, a agent ne može poništiti tu odluku.

Također testiramo drže li ti slojevi. U članku Bijeg iz SPACE-a: 1. dio dali smo devet graničnih modela root pristup unutar SPACE sandboksa i zatražili od njih da pobjegnu. Nitko nije pobjegao iz VM-a, ali su neki pronašli načine kako zaobići mrežna pravila kada je bio dopušten djelomičan mrežni pristup. Ispravili smo te nedostatke, potvrdili ispravke u ponovnom testiranju i otkrili slične slabosti koje smo pronašli na osam od 10 drugih platformi sandboksa njihovim dobavljačima.

U pregledniku: Comet i BrowseSafe

Comet koristi slojevitu obranu od ubacivanja upita od lansiranja: klasifikatori filtriraju dohvaćeni sadržaj, strukturirani upiti ga označavaju kao nepouzdanog, osjetljive radnje poput slanja e-pošte ili naručivanja zahtijevaju potvrdu korisnika, a korisnici su obaviješteni kada je nešto blokirano (Cometove obrane od ubacivanja upita). BrowseSafe, model detekcije otvorenog koda iza prvog sloja, nadmašuje granične modele na našoj referentnoj vrijednosti BrowseSafe-Bench, iako ista referentna vrijednost pokazuje da nijedan detektor nije apsolutno siguran, zbog čega detekcija nikada nije jedini sloj (BrowseSafe istraživanje). Računalo nasljeđuje ove obrane, koje su revidirane od strane Trail of Bits (Perplexity).

Na uređaju: Prijenosno računalo

Portable Computer je lokalni agent: model, harness, razgovor i putanja ostaju na korisnikovom stroju prema zadanim postavkama. Deterministički orkestrator, koji je kod harness okruženja, a ne LLM, upravlja petljom i provodi politiku. Model predlaže radnje, a odobreni pozivi alata se izvode u sandboksu na razini OS-a koji ograničava procese, staze datoteka i mrežni pristup. Sandboks je uvijek uključen i ima mehanizam fail-closed: ako nije dostupan, harness onemogućuje samog sebe umjesto da pokreće naredbe s korisničkim ovlastima. Radnje koje prelaze granicu uređaja, poput pretraživanja weba, konektora i eskalacije na jači model savjetnika u oblaku, događaju se samo kada ih korisnik omogući i odobri. Prije poziva savjetnika, PII klasifikator označava osjetljive informacije i korisnik vidi što bi bilo poslano. Savjetnik prima samo taj odobreni kontekst i vraća tekstualne smjernice, bez pristupa datotekama ili alatima uređaja.

Na krajnjoj točki: Numbat

Agenti za kodiranje na prijenosnim računalima razvojnih inženjera rade satima s pristupom izvornom kodu, vjerodajnicama i produkcijskim sustavima. Numbat, naš sigurnosni paket za agente otvorenog koda, dodaje neovisni sloj koji se nalazi izvan bilo kojeg pojedinačnog agenta. Radi s harness okruženjima kao što su Claude Code, Codex, OpenCode i Pi, blokira opasne radnje prije nego što se pokrenu, označava sumnjive sekvence u više koraka kao što je čitanje tajne i zatim slanje podataka van te čuva vremenske crte sesije za istragu. Numbat radi na tisućama Perplexityjevih krajnjih točaka uz Bumblebee, naš skener opskrbnog lanca otvorenog koda. Računalo redovito pregledava njihove nalaze i predlaže poboljšana pravila detekcije, a čovjek odobrava svaku promjenu prije nego što se isporuči.

Posao za cijelu industriju

Kako AI agenti postaju sposobniji i šire korišteni, sigurnosni inženjering mora ostati središnji dio njihovog razvoja i primjene. Istraživači i inženjeri mogu se nadovezati na utvrđene principe, koristiti nalaze iz stvarnog svijeta za poboljšanje obrane i testirati mjere zaštite u okruženjima u kojima agenti djeluju. Sigurnost je stalna inženjerska disciplina koja se razvija zajedno s tehnologijom.

Sigurnosni inženjering za agente posao je za cijelu industriju. Nijedna tvrtka ne kontrolira cijeli stog na kojem agent radi. Programeri modela, graditelji harness okruženja, davatelji sandboksa i okruženja za izvođenje, dobavljači u oblaku i hardvera te timovi za sigurnost poduzeća posjeduju svaki po jedan sloj. Sigurnost cjeline ovisi o tome hoće li svaki sloj držati kada drugi popusti. Zato gradimo mjere zaštite koje rade na različitim harness okruženjima agenata i činimo naše alate otvoreni kodom. To je također razlog zašto otkrivamo slabosti koje nalazimo na drugim platformama i sudjelujemo u naporima kao što je Open Secure AI Alliance.

Kako bi surađivao sa šira zajednica na ovim izazovima, Perplexity je u ožujku 2026. pokrenuo Secure Intelligence Institute radi proučavanja sigurnosti, pouzdanosti i praktične obrane vodećih AI sustava (Perplexity). Perplexity trenutno surađuje i/ili financira akademske istraživače na Stanfordu, CMU-u, Dukeu, Columbiji, Ohio Stateu i Sveučilištu u Virginiji. Također provodimo intramuralna istraživanja kako bismo pomaknuli granice istraživanja sigurnosti agenata, preveli ta dostignuća u konkretna poboljšanja u Perplexityjevim sustavima te podijelili znanje i resurse koji pomažu u jačanju šireg AI ekosustava. Sigurniji agenti nešto su što industrija može inženjerski oblikovati. Namjeravamo nastaviti raditi svoj dio posla i pozivamo druge da grade s nama.