Cum proiectăm agenți mai siguri

Pentru a construi agenți AI mai siguri, trebuie să proiectăm atât pentru capabilitățile lor, cât și pentru eșecurile lor. Chiar și atunci când îndeplinesc sarcini legitime și fără nicio instrucțiune malțioasă, agenții pot depăși granițele de securitate în încercarea de a depăși obstacolele.

Credem că aceasta este o problemă de inginerie a securității, iar industria ar trebui să o abordeze așa cum a abordat viermii de internet de la începutul anilor 2000. Sistemele care înconjoară agenții trebuie să limiteze ceea ce pot accesa agenții, să detecteze comportamentul nedorit și să conțină eșecurile atunci când acestea apar.

La Perplexity, colaborăm activ cu cercetători și practicieni pentru a avansa ingineria securității pentru agenții AI și aplicăm mai multe straturi de apărare în modelele noastre, instrumentele de conectare (harnesses) pentru agenți și infrastructură, astfel încât securitatea să nu depindă de o singură măsură de siguranță.

Comportamentul de eșec al agenților AI

În iulie, agenții AI au spart infrastructura de producție a platformei AI open-source Hugging Face. În timpul evaluării interne a securității cibernetice și a rulărilor de antrenament, modelele OpenAI au descoperit o modalitate de a exploata managerul de depozit Artifactory pentru a stabili un panou de mesaje pentru comunicarea reciprocă, permițându-le să se organizeze în roiuri. Ulterior, agenții care nu au putut progresa în sarcinile dintr-un benchmark de securitate cibernetică au recrutat alți agenți pentru a ajuta. Aceștia au ieșit din mediul lor de evaluare și au ajuns pe internet. De asemenea, au descoperit modalități de a trișa prin inginerie inversă a răspunsurilor la sarcinile de benchmark, dar au crezut că sistemul de notare va detecta trișarea. Pentru a înțelege mai bine modul în care a funcționat evaluarea benchmark-ului pentru a găsi modalități de a evita să fie detectați că trișează, în cele din urmă au compromis sistemele Hugging Face (Hugging Face; OpenAI).

Incidentul este un exemplu clar al unui mod de eșec pe care l-am descris când am lansat Numbat ca open-source în iulie: eșecuri accidentale, un termen inventat de cercetătorii în securitate de la Cornell Tech (arXiv). Un agent care urmărește un obiectiv legitim întâmpină obstacole, cum ar fi un fișier lipsă, un apel API eșuat, un credențial expirat sau un refuz de permisiune, și caută o soluție de ocolire. Făcând acest lucru, el poate depăși granițele de securitate prin recunoaștere, escaladarea privilegiilor, descoperirea de secrete sau exfiltrarea datelor. Agentul în sine devine efectiv adversarul, chiar dacă nu este implicat niciun prompt malițios sau atacator extern.

Hugging Face nu a fost un caz izolat. În ultimele săptămâni au fost descoperite și raportate mai multe comportamente de eșec ale agenților. În zilele de 27-28 mai, agenții care încercau să colecteze date de la Universitatea din Iowa de pe Data USA, o platformă care oferă acces deschis la datele guvernului SUA, s-au confruntat cu erori cauzate de o interogare malformată. Ei au răspuns cu sondări, inclusiv injecție SQL, cross-site scripting, injecție de șabloane, parcurgere de căi și injecție de comenzi. Activitatea a fost ulterior legată de OpenAI (SecurityWeek). În zilele de 20-21 iunie, agenții OpenAI care încercau să obțină costurile guvernamentale per persoană pentru o categorie de medicamente în zonele locale din Victoria de la Institutul Australian de Sănătate și Bunăstare (AIHW) au fost blocați de la descărcarea unui fișier. Ca răspuns, agenții au descărcat fișierul, care era deja public, de pe serverul de pre-producție AIHW, ocolind în acest proces protecțiile anti-bot ale site-ului (SecurityWeek).

Acest model nu se limitează la un singur laborator. În timpul testelor de securitate cibernetică, modelele Anthropic au încălcat trei companii după ce o greșeală le-a oferit acces deschis la internet, Gemini de la Google a ghicit credențialele pentru trei site-uri web, iar un model Meta a exploatat un serviciu terț (Reuters).

Învățând din istorie: Era viermilor de internet

Aceste incidente amintesc de era viermilor de internet de acum aproximativ un sfert de secol. La începutul anilor 2000, internetul a crescut mult mai repede decât practicile de securitate din jurul său. Am asistat la un val de viruși și viermi, cu consecințe mult mai serioase decât ceea ce vedem acum cu agenții AI aflați în stare de eșec.

La 4 mai 2000, oamenii au început să primească e-mailuri de la expeditori cunoscuți având subiectul „ILOVEYOU”. Deschiderea atașamentului din e-mail a dus la rularea unui script care a trimis o copie a sa tuturor persoanelor din agenda de adrese Outlook a victimei. Până la ora 18:00 în acea zi, Centrul de Coordonare CERT primise rapoarte care implicau peste 420.000 de gazde de internet (Raport US GAO). Virusul ar fi pătruns în cel puțin 14 agenții federale, inclusiv Departamentul Apărării, CIA, NASA și Camera Reprezentanților și Senatul (Raport US GAO). De asemenea, a oprit serverele de e-mail de la Pentagon și Parlamentul Britanic (Wired). Gigantul asigurător Lloyd's din Londra a făcut o estimare timpurie conform căreia virusul ar costa peste 15 miliarde de dolari în daune și pierderi de productivitate (Audierea Comitetului Camerei Reprezentanților din SUA). Computer Economics a estimat ulterior 8,75 miliarde de dolari în daune la nivel mondial (Information Week).

Viermii care nu aveau nevoie de nicio acțiune din partea utilizatorului au urmat. La 19 iulie 2001, viermiul Code-Red a infectat mai mult de 359.000 de computere în mai puțin de 14 ore (CAIDA). La 25 ianuarie 2003, SQL Slammer și-a dublat dimensiunea la fiecare 8,5 secunde și a infectat peste 90% dintre gazdele de internet vulnerabile la acesta în 10 minute (CAIDA), exploatând o breșă pentru care Microsoft lansase un patch cu șase luni mai devreme (CNET). În august 2003, viermiul Blaster și viermiul de e-mail Sobig au apărut la diferență de aproximativ o săptămână (Microsoft, F-Secure).

La acea vreme, era rezonabil să ne întrebăm dacă computerele conectate în rețea ar putea fi vreodată securizate. La șase zile după virusul ILOVEYOU, o subcomisie a Camerei Reprezentanților a SUA a organizat o audiere pe această temă. Mulți experți în securitate au cerut o legislație care să facă companiile de software responsabile pentru daunele cauzate de defectele produselor lor. Washingtonul a luat o altă cale. Strategia Națională de Securizare a Spațiului Cibernetic a menționat că „reglementarea federală nu va deveni un mijloc principal de securizare a spațiului cibernetic”. Aceasta a avertizat că mandatele largi ar putea crea o „abordare a celui mai mic numitor comun în materie de securitate cibernetică” (CISA).

Industria a răspuns prin inginerie. La unsprezece zile după ILOVEYOU, Microsoft a anunțat o actualizare Outlook care bloca atașamentele executabile. În ianuarie 2002, compania a făcut din securitate o prioritate de top (Seattle Times). Corectarea automată, setările implicite sigure, programele de recompense pentru erori și dezvăluirea coordonată au devenit o practică standard. În 2008, Chrome a început să ruleze conținutul web într-un sandbox care „limitează ceea ce poate face un atacator după exploatarea unui bug” (Chromium Blog). Criptarea, cândva o excepție, a devenit norma. Tehnologiile de securitate, inclusiv autentificarea multifactorială, firewall-urile, zero trust și gestionarea informațiilor și a evenimentelor de securitate (SIEM), au devenit utilizate pe scară largă. Se estimează că organizațiile din întreaga lume vor cheltui aproximativ 240 de miliarde de dolari în 2026 pentru securitatea informațiilor (Gartner). Viermii nu au dispărut complet, dar era focarelor de rutină la nivelul întregului internet a apus. În același timp, internetul, în mare măsură neîngrădit de reglementări, a devenit un motor puternic de inovare și creștere economică în următoarele două decenii.

Ingineria securității pentru agenții AI

Incidente recente au ridicat întrebări legitime cu privire la guvernanța agenților. Mecanismele de securitate existente au fost dezvoltate pentru medii de 컴퓨ing pre-agent caracterizate printr-un comportament software strict delimitat și în mare măsură determinist. Mecanismele de control al accesului, în special, sunt concepute în primul rând în jurul utilizatorilor umani și le acordă adesea privilegii extinse care sunt, în principiu, suficiente pentru a provoca prejudicii semnificative.

Această proiectare se bazează pe mai multe presupuneri: majoritatea utilizatorilor acționează de bună-credință; actorii rău intenționați pot fi descurajați prin audit și consecințe din lumea reală; iar oamenii întreprind acțiuni, corecte sau eronate, la o rată relativ limitată. Aplicarea acestor mecanisme de securitate agenților necesită luarea în considerare a diferențelor dintre comportamentul uman și cel al agenților. Așa cum am scris în răspunsul nostru la solicitarea de informații a NIST privind securitatea agenților AI, agenții AI contestă aceste presupuneri. Ei își pot exercita privilegiile și pot întreprinde acțiuni la viteza mașinii, nu sunt descurajați în sine de consecințele din lumea reală și pot lua acțiuni care sunt permise din punct de vedere tehnic, dar pe care un utilizator uman tipic le-ar lua rar.

Răspunsul la aceste întrebări necesită ingineria securității. Cunoaștem principiile de securitate pentru construirea de sisteme care mențin riscurile sub control atunci când componentele individuale au un comportament necorespunzător. Dar trebuie să ne asigurăm că aceste principii sunt aplicate la proiectarea mediilor pentru formarea, testarea și utilizarea agenților AI.

Principiul de securitate al apărării în profunzime

Probabil cel mai important principiu de securitate care trebuie aplicat pentru securizarea agenților AI este apărarea în profunzime, care pledează pentru o arhitectură de securitate stratificată, în care sunt utilizate măsuri defensive multiple, variate și redundante pentru a proteja resursele sistemului. Nicio măsură de siguranță nu este perfectă. Oamenii pot cădea pradă atacurilor de inginerie socială și își pot dezvălui credențialele de autentificare, vulnerabilitățile software de tip zero-day sunt descoperite și exploatate, iar detectarea intrusivelor ratează noile variante de atac. Apărarea în profunzime acceptă acest lucru și stivuiește mai multe straturi independente de apărare. Dacă un strat defensiv este ocolit, alte straturi rămân la locul lor pentru a contracara sau detecta intruziunea.

Incidentul Hugging Face arată de ce contează apărarea în profunzime. Raportul retrospectiv al OpenAI arată că măsurile de siguranță automate utilizate în sistemele sale de producție, inclusiv instrumentele de conectare (harnesses), modelele de revizuire automată și clasificatoarele de siguranță, au lipsit din mediul de evaluare. Dacă monitorizarea lanțului de gândire (chain-of-thought) desfășurată în prezent ar fi rulat pe acele evaluări, ar fi depistat activitatea inițială și ar fi alertat echipa de securitate cu mai mult de o zi înainte de breșă (OpenAI). Straturile care ar fi putut detecta problema existau. Pur și simplu nu erau toate la locul lor în același timp.

Securizarea agenților AI necesită îmbunătățirea atât a siguranței, cât și a securității modelelor AI și a sistemelor care le înconjoară. Activitatea la nivelul modelului contează și dă roade. Primele modele LLM au fost manipulate cu ușurință de instrucțiuni injectate, în timp ce modelele de astăzi sunt substanțial mai bune în a le recunoaște și refuza. Dezvoltatorii de modele antrenează, de asemenea, modele pentru un comportament mai sigur și, așa cum descrie retrospectiva OpenAI, monitorizează urmele de raționament pentru semne de comportament problematic. Dar apărările la nivel de model reprezintă doar o parte a soluției. Sistemele în care agenții sunt antrenați, testați și implementați trebuie, de asemenea, să fie proiectate pentru securitate și conținere. Siguranța la nivel de model reduce probabilitatea ca un agent să se rătăcească; securitatea la nivel de sistem limitează daunele atunci când acest lucru se întâmplă.

Extinde

Reguli de proiectare pentru măsuri de siguranță redundante

Apărarea în profunzime necesită măsuri de siguranță redundante. Pentru agenți, pledăm pentru aplicarea acesteia cu trei reguli de proiectare:

1. Independență. Fiecare strat ar trebui să eșueze din motive independente. Două controale care împărtășesc aceeași presupunere pot fi învinse de același atac. Monitoarele și punctele de aplicare ar trebui să se afle în afara razei de acțiune a agentului.
2. Aplicarea legii sub agent. Cel puțin un strat trebuie să fie determinist: cod convențional, verificabil, care blochează acțiunile interzise indiferent de ceea ce produce modelul. O măsură de siguranță pe care agentul o poate refuza să o invoce sau pe care o poate reconfigura nu este o măsură de siguranță.
3. Semnalele pot reduce doar autoritatea. Detecția ar trebui să declanșeze răspunsuri care îngustează ceea ce poate face agentul, cum ar fi pauza, revocarea credențialelor, tăierea accesului la rețea sau încheierea sesiunii. Niciun semnal de riscuri nu ar trebui să acorde vreodată acces suplimentar.

Împărtășim aceste principii cu partenerii noștri din Open Secure AI Alliance, inclusiv NVIDIA, care a susținut că instrumentul (harness) ghidează ceea ce încearcă un agent, în timp ce infrastructura controlează ceea ce poate face (NVIDIA).

Apărarea în profunzime în produsele Perplexity

Perplexity rulează agenți în patru tipuri de medii: în cloud prin intermediul platformei noastre de agenți Computer, în browser prin Comet, pe dispozitivele utilizatorilor prin Computer portabil și pe laptopurile angajaților, unde inginerii noștri folosesc agenți de codificare terți. Fiecare mediu are propriile riscuri și fiecare primește mai multe straturi de protecție.

În cloud: Computer și SPACE

Fiecare sarcină Computer rulează în SPACE, platforma noastră sandbox, care tratează agentul ca fiind neverificat în mod implicit. Fiecare sarcină își primește propriul microVM, credențialele rămân în afara sandbox-ului și sunt injectate numai atunci când este necesar, traficul de ieșire este controlat în afara oaspetelui, iar instantaneele ne permit să anulăm modificările distructive (Crearea SPACE). Clienții enterprise își pot aduce, de asemenea, propriile chei de criptare. Revocarea unei chei face ca datele protejate să fie ilegibile, iar agentul nu poate anula această decizie.

De asemenea, testăm dacă aceste straturi rezistă. În Escaping SPACE: Partea I, am oferit la nouă modele de frontieră acces root în cadrul unui sandbox SPACE și le-am cerut să scape. Niciunul nu a evadat din VM, dar unele au găsit modalități de a ocoli politica de rețea atunci când a fost permis accesul parțial la rețea. Am remediat aceste lacune, am confirmat remedierile într-o retestare și am dezvăluit slăbiciuni similare pe care le-am găsit în opt din alte 10 platforme sandbox furnizorilor acestora.

În browser: Comet și BrowseSafe

Comet a folosit o apărare stratificată împotriva injectării de prompturi de la lansare: clasificatoarele examinează conținutul preluat, prompturile structurate îl marchează ca neverificat, acțiunile sensibile, cum ar fi trimiterea unui e-mail sau plasarea unei comenzi, necesită confirmarea utilizatorului, iar utilizatorii sunt informați atunci când ceva este blocat (Apărările împotriva injectării de prompturi Comet). BrowseSafe, modelul de detecție open-source din spatele primului strat, depășește modelele de frontieră pe benchmark-ul nostru BrowseSafe-Bench, dar același benchmark arată că niciun detector nu este infailibil, motiv pentru care detectarea nu este niciodată singurul strat (Cercetarea BrowseSafe). Computer moștenește aceste apărări, care au fost auditate de Trail of Bits (Perplexity).

Pe dispozitiv: Computer portabil

Computer portabil este un agent centrat pe dispozitiv (local-first): modelul, instrumentul (harness), conversația și traiectoria rămân pe mașina utilizatorului în mod implicit. Un orchestrator determinist, care este codul unui instrument (harness) mai degrabă decât un LLM, rulează bucla și aplică politica. Modelul propune acțiuni, iar apelurile de instrumente aprobate rulează într-un sandbox la nivel de OS care restricționează procesele, căile fișierelor și accesul la rețea. Sandbox-ul este întotdeauna activ și se blochează în caz de eșec: dacă nu este disponibil, instrumentul (harness) se dezactivează singur în loc să ruleze comenzi cu permisiunile utilizatorului. Acțiunile care depășesc granița dispozitivului, cum ar fi căutarea pe web, conectorii și escaladarea către un model de consilier în cloud mai puternic, au loc numai atunci când utilizatorul le activează și le aprobă. Înainte de un apel către consilier, un clasificator PII semnalează informațiile sensibile, iar utilizatorul vede ce urmează să fie trimis. Consilierul primește doar acel context aprobat și returnează îndrumări textuale, fără acces la fișierele sau instrumentele dispozitivului.

Pe punctele finale: Numbat

Agenții de codificare de pe laptopurile dezvoltatorilor rulează timp de ore întregi având acces la codul sursă, credențiale și sisteme de producție. Numbat, suita noastră de securitate pentru agenți open-source, adaugă un strat independent care se află în afara oricărui agent individual. Funcționează cu instrumente de conectare (harnesses) precum Claude Code, Codex, OpenCode și Pi, blochează acțiunile periculoase înainte ca acestea să ruleze, semnalează secvențe suspecte cu pași multipli, cum ar fi citirea unui secret și apoi trimiterea datelor în exterior, și păstrează cronologiile sesiunilor pentru investigare. Numbat rulează pe mii de puncte finale Perplexity alături de Bumblebee, scanerul nostru de lanț de aprovizionare open-source. Computer examinează în mod regulat constatările lor și propune reguli de detectare îmbunătățite, iar un om aprobă fiecare modificare înainte ca aceasta să fie lansată.

O sarcină pentru întreaga industrie

Pe măsură ce agenții AI devin mai capabili și mai utilizați, ingineria securității trebuie să rămână centrală în dezvoltarea și implementarea acestora. Cercetătorii și inginerii pot construi pe baza principiilor stabilite, pot folosi constatările din lumea reală pentru a rafina apărările și pot testa măsurile de siguranță în mediile în care operează agenții. Securitatea este o disciplină de inginerie continuă care se dezvoltă odată cu tehnologia.

Ingineria securității pentru agenți este o sarcină pentru întreaga industrie. Nicio companie nu controlează integral stiva pe care rulează un agent. Dezvoltatorii de modele, constructorii de instrumente de conectare (harnesses), furnizorii de sandbox și runtime, furnizorii de cloud și hardware și echipele de securitate corporativă dețin fiecare câte un strat. Siguranța întregului depinde de rezistența fiecărui strat atunci când altul cedează. Acesta este motivul pentru care construim măsuri de siguranță care funcționează pe diferite instrumente (harnesses) de agenți și oferim instrumentele noastre ca open-source. Este și motivul pentru care dezvăluim vulnerabilitățile pe care le găsim în alte platforme și luăm parte la eforturi precum Open Secure AI Alliance.

Pentru a colabora cu comunitatea mai largă la aceste provocări, Perplexity a lansat Institutul de Inteligență Securizată în martie 2026 pentru a studia securitatea, fiabilitatea și apărarea practică a sistemelor de IA de ultimă generație (Perplexity). Perplexity colaborează și/sau finanțează în prezent cercetători academici la Stanford, CMU, Duke, Columbia, Ohio State și Universitatea din Virginia. De asemenea, efectuăm cercetări intramurale pentru a avansa frontiera cercetării în securitatea agenților, pentru a traduce aceste progrese în îmbunătățiri concrete în sistemele Perplexity și pentru a partaja cunoștințe și resurse care ajută la consolidarea ecosistemului AI mai larg. Agenții mai siguri sunt ceva ce industria poate proiecta. Intenționăm să continuăm să ne facem partea și îi invităm pe alții să construiască alături de noi.