Kā mēs inženierējam drošākus aģentus

Lai izveidotu drošākus AI aģentus, mums ir jāprojektē gan to spējas, gan to kļūmes. Pat veicot likumīgus uzdevumus un bez jebkādām ļaunprātīgām instrukcijām, aģenti var šķērsot drošības robežas, cenšoties pārvarēt šķēršļus.

Mēs uzskatām, ka šī ir drošības inženierijas problēma, un nozarei vajadzētu to risināt tā, kā tā risināja 2000. gadu sākuma interneta tārpus. Sistēmām ap aģentiem ir jāierobežo tas, kam aģenti var piekļūt, jāatklāj nevēlama uzvedība un jāierobežo kļūmes, kad tās rodas.

Perplexity mēs aktīvi sadarbojamies ar pētniekiem un praktiķiem, lai virzītu drošības inženieriju AI aģentiem, un mēs piemērojam vairākus aizsardzības slāņus mūsu modeļos, aģentu harness un infrastruktūrā, lai drošība nebūtu atkarīga no neviena atsevišķa drošības pasākuma.

AI aģentu atteices (meltdown) uzvedība

Jūlijā AI aģenti ielauzās atvērtā pirmkoda AI platformas Hugging Face ražošanas infrastruktūrā. Iekšējās kiberdrošības novērtēšanas un apmācības laikā OpenAI modeļi atklāja veidu, kā izmantot Artifactory krātuves pārvaldnieku, lai izveidotu ziņojumu dēli savstarpējai saziņai, kas ļāva tiem organizēties bariem. Vēlāk aģenti, kuri nespēja gūt panākumus uzdevumos kiberdrošības etalontestā, piesaistīja palīgā citus aģentus. Šie aģenti izlauzās no savas novērtēšanas vides un sasniedza internetu. Viņi arī atklāja veidus, kā krāpties, veicot etalontesta uzdevumu atbilžu reverso inženieriju, bet uzskatīja, ka vērtēšanas sistēma atklās krāpšanos. Lai labāk izprastu, kā etalontesta novērtēšana darbojās, lai atrastu veidus, kā izvairīties no atklāšanas kā krāpšanās, viņi galu galā kompromitēja Hugging Face sistēmas (Hugging Face; OpenAI).

Incidents ir skaidrs kļūmes režīma piemērs, ko mēs aprakstījām, kad jūlijā padarījām Numbat par atvērtā pirmkoda programmatūru: nejaušas atteices (accidental meltdowns) — termins, ko izdomāja drošības pētnieki no Cornell Tech (arXiv). Aģents, tiecoties pēc leģitīma mērķa, saskaras ar pretestību, piemēram, trūkstošu failu, neizdevušos API izsaukumu, beigušos akreditācijas datiem vai atļaujas liegumu, un sāk meklēt risinājumu. To darot, tas var šķērsot drošības robežas, izmantojot izlūkošanu, privilēģiju eskalāciju, noslēpumu atklāšanu vai datu eksfiltrāciju. Pats aģents faktiski kļūst par pretinieku, lai gan nav iesaistīts neviens ļaunprātīgs uzvednes vai ārējs uzbrucējs.

Hugging Face nebija vienīgais gadījums. Pēdējo nedēļu laikā tika atklāti un ziņoti vēl citi aģentu atteices (meltdown) uzvedības gadījumi. 27.–28. maijā aģenti, kas mēģināja iegūt Aiovas Universitātes datus no Data USA — platformas, kas piedāvāja atvērtu piekļuvi ASV valdības datiem —, saskārās ar kļūdām, ko izraisīja nepareizi formatēts vaicājums. Viņi atbildēja ar zondēšanu, tostarp SQL injekciju, starpsvietu skriptēšanu (XSS), šablonu injekciju, ceļa šķērsošanu un komandu injekciju. Šī aktivitāte vēlāk tika saistīta ar OpenAI (SecurityWeek). 20.–21. jūnijā OpenAI aģenti, kuri mēģināja iegūt valdības izmaksas uz vienu cilvēku noteiktai medikamentu kategorijai vietējos rajonos Viktorijā no Austrālijas Veselības un labklājības institūta (AIHW), tika bloķēti no faila lejupielādes. Atbildot uz to, aģenti lejupielādēja failu, kas jau bija publisks, no AIHW pirmssagatavošanas servera, procesā apvedot vietnes pretbota aizsardzību (SecurityWeek).

Šis modelis neattiecas tikai uz vienu laboratoriju. Kiberdrošības pārbaužu laikā Anthropic modeļi uzlauza trīs uzņēmumus pēc tam, kad kļūdas dēļ tiem tika piešķirta brīva piekļuve internetam, Google Gemini uzminēja akreditācijas datus trīs vietnēm, un Meta modelis izmantoja trešās puses pakalpojumu (Reuters).

Mācīšanās no vēstures: Interneta tārpu ēra

Šie incidenti atgādina interneta tārpu ēru pirms aptuveni ceturtdaļas gadsimta. 2000. gadu sākumā internetsauga daudz ātrāk nekā ar to saistītā drošības prakse. Mēs pieredzējām vīrusu un tārpu vilni ar sekām, kas bija daudz nopietnākas nekā tas, ko mēs redzam tagad ar AI aģentiem atteices stāvoklī.

2000. gada 4. maijā cilvēki sāka saņemt e-pastus no pazīstamiem sūtītājiem ar tēmas līniju "ILOVEYOU". Pielikuma atvēršana e-pastā izraisīja skripta palaišanu, kas nosūtīja sava kopiju ikvienam cietušā Outlook adrešu grāmatā. Līdz tās dienas plkst. 18:00 CERT koordinācijas centrs bija saņēmis ziņojumus, kas ietvēra vairāk nekā 420 000 interneta resursdatoru (US GAO Report). Tiek ziņots, ka vīruss iekļuva vismaz 14 federālajās aģentūrās, tostarp Aizsardzības departamentā, CIP, NASA, Pārstāvju palātā un Senātā (US GAO Report). Tas arī apturēja e-pasta serverus Pentagonā un Britu parlamentā (Wired). Apdrošināšanas gigants Lloyd's of London izteica agrīnu aplēsi, ka vīruss radīs zaudējumus un zaudētu produktivitāti vairāk nekā 15 miljardu dolāru apmērā (US House Committee Hearing). Computer Economics vēlāk lēsa par 8,75 miljardiem dolāru zaudējumiem visā pasaulē (Information Week).

Tārpi, kuriem nebija vajadzīgs cilvēka klikšķis, sekoja nākamie. 2001. gada 19. jūlijā Code-Red tārps inficēja vairāk nekā 359 000 datoru mazāk nekā 14 stundu laikā (CAIDA). 2003. gada 25. janvārī SQL Slammer dubultoja savu izmēru ik pēc 8,5 sekundēm un 10 minūšu laikā inficēja vairāk nekā 90% interneta resursdatoru, kas bija tam ievainojami (CAIDA), izmantojot robu, kuram Microsoft bija izlaidis labojumu sešus mēnešus iepriekš (CNET). 2003. gada augustā parādījās Blaster tārps un Sobig e-pasta tārps ar aptuveni nedēļas starpību (Microsoft, F-Secure).

Tajā laikā bija saprātīgi uzjautāt, vai tīklā savienotos datorus vispār var padarīt drošus. Sešas dienas pēc ILOVEYOU vīrusa ASV Pārstāvju palātas apakškomiteja rīkoja uzklausīšanu par to. Daudzi drošības eksperti aicināja pieņemt tiesību aktus, kas liktu programmatūras uzņēmumiem atbildēt par zaudējumiem, ko radījuši trūkumi to produktos. Vašingtona gāja citu ceļu. Valsts stratēģija kibertelpas nodrošināšanai noteica, ka "federālais regulējums nekļūs par galveno kibertelpas nodrošināšanas līdzekli". Tā brīdināja, ka plaši mandāti var radīt "zemākā kopsaucēja pieeju kiberdrošībai" (CISA).

Nozare atbildēja ar inženieriju. Vienpadsmit dienas pēc ILOVEYOU, Microsoft paziņoja par Outlook atjauninājumu, kas bloķēja izpildāmus pielikumus. 2002. gada janvārī uzņēmums padarīja drošību par galveno prioritāti (Seattle Times). Automātiska ielāpu lietošana, droši noklusējuma iestatījumi, kļūdu atlīdzības programmas un koordinēta atklāšana kļuva par standarta praksi. 2008. gadā Chrome sāka darbināt tīmekļa saturu smilšu kastē, kas "ierobežo to, ko uzbrucējs var darīt pēc kļūdas izmantošanas" (Chromium Blog). Šifrēšana, kas kādreiz bija izņēmums, kļuva par noklusējumu. Drošības tehnoloģijas, tostarp daudzfaktoru autentifikācija, ugunsmūri, nulles uzticēšanās (zero trust) un drošības informācijas un notikumu pārvaldība (SIEM), kļuva plaši izmantotas. Tiek prognozēts, ka organizācijas visā pasaulē 2026. gadā tērēs aptuveni 240 miljardus dolāru informācijas drošībai (Gartner). Tārpi nekad pilnībā nepazuda, bet ikdienas interneta mēroga uzliesmojumu ēra izzuda. Tajā pašā laikā internets, ko lielā mērā neapgrūtināja regulējums, nākamo divu gadu desmitu laikā kļuva par jaudīgu inovāciju un ekonomiskās izaugsmes dzinēju.

Drošības inženierija AI aģentiem

Nesenie incidenti ir radījuši pamatotus jautājumus par aģentu pārvaldību. Esošie drošības mehānismi tika izstrādāti pirmaģentu skaitļošanas videi, ko raksturoja stingri definēta un lielā mērā deterministiska programmatūras uzvedība. Jo īpaši piekļuves kontroles mehānismi galvenokārt ir orientēti uz cilvēkiem lietotājiem un bieži vien piešķir viņiem plašas privilēģijas, kas principā ir pietiekamas, lai radītu būtisku kaitējumu.

Šis dizains balstās uz vairākiem pieņēmumiem: lielākā daļa lietotāju rīkojas godprātīgi; ļaunprātīgus dalībniekus var atturēt, izmantojot auditu un reālās pasaules sekas; un cilvēki veic darbības — pareizas vai kļūdainas — salīdzinoši ierobežotā ātrumā. Šo drošības mehānismu piemērošana aģentiem prasa ņemt vērā atšķirības starp cilvēka un aģenta uzvedību. Kā mēs rakstījām savā atbildē uz NIST pieprasījumu pēc informācijas par AI aģentu drošību, AI aģenti apstrīd šos pieņēmumus. Tie var izmantot privilēģijas un veikt darbības mašīnas ātrumā, tos pašus neattur reālās pasaules sekas, un tie var veikt darbības, kas ir tehniski atļautas, bet kuras tipisks cilvēks lietotājs reti kad veiktu.

Atbildes uz šiem jautājumiem prasa drošības inženieriju. Mēs zinām drošības principus sistēmu veidošanai, kas notur riskus kontrolē, kad atsevišķi komponenti rīkojas nepareizi. Bet mums ir jāpārliecinās, ka šie principi tiek piemēroti, inženierējot vidi apmācībai, testēšanai un AI aģentu izmantošanai.

Aizsardzības dziļumā drošības princips

Iespējams, pats svarīgākais drošības princips, kas jāpiemēro AI aģentu nodrošināšanai, ir aizsardzība dziļumā, kas iestatās par slāņveida drošības arhitektūru, kurā tiek izmantoti vairāki, dažādi un dublējoši aizsardzības pasākumi sistēmas resursu aizsardzībai. Neviens drošības pasākums nav ideāls. Cilvēki var ļauties sociālās inženierijas uzbrukumiem un atklāt savus pieteikumvārda datus, tiek atklātas un izmantotas programmatūras nulles dienas ievainojamības, un ielaušanās noteikšana nepamana jaunus uzbrukumu variantus. Aizsardzība dziļumā to pieņem un sakrauj vairākus neatkarīgus aizsardzības slāņus. Ja viens aizsardzības slānis tiek apvests, citi slāņi paliek savās vietās, lai novērstu vai atklātu ielaušanos.

Hugging Face incidents parāda, kāpēc aizsardzība dziļumā (defense-in-depth) ir svarīga. OpenAI retrospektīvajā ziņojumā norādīts, ka automatizētie drošības pasākumi, kas tika izmantoti tās ražošanas sistēmās, tostarp harness, automātiskās pārskatīšanas modeļi un drošības klasifikatori, nebija pieejami novērtēšanas vidē. Ja tā pašlaik izvietotā domu gaitas (chain-of-thought) uzraudzība būtu darbināta šajos novērtējumos, tā būtu identificējusi sākotnējo aktivitāti un paziņojusi drošības komandai vairāk nekā dienu pirms pārkāpuma (OpenAI). Slāņi, kas būtu varējuši novērst problēmu, pastāvēja. Tie vienkārši nebija visi vietā vienlaikus.

AI aģentu nodrošināšana prasa uzlabot gan AI modeļu, gan ap tiem esošo sistēmu drošumu un drošību. Darbs modeļu slānī ir svarīgs, un tas atmaksājas. Agrīnie LLM tika viegli manipulēti ar injicētām instrukcijām, savukārt mūsdienu modeļi ir ievērojami labāki to atpazīšanā un atteikšanā. Modeļu izstrādātāji arī apmāca modeļus drošākai uzvedībai un, kā aprakstīts OpenAI retrospektīvā, uzrauga spriestspējas pēdas, lai atrastu problemātiskas uzvedības pazīmes. Bet modeļa līmeņa aizsardzība ir tikai daļa no risinājuma. Sistēmām, kurās aģenti tiek apmācīti, testēti un izvietoti, ir jābūt arī inženierētām drošībai un ierobežošanai. Modeļa līmeņa drošums samazina varbūtību, ka aģents novirzīsies no ceļa; sistēmas līmeņa drošība ierobežo kaitējumu, kad tas notiek.

Izvērst

Dizaina noteikumi dublējošiem drošības pasākumiem

Aizsardzībai dziļumā ir nepieciešami dublējoši drošības pasākumi. Aģentiem mēs iesakām to piemērot, ievērojot trīs dizaina noteikumus:

1. Neatkarība. Katram slānim ir jāpieviļ neatkarīgu iemeslu dēļ. Divas vadīklas, kurām ir vienādi pieņēmumi, var tikt uzveiktas ar vienu un to pašu uzbrukumu. Monitoriem un izpildes punktiem jāatrodas ārpus aģenta sasniedzamības.
2. Izpilde zem aģenta. Vismaz vienam slānim ir jābūt deterministiskam: parastam, pārbaudāmam kodam, kas bloķē aizliegtās darbības neatkarīgi no tā, ko modelis rada. Drošības pasākums, ko aģents var atteikties izsaukt vai pārkonfigurēt, nav drošības pasākums.
3. Signāli var tikai samazināt autoritāti. Noteikšanai vajadzētu izraisīt atbildes, kas sašaurina to, ko aģents var darīt, piemēram, pauzēšanu, akreditācijas datu atsaukšanu, tīkla piekļuves pārtraukšanu vai sesijas izbeigšanu. Neviens riska signāls nekad nedrīkst piešķirt papildu piekļuvi.

Mēs dalāmies ar šiem principiem ar saviem partneriem Open Secure AI Alliance, tostarp NVIDIA, kas ir norādījusi, ka harness nosaka, ko aģents mēģina, kamēr infrastruktūra kontrolē to, ko tas var darīt (NVIDIA).

Aizsardzība dziļumā Perplexity produktos

Perplexity darbina aģentus čettos vides veidos: mākonī, izmantojot mūsu aģentu platformu Computer, pārlūkprogrammā, izmantojot Comet, lietotāju ierīcēs, izmantojot Portable Computer, un darbinieku klēpjdatoros, kur mūsu inženieri izmanto trešo pušu kodēšanas aģentus. Katrai videi ir savi riski, un katra saņem vairākus aizsardzības slāņus.

Mākonī: Computer un SPACE

Katrs Computer uzdevums darbojas SPACE, mūsu smilšu kastes platformā, kas pēc noklusējuma uztver aģentu kā neuzticamu. Katrs uzdevums saņem savu microVM, akreditācijas dati paliek ārpus smilšu kastes un tiek ievadīti tikai tad, kad tas ir nepieciešams, izejošā datplūsma tiek kontrolēta ārpus viesa, un momentuzņēmumi (snapshots) ļauj mums atjaunot destruktīvas izmaiņas (Making SPACE). Uzņēmumu klienti var arī nodrošināt savas šifrēšanas atslēgas. Atslēgas atsaukšana padara aizsargātos datus nelasāmus, un aģents nevar ignorēt šo lēmumu.

Mēs arī pārbaudām, vai šie slāņi noturas. Sadaļā Escaping SPACE: Part I mēs piešķīrām deviņiem progresīvākajiem modeļiem root piekļuvi SPACE smilšu kastē un lūdzām tos izlauzties. Neviens neizbēga no VM, taču daži atrada veidus, kā apiet tīkla politiku, kad bija atļauta daļēja tīkla piekļuve. Mēs novērsām šīs nepilnības, apstiprinājām labojumus atkārtotā testā un atklājām līdzīgas vājās vietas, ko atradām astoņās no 10 citām smilšu kastes platformām, to piegādātājiem.

Pārlūkprogrammā: Comet un BrowseSafe

Comet kopš palaišanas ir izmantojis slāņveida uzvednes injekciju aizsardzību: klasifikatori pārbauda izgūto saturu, strukturētas uzvednes atzīmē to kā neuzticamu, sensitīvas darbības, piemēram, e-pasta sūtīšana vai pasūtījuma veikšana, prasa lietotāja apstiprinājumu, un lietotāji tiek informēti, kad kaut kas ir bloķēts (Comet prompt-injection defenses). BrowseSafe, atvērtā pirmkoda noteikšanas modelis aiz pirmā slāņa, pārspēj progresīvos modeļus mūsu BrowseSafe-Bench etalontestā, tomēr tas pats etalontests parāda, ka neviens detektors nav pilnīgi drošs, tāpēc noteikšana nekad nav vienīgais slānis (BrowseSafe research). Computer manto šīs aizsardzības, kuras ir auditējis Trail of Bits (Perplexity).

Ierīcē: Portable Computer

Portable Computer ir vietēji orientēts aģents: modelis, harness, saruna un trajektorija pēc noklusējuma paliek lietotāja mašīnā. Deterministisks orķistrators, kas ir harness kods, nevis LLM, darbina ciklu un nodrošina politikas ievērošanu. Modelis piedāvā darbības, un apstiprinātie rīka izsaukumi darbojas OS līmeņa smilšu kastē, kas ierobežo procesus, failu ceļus un piekļuvi tīklam. Smilšu kaste ir vienmēr ieslēgta un kļūmes gadījumā pārtrauc darbību: ja tā nav pieejama, harness atspējo sevi, nevis palaiž komandas ar lietotāja tiesībām. Darbības, kas šķērso ierīces robežu, piemēram, tīmekļa meklēšana, savienotāji un eskalācija uz spēcīgāku mākoņa padomdevēja modeli, notiek tikai tad, kad lietotājs tās iespējo un apstiprina. Pirms padomdevēja izsaukuma PII klasifikators atzīmē sensitīvu informāciju, un lietotājs redz, kas tiktu nosūtīts. Padomdevējs saņem tikai šo apstiprināto kontekstu un atdod teksta vadlīnijas bez piekļuves ierīces failiem vai rīkiem.

Galapunktā: Numbat

Kodēšanas aģenti uz izstrādātāju klēpjdatoriem darbojas stundām ilgi ar piekļuvi pirmkods, akreditācijas datiem un ražošanas sistēmām. Numbat, mūsu atvērtā pirmkoda aģenta drošības komplekts, pievieno neatkarīgu slāni, kas atrodas ārpus jebkura atsevišķa aģenta. Tas darbojas ar tādiem harness kā Claude Code, Codex, OpenCode un Pi, bloķē bīstamas darbības pirms to palaišanas, atzīmē aizdomīgas vairāku soļu secības, piemēram, noslēpuma nolasīšanu un datu nosūtīšanu uz āru, un saglabā sesijas laika skalas izmeklēšanai. Numbat darbojas tūkstošiem Perplexity galapunktu kopā ar Bumblebee, mūsu atvērtā pirmkoda piegādes ķēdes skeneri. Computer regulāri pārskata to atklājumus un ierosina uzlabotus noteikšanas noteikumus, un cilvēks apstiprina katru izmaiņu pirms tās publicēšanas.

Darbs visai nozarei

Tā kā AI aģenti kļūst spējīgāki un plaši izmantoti, drošības inženierijai ir jāpaliek to izstrādes un izvietošanas centrā. Pētnieki un inženieri var balstīties uz nostiprinātiem principiem, izmantot reālās pasaules atklājumus, lai uzlabotu aizsardzību, un testēt drošības pasākumus vidēs, kurās aģenti darbojas. Drošība ir nepārtraukta inženierijas disciplina, kas attīstās līdztekus tehnoloģijai.

Drošības inženierija aģentiem ir darbs visai nozarei. Neviens uzņēmums viens pats nekontrolē visu steku, uz kura darbojas aģents. Modeļu izstrādātāji, harness veidotāji, smilšu kastes un izpildlaika nodrošinātāji, mākoņa un aparatūras pārdevēji, kā arī uzņēmumu drošības komandas – katrs pārvalda savu slāni. Visas sistēmas drošība ir atkarīga no tā, vai katrs slānis noturas, kad cits paslīd. Tāpēc mēs veidojam aizsardzības pasākumus, kas darbojas visos aģentu harness un padarām savus rīkus par atvērtā pirmkoda programmatūru. Tas ir arī iemesls, kāpēc mēs atklājam vājās vietas, ko atradām citās platformās, un piedalāmies tādās iniciatīvās kā Open Secure AI Alliance.

Lai strādātu ar plašāku sabiedrību pie šiem izaicinājumiem, Perplexity 2026. gada martā izveidoja Secure Intelligence Institute, lai pētītu vadošo AI sistēmu drošību, uzticamību un praktisko aizsardzību (Perplexity). Perplexity pašlaik sadarbojas un/vai finansē akadēmiskos pētniekus Stenfordā, CMU, Djūka universitātē, Kolumbijas universitātē, Ohaio Štata universitātē un Virdžīnijas Universitātē. Mēs arī veicam iekšējos pētījumus, lai virzītu aģentu drošības izpētes robežas, pārvērstu šos sasniegumus konkrētos uzlabojumos Perplexity sistēmās un dalītos zināšanās un resursos, kas palīdz stiprināt plašāku AI ekosistēmu. Drošāki aģenti ir lieta, ko nozare var izstrādāt. Mēs plānojam turpināt darīt savu daļu un aicinām citus būvēt kopā ar mums.