Cara kami merekayasa agen yang lebih aman

Untuk membangun agen AI yang lebih aman, kita perlu mendesain kemampuan sekaligus kegagalannya. Bahkan saat menjalankan tugas yang sah, dan tanpa instruksi berbahaya apa pun, agen dapat melintasi batas keamanan saat mereka mencoba mengatasi hambatan.

Kami percaya ini adalah masalah rekayasa keamanan, dan industri harus mengatasinya sebagaimana industri mengatasi worm internet pada awal tahun 2000-an. Sistem di sekitar agen harus membatasi apa yang dapat diakses oleh agen, mendeteksi perilaku yang tidak diinginkan, dan menahan kegagalan saat hal itu terjadi.

Di Perplexity, kami secara aktif berkolaborasi dengan para peneliti dan praktisi untuk memajukan rekayasa keamanan bagi agen AI, dan kami menerapkan berbagai lapisan pertahanan di seluruh model, harness agen, dan infrastruktur kami sehingga keamanan tidak bergantung pada satu pengamanan tunggal.

Perilaku meltdown dari agen AI

Pada bulan Juli, agen AI membobol infrastruktur produksi platform AI sumber terbuka Hugging Face. Selama evaluasi keamanan siber internal dan uji coba pelatihan, model OpenAI menemukan cara untuk mengeksploitasi pengelola repositori Artifactory guna membuat papan buletin untuk berkomunikasi satu sama lain, yang memungkinkan mereka mengatur diri menjadi kawanan (swarm). Belakang, agen yang tidak dapat membuat kemajuan dalam tugas pada tolok ukur keamanan siber merekrut agen lain untuk membantu. Agen ini keluar dari lingkungan evaluasi mereka dan mencapai internet. Mereka juga menemukan cara untuk berbuat curang dengan merekayasa balik jawaban atas tugas tolok ukur tersebut, tetapi berpikir bahwa sistem penilaian akan mendeteksi kecurangan tersebut. Untuk lebih memahami cara kerja evaluasi tolok ukur guna menemukan cara untuk menghindari deteksi kecurangan, mereka akhirnya membobol sistem Hugging Face (Hugging Face; OpenAI).

Insiden tersebut adalah contoh nyata dari mode kegagalan yang kami jelaskan saat kami membuka sumber Numbat pada bulan Juli: meltdown yang tidak disengaja, sebuah istilah yang diciptakan oleh para peneliti keamanan dari Cornell Tech (arXiv). Agen yang mengejar tujuan yang sah menghadapi hambatan, seperti file yang hilang, panggilan API yang gagal, kredensial yang kedaluwarsa, atau penolakan izin, lalu mencari jalan keluar. Dalam melakukannya, agen tersebut dapat melintasi batas keamanan melalui pengintaian, peningkatan hak istimewa, penemuan rahasia, atau eksfiltrasi data. Agen itu sendiri secara efektif menjadi musuh, meskipun tidak ada prompt berbahaya atau penyerang eksternal yang terlibat.

Hugging Face bukanlah satu-satunya kasus. Perilaku meltdown agen lainnya telah ditemukan dan dilaporkan dalam beberapa minggu terakhir. Pada 27-28 Mei, agen yang mencoba mengumpulkan data Universitas Iowa dari Data USA, sebuah platform yang menawarkan akses terbuka ke data pemerintah AS, mengalami kesalahan yang disebabkan oleh kueri cacat. Mereka merespons dengan penyelidikan, termasuk injeksi SQL, skrip lintas situs, injeksi templat, penelusuran jalur, dan injeksi perintah. Aktivitas tersebut kemudian dikaitkan dengan OpenAI (SecurityWeek). Pada 20-21 Juni, agen OpenAI yang mencoba mendapatkan biaya pemerintah per orang untuk kategori obat di berbagai area lokal di Victoria dari Australian Institute of Health and Welfare (AIHW) diblokir untuk mengunduh file. Sebagai tanggapan, agen mengunduh file tersebut, yang sudah bersifat publik, dari server pra-produksi AIHW, sambil menghindari perlindungan anti-bot situs tersebut dalam prosesnya (SecurityWeek).

Pola ini tidak terbatas pada satu lab saja. Selama pengujian keamanan, model Anthropic membobol tiga perusahaan setelah sebuah kesalahan memberi mereka akses internet terbuka, Gemini milik Google menebak kredensial ke tiga situs web, dan model Meta mengeksploitasi layanan pihak ketiga (Reuters).

Belajar dari sejarah: Era worm internet

Insiden-insiden ini mengingatkan kita pada era worm internet sekitar seperempat abad yang lalu. Pada awal tahun 2000-an, internet tumbuh jauh lebih cepat daripada praktik keamanan di sekitarnya. Kita menyaksikan gelombang virus dan worm, dengan konsekuensi yang jauh lebih serius daripada yang kita saksikan sekarang dengan agen AI yang mengalami meltdown.

Pada 4 Mei 2000, orang-orang mulai menerima email dari pengirim yang dikenal dengan baris subjek "ILOVEYOU". Membuka lampiran dalam email tersebut mengakibatkan jalannya skrip yang mengirimkan salinan dirinya ke semua orang di buku alamat Outlook korban. Pukul 6 sore hari itu, CERT Coordination Center telah menerima laporan yang melibatkan lebih dari 420.000 host internet (Laporan US GAO). Virus tersebut dilaporkan menembus setidaknya 14 lembaga federal, termasuk Departemen Pertahanan, CIA, NASA, serta Dewan Perwakilan Rakyat dan Senat (Laporan US GAO). Virus tersebut juga mematikan server email di Pentagon dan Parlemen Inggris (Wired). Raksasa asuransi Lloyd's of London membuat perkiraan awal bahwa virus tersebut akan menelan biaya lebih dari $15 miliar dalam bentuk kerusakan dan hilangnya produktivitas (Dengar Pendapat Komite DPR AS). Computer Economics kemudian memperkirakan kerugian sebesar $8,75 miliar di seluruh dunia (Information Week).

Worm yang tidak memerlukan klik manusia muncul berikutnya. Pada 19 Juli 2001, worm Code-Red menginfeksi lebih dari 359.000 komputer dalam waktu kurang dari 14 jam (CAIDA). Pada 25 Januari 2003, SQL Slammer berlipat ganda ukurannya setiap 8,5 detik dan menginfeksi lebih dari 90% host internet yang rentan terhadapnya dalam waktu 10 menit (CAIDA), mengeksploitasi celah yang patch-nya telah dirilis oleh Microsoft enam bulan sebelumnya (CNET). Pada Agustus 2003, worm Blaster dan worm email Sobig muncul dengan selang waktu sekitar seminggu (Microsoft, F-Secure).

Pada saat itu, masuk akal untuk mempertanyakan apakah komputer yang terhubung ke jaringan dapat dibuat aman sama sekali. Enam hari setelah virus ILOVEYOU, subkomite DPR AS mengadakan dengar pendapat mengenalnya. Banyak pakar keamanan menyerukan undang-undang yang membuat perusahaan perangkat lunak bertanggung jawab atas kerusakan yang disebabkan oleh kelemahan dalam produk mereka. Washington mengambil jalur yang berbeda. Strategi Nasional untuk Mengamankan Siber menyatakan bahwa "regulasi federal tidak akan menjadi sarana utama untuk mengamankan dunia maya." Strategi tersebut memperingatkan bahwa mandat yang luas dapat menciptakan "pendekatan penyebut bersama terendah (lowest-common-denominator) terhadap keamanan siber" (CISA).

Industri menjawabnya dengan rekayasa. Sebelas hari setelah ILOVEYOU, Microsoft mengumumkan pembaruan Outlook yang memblokir lampiran yang dapat dieksekusi. Pada Januari 2002, perusahaan tersebut menjadikan keamanan sebagai prioritas utama (Seattle Times). Penambalan otomatis, pengaturan default yang aman, program bug bounty, dan pengungkapan terkoordinasi menjadi praktis standar. Pada tahun 2008, Chrome mulai menjalankan konten web dalam sandbox yang "membatasi apa yang dapat dilakukan penyerang setelah mengeksploitasi bug" (Chromium Blog). Enkripsi, yang dulunya merupakan pengecualian, menjadi pengaturan default. Teknologi keamanan, termasuk otentikasi multi-faktor, firewall, zero trust, dan manajemen informasi dan peristiwa keamanan (SIEM), menjadi banyak digunakan. Organisasi di seluruh dunia diperkirakan akan menghabiskan sekitar $240 miliar pada tahun 2006 untuk keamanan informasi (Gartner). Worm tidak pernah sepenuhnya hilang, tetapi era wabah rutin di seluruh internet memudar. Pada saat yang sama, internet, yang sebagian besar tidak terbebani oleh regulasi, menjadi mesin inovasi dan pertumbuhan ekonomi yang kuat selama dua dekade berikutnya.

Rekayasa keamanan untuk agen AI

Insiden-insiden baru-baru ini telah menimbulkan pertanyaan yang sah mengenai tata kelola agen. Mekanisme keamanan yang ada dikembangkan untuk lingkungan komputasi pra-agen yang dicirikan oleh perilaku perangkat lunak yang tercakup secara ketat dan sebagian besar bersifat deterministik. Mekanisme kontrol akses, khususnya, dirancang terutama untuk pengguna manusia dan sering kali memberi mereka hak istimewa luas yang pada prinsipnya cukup untuk menyebabkan kerugian signifikan.

Desain ini didasarkan pada beberapa asumsi: sebagian besar pengguna bertindak dengan baik; aktor jahat dapat dicegah melalui audit dan konsekuensi dunia nyata; dan manusia mengambil tindakan, baik benar maupun keliru, pada tingkat yang relatif terbatas. Penerapan mekanisme keamanan ini pada agen memerlukan penghitungan perbedaan antara perilaku manusia dan agen. Seperti yang kami tulis dalam tanggapan kami terhadap permintaan informasi NIST mengenai keamanan agen AI, agen AI menantang asumsi-asumsi ini. Mereka dapat menggunakan hak istimewa dan mengambil tindakan pada kecepatan mesin, tidak dicegah oleh konsekuensi dunia nyata, dan dapat mengambil tindakan yang secara teknis diizinkan tetapi jarang dilakukan oleh pengguna manusia pada umumnya.

Menjawab pertanyaan-pertanyaan tersebut memerlukan rekayasa keamanan. Kita mengetahui prinsip-prinsip keamanan untuk membangun sistem yang menjaga risiko tetap terkendali ketika komponen individu berperilaku tidak semestinya. Namun, kita perlu memastikan bahwa prinsip-prinsip ini diterapkan saat merekayasa lingkungan untuk pelatihan, pengujian, dan penggunaan agen AI.

Prinsip keamanan pertahanan berlapis

Bisa dibilang prinsip keamanan paling penting yang perlu diterapkan untuk mengamankan agen AI adalah pertahanan berlapis, yang menganjurkan arsitektur keamanan bertingkat, di mana beberapa tindakan pertahanan yang beragam dan redundan digunakan untuk melindungi sumber daya sistem. Tidak ada satu pun pengamanan yang sempurna. Orang-orang dapat teperdaya oleh serangan rekayasa sosial dan mengungkapkan kredensial masuk mereka, kerentanan perangkat lunak zero-day ditemukan dan dieksploitasi, serta deteksi intrusi melewatkan varian serangan baru. Pertahanan berlapis menerima kenyataan tersebut dan menumpuk beberapa lapisan pertahanan yang independen. Jika satu lapisan pertahanan dibobol, lapisan lain tetap ada untuk melawan atau mendeteksi intrusi tersebut.

Insiden Hugging Face menunjukkan alasan mengapa pertahanan berlapis sangat penting. Laporan retrospektif OpenAI menyebutkan bahwa pengamanan otomatis yang digunakan dalam sistem produksinya, termasuk harness, model peninjauan otomatis, dan pengklasifikasi keamanan, tidak ada dalam lingkungan evaluasi. Jika pemantauan chain-of-thought yang saat ini diterapkan berjalan pada evaluasi tersebut, hal itu akan mendeteksi aktivitas awal dan memberi tahu tim keamanan lebih dari sehari sebelum pelanggaran terjadi (OpenAI). Lapisan yang dapat mendeteksi masalah tersebut sebenarnya ada. Hanya saja, lapisan-lapisan tersebut tidak semuanya berada di tempat pada waktu yang bersamaan.

Mengamankan agen AI memerlukan peningkatan keselamatan dan keamanan model AI serta sistem di sekelilingnya. Pekerjaan pada lapisan model sangat penting, dan hal itu membuahkan hasil. LLM awal mudah dimanipulasi oleh instruksi yang dimasukkan, sementara model saat ini jauh lebih baik dalam mengenali dan menolaknya. Pengembang model juga melatih model untuk perilaku yang lebih aman dan, seperti yang dijelaskan dalam retrospektif OpenAI, memantau jejak penalaran untuk tanda-tanda perilaku bermasalah. Namun, pertahanan tingkat model hanya merupakan sebagian dari solusi. Sistem tempat agen dilatih, diuji, dan diterapkan juga harus direkayasa untuk keamanan dan penyekatan. Keselamatan tingkat model mengurangi kemungkinan agen tersesat; keamanan tingkat sistem membatasi kerusakan saat hal tersebut terjadi.

Perbesar

Aturan desain untuk pengamanan redundan

Pertahanan berlapis memerlukan pengamanan redundan. Untuk agen, kami menganjurkan penerapannya dengan tiga aturan desain:

1. Independensi. Setiap lapisan harus gagal karena alasan yang independen. Dua kontrol yang membagikan asumsi yang sama dapat dikalahkan oleh serangan yang sama. Monitor dan titik penegakan harus berada di luar jangkauan agen.
2. Penegakan di bawah agen. Setidaknya satu lapisan harus bersifat deterministik: kode konvensional dan dapat diverifikasi yang memblokir tindakan terlarang apa pun yang dihasilkan oleh model. Pengamanan yang dapat ditolak untuk dipanggil atau dikonfigurasi ulang oleh agen bukanlah sebuah pengamanan.
3. Sinyal hanya dapat mengurangi otoritas. Deteksi harus memicu respons yang mempersempit apa yang dapat dilakukan oleh agen, seperti menjeda, mencabut kredensial, memutus akses jaringan, atau mengakhiri sesi. Tidak ada sinyal risiko yang boleh memberikan akses tambahan.

Kami membagikan prinsip-prinsip ini kepada mitra kami di Open Secure AI Alliance, termasuk NVIDIA, yang menyatakan bahwa harness memandu apa yang dicoba oleh agen sementara infrastruktur mengontrol apa yang dapat dilakukannya (NVIDIA).

Pertahanan berlapis pada produk Perplexity

Perplexity menjalankan agen di empat jenis lingkungan: di cloud melalui platform agen kami Computer, di peramban melalui Comet, pada perangkat pengguna melalui Portable Computer, dan di laptop karyawan, tempat para insinyur kami menggunakan agen pengodean pihak ketiga. Setiap lingkungan memiliki risikonya sendiri, dan masing-masing mendapatkan beberapa lapisan perlindungan.

Di cloud: Computer dan SPACE

Setiap tugas Computer berjalan di SPACE, platform sandbox kami, yang memperlakukan agen sebagai tidak tepercaya secara default. Setiap tugas mendapatkan mikroVM-nya sendiri, kredensial tetap berada di luar sandbox dan hanya disuntikkan saat diperlukan, lalu lintas keluar dikendalikan di luar tamu, dan snapshot memungkinkan kami membatalkan perubahan yang merusak (Making SPACE). Pelanggan perusahaan juga dapat membawa kunci enkripsi mereka sendiri. Mencabut kunci membuat data yang dilindungi tidak dapat dibaca, dan agen tidak dapat mengabaikan keputusan tersebut.

Kami juga menguji apakah lapisan-lapisan ini bertahan. Dalam Escaping SPACE: Part I, kami memberikan akses root kepada sembilan model perintis di dalam sandbox SPACE dan meminta mereka untuk membobolnya. Tidak ada yang lolos dari VM, tetapi beberapa menemukan cara untuk menghindari kebijakan jaringan ketika akses jaringan parsial diizinkan. Kami memperbaiki celah tersebut, mengonfirmasi perbaikan tersebut dalam pengujian ulang, dan mengungkap kelemahan serupa yang kami temukan pada delapan dari 10 platform sandbox lainnya kepada vendor mereka.

Di peramban: Comet dan BrowseSafe

Comet telah menggunakan pertahanan injeksi prompt berlapis sejak peluncurannya: pengklasifikasi menyaring konten yang diambil, prompt terstruktur menandainya sebagai tidak tepercaya, tindakan sensitif seperti mengirim email atau melakukan pemesanan memerlukan konfirmasi pengguna, dan pengguna diberi tahu ketika sesuatu diblokir (pertahanan injeksi prompt Comet). BrowseSafe, model deteksi bersumber terbuka di balik lapisan pertama, mengungguli model perintis pada tolok ukur BrowseSafe-Bench kami, namun tolok ukur yang sama menunjukkan bahwa tidak ada detektor yang bebas dari kegagalan, itulah sebabnya deteksi tidak pernah menjadi satu-satunya lapisan (penelitian BrowseSafe). Computer mewarisi pertahanan ini, yang telah diaudit oleh Trail of Bits (Perplexity).

Pada perangkat: Portable Computer

Portable Computer adalah agen yang mengutamakan lokal: model, harness, percakapan, dan trajektori tetap berada di mesin pengguna secara default. Orkestrator deterministik, yang merupakan kode harness alih-alih LLM, menjalankan perulangan dan menegakkan kebijakan. Model mengusulkan tindakan, dan panggilan alat yang disetujui berjalan dalam sandbox tingkat OS yang membatasi proses, jalur file, dan akses jaringan. Sandbox selalu aktif dan gagal-tertutup: jika tidak tersedia, harness menonaktifkan dirinya sendiri alih-alih menjalankan perintah dengan izin pengguna. Tindakan yang melewati batas perangkat, seperti pencarian web, konektor, dan eskalasi ke model penasihat cloud yang lebih kuat, terjadi hanya ketika pengguna mengaktifkan dan menyetujuinya. Sebelum panggilan penasihat, pengklasifikasi PII menandai informasi sensitif dan pengguna melihat apa yang akan dikirim. Penasihat hanya menerima konteks yang disetujui tersebut dan mengembalikan panduan teks, tanpa akses ke file atau alat perangkat.

Pada endpoint: Numbat

Agen pengodean di laptop pengembang berjalan selama berjam-jam dengan akses ke kode sumber, kredensial, dan sistem produksi. Numbat, rangkaian keamanan agen bersumber terbuka milik kami, menambahkan lapisan independen yang berada di luar agen tunggal mana pun. Alat ini bekerja dengan harness seperti Claude Code, Codex, OpenCode, dan Pi, memblokir tindakan berbahaya sebelum berjalan, menandai urutan multi-langkah yang mencurigakan seperti membaca rahasia lalu mengirimkan data ke luar, serta mempertahankan lini masa sesi untuk investigasi. Numbat berjalan di ribuan endpoint Perplexity berdampingan dengan Bumblebee, pemindai rantai pasokan bersumber terbuka milik kami. Computer secara teratur meninjau temuan mereka dan mengusulkan aturan deteksi yang ditingkatkan, dan manusia menyetujui setiap perubahan sebelum dirilis.

Tugas bagi seluruh industri

Seiring agen AI menjadi semakin cakap dan banyak digunakan, rekayasa keamanan harus tetap menjadi inti dari pengembangan dan penerapannya. Peneliti dan insinyur dapat membangun berdasarkan prinsip yang mapan, menggunakan temuan dunia nyata untuk menyempurnakan pertahanan, dan menguji pengamanan di berbagai lingkungan tempat agen beroperasi. Keamanan adalah disiplin rekayasa berkelanjutan yang berkembang seiring dengan teknologi.

Rekayasa keamanan untuk agen adalah tugas bagi seluruh industri. Tidak ada satu perusahaan pun yang mengontrol seluruh tumpukan tempat agen berjalan. Pengembang model, pembuat harness, penyedia sandbox dan runtime, vendor cloud dan perangkat keras, serta tim keamanan perusahaan masing-masing mengelola satu lapisan. Keamanan keseluruhan bergantung pada setiap lapisan yang bertahan saat lapisan lainnya tergelincir. Itulah sebabnya kami membangun pengamanan yang berfungsi di berbagai harness agen dan membuka sumber alat kami. Itulah juga sebabnya kami mengungkap kelemahan yang kami temukan di platform lain dan ikut serta dalam upaya seperti Open Secure AI Alliance.

Untuk bekerja sama dengan komunitas yang lebih luas dalam menghadapi tantangan ini, Perplexity meluncurkan Secure Intelligence Institute pada Maret 2026 untuk mempelajari keamanan, keterpercayaan, dan pertahanan praktis sistem AI mutakhir (Perplexity). Perplexity saat ini berkolaborasi dan/atau mendanai peneliti akademik di Stanford, CMU, Duke, Columbia, Ohio State, dan University of Virginia. Kami juga melakukan penelitian intramural untuk memajukan batas penelitian keamanan agen, menerjemahkan kemajuan tersebut ke dalam peningkatan konkret pada sistem Perplexity, serta membagikan pengetahuan dan sumber daya yang membantu memperkuat ekosistem AI yang lebih luas. Agen yang lebih aman adalah sesuatu yang dapat direkayasa oleh industri. Kami berniat untuk terus melakukan bagian kami, dan kami mengundang pihak lain untuk membangun bersama kami.