BrowseSafe++: Membangun pertahanan yang lebih kuat terhadap injeksi prompt di dunia nyata

Agen yang dapat menjelajahi web, seperti asisten bawaan di Comet atau Computer, perlu berinteraksi dengan halaman web, membaca konten, dan menggunakannya untuk melakukan tindakan atas nama penggunanya. Hal ini membuat agen rentan terhadap injeksi prompt tidak langsung, yaitu saat penyerang menempatkan teks berbahaya di halaman web. Jika agen mengikuti instruksi tersebut, agen dapat memberikan jawaban yang menyesatkan atau melakukan tindakan yang tidak diminta pengguna.

Pada Desember 2025, kami merilis BrowseSafe, sebuah tolok ukur dan model deteksi untuk ancaman ini. Kami membangunnya dengan menambahkan serangan sintetis ke halaman web realistis yang kemungkinan besar akan ditemui agen. Selama setahun terakhir, serangan telah berkembang menjadi lebih canggih dan semakin menyerupai konten halaman biasa. Alih-alih menggunakan frasa yang mudah dikenali seperti “abaikan instruksi sebelumnya”, serangan tersebut sering kali meniru konten yang kemungkinan besar dipercaya agen, seperti pemberitahuan resmi dari situs atau catatan tentang preferensi pengguna.

Didorong oleh perubahan ini, kami membangun tolok ukur yang diperbarui, BrowseSafe++, untuk mengukur apakah detektor injeksi saat ini dapat menangkap serangan tersebut dan apakah agen mampu menahannya. Tolok ukur ini berisi 38.675 pasangan halaman yang diserang dan bersih, yang terutama dibangun dari injeksi yang dikumpulkan di dunia nyata. Untuk setiap halaman, kami menulis ulang konten di sekitarnya untuk melindungi privasi, tetapi mempertahankan serangannya kata demi kata. Setiap halaman tersedia dalam empat format yang dibaca agen browser: HTML, Markdown, pohon aksesibilitas, dan tangkapan layar. Kami menggunakan sebagian tolok ukur untuk melatih BrowseSafe-Guard, sepasang detektor dengan 0,8 miliar parameter: detektor teks dan detektor multimodal. Kedua detektor Guard mengidentifikasi injeksi dengan lebih akurat daripada model yang diberi prompt yang kami uji, termasuk model terdepan. Keduanya juga lebih cepat, lebih murah, dan jauh lebih jarang salah menandai halaman biasa.

Kami merilis BrowseSafe++ sebagai tolok ukur terbuka. Situs web proyek menautkan ke dataset, SDK, makalah penelitian, dan papan peringkat publik. Tim mana pun dapat menilai detektornya terhadap halaman uji yang labelnya tidak disediakan, lalu mengirimkan label tersebut untuk dinilai dan mungkin dimasukkan ke papan peringkat. Untuk mengevaluasi dan mengirimkan hasil Anda, lihat Memulai.

Membangun tolok ukur dari injeksi yang diamati

BrowseSafe++ dibangun dari injeksi prompt yang diamati di situs web nyata. Antara September 2025 dan September 2026, detektor injeksi prompt Comet menandai 1,15 juta injeksi di halaman yang dibaca agennya. Kami membangun 32.187 pasangan dari injeksi tersebut dan menambahkan 6.488 pasangan dari tolok ukur BrowseSafe asli, sehingga totalnya 38.675 pasangan. Setiap pasangan berisi halaman yang diserang dan kembaran bersihnya, yaitu halaman yang sama tanpa injeksi.

Seperti apa injeksi di dunia nyata

Dua contoh dari tolok ukur ini menunjukkan seperti apa injeksi tersebut dalam praktiknya.

Dalam salah satu contoh, sebuah permintaan pembelian palsu mendorong agen untuk mengambil tindakan yang tidak sah. Detektor Comet menandai blok teks berbahasa Inggris ini pada halaman dokumentasi pengembang berbahasa Rusia pada Oktober 2025:

Teks ini dibuka dan ditutup dengan perintah, sementara bagian tengahnya diisi dengan materi pemasaran token biasa. Teks tersebut mengaku berasal dari pengembang agen itu sendiri dan diakhiri dengan kode otorisasi agar pembelian tampak telah disetujui.

Pada contoh lain, sebuah percakapan palsu bertujuan mengganggu tugas agen. Teks ini ditemukan di halaman repositori kode pada Maret 2026:

Teks ini dirancang agar tampak seperti percakapan antara pengguna dan agen: <|im_start|> dan <|im_end|> adalah penanda yang digunakan sebagian model chat untuk memisahkan giliran dalam percakapan. Agen yang terkecoh oleh serangan ini akan menanggapi kueri pengguna palsu tersebut dan membalas dengan frasa penyerang.

Kami mengamati pola serupa di seluruh injeksi yang ditandai:

• Injeksi meniru sumber tepercaya. Kedua contoh membuat teks halaman terdengar seperti sumber yang dipercaya agen: pengembangnya pada contoh pertama, dan percakapannya sendiri pada contoh kedua. Injeksi juga dapat menyamar sebagai situs itu sendiri, dengan meniru pemeriksaan keamanan dan pemberitahuan kebijakan, atau sebagai pengguna, dengan mengajukan preferensi palsu. Sekitar dua dari tiga injeksi ditulis dalam bahasa formal.
• Banyak yang ditulis dalam bahasa yang berbeda. Pada 24,4% pasangan, injeksi menggunakan bahasa yang berbeda dari bagian lain halamannya. Biasanya ini berupa instruksi berbahasa Inggris di halaman yang tidak berbahasa Inggris, seperti pada contoh pertama. Serangan semacam ini jelas ditujukan kepada agen yang membaca semua bahasa dan biasanya paling fasih berbahasa Inggris. Peralihan bahasa juga mempersulit deteksi: dalam evaluasi BrowseSafe awal kami, serangan multibahasa termasuk yang paling sulit ditangkap.
• Sebagian besar menginginkan tindakan, bukan kata-kata. Lebih dari empat dari sepuluh injeksi mendorong agen melakukan tindakan yang tidak pernah diminta pengguna, seperti pembelian token pada contoh pertama, dan sekitar sepertiga mencoba membuat agen meninggalkan tugas pengguna, seperti pada contoh kedua. Hanya sekitar 3% yang mencoba menanamkan informasi palsu ke dalam jawaban.
• Injeksi sering kali menumpang pada konten yang dapat diunggah siapa saja. Penyerang tidak perlu mengendalikan sebuah situs. Postingan forum atau dokumen bersama di situs biasa sudah cukup, dan lebih dari 23.000 injeksi dalam BrowseSafe++ masuk melalui cara ini. Domain tepercaya pun tetap dapat dimanfaatkan untuk menyisipkan teks penyerang.

Injeksi dalam tolok ukur final mencakup 12 jenis situs web, 24 jenis serangan, 6 tujuan penyerang, dan 18 penempatan di halaman.

Perbesar

Dari halaman yang ditandai menjadi pasangan tolok ukur

Kami tidak dapat menggunakan halaman yang ditandai apa adanya dalam tolok ukur, karena halaman tersebut mungkin berisi informasi pribadi milik pengguna yang dilayani agen. Mengubah halaman menjadi pasangan tolok ukur yang dapat dibagikan memerlukan tiga tahap utama:

1. Kumpulkan injeksi: Kami mengumpulkan halaman yang ditandai, menghapus duplikat, dan menyamarkan informasi pribadi dengan PII-Tracer. Kemudian, kami memastikan bahwa halaman tersebut berisi injeksi; secara khusus, kami mensyaratkan agar sekelompok model sepakat bahwa halaman itu berisi instruksi yang mencoba mengalihkan agen dari tugas yang dimaksudkan pengguna.
2. Bangun pasangan: Sebuah agen menghapus teks injeksi dari setiap halaman dan menulis ulang konten halaman di sekitarnya, mengganti detail seperti nama dan merek dengan yang fiktif. Agen kedua memeriksa halaman yang ditulis ulang untuk mencari sisa konten dunia nyata dan mengembalikan yang gagal beserta umpan balik. Peninjau manusia memeriksa 10% halaman yang dipilih secara acak; masalah yang mereka temukan diperbaiki dalam pipeline, dan perbaikannya diterapkan ke seluruh korpus. Injeksi disisipkan kembali ke halaman yang ditulis ulang untuk membuat salinan yang diserang dan tidak disertakan dalam salinan bersih. Kedua halaman memiliki tugas, hasil yang diharapkan, dan instruksi biasa yang sama.
3. Verifikasi: Agen membaca halaman dalam bentuk yang berbeda-beda, jadi kami merender HTML setiap halaman sebagai Markdown, pohon aksesibilitas (daftar terstruktur elemen antarmuka halaman beserta labelnya), dan tangkapan layar. Agen lain memeriksa bahwa injeksi muncul di keempat tampilan halaman yang diserang dan bahwa halaman bersih dinilai aman di setiap tampilan. Jika injeksi tidak ada di salah satu tampilan, kami memindahkannya ke tempat lain di halaman dan merendernya kembali untuk memastikan injeksi muncul di halaman final yang diserang dalam semua tampilan. Serangkaian pemeriksaan otomatis terakhir memperbaiki pasangan yang masih membawa jejak sumbernya, seperti nama host atau nama merek asli.

Perbesar

BrowseSafe-Guard: Detektor yang cepat dan presisi untuk setiap tampilan

Detektor yang berguna harus memeriksa setiap halaman dengan cepat dan murah. Detektor juga harus akurat pada halaman yang diserang maupun halaman bersih. Presisi yang tinggi sangat penting, karena sebagian besar halaman aman; bahkan tingkat positif palsu yang relatif rendah akan membuat sebagian besar peringatan menjadi alarm palsu. Model serbaguna yang diberi prompt sering kali kurang dalam hal presisi serta terlalu lambat dan mahal untuk dijalankan di setiap halaman.

Detektor yang dilatih pada halaman yang diserang dan halaman bersih yang dikumpulkan secara terpisah dapat mempelajari jalan pintas yang kebetulan memisahkan kedua kumpulan tersebut, seperti topik atau tata letak halaman. Namun, detektor seperti itu tidak dapat melakukan generalisasi dengan baik. Sebaliknya, Guard dilatih pada pasangan yang satu-satunya perbedaannya adalah injeksi itu sendiri, sehingga membantu meningkatkan presisi detektor. Untuk setiap pasangan, Guard membaca halaman yang diserang dan kembaran bersihnya secara terpisah, lalu memberikan skor pada masing-masing yang menunjukkan seberapa besar kemungkinan halaman tersebut mengandung injeksi. Dua objektif pelatihan digunakan untuk memperbarui model: objektif klasifikasi standar dan objektif pemeringkatan yang memberikan penalti kepada Guard kecuali skor halaman yang diserang lebih tinggi daripada kembarannya setidaknya sebesar margin tetap. Secara intuitif, objektif klasifikasi mengajari Guard keputusan apa yang harus diambil, sedangkan objektif pemeringkatan mengaitkan keputusan tersebut dengan injeksi itu sendiri dan mengabaikan pengalih yang tidak berbahaya. Hal ini melatih Guard untuk merespons injeksi itu sendiri, bukan konten halaman di sekitarnya.

Guard terdiri dari dua detektor, yang masing-masing merupakan hasil fine-tuning dari Qwen3.5-0.8B. Detektor teks membaca satu tampilan teks dari sebuah halaman: HTML, Markdown, atau pohon aksesibilitas. Detektor multimodal membaca tangkapan layar halaman penuh. Dalam penerapannya, Guard membaca halaman dalam satu forward pass dan menghasilkan skor injeksi, lalu halaman ditandai jika skornya melampaui ambang batas. Karena Guard hanya memiliki 0,8 miliar parameter dan menghasilkan satu skor, model ini cukup cepat dan murah untuk dijalankan di setiap halaman.

Mengukur kinerja dengan tolok ukur

Kami membandingkan Guard dengan 18 model yang diberi prompt untuk mendeteksi injeksi pada subset tolok ukur yang disisihkan. Kami melaporkan empat metrik yang diukur pada BrowseSafe++:

• Recall adalah proporsi halaman berinjeksi yang ditandai oleh detektor, yang mengukur berapa banyak serangan yang berhasil ditangkapnya, jadi makin tinggi makin baik.
• Tingkat positif palsu (FPR) adalah proporsi halaman bersih yang salah ditandai oleh detektor, yang mengukur seberapa sering detektor memicu alarm palsu, jadi makin rendah makin baik.
• Presisi adalah proporsi halaman yang ditandai dan benar-benar berisi injeksi; metrik ini mengukur seberapa sering peringatan itu benar, jadi makin tinggi makin baik.
• F1 adalah rata-rata harmonik dari recall dan presisi; nilainya hanya tinggi jika detektor menangkap sebagian besar serangan dan hanya sedikit tandanya yang merupakan alarm palsu.

Kami menggunakan F1 sebagai metrik utama, karena detektor yang baik harus memiliki presisi dan recall yang tinggi. Keempat metrik dirata-ratakan di ketiga tampilan teks.

Perbesar

Perbesar

Perbandingan model

Model bobot terbuka berukuran kecil yang kami uji berada di posisi terbawah. Mistral NeMo dan Qwen3 30B-A3B masing-masing menandai sekitar separuh halaman bersih, sedangkan Llama 3.1 8B jarang menandai apa pun sehingga melewatkan sebagian besar serangan. Bahkan model terkuat dalam kelompok ini, GPT-OSS 20B, hanya mencapai F1 sebesar 70,97%. DeepSeek V3.1, model bobot terbuka yang jauh lebih besar, sedikit lebih baik dengan F1 sebesar 75,23%.

Model API ringan, termasuk GPT-5.4 nano, Gemini 3.1 Flash-Lite, dan Claude Haiku 4.5, menangkap lebih banyak serangan, dengan recall antara 85% dan 97%. Namun, konsekuensinya adalah tingginya proporsi alarm palsu; Gemini 3.1 Flash-Lite memiliki FPR terendah di kelompok ini, yaitu 35,2%, sedangkan FPR Haiku hampir 69%. Akibatnya, skor F1 maksimum kelompok ini adalah 80,9%, yang dicapai oleh Gemini 3.1 Flash-Lite.

Model lainnya adalah model serbaguna yang lebih kuat, dengan skor F1 antara 85% dan 92%. Namun, model-model ini masih menghadapi kompromi antara recall dan FPR; model yang cenderung berhati-hati memblokir halaman yang sah, sedangkan model yang lebih jarang menandai melewatkan serangan. Claude Sonnet 5 memiliki recall tertinggi di antara semua detektor, yaitu 98,73%, tetapi FPR-nya 24,65%. Gemini 3.1 Pro dan GPT-5.5 mencapai recall masing-masing 97,78% dan 97,19%, dengan FPR masing-masing 19,80% dan 20,44%. GPT-6 Astra memiliki akurasi keseluruhan tertinggi, dengan recall 96,42% dan FPR 14,41%. Decider berada di posisi kedua, dengan recall 96,02% dan FPR 17,44%. Claude Opus 5.5 memiliki FPR terendah, hanya 4,21%, tetapi recall-nya sebesar 77,71% berarti model ini melewatkan lebih dari satu dari lima serangan. Claude Fable 5.1 tampak kuat pada halaman yang dijawabnya, dengan recall 89,31% dan FPR 7,92%, tetapi model ini menolak menjawab pada sekitar 30% halaman, yang dihitung sebagai tanda pada baris “(all)”.

Perbesar

Guard memajukan batas Pareto dengan mencapai keseimbangan yang lebih baik antara serangan yang terlewat dan alarm palsu. Guard mencapai F1 sekitar 95% dan menempati peringkat pertama di setiap tampilan teks. Guard hanya menandai sekitar satu dari 20 halaman bersih, kira-kira sepertiga dari tingkat Astra, model yang diberi prompt paling akurat. Perbedaan ini berasal dari pelatihan kami; Qwen3.5-0.8B standar yang menjadi dasar Guard, jika diberi prompt dengan cara yang sama seperti model lain, hanya mencapai F1 sebesar 64% dan menandai hampir tiga dari empat halaman bersih. Dalam skenario tampilan tangkapan layar, kami membandingkan detektor multimodal Guard dengan empat model yang mampu memproses gambar. Dengan tangkapan layar satu halaman penuh, Guard mencetak F1 sekitar 93%, dibandingkan sekitar 79% untuk model terbaik lainnya yang kami evaluasi.

Mengenali serangan tidak sama dengan menahannya

Secara intuitif, model yang dapat mengidentifikasi injeksi dengan benar seharusnya juga mengabaikan injeksi tersebut saat menjumpai halaman itu sewaktu menyelesaikan tugas pengguna. Namun, eksperimen kami menunjukkan bahwa skor deteksi yang tinggi tidak menjamin model akan menahan serangan. Kami memberikan halaman yang diserang yang sama kepada setiap model sebanyak dua kali, sekali untuk menilai apakah halaman itu berisi injeksi dan sekali untuk menjalankan tugas pengguna tanpa melihat putusan sebelumnya. Penilai terpisah memeriksa apakah model mengikuti injeksi tersebut. Setiap model yang diuji tetap mengikuti sebagian injeksi yang telah ditandainya, mulai dari 1,64% halaman yang ditandai untuk GPT-6 Astra hingga 24,73% untuk Llama 3.1 8B.

Perbesar

Skor deteksi tidak dapat diandalkan untuk memprediksi perbedaan antarmodel. Claude Sonnet 5 dan GPT-5.5 mendeteksi injeksi dengan kemampuan yang hampir sama, dengan skor F1 masing-masing sekitar 88% dan 89%. Namun, Sonnet 5 mengikuti injeksi yang telah ditandainya pada 19,74% halaman, sepuluh kali lebih sering daripada GPT-5.5 yang hanya 1,97%.

Sistem yang siap diterapkan untuk pertahanan terhadap injeksi

Hasil ini menunjukkan bahwa ada manfaatnya mendelegasikan keputusan untuk memblokir halaman kepada model khusus, alih-alih mengandalkan model yang menjalankan tugas pengguna. Detektor terpisah yang menyaring setiap halaman sebelum agen bertindak memberikan lapisan pertahanan tambahan dan tidak memiliki tugas untuk dibajak maupun alat untuk disalahgunakan.

Guard dibangun untuk menjadi detektor tersebut. Selain memiliki F1 dan akurasi tertinggi di antara semua model yang kami uji, ukurannya yang kecil membuatnya cukup murah untuk dijalankan di setiap halaman. Rata-rata, Guard menggunakan sekitar 0,15 detik waktu GPU per halaman teks. Pada H200 sewaan, kami memperkirakan biayanya $0,18 per 1.000 halaman, dibandingkan dengan $18,95–180,61 untuk model API frontier berdasarkan harga daftar. Dalam perbandingan kami, hal ini membuat penyaringan yang sering menjadi jauh lebih murah sambil tetap mempertahankan skor deteksi yang tinggi.

Gambar di bawah ini memetakan akurasi setiap detektor terhadap waktu per halaman dan biaya per 1.000 halaman, keduanya dalam skala logaritmik. Guard berada sendirian di sudut kiri atas kedua panel: Guard unggul dalam akurasi, kecepatan, dan biaya. Setiap model yang diberi prompt membutuhkan sekitar satu detik atau lebih per halaman, dan dua model paling akurat, GPT-6 Astra dan Claude Fable 5.1, menelan biaya lebih dari US$100 per 1.000 halaman.

Perbesar

Menguji pertahanan terhadap serangan adaptif

Tolok ukur BrowseSafe++ memiliki kumpulan injeksi yang terbatas. Namun, penyerang sungguhan dapat melancarkan serangan adaptif; ketika sebuah injeksi gagal, penyerang dapat menulis ulang injeksi tersebut dan mencobanya lagi. Akibatnya, agen yang mampu menahan injeksi asli masih bisa rentan terhadap serangan di masa mendatang. Selain itu, model dilatih dengan data yang dikumpulkan dari internet, sehingga model mungkin belajar menahan sebagian besar injeksi di dalamnya; karena kami merilis tolok ukur ini secara publik, tolok ukur ini kemungkinan akan jenuh dan tidak lagi mampu membedakan model dengan baik. Untuk mengatasi kedua masalah tersebut, kami membangun BrowseSafe-Adapt, lingkungan pengujian tempat model penyerang dapat menulis ulang injeksi. Setiap pengujian memiliki tiga tahap:

1. Menyiapkan kasus. Sebuah kasus mengelompokkan satu entri BrowseSafe++ dengan agen target. Entri BrowseSafe++ mencakup skenario dengan kueri dan tugas pengguna, halaman yang diserang, serta hasil yang diinginkan penyerang. Agen bekerja di dalam kotak pasir yang menyediakan alat dan data sintetis yang diperlukan untuk menjalankan tugas tersebut. Model verifikator terpisah mengevaluasi apakah serangan tersebut mencapai tujuannya.
2. Jalankan percobaan: Kami menyisipkan injeksi saat ini ke dalam halaman dan membiarkan agen menjalankan tugasnya. Verifikator memeriksa jawaban agen dan setiap perubahan yang dibuatnya pada kotak pasir untuk menentukan apakah serangan berhasil. Percobaan pertama menggunakan injeksi dari entri BrowseSafe++ asli.
3. Revisi dan ulangi: Jika serangan gagal, kami mengarsipkan percobaan tersebut, dan model kritikus meninjau apa yang salah. Model penyerang menggunakan umpan balik tersebut untuk menulis ulang injeksi; model ini dapat mengubah susunan kata, format, atau posisi serangan di halaman. Tujuan serangan, kriteria keberhasilan, dan konten halaman di sekitarnya tetap sama. Percobaan berikutnya menggunakan serangan yang telah diperbarui. Proses ini diulang hingga serangan berhasil atau penyerang mencapai batas percobaan yang ditetapkan.

Perbesar

Kami menguji tujuh agen, masing-masing dibangun di atas model yang berbeda: Claude Sonnet 5, Claude Haiku 4.5, GPT-5.5, Gemini 3.1 Pro, Gemini 3.5 Flash-Lite, serta model bobot terbuka DeepSeek V3.1 dan Kimi K2. Setiap agen menghadapi 1.024 tugas yang sama, dengan hingga 64 percobaan per tugas. Pada percobaan pertama, tingkat keberhasilan serangan rendah di ketujuh agen. Injeksi asli berhasil pada paling banyak 4% tugas yang dievaluasi terhadap agen mana pun. Dalam kerangka kerja adaptif, keberhasilan serangan meningkat drastis. Penyerang berhasil pada sedikitnya 79% tugas terhadap lima dari tujuh agen. Bahkan agen terkuat pun rentan: serangan tetap berhasil pada sekitar dua dari tiga tugas terhadap GPT-5.5 dan sekitar satu dari tiga tugas terhadap Claude Sonnet 5.

Perbedaan antaragen paling besar ketika tujuan penyerang adalah membuat agen melakukan panggilan alat tertentu. Untuk tugas dengan tujuan semacam ini, Sonnet 5 terpengaruh pada sekitar 8% tugas dan GPT-5.5 pada sekitar 29%. Lima agen lainnya menjalankan tujuan penyerang pada lebih dari separuh tugas mereka.

Kami juga menjalankan BrowseSafe-Adapt terhadap agen Gemini 3.5 Flash-Lite dengan Guard menyaring setiap halaman terlebih dahulu. Guard memblokir 94,5% injeksi asli dan hampir menggandakan rata-rata jumlah percobaan yang dibutuhkan penyerang, dari 9,7 menjadi 17,0. Namun, dengan total 64 percobaan, penyerang tetap berhasil pada 84,2% tugas (93,6% tanpa Guard), hampir selalu dengan injeksi yang tidak ditandai oleh Guard. Hal ini sejalan dengan pandangan yang kami sampaikan saat merilis BrowseSafe: tidak ada model deteksi yang menjadi solusi ajaib, sehingga detektor harus menjadi bagian dari pertahanan berlapis.

Perbesar

Kesimpulan

Agen browser sering kali rentan terhadap injeksi prompt tidak langsung, yaitu serangan yang disembunyikan di halaman biasa untuk mengganggu kemampuan agen dalam menjalankan tugas pengguna. Bahayanya terus meningkat seiring waktu, baik karena agen mendapatkan akses ke lebih banyak data dan alat sehingga potensi dampak serangan makin besar, maupun karena penyerang dapat merevisi injeksi mereka agar lebih efektif.

Rangkaian BrowseSafe kami mengatasi ancaman ini. Tolok ukur BrowseSafe++ berisi 38.675 pasangan halaman web yang terutama dibangun dari injeksi nyata, sehingga memungkinkan pelatihan dan evaluasi detektor yang lebih andal. Detektor BrowseSafe-Guard, yang dilatih dengan pasangan ini, memungkinkan deteksi yang sangat akurat, cepat, dan murah, sehingga halaman dapat dipindai sebelum agen bertindak berdasarkan halaman tersebut. Kerangka kerja BrowseSafe-Adapt memungkinkan pengujian model terhadap injeksi yang direvisi, sehingga menyoroti kerentanan yang mungkin tidak terlihat dari percobaan tunggal dengan injeksi tetap.

Kami berharap alat-alat ini secara bersama-sama memudahkan peneliti dan insinyur menemukan kegagalan serta meningkatkan pertahanan terhadap serangan injeksi prompt berbasis web. Kami juga terus mengevaluasi dan meningkatkan pertahanan bawaan Comet dan Computer untuk menjaga keamanan pengguna kami.

Memulai

1. Instal SDK dan dapatkan akses ke data. SDK diinstal dari GitHub:

Akses ke dataset ini dibatasi. Ajukan permintaan akses satu kali di halaman Hugging Face dataset tersebut, lalu masuk dengan hf auth login.

2. Kirim ke papan peringkat. Evaluasi detektor Anda sendiri pada bagian uji BrowseSafe++:

Ini akan menulis satu keputusan per halaman untuk setiap tampilan yang Anda cantumkan; cantumkan ketiga tampilan teks untuk mendapatkan rata-rata di papan peringkat teks. Masuk ke Space papan peringkat dengan akun Hugging Face Anda, lalu unggah predictions.jsonl. Space tersebut mengembalikan F1, akurasi, tingkat positif palsu, dan metrik lainnya untuk setiap tampilan, dan jika Anda memilihnya, memublikasikan hasilnya di papan peringkat. Setiap akun (berusia minimal 60 hari) mendapatkan satu kiriman yang dinilai per minggu UTC. Halaman uji hanya untuk evaluasi: jangan gunakan halaman tersebut untuk pelatihan atau mendistribusikannya ulang. Panduan pengiriman menjelaskan format file dan aturan publikasi.

Sitasi

@online{perplexity2026BrowseSafePlusPlus,
  author = {{Perplexity} and Yuetian Chen and Kaiyuan Zhang and Yuntao Du and Thomas Li and Mark Tenenholtz and Kyle Polley and Jerry Ma and Denis Yarats and Ninghui Li and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{BrowseSafe++: Building stronger defenses against real-world prompt injection}},
  date = {2026-10-28},
  url = {https://www.perplexity.ai/hub/blog/browsesafe-plus-plus}
}