BrowseSafe++: Gerçek dünyadaki istem enjeksiyonuna karşı daha güçlü savunmalar oluşturmak

Comet'e yerleşik asistan veya Computer gibi web'de gezinebilen ajanların web sayfalarıyla etkileşim kurması, içerikleri okuması ve bu içerikleri kullanıcıları adına eylemler gerçekleştirmek için kullanması gerekir. Bu da onları, bir saldırganın bir web sayfasına kötü amaçlı metin yerleştirdiği dolaylı istem enjeksiyonuna karşı savunmasız hale getirir. Ajan bu talimatları izlerse yanıltıcı bir yanıt döndürebilir veya kullanıcının istemediği bir eylemi gerçekleştirebilir.

Aralık 2025'te, bu tehdide yönelik bir kıyaslama seti ve tespit modeli olan BrowseSafe'i yayımladık. Bunu, ajanların karşılaşması muhtemel gerçekçi web sayfalarına sentetik saldırılar ekleyerek oluşturduk. Geçen yıl boyunca saldırılar daha sofistike hâle geldi ve sıradan sayfa içeriğine daha çok benzemeye başladı. “Önceki talimatları yok say” gibi ele veren ifadeler kullanmak yerine, çoğu zaman ajanın güvenmesi muhtemel içerikleri, örneğin siteden gelen resmî bir bildirimi veya kullanıcı tercihlerine dair bir notu taklit ediyorlar.

Bu değişikliklerden yola çıkarak, mevcut enjeksiyon dedektörlerinin bu saldırıları yakalayıp yakalamadığını ve ajanların bunlara direnip direnemediğini ölçmek için BrowseSafe++ adlı güncellenmiş bir kıyaslama oluşturduk. Kıyaslama, öncelikle gerçek dünyada toplanan enjeksiyonlar etrafında oluşturulmuş, saldırıya uğramış ve temiz sayfalardan oluşan 38.675 sayfa çifti içeriyor. Her sayfa için gizliliği korumak amacıyla çevredeki içeriği yeniden yazıyor, ancak saldırıyı aynen koruyoruz. Her sayfa, tarayıcı ajanlarının okuduğu dört biçimde sunuluyor: HTML, Markdown, erişilebilirlik ağaçları ve ekran görüntüleri. Kıyaslamanın bir alt kümesini, 0,8 milyar parametreli iki dedektörden oluşan BrowseSafe-Guard'ı eğitmek için kullandık: bir metin dedektörü ve bir çok modlu dedektör. İki Guard dedektörü, öncü modeller de dahil olmak üzere test ettiğimiz istemle yönlendirilen modellerden daha doğru şekilde enjeksiyon tespit ediyor. Ayrıca daha hızlı ve daha ucuzlar; sıradan sayfaları yanlışlıkla işaretleme sıklıkları da çok daha düşük.

BrowseSafe++'ı açık bir kıyaslama olarak yayımlıyoruz. Proje web sitesinde veri setine, SDK'ya, araştırma makalesine ve herkese açık bir sıralama tablosuna bağlantılar bulunuyor. Her ekip, etiketleri sağlanmayan test sayfalarında kendi dedektörünü puanlayabilir ve elde ettiği etiketleri, puanlanmaları ve sıralama tablosuna eklenmeye aday olmaları için gönderebilir. Sonuçlarınızı değerlendirmek ve göndermek için Başlarken bölümüne bakın.

Gözlemlenen enjeksiyonlardan bir kıyaslama oluşturmak

BrowseSafe++, gerçek web sitelerinde gözlemlenen istem enjeksiyonlarından oluşturuldu. Eylül 2025 ile Eylül 2026 arasında Comet'in istem enjeksiyonu dedektörü, ajanının okuduğu sayfalarda 1,15 milyon enjeksiyonu işaretledi. Bu enjeksiyonlar etrafında 32.187 çift oluşturduk ve orijinal BrowseSafe kıyaslamasından 6.488 çift ekleyerek toplam 38.675 çifte ulaştık. Her çift hem saldırıya uğramış bir sayfayı hem de bu sayfanın enjeksiyon içermeyen aynısı olan temiz ikizini barındırır.

Gerçek dünyada enjeksiyonlar nasıl görünüyor

Kıyaslamadan iki örnek, bu enjeksiyonların uygulamada nasıl göründüğünü gösteriyor.

Bunlardan birinde, sahte bir satın alma talebi ajanı yetkisiz bir eylem gerçekleştirmeye teşvik ediyor. Comet'in dedektörü, Ekim 2025'te Rusça bir geliştirici dokümantasyonu sayfasındaki bu İngilizce metin bloğunu işaretledi:

Metin emirlerle açılıp kapanıyor, arasını ise sıradan token pazarlamasıyla dolduruyor. Ajanın kendi geliştiricisinden geldiğini iddia ediyor ve satın alımın onaylanmış gibi görünmesi için bir yetkilendirme koduyla bitiyor.

Bir diğerinde ise sahte bir konuşma, ajanın görevini bozmayı amaçlıyor. Bu metin Mart 2026'da bir kod deposu sayfasında bulundu:

Metin, bir kullanıcı ile bir ajan arasındaki konuşma gibi görünecek şekilde tasarlanmış: <|im_start|> ve <|im_end|>, bazı sohbet modellerinin bir konuşmanın turlarını ayırmak için kullandığı işaretçilerdir. Bu saldırıya kanan bir ajan, sahte kullanıcı sorgusuna yanıt verir ve saldırganın belirlediği ifadeyle karşılık verir.

İşaretlenen enjeksiyonlarda benzer örüntüler gözlemliyoruz:

• Güvenilir kaynakları taklit ediyorlar. Her iki örnek de sayfa metnini ajanın güvendiği bir kaynaktan geliyormuş gibi gösteriyor: ilkinde geliştiricisinden, ikincisinde kendi sohbetinden. Enjeksiyonlar ayrıca güvenlik kontrollerini ve politika bildirimlerini taklit ederek sitenin kendisinin ya da sahte tercihler öne sürerek kullanıcının kılığına da girebilir. Yaklaşık üçte ikisi resmî bir dille yazılmıştır.
• Birçoğu farklı dillerde yazılmış. Çiftlerin %24,4'ünde enjeksiyon, sayfanın geri kalanından farklı bir dil kullanıyor. Bu genellikle ilk örnekte olduğu gibi İngilizce olmayan bir sayfadaki İngilizce bir talimat biçimini alıyor. Bu tür saldırılar açıkça, her dili okuyan ve ana dili genellikle İngilizce olan bir ajana yöneliktir. Dil geçişleri algılamayı da zorlaştırır: Orijinal BrowseSafe değerlendirmemizde çok dilli saldırılar, yakalanması en zor saldırılar arasındaydı.
• Çoğu söz değil, eylem istiyor. Onda dörtten fazlası, ilk örnekteki token satın alımı gibi ajanı kullanıcının hiç istemediği bir eyleme yönlendiriyor; yaklaşık üçte biri ise ikinci örnekte olduğu gibi ajanın kullanıcının görevini bırakmasını sağlamaya çalışıyor. Yalnızca yaklaşık %3'ü yanıta yanlış bilgi yerleştirmeye çalışıyor.
• Çoğu zaman herkesin yayımlayabildiği içerikler üzerinden taşınıyorlar. Saldırganın bir siteyi kontrol etmesi gerekmez. Sıradan sitelerdeki bir forum gönderisi veya paylaşılan bir belge yeterlidir; BrowseSafe++ içindeki 23.000'den fazla enjeksiyon bu yolla geldi. Güvenilir bir alan adı da yine saldırganın metnini enjekte etmek için kullanılabilir.

Nihai kıyaslamadaki enjeksiyonlar 12 web sitesi türünü, 24 saldırı türünü, 6 saldırgan hedefini ve sayfa üzerindeki 18 konumu kapsıyor.

Büyüt

İşaretlenen bir sayfadan kıyaslama çiftine

İşaretlenen sayfaları olduğu gibi kıyaslamada kullanamayız, çünkü bu sayfalar ajanın adına çalıştığı kullanıcıya ait kişisel bilgiler içerebilir. Bir sayfayı paylaşılabilir bir kıyaslama çiftine dönüştürmek üç ana aşama gerektirir:

1. Enjeksiyonu topla: İşaretlenen sayfaları topluyor, yinelenenleri kaldırıyor ve kişisel bilgileri PII-Tracer ile maskeliyoruz. Ardından sayfanın bir enjeksiyon içerdiğini doğruluyoruz; daha açık belirtmek gerekirse bir model panelinin sayfada ajanı kullanıcının amaçladığı görevden uzaklaştırmaya çalışan bir talimat bulunduğu konusunda hemfikir olmasını şart koşuyoruz.
2. Çifti oluştur: Bir ajan, her sayfadan enjeksiyon metnini kaldırır ve çevredeki sayfa içeriğini yeniden yazarak adlar ve markalar gibi ayrıntıları kurgusal olanlarla değiştirir. İkinci bir ajan, yeniden yazılan sayfada kalan gerçek dünya içeriği olup olmadığını kontrol eder ve başarısız olanları geri bildirimle birlikte geri gönderir. İnsan değerlendiriciler sayfaların rastgele %10'unu inceler; buldukları sorunlar işlem hattında düzeltilir ve düzeltmeler derlemin tamamına uygulanır. Enjeksiyon, saldırıya uğramış kopyayı oluşturmak için yeniden yazılan sayfaya tekrar eklenir ve temiz kopyanın dışında bırakılır. İki sayfa aynı görevi, beklenen sonucu ve sıradan talimatları paylaşır.
3. Doğrula: Ajanlar sayfaları farklı biçimlerde okur; bu nedenle her sayfanın HTML'ini Markdown, erişilebilirlik ağacı (bir sayfanın arayüz öğelerinin ve etiketlerinin yapılandırılmış listesi) ve ekran görüntüsü olarak işleriz. Başka bir ajan, enjeksiyonun saldırıya uğramış sayfanın dört görünümünün tamamında yer aldığını ve temiz sayfanın her görünümde zararsız olarak değerlendirildiğini kontrol eder. Enjeksiyon görünümlerden birinde eksikse onu sayfada farklı bir konuma taşıyıp yeniden işleriz; böylece enjeksiyonun nihai saldırıya uğramış sayfada tüm görünümlerde yer almasını sağlarız. Son bir otomatik kontrol dizisi, gerçek ana bilgisayar adları veya marka adları gibi kaynaklarına ait izler taşımaya devam eden çiftleri düzeltir.

Büyüt

BrowseSafe-Guard: Her görünüm için hızlı ve isabetli dedektörler

Kullanışlı bir dedektörün her sayfayı hızlı ve ucuz bir şekilde kontrol etmesi gerekir. Ayrıca hem saldırıya uğramış hem de temiz sayfalarda doğru sonuç vermesi gerekir. Sayfaların çoğu güvenli olduğundan yüksek kesinlik özellikle önemlidir; nispeten düşük bir yanlış pozitif oranı bile uyarıların çoğunun yanlış alarm olmasına yol açar. İstemle yönlendirilen genel amaçlı modeller çoğu zaman kesinlik konusunda yetersiz kalır ve her sayfada çalıştırılamayacak kadar yavaş ve maliyetlidir.

Ayrı ayrı toplanmış saldırıya uğramış ve temiz sayfalarla eğitilen bir dedektör, iki kümeyi tesadüfen birbirinden ayıran kısayolları, örneğin bir sayfanın konusunu veya düzenini öğrenebilir. Ancak böyle bir dedektör iyi genelleme yapamaz. Guard ise tek farkı enjeksiyonun kendisi olan çiftler üzerinde eğitilir; bu da dedektörün kesinliğini artırmaya yardımcı olur. Guard, her çift için saldırıya uğramış sayfayı ve onun temiz ikizini ayrı ayrı okur ve her birine enjeksiyon içerme olasılığını gösteren bir puan verir. Modeli güncellemek için iki eğitim hedefi kullanılır: standart sınıflandırma hedefi ve saldırıya uğramış sayfa ikizinden en az sabit bir marj kadar yüksek puan almadıkça Guard'ı cezalandıran bir sıralama hedefi. Sezgisel olarak, sınıflandırma hedefi Guard'a hangi kararı vermesi gerektiğini öğretir; sıralama hedefi ise bu kararı enjeksiyonun kendisine bağlar ve zararsız dikkat dağıtıcı unsurları göz ardı eder. Bu sayede Guard, çevredeki sayfa içeriğine değil, enjeksiyonun kendisine tepki verecek şekilde eğitilir.

Guard, her biri Qwen3.5-0.8B temel alınarak ince ayarlanmış iki dedektörden oluşur. Metin dedektörü, bir sayfanın tek bir metin görünümünü okur: HTML, Markdown veya erişilebilirlik ağacı. Çok modlu dedektör ise tam sayfa ekran görüntüsünü okur. Devreye alındığında Guard, bir sayfayı tek bir ileri geçişte okur ve bir enjeksiyon puanı üretir; puan bir eşiği aşarsa sayfa işaretlenir. Guard yalnızca 0,8 milyar parametreye sahip olduğu ve tek bir puan ürettiği için her sayfada çalıştırılabilecek kadar hızlı ve ucuzdur.

Performans kıyaslaması

Guard'ı, kıyaslamanın ayrılmış bir alt kümesinde enjeksiyon tespit etmek üzere istemle yönlendirilen 18 modelle karşılaştırdık. BrowseSafe++ üzerinde ölçülen dört metriği raporluyoruz:

• Duyarlılık (recall), enjeksiyon içeren sayfalar arasında dedektörün işaretlediklerinin oranıdır; kaç saldırıyı yakaladığını ölçer, dolayısıyla yüksek olması daha iyidir.
• Yanlış pozitif oranı (FPR), dedektörün yanlışlıkla işaretlediği temiz sayfaların oranıdır; ne sıklıkla yanlış alarm verdiğini ölçer, dolayısıyla düşük olması daha iyidir.
• Kesinlik (precision), işaretlenen sayfalar arasında gerçekten enjeksiyon içerenlerin oranıdır; bir uyarının ne sıklıkla doğru olduğunu ölçer, dolayısıyla yüksek olması daha iyidir.
• F1, duyarlılık ve kesinliğin harmonik ortalamasıdır; yalnızca bir dedektör saldırıların çoğunu yakaladığında ve işaretlerinin pek azı yanlış alarm olduğunda yüksektir.

İyi bir dedektörün kesinliğinin ve duyarlılığının yüksek olması gerektiğinden birincil metrik olarak F1'i kullanıyoruz. Dört metriğin tamamı, üç metin görünümünün ortalaması alınarak hesaplanır.

Büyüt

Büyüt

Model karşılaştırmaları

Test ettiğimiz küçük açık ağırlıklı modeller en altta yer aldı. Mistral NeMo ve Qwen3 30B-A3B'nin her biri temiz sayfaların yaklaşık yarısını işaretlerken Llama 3.1 8B neredeyse hiçbir şeyi işaretlemiyor ve saldırıların çoğunu kaçırıyor. Gruptaki en güçlü model olan GPT-OSS 20B bile yalnızca %70,97'lik bir F1 skoruna ulaşıyor. Çok daha büyük bir açık ağırlıklı model olan DeepSeek V3.1, %75,23'lük F1 skoruyla biraz daha iyi performans gösteriyor.

GPT-5.4 nano, Gemini 3.1 Flash-Lite ve Claude Haiku 4.5 gibi hafif API modelleri, %85 ile %97 arasında değişen duyarlılıkla (recall) daha fazla saldırı yakalar. Ancak bunun bedeli yüksek oranda yanlış alarmdır; grubun en düşük FPR'sine %35,2 ile Gemini 3.1 Flash-Lite sahiptir, Haiku'nun FPR'si ise yaklaşık %69'dur. Sonuç olarak grubun en yüksek F1 puanı %80,9'dur ve bu puana Gemini 3.1 Flash-Lite ulaşmıştır.

Geri kalan modeller, F1 skorları %85 ile %92 arasında değişen daha güçlü genel amaçlı modellerdir. Ancak bu modeller de duyarlılık ile FPR arasında ödünleşimlerle karşı karşıya: Temkinli davranmaya eğilimli modeller meşru sayfaları engelliyor, daha seyrek işaret veren modeller ise saldırıları kaçırıyor. Claude Sonnet 5, %98,73 ile tüm dedektörler arasında en yüksek duyarlılığa sahip, ancak FPR'si %24,65. Gemini 3.1 Pro ve GPT-5.5 sırasıyla %97,78 ve %97,19 duyarlılığa ulaşırken FPR'leri sırasıyla %19,80 ve %20,44. GPT-6 Astra, %96,42 duyarlılık ve %14,41 FPR ile en yüksek genel doğruluğa sahip. Decider, %96,02 duyarlılık ve %17,44 FPR ile ikinci sırada. Claude Opus 5.5 yalnızca %4,21 ile en düşük FPR'ye sahip, ancak %77,71'lik duyarlılığı saldırıların beşte birinden fazlasını kaçırdığı anlamına geliyor. Claude Fable 5.1, yanıtladığı sayfalarda %89,31 duyarlılık ve %7,92 FPR ile güçlü görünüyor, ancak sayfaların yaklaşık %30'unda yanıt vermeyi reddediyor; “(all)” satırı bunları işaret olarak sayıyor.

Büyüt

Guard, Pareto sınırını ileriye taşıyarak kaçırılan saldırılar ile yanlış alarmlar arasında daha iyi bir denge kuruyor. Yaklaşık %95'lik bir F1 skoruna ulaşıyor ve her metin görünümünde birinci sırada yer alıyor. Her 20 temiz sayfadan yalnızca yaklaşık birini işaretliyor; bu oran, istemle yönlendirilen en doğru model olan Astra'nınkinin kabaca üçte biri. Bu fark eğitimimizden kaynaklanıyor: Guard'ın temel aldığı standart Qwen3.5-0.8B, diğer modellerle aynı şekilde istemle yönlendirildiğinde yalnızca %64'lük bir F1 skoruna ulaşıyor ve temiz sayfaların neredeyse dörtte üçünü işaretliyor. Ekran görüntüsü görünümü senaryosunda Guard'ın çok modlu dedektörünü görüntü işleyebilen dört modelle karşılaştırıyoruz. Tam sayfa ekran görüntüleri verildiğinde Guard yaklaşık %93 F1 skoru elde ederken değerlendirdiğimiz diğer modellerin en iyisi yaklaşık %79'da kalıyor.

Bir saldırıyı tanımak, ona direnmekle aynı şey değil

Sezgisel olarak, bir enjeksiyonu doğru şekilde tespit edebilen bir modelin, kullanıcı görevlerini tamamlarken o sayfayla karşılaştığında söz konusu enjeksiyonu yok sayması da beklenir. Ancak deneylerimiz, güçlü algılama skorlarının bir modelin saldırıya direneceğini garanti etmediğini gösteriyor. Her modele aynı saldırıya uğramış sayfayı iki kez verdik: Bir kez enjeksiyon içerip içermediğini değerlendirmesi için, bir kez de önceki kararı görmeden kullanıcının görevini yerine getirmesi için. Ayrı bir değerlendirici, modelin enjeksiyonu izleyip izlemediğini kontrol etti. Test edilen her model, işaretlediği bazı enjeksiyonları yine de izledi; bu oran GPT-6 Astra için işaretlenen sayfaların %1,64'ünden Llama 3.1 8B için %24,73'üne kadar uzanıyor.

Büyüt

Algılama skorları, modeller arasındaki farkları güvenilir biçimde öngörmüyor. Claude Sonnet 5 ve GPT-5.5, F1 skorları sırasıyla yaklaşık %88 ve %89 olmak üzere enjeksiyonları neredeyse eşit derecede iyi tespit ediyor. Ancak Sonnet 5, işaretlediği bir enjeksiyonu sayfaların %19,74'ünde izledi; bu oran, GPT-5.5'in %1,97'lik oranının on katı.

Enjeksiyona karşı savunma için devreye alınabilir bir sistem

Bu sonuçlar, bir sayfayı engelleme kararını kullanıcının görevini yerine getiren modele bırakmak yerine özel amaçlı bir modele devretmenin değerli olduğunu gösteriyor. Ajan harekete geçmeden önce her sayfayı tarayan ayrı bir dedektör, ek bir savunma katmanı sağlar; ele geçirilebilecek bir görevi veya kötüye kullanılabilecek araçları da yoktur.

Guard tam da bu dedektör olmak üzere tasarlandı. Test ettiğimiz tüm modeller arasında en yüksek F1 ve doğruluk değerlerine sahip olmasının yanı sıra, küçük boyutu sayesinde her sayfada çalıştırılabilecek kadar ucuzdur. Guard, metin sayfası başına ortalama yaklaşık 0,15 saniye GPU süresi kullandı. Kiralık bir H200 üzerinde maliyetin 1.000 sayfa başına $0,18 olacağını tahmin ediyoruz; liste fiyatlarıyla öncü API modellerinde ise bu maliyet $18,95–180,61 arasında. Bu da karşılaştırmamızda yüksek tespit puanlarını korurken sık taramayı çok daha ucuz hâle getiriyor.

Aşağıdaki şekil, her dedektörün doğruluğunu sayfa başına süresine ve 1.000 sayfa başına maliyetine karşı, her ikisi de logaritmik ölçekte olacak şekilde gösteriyor. Guard, her iki panelin de sol üst köşesinde tek başına yer alıyor: Doğruluk, hız ve maliyet açısından üstün. İstemle yönlendirilen her model sayfa başına yaklaşık bir saniye veya daha uzun sürüyor ve en doğru iki model olan GPT-6 Astra ile Claude Fable 5.1'in maliyeti 1.000 sayfa başına 100 doları aşıyor.

Büyüt

Savunmaları uyarlanabilir saldırılara karşı test etme

BrowseSafe++ kıyaslaması sınırlı sayıda enjeksiyon içeriyor. Ancak gerçek bir saldırgan uyarlanabilir bir saldırı düzenleyebilir; bir enjeksiyon başarısız olduğunda saldırgan onu yeniden yazıp tekrar deneyebilir. Sonuç olarak, orijinal enjeksiyona direnen bir ajan gelecekteki saldırılara karşı yine de savunmasız olabilir. Üstelik modeller internetten toplanan veriler üzerinde eğitildiğinden kıyaslamadaki enjeksiyonların çoğuna direnmeyi öğrenebilir; kıyaslamamızı herkese açık olarak yayımladığımız için kıyaslama büyük olasılıkla doygunluğa ulaşacak ve modelleri iyi ayırt edemeyecektir. Her iki sorunu da çözmek için, bir saldırgan modelin enjeksiyonları yeniden yazabildiği bir test ortamı olan BrowseSafe-Adapt'i oluşturduk. Her test üç aşamadan oluşur:

1. Vakayı hazırlayın. Bir vaka, bir BrowseSafe++ girdisini bir hedef ajanla bir araya getirir. BrowseSafe++ girdisi; kullanıcı sorgusu ve görev içeren bir senaryo, saldırıya uğramış bir sayfa ve saldırganın istediği sonucu içerir. Ajan, görevi yürütmek için gereken araçları ve sentetik verileri sağlayan bir korumalı alanda çalışır. Ayrı bir doğrulayıcı model, saldırının amacına ulaşıp ulaşmadığını değerlendirir.
2. Denemeyi çalıştır: Mevcut enjeksiyonu sayfaya ekliyor ve ajanın görevi yerine getirmesine izin veriyoruz. Doğrulayıcı, saldırının başarılı olup olmadığını belirlemek için ajanın yanıtını ve korumalı alanda yaptığı değişiklikleri kontrol eder. İlk deneme, orijinal BrowseSafe++ girdisindeki enjeksiyonu kullanır.
3. Revize et ve tekrarla: Bir saldırı başarısız olursa denemeyi arşivliyoruz ve bir eleştirmen model neyin yanlış gittiğini inceliyor. Bir saldırgan model bu geri bildirimi kullanarak enjeksiyonu yeniden yazıyor; saldırının ifadesini, biçimlendirmesini veya sayfadaki konumunu değiştirebiliyor. Saldırı hedefi, başarı ölçütleri ve çevredeki sayfa içeriği aynı kalıyor. Bir sonraki deneme güncellenmiş saldırıyı kullanıyor. Bu süreç, saldırı başarılı olana veya saldırgan belirlenen deneme sınırına ulaşana kadar tekrarlanıyor.

Büyüt

Her biri farklı bir modele dayanan yedi ajanı test ettik: Claude Sonnet 5, Claude Haiku 4.5, GPT-5.5, Gemini 3.1 Pro, Gemini 3.5 Flash-Lite ve açık ağırlıklı modeller DeepSeek V3.1 ile Kimi K2. Her ajan, görev başına en fazla 64 denemeyle aynı 1.024 görevle karşılaştı. İlk denemede saldırı başarısı yedi ajanın tamamında düşüktü. Orijinal enjeksiyonlar, herhangi bir ajana karşı değerlendirilen görevlerin en fazla %4'ünde başarılı oldu. Uyarlanabilir çerçevede ise saldırı başarısı çarpıcı biçimde arttı. Saldırgan, yedi ajandan beşine karşı görevlerin en az %79'unda başarılı oldu. En güçlü ajanlar bile savunmasız kaldı: Saldırılar GPT-5.5'e karşı yaklaşık her üç görevden ikisinde, Claude Sonnet 5'e karşı ise yaklaşık her üç görevden birinde yine de başarılı oldu.

Ajanlar arasındaki fark, saldırganın amacı ajanın belirli bir araç çağrısı yapmasını sağlamak olduğunda en büyük düzeye ulaşıyor. Bu tür bir amaca sahip görevlerde Sonnet 5 görevlerin yaklaşık %8'inde, GPT-5.5 ise yaklaşık %29'unda boyun eğdi. Diğer beş ajan, görevlerinin yarısından fazlasında saldırganın amacını yerine getirdi.

Ayrıca BrowseSafe-Adapt'i, her sayfayı önce Guard'ın taradığı bir düzende Gemini 3.5 Flash-Lite ajanına karşı çalıştırdık. Guard, orijinal enjeksiyonların %94,5'ini engelledi ve saldırganların ihtiyaç duyduğu ortalama deneme sayısını 9,7'den 17,0'a çıkararak neredeyse iki katına yükseltti. Ancak 64 denemenin tamamı kullanıldığında saldırgan, görevlerin %84,2'sinde (Guard olmadan %93,6) yine de başarılı oldu; bunu da neredeyse her zaman Guard'ın işaretlemediği bir enjeksiyonla başardı. Bu, BrowseSafe'i yayımladığımızda ortaya koyduğumuz görüşle örtüşüyor: Hiçbir algılama modeli sihirli bir çözüm değildir, bu nedenle bir dedektörün katmanlı bir savunmanın parçası olması gerekir.

Büyüt

Sonuç

Tarayıcı ajanları çoğu zaman dolaylı istem enjeksiyonuna karşı savunmasızdır; bu yöntemde sıradan sayfalara gizlenmiş saldırılar, ajanların kullanıcı görevlerini yerine getirme becerisine müdahale etmeye çalışır. Tehlikeler zamanla yalnızca artar: Hem ajanlar daha fazla veriye ve araca erişim kazandıkça saldırıların olası sonuçları ağırlaşır hem de saldırganlar enjeksiyonlarını daha etkili olacak şekilde revize edebilir.

BrowseSafe paketimiz bu tehditleri ele alıyor. BrowseSafe++ kıyaslaması, öncelikle gerçek enjeksiyonlardan oluşturulmuş 38.675 web sayfası çifti içeriyor ve dedektörler için daha güvenilir eğitim ve değerlendirme olanağı sağlıyor. Bu çiftler üzerinde eğitilen BrowseSafe-Guard dedektörleri son derece doğru, hızlı ve ucuz algılama sunarak sayfaların, bir ajan bunlara göre harekete geçmeden önce taranmasını mümkün kılıyor. BrowseSafe-Adapt çerçevesi, modellerin revize edilmiş enjeksiyonlara karşı test edilmesini sağlayarak sabit enjeksiyonlarla yapılan tek denemelerde fark edilmeyebilecek güvenlik açıklarını ortaya çıkarıyor.

Bu araçların bir arada, araştırmacıların ve mühendislerin hataları bulmasını ve web tabanlı istem enjeksiyonu saldırılarına karşı savunmaları geliştirmesini kolaylaştırmasını umuyoruz. Kullanıcılarımızı güvende tutmak için Comet'in ve Computer'ın yerleşik savunmalarını da sürekli olarak değerlendiriyor ve geliştiriyoruz.

Başlarken

1. SDK'yı yükleyin ve verilere erişim sağlayın. SDK, GitHub üzerinden yüklenir:

Veri setine erişim kısıtlıdır. Erişimi bir kez Hugging Face sayfasından isteyin, ardından hf auth login ile oturum açın.

2. Sıralama tablosuna gönderin. Kendi dedektörünüzü BrowseSafe++'ın test bölümünde değerlendirin:

Bu işlem, listelediğiniz her görünüm için sayfa başına bir karar yazar; metin liderlik tablosunda ortalama almak için üç metin görünümünün tamamını listeleyin. Hugging Face hesabınızla liderlik tablosu Space'ine giriş yapın ve predictions.jsonl dosyasını yükleyin. Space, her görünüm için F1, doğruluk, yanlış pozitif oranı ve diğer metrikleri döndürür ve isterseniz sonucu liderlik tablosunda yayımlar. Her hesap (en az 60 günlük) UTC haftası başına puanlanan bir gönderim hakkına sahiptir. Test sayfaları yalnızca değerlendirme içindir: bunlarla model eğitmeyin veya bunları yeniden dağıtmayın. Gönderim kılavuzu dosya biçimini ve yayımlama kurallarını açıklar.

Atıf

@online{perplexity2026BrowseSafePlusPlus,
  author = {{Perplexity} and Yuetian Chen and Kaiyuan Zhang and Yuntao Du and Thomas Li and Mark Tenenholtz and Kyle Polley and Jerry Ma and Denis Yarats and Ninghui Li and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{BrowseSafe++: Building stronger defenses against real-world prompt injection}},
  date = {2026-10-28},
  url = {https://www.perplexity.ai/hub/blog/browsesafe-plus-plus}
}