BrowseSafe++: izgradnja snažnije obrane od ubacivanja upita u stvarnim uvjetima

Agenti koji mogu pregledavati web, poput asistenta ugrađenog u Comet ili Computer, moraju komunicirati s web-stranicama, čitati njihov sadržaj i koristiti ga za izvršavanje radnji u ime svojih korisnika. Zbog toga su ranjivi na indirektnu injekciju prompta, pri kojoj napadač postavlja zlonamjerni tekst na web-stranicu. Ako agent slijedi te upute, može vratiti obmanjujući odgovor ili izvršiti radnju koju korisnik nije zatražio.

U prosincu 2025. objavili smo BrowseSafe, benchmark i model za otkrivanje ove prijetnje. Izradili smo ga dodavanjem sintetičkih napada na realistične web-stranice na koje bi agenti vjerojatno naišli. Tijekom protekle godine napadi su postali sofisticiraniji i sve više nalikuju uobičajenom sadržaju stranice. Umjesto očitih fraza poput „zanemari prethodne upute”, često oponašaju sadržaj kojem će agent vjerojatno vjerovati, kao što je službena obavijest web-mjesta ili napomena o korisničkim postavkama.

Potaknuti tim promjenama, izradili smo ažurirani benchmark, BrowseSafe++, kako bismo izmjerili otkrivaju li trenutačni detektori injekcija te napade i mogu li im se agenti oduprijeti. Sadrži 38.675 parova napadnutih i čistih stranica, izgrađenih prvenstveno oko injekcija prikupljenih u stvarnom svijetu. Za svaku stranicu prepisujemo okolni sadržaj radi zaštite privatnosti, ali napad zadržavamo doslovno. Svaka je stranica dostupna u četiri formata koja čitaju agenti preglednika: HTML, Markdown, stabla pristupačnosti i snimke zaslona. Podskup benchmarka upotrijebili smo za treniranje detektora BrowseSafe-Guard, para detektora s 0,8 milijardi parametara: tekstnog i multimodalnog. Dva detektora Guard prepoznaju injekcije točnije od modela s promptom koje smo testirali, uključujući najnaprednije modele. Usto su brži i jeftiniji te pogreškom označavaju znatno manje običnih stranica.

BrowseSafe++ objavljujemo kao otvoreni benchmark. Web-mjesto projekta sadrži poveznice na skup podataka, SDK, znanstveni rad i javnu ljestvicu. Svaki tim može ocijeniti svoj detektor na testnim stranicama čije oznake nisu dostupne i poslati oznake na ocjenjivanje te moguće uvrštenje na ljestvicu. Za evaluaciju i slanje rezultata pogledajte odjeljak Prvi koraci.

Izrada benchmarka od uočenih injekcija

BrowseSafe++ izgrađen je od injekcija prompta uočenih na stvarnim web-mjestima. Između rujna 2025. i rujna 2026. detektor injekcija prompta preglednika Comet označio je 1,15 milijuna injekcija na stranicama koje je čitao njegov agent. Oko tih injekcija izgradili smo 32.187 parova i dodali 6488 parova iz izvornog benchmarka BrowseSafe, što ukupno čini 38.675 parova. Svaki par sadrži napadnutu stranicu i njezina čistog blizanca, odnosno istu stranicu bez injekcije.

Kako injekcije izgledaju u stvarnom svijetu

Dva primjera iz benchmarka pokazuju kako te injekcije izgledaju u praksi.

U jednom primjeru lažni zahtjev za kupnju potiče agenta na neovlaštenu radnju. U listopadu 2025. detektor u pregledniku Comet označio je ovaj blok engleskog teksta na stranici razvojne dokumentacije na ruskom jeziku:

Tekst počinje i završava naredbama, a sredinu ispunjava uobičajenim marketinškim sadržajem o tokenima. Tvrdi da dolazi od samog razvojnog programera agenta i završava autorizacijskim kodom kako bi kupnja izgledala odobreno.

U drugom primjeru krivotvoreni razgovor nastoji omesti agentov zadatak. Ovaj je tekst pronađen na stranici repozitorija koda u ožujku 2026.:

Tekst je osmišljen tako da izgleda kao razgovor između korisnika i agenta: <|im_start|> i <|im_end|> oznake su kojima neki chat modeli odvajaju izmjene u razgovoru. Agent koji bi nasjeo na ovaj napad odgovorio bi na krivotvoreni korisnički upit napadačevom frazom.

Slične obrasce uočavamo u svim označenim injekcijama:

• Oponašaju pouzdane izvore. U oba primjera tekst stranice zvuči kao izvor kojem agent vjeruje: u prvom njegov razvojni programer, u drugom njegov vlastiti razgovor. Ubacivanja se mogu predstavljati i kao samo web-mjesto, oponašajući sigurnosne provjere i obavijesti o pravilima, ili kao korisnik, iznoseći lažne preferencije. Otprilike dva od tri ubacivanja napisana su formalnim jezikom.
• Mnoge su napisane na drugim jezicima. U 24,4 % parova injekcija je na jeziku koji se razlikuje od ostatka stranice. To je obično uputa na engleskom na stranici koja nije na engleskom, kao u prvom primjeru. Takvi su napadi jasno upućeni agentu koji čita sve jezike i kojem je engleski obično primarni jezik. Promjene jezika otežavaju i otkrivanje: u našoj izvornoj evaluaciji BrowseSafe višejezični su napadi bili među onima koje je najteže otkriti.
• Većina želi radnje, a ne riječi. Više od četiri od deset injekcija gura agenta prema radnji koju korisnik nikada nije zatražio, poput kupnje tokena u prvom primjeru, a otprilike trećina ga pokušava navesti da odustane od korisnikova zadatka, kao u drugom primjeru. Samo oko 3 % pokušava podmetnuti lažne informacije u odgovor.
• Često se oslanjaju na sadržaj koji svatko može objaviti. Napadač ne mora kontrolirati web-mjesto. Dovoljna je objava na forumu ili dijeljeni dokument na običnim web-mjestima, a više od 23.000 ubacivanja u BrowseSafe++ stiglo je upravo na taj način. Čak se i pouzdana domena može iskoristiti za ubacivanje napadačeva teksta.

Injekcije u konačnom benchmarku obuhvaćaju 12 vrsta web-mjesta, 24 vrste napada, 6 ciljeva napadača i 18 položaja na stranici.

Povećaj

Od označene stranice do para u benchmarku

Označene stranice ne možemo uvrstiti u benchmark u izvornom obliku jer mogu sadržavati osobne podatke korisnika za kojeg je agent radio. Pretvaranje stranice u par za benchmark koji se može dijeliti zahtijeva tri glavne faze:

1. Pronalaženje injekcije: Prikupljamo označene stranice, uklanjamo duplikate i maskiramo osobne podatke alatom PII-Tracer. Zatim potvrđujemo da stranica sadrži injekciju; konkretno, zahtijevamo da se skupina modela složi da sadrži uputu koja pokušava odvratiti agenta od zadatka koji je korisnik namjeravao.
2. Izrada para: Agent uklanja tekst injekcije sa svake stranice i prepisuje okolni sadržaj stranice, zamjenjujući pojedinosti poput imena i robnih marki izmišljenima. Drugi agent provjerava sadrži li prepisana stranica preostali stvarni sadržaj i vraća neuspjele stranice s povratnim informacijama. Ljudski recenzenti pregledavaju nasumičnih 10 % stranica; problemi koje pronađu ispravljaju se u postupku, a ispravci se primjenjuju na cijeli korpus. Injekcija se ponovno umeće u prepisanu stranicu kako bi se stvorila napadnuta kopija, a izostavlja se iz čiste kopije. Obje stranice dijele isti zadatak, očekivani rezultat i obične upute.
3. Provjera: Agenti čitaju stranice u različitim oblicima, pa HTML svake stranice renderiramo kao Markdown, stablo pristupačnosti (strukturirani popis elemenata sučelja stranice i njihovih oznaka) i snimku zaslona. Drugi agent provjerava pojavljuje li se injekcija u sva četiri prikaza napadnute stranice te ocjenjuje li se čista stranica bezopasnom u svakom prikazu. Ako injekcija nedostaje u nekom od prikaza, premještamo je na drugo mjesto na stranici i ponovno renderiramo, čime osiguravamo da se injekcija pojavljuje u konačnoj napadnutoj stranici u svim prikazima. Završni skup automatiziranih provjera ispravlja sve parove koji još sadrže tragove izvora, poput stvarnih naziva hostova ili robnih marki.

Povećaj

BrowseSafe-Guard: brzi i precizni detektori za svaki prikaz

Koristan detektor mora brzo i jeftino provjeriti svaku stranicu. Također mora biti točan i na napadnutim i na čistim stranicama. Visoka preciznost posebno je važna jer je većina stranica sigurna; čak bi i relativno niska stopa lažno pozitivnih rezultata učinila većinu upozorenja lažnim uzbunama. Modeli opće namjene s promptom često podbacuju u preciznosti te su prespori i preskupi za pokretanje na svakoj stranici.

Detektor treniran na napadnutim i čistim stranicama prikupljenima zasebno mogao bi naučiti prečace koji slučajno razdvajaju ta dva skupa, poput teme ili izgleda stranice. Takav detektor, međutim, ne generalizira dobro. Guard se umjesto toga trenira na parovima koji se razlikuju samo po samom ubacivanju, što pomaže poboljšati preciznost detektora. Za svaki par Guard zasebno čita napadnutu stranicu i njezinu čistu blizanku te svakoj dodjeljuje ocjenu vjerojatnosti da sadrži ubacivanje. Za ažuriranje modela koriste se dva cilja treniranja: standardni klasifikacijski cilj i cilj rangiranja koji kažnjava Guard osim ako napadnuta stranica ne dobije višu ocjenu od svoje blizanke za barem fiksnu marginu. Intuitivno, klasifikacijski cilj uči Guard koju odluku donijeti, a cilj rangiranja povezuje tu odluku sa samim ubacivanjem i zanemaruje bezopasne distraktore. Tako se Guard trenira da reagira na samo ubacivanje, a ne na okolni sadržaj stranice.

Guard se sastoji od dva detektora, a svaki je fino podešen na temelju modela Qwen3.5-0.8B. Tekstualni detektor čita jedan tekstualni prikaz stranice: HTML, Markdown ili stablo pristupačnosti. Multimodalni detektor čita snimku zaslona cijele stranice. Pri primjeni Guard čita stranicu u jednom prolazu unaprijed i daje ocjenu ubacivanja, a stranica se označava ako ocjena prijeđe prag. Budući da Guard ima samo 0,8 milijardi parametara i daje jednu ocjenu, dovoljno je brz i jeftin za pokretanje na svakoj stranici.

Mjerenje performansi

Usporedili smo Guard s 18 modela kojima je promptom zadano otkrivanje injekcija na izdvojenom podskupu benchmarka. Navodimo četiri metrike, izmjerene na BrowseSafe++:

• Odziv je udio stranica s injekcijom koje detektor označi, što mjeri koliko napada otkriva, pa je viša vrijednost bolja.
• Stopa lažno pozitivnih rezultata (FPR) udio je čistih stranica koje detektor pogreškom označi, što mjeri koliko često podiže lažne uzbune, pa je niža vrijednost bolja.
• Preciznost je udio označenih stranica koje doista sadrže injekciju, što mjeri koliko je često upozorenje točno, pa je viša vrijednost bolja.
• F1 je harmonijska sredina odziva i preciznosti; visok je samo kada detektor otkriva većinu napada, a malo je njegovih oznaka lažnih uzbuna.

Kao primarnu metriku upotrebljavamo F1 jer dobar detektor treba imati visoku preciznost i visok odziv. Sve četiri metrike izračunate su kao prosjek triju tekstnih prikaza.

Povećaj

Povećaj

Usporedbe modela

Mali modeli s otvorenim težinama koje smo testirali završili su na dnu. Mistral NeMo i Qwen3 30B-A3B označavaju otprilike polovicu čistih stranica, dok Llama 3.1 8B rijetko išta označi i propušta većinu napada. Čak i najjači model u skupini, GPT-OSS 20B, postiže F1 od samo 70,97 %. DeepSeek V3.1, znatno veći model s otvorenim težinama, prolazi nešto bolje, s F1 od 75,23 %.

Lagani API modeli, uključujući GPT-5.4 nano, Gemini 3.1 Flash-Lite i Claude Haiku 4.5, otkrivaju više napada, s odzivom između 85 % i 97 %. Međutim, cijena je visok udio lažnih uzbuna; Gemini 3.1 Flash-Lite ima najniži FPR u skupini, 35,2 %, a FPR modela Haiku iznosi gotovo 69 %. Zbog toga najviši F1 rezultat u skupini iznosi 80,9 %, a postiže ga Gemini 3.1 Flash-Lite.

Preostali modeli jači su modeli opće namjene i postižu rezultate F1 između 85 % i 92 %. Međutim, i dalje se suočavaju s kompromisima između odziva i FPR-a; modeli skloni opreznosti blokiraju legitimne stranice, a modeli koji rjeđe označavaju stranice propuštaju napade. Claude Sonnet 5 ima najveći odziv od svih detektora, 98,73 %, ali FPR od 24,65 %. Gemini 3.1 Pro i GPT-5.5 postižu odziv od 97,78 % odnosno 97,19 %, uz FPR od 19,80 % odnosno 20,44 %. GPT-6 Astra ima najveću ukupnu točnost, s odzivom od 96,42 % i FPR-om od 14,41 %. Decider je drugi, s odzivom od 96,02 % i FPR-om od 17,44 %. Claude Opus 5.5 ima najniži FPR, samo 4,21 %, ali odziv od 77,71 % znači da propušta više od jednog od pet napada. Claude Fable 5.1 djeluje snažno na stranicama na koje odgovori, s odzivom od 89,31 % i FPR-om od 7,92 %, ali odbija odgovoriti na oko 30 % stranica, koje redak „(all)“ broji kao oznake.

Povećaj

Guard pomiče Paretovu granicu i postiže bolji kompromis između propuštenih napada i lažnih uzbuna. Postiže F1 od oko 95 % i prvi je u svakom tekstnom prikazu. Označava samo otprilike jednu od 20 čistih stranica, što je otprilike trećina stope modela Astra, najtočnijeg modela s promptom. Ta razlika proizlazi iz našeg treniranja; standardni model Qwen3.5-0.8B na kojem se Guard temelji, uz isti prompt kao i ostali modeli, postiže F1 od samo 64 % i označava gotovo tri od četiri čiste stranice. U scenariju prikaza snimki zaslona uspoređujemo multimodalni detektor Guard s četiri modela koji podržavaju slike. Na snimkama cijelih stranica Guard postiže F1 od oko 93 %, naspram oko 79 % za najbolji od ostalih modela koje smo evaluirali.

Prepoznati napad nije isto što i oduprijeti mu se

Intuitivno, model koji može točno prepoznati injekciju trebao bi je i zanemariti kada naiđe na stranicu tijekom izvršavanja korisničkih zadataka. Međutim, naši eksperimenti pokazuju da visoki rezultati otkrivanja ne jamče da će model odoljeti napadu. Svakom smo modelu dvaput dali istu napadnutu stranicu: jednom da procijeni sadrži li injekciju, a jednom da izvrši korisnikov zadatak bez uvida u prethodnu procjenu. Zaseban sudac provjerio je je li model slijedio injekciju. Svaki testirani model i dalje je slijedio neke injekcije koje je označio, od 1,64 % označenih stranica za GPT-6 Astra do 24,73 % za Llama 3.1 8B.

Povećaj

Rezultati otkrivanja ne predviđaju pouzdano razlike među modelima. Claude Sonnet 5 i GPT-5.5 otkrivaju injekcije približno jednako dobro, s rezultatima F1 od oko 88 % odnosno 89 %. Međutim, Sonnet 5 slijedio je injekciju koju je prethodno označio na 19,74 % stranica, deset puta češće od modela GPT-5.5 s 1,97 %.

Sustav za obranu od ubacivanja spreman za primjenu

Ti rezultati upućuju na to da ima smisla odluku o blokiranju stranice prepustiti namjenskom modelu umjesto oslanjanja na model koji izvršava korisnikov zadatak. Zaseban detektor koji provjerava svaku stranicu prije nego što agent poduzme radnju pruža dodatni sloj obrane i nema zadatak koji bi se mogao oteti ni alate koji bi se mogli zloupotrijebiti.

Guard je izrađen upravo kao takav detektor. Osim što ima najviši F1 rezultat i točnost od svih modela koje smo testirali, zahvaljujući maloj veličini dovoljno je jeftin za pokretanje na svakoj stranici. Guard je u prosjeku trošio oko 0,15 sekundi vremena GPU-a po tekstualnoj stranici. Na unajmljenom GPU-u H200 procjenjujemo trošak od 0,18 USD na 1000 stranica, u usporedbi s 18,95–180,61 USD za najnaprednije API modele po cjeniku. Time je u našoj usporedbi učestalo provjeravanje znatno jeftinije, uz zadržavanje visokih rezultata otkrivanja.

Slika u nastavku prikazuje točnost svakog detektora u odnosu na vrijeme po stranici i trošak na 1000 stranica, oboje na logaritamskim ljestvicama. Guard se sam nalazi u gornjem lijevom kutu obaju grafikona: pobjeđuje po točnosti, brzini i trošku. Svaki model s promptom treba otprilike sekundu ili više po stranici, a dva najtočnija, GPT-6 Astra i Claude Fable 5.1, stoje više od 100 USD na 1000 stranica.

Povećaj

Testiranje obrana od adaptivnih napada

Benchmark BrowseSafe++ ima konačan skup injekcija. Međutim, stvarni napadač može izvesti adaptivni napad; kada injekcija ne uspije, napadač je može prepisati i pokušati ponovno. Zbog toga agent koji odolijeva izvornoj injekciji i dalje može biti ranjiv na buduće napade. Osim toga, modeli se treniraju na podacima prikupljenima s interneta, pa mogu naučiti odolijevati većini injekcija iz benchmarka; budući da benchmark objavljujemo javno, vjerojatno će se zasititi i prestati dobro razlikovati modele. Kako bismo riješili oba problema, izradili smo BrowseSafe-Adapt, testno okruženje u kojem model napadač može prepisivati injekcije. Svaki test ima tri faze:

1. Postavljanje slučaja. Slučaj povezuje unos iz BrowseSafe++ s ciljnim agentom. Unos iz BrowseSafe++ uključuje scenarij s korisničkim upitom i zadatkom, napadnutu stranicu i ishod koji napadač želi postići. Agent radi u okruženju Sandbox koje pruža alate i sintetičke podatke potrebne za izvršavanje zadatka. Zaseban model za provjeru procjenjuje je li napad postigao svoj cilj.
2. Izvođenje pokušaja: Trenutačnu injekciju umećemo u stranicu i puštamo agenta da izvrši zadatak. Verifikator provjerava agentov odgovor i sve promjene koje je agent napravio u okruženju Sandbox kako bi utvrdio je li napad uspio. Prvi pokušaj koristi injekciju iz izvornog unosa u BrowseSafe++.
3. Prepravljanje i ponavljanje: Ako napad ne uspije, arhiviramo pokušaj, a model kritičar analizira što je pošlo po zlu. Model napadač na temelju tih povratnih informacija prepisuje injekciju; može promijeniti formulaciju, oblikovanje ili položaj napada na stranici. Cilj napada, kriteriji uspjeha i okolni sadržaj stranice ostaju isti. Sljedeći pokušaj koristi ažurirani napad. Postupak se ponavlja dok napad ne uspije ili dok napadač ne dosegne zadano ograničenje broja pokušaja.

Povećaj

Testirali smo sedam agenata, od kojih se svaki temelji na drugom modelu: Claude Sonnet 5, Claude Haiku 4.5, GPT-5.5, Gemini 3.1 Pro, Gemini 3.5 Flash-Lite te modeli s otvorenim težinama DeepSeek V3.1 i Kimi K2. Svaki se agent suočio s istih 1024 zadatka, uz najviše 64 pokušaja po zadatku. U prvom je pokušaju uspješnost napada bila niska kod svih sedam agenata. Izvorne injekcije uspjele su u najviše 4 % evaluiranih zadataka protiv bilo kojeg agenta. U adaptivnom okviru uspješnost napada drastično je porasla. Napadač je uspio u najmanje 79 % zadataka protiv pet od sedam agenata. Čak su i najjači agenti bili ranjivi: napadi su i dalje uspijevali u otprilike dva od tri zadatka protiv modela GPT-5.5 i u otprilike jednom od tri protiv modela Claude Sonnet 5.

Razlika među agentima najveća je kada je cilj napadača navesti agenta da izvrši određeni poziv alata. Kod zadataka s takvim ciljem Sonnet 5 popustio je u oko 8 % zadataka, a GPT-5.5 u oko 29 %. Preostalih pet agenata izvršilo je napadačev cilj u više od polovice svojih zadataka.

Također smo pokrenuli BrowseSafe-Adapt protiv agenta Gemini 3.5 Flash-Lite, pri čemu je Guard prethodno provjeravao svaku stranicu. Guard je blokirao 94,5 % izvornih injekcija i gotovo udvostručio prosječan broj pokušaja potrebnih napadačima, s 9,7 na 17,0. Ipak, uz sva 64 pokušaja napadač je i dalje uspio u 84,2 % zadataka (93,6 % bez Guarda), gotovo uvijek s injekcijom koju Guard nije označio. To odgovara stajalištu koje smo iznijeli kada smo objavili BrowseSafe: nijedan model za otkrivanje nije čarobno rješenje, pa detektor mora biti dio višeslojne obrane.

Povećaj

Zaključak

Agenti preglednika često su ranjivi na indirektnu injekciju prompta, pri kojoj napadi skriveni na običnim stranicama nastoje omesti agente u izvršavanju korisničkih zadataka. Opasnosti s vremenom samo rastu, i zato što agenti dobivaju pristup sve većem broju podataka i alata, čime se povećavaju moguće posljedice napada, i zato što napadači mogu prepravljati svoje injekcije kako bi bile učinkovitije.

Naš paket BrowseSafe odgovara na te prijetnje. Benchmark BrowseSafe++ sadrži 38.675 parova web-stranica izgrađenih prvenstveno od stvarnih injekcija, što omogućuje pouzdanije treniranje i evaluaciju detektora. Detektori BrowseSafe-Guard, trenirani na tim parovima, omogućuju vrlo točno, brzo i jeftino otkrivanje, pa je moguće skenirati stranice prije nego što agent na temelju njih poduzme radnju. Okvir BrowseSafe-Adapt omogućuje testiranje modela na prepravljenim injekcijama i otkriva ranjivosti koje možda nisu vidljive iz pojedinačnih pokušaja s fiksnim injekcijama.

Nadamo se da će ovi alati zajedno istraživačima i inženjerima olakšati pronalaženje propusta i poboljšanje obrana od napada injekcijom prompta putem weba. Također kontinuirano evaluiramo i poboljšavamo ugrađene obrane proizvoda Comet i Computer kako bismo zaštitili svoje korisnike.

Prvi koraci

1. Instalirajte SDK i dobijte pristup podacima. SDK se instalira s platforme GitHub:

Pristup skupu podataka je ograničen. Jednom zatražite pristup na njegovoj stranici na platformi Hugging Face, a zatim se prijavite naredbom hf auth login.

2. Pošaljite rezultate na ljestvicu. Evaluirajte vlastiti detektor na testnom dijelu skupa BrowseSafe++:

Ovime se zapisuje jedna odluka po stranici za svaki prikaz koji navedete; navedite sva tri tekstualna prikaza kako biste dobili prosjek na tekstualnoj ljestvici poretka. Prijavite se u Space s ljestvicom poretka svojim računom Hugging Face i prenesite predictions.jsonl. Space vraća F1, točnost, stopu lažno pozitivnih rezultata i ostale metrike za svaki prikaz te, ako želite, objavljuje rezultat na ljestvici poretka. Svaki račun (star najmanje 60 dana) dobiva jednu ocijenjenu prijavu po UTC tjednu. Testne stranice služe samo za vrednovanje: nemojte na njima trenirati modele niti ih dalje distribuirati. U vodiču za prijavu opisani su format datoteke i pravila objave.

Citiranje

@online{perplexity2026BrowseSafePlusPlus,
  author = {{Perplexity} and Yuetian Chen and Kaiyuan Zhang and Yuntao Du and Thomas Li and Mark Tenenholtz and Kyle Polley and Jerry Ma and Denis Yarats and Ninghui Li and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{BrowseSafe++: Building stronger defenses against real-world prompt injection}},
  date = {2026-10-28},
  url = {https://www.perplexity.ai/hub/blog/browsesafe-plus-plus}
}