BrowseSafe++: izgradnja jače odbrane od stvarnih injekcija prompta

Agenti koji mogu da pretražuju veb, kao što je asistent ugrađen u Comet ili Computer, moraju da komuniciraju sa veb-stranicama, čitaju sadržaj i koriste ga za izvršavanje radnji u ime svojih korisnika. Zbog toga su ranjivi na indirektnu injekciju prompta, kod koje napadač postavlja zlonamerni tekst na veb-stranicu. Ako agent postupi po tim uputstvima, može da vrati obmanjujući odgovor ili izvrši radnju koju korisnik nije zatražio.

U decembru 2025. objavili smo BrowseSafe, benchmark i model za detekciju ove pretnje. Napravili smo ga dodavanjem sintetičkih napada u realistične veb-stranice na koje bi agenti verovatno naišli. Tokom protekle godine napadi su postali sofisticiraniji i sve više liče na običan sadržaj stranice. Umesto upadljivih fraza poput „ignoriši prethodna uputstva“, oni često oponašaju sadržaj kojem bi agent verovatno verovao, kao što je zvanično obaveštenje sajta ili napomena o preferencijama korisnika.

Podstaknuti ovim promenama, napravili smo ažurirani benčmark, BrowseSafe++, kako bismo izmerili da li postojeći detektori injekcija otkrivaju ove napade i da li im agenti mogu odoleti. Sadrži 38.675 parova napadnutih i čistih stranica, izgrađenih prvenstveno oko injekcija prikupljenih u stvarnom svetu. Za svaku stranicu prepravljamo okolni sadržaj radi zaštite privatnosti, ali napad zadržavamo doslovno. Svaka stranica dolazi u četiri formata koje agenti pregledača čitaju: HTML, Markdown, stabla pristupačnosti i snimci ekrana. Deo benčmarka iskoristili smo za treniranje modela BrowseSafe-Guard, para detektora sa 0,8 milijardi parametara: tekstualnog i multimodalnog detektora. Dva Guard detektora prepoznaju injekcije tačnije od modela sa promptom koje smo testirali, uključujući najnaprednije modele. Takođe su brži, jeftiniji i greškom označavaju daleko manje običnih stranica.

BrowseSafe++ objavljujemo kao otvoreni benčmark. Veb-sajt projekta sadrži linkove ka skupu podataka, SDK-u, naučnom radu i javnoj rang-listi. Svaki tim može da oceni svoj detektor na test stranicama čije labele nisu date i da pošalje labele na ocenjivanje i moguće uvrštavanje na rang-listu. Da biste evaluirali i poslali svoje rezultate, pogledajte odeljak Prvi koraci.

Izrada benčmarka na osnovu uočenih injekcija

BrowseSafe++ je izgrađen od injekcija prompta uočenih na stvarnim veb-sajtovima. Od septembra 2025. do septembra 2026. detektor injekcija prompta u pregledaču Comet označio je 1,15 miliona injekcija na stranicama koje je njegov agent pročitao. Oko tih injekcija napravili smo 32.187 parova i dodali 6.488 parova iz originalnog benčmarka BrowseSafe, što ukupno čini 38.675 parova. Svaki par sadrži napadnutu stranicu i njenog čistog blizanca, odnosno istu stranicu bez injekcije.

Kako injekcije izgledaju u praksi

Dva primera iz benčmarka pokazuju kako ove injekcije izgledaju u praksi.

U jednom primeru, lažan zahtev za kupovinu podstiče agenta da preduzme neovlašćenu radnju. Detektor pregledača Comet označio je ovaj blok engleskog teksta na stranici dokumentacije za programere na ruskom jeziku u oktobru 2025. godine:

Tekst počinje i završava se naredbama, a sredinu popunjava uobičajenim marketinškim sadržajem o tokenu. Tvrdi da potiče od samog programera agenta i završava se autorizacionim kodom kako bi kupovina izgledala odobreno.

U drugom primeru, lažni razgovor ima za cilj da omete zadatak agenta. Ovaj tekst pronađen je marta 2026. na stranici repozitorijuma koda:

Tekst je osmišljen tako da izgleda kao razgovor između korisnika i agenta: <|im_start|> i <|im_end|> su oznake koje neki modeli za ćaskanje koriste za razdvajanje replika u razgovoru. Agent koji bi naseo na ovaj napad odgovorio bi na lažni korisnički upit i uzvratio napadačevom frazom.

Slične obrasce uočavamo kod svih označenih injekcija:

• Oponašaju pouzdane izvore. Oba primera čine da tekst stranice zvuči kao izvor kojem agent veruje: u prvom kao njegov programer, a u drugom kao njegov sopstveni razgovor. Injekcije se mogu predstavljati i kao sam sajt, oponašajući bezbednosne provere i obaveštenja o pravilima, ili kao korisnik, iznoseći lažne preferencije. Otprilike dve od tri napisane su formalnim jezikom.
• Mnoge su napisane na različitim jezicima. U 24,4% parova injekcija koristi jezik koji se razlikuje od ostatka stranice. To obično ima oblik uputstva na engleskom na stranici koja nije na engleskom, kao u prvom primeru. Takvi napadi su očigledno upućeni agentu koji čita sve jezike i kome je engleski obično maternji jezik. Promena jezika takođe otežava detekciju: u našoj originalnoj evaluaciji BrowseSafe, višejezični napadi bili su među najtežim za otkrivanje.
• Većina traži radnje, a ne reči. Više od četiri od deset injekcija gura agenta ka radnji koju korisnik nikada nije zatražio, poput kupovine tokena u prvom primeru, a oko trećine pokušava da ga natera da odustane od korisnikovog zadatka, kao u drugom primeru. Samo oko 3% pokušava da u odgovor podmetne netačne informacije.
• Često se prenose putem sadržaja koji svako može da objavi. Napadač ne mora da kontroliše sajt. Dovoljna je objava na forumu ili deljeni dokument na običnim sajtovima, a više od 23.000 injekcija u BrowseSafe++ stiglo je upravo na ovaj način. Čak i pouzdan domen može da se iskoristi za ubacivanje napadačevog teksta.

Injekcije u konačnom benčmarku obuhvataju 12 vrsta veb-sajtova, 24 tipa napada, 6 ciljeva napadača i 18 pozicija na stranici.

Uvećaj

Od označene stranice do para za benchmark

Označene stranice ne možemo da koristimo u benčmarku u izvornom obliku, jer mogu sadržati lične podatke korisnika za kog je agent radio. Pretvaranje stranice u par za benčmark koji se može deliti zahteva tri glavne faze:

1. Pronalaženje injekcije: Prikupljamo označene stranice, uklanjamo duplikate i maskiramo lične podatke pomoću alata PII-Tracer. Zatim potvrđujemo da stranica sadrži injekciju; konkretno, zahtevamo da se grupa modela složi da ona sadrži uputstvo koje pokušava da odvrati agenta od zadatka koji je korisnik nameravao.
2. Formiranje para: Agent uklanja tekst injekcije sa svake stranice i prepravlja okolni sadržaj stranice, zamenjujući detalje kao što su imena i brendovi izmišljenim. Drugi agent proverava da li je na prepravljenoj stranici ostalo sadržaja iz stvarnog sveta i vraća neuspele stranice uz povratne informacije. Ljudski recenzenti pregledaju nasumičnih 10% stranica; problemi koje pronađu ispravljaju se u procesu, a ispravke se primenjuju na ceo korpus. Injekcija se ponovo ubacuje u prepravljenu stranicu kako bi se dobila napadnuta kopija, a izostavlja se iz čiste kopije. Dve stranice imaju isti zadatak, očekivani rezultat i obična uputstva.
3. Verifikacija: Agenti čitaju stranice u različitim oblicima, pa HTML svake stranice renderujemo kao Markdown, stablo pristupačnosti (strukturiranu listu elemenata interfejsa stranice i njihovih oznaka) i snimak ekrana. Još jedan agent proverava da li se injekcija pojavljuje u sva četiri prikaza napadnute stranice i da li je čista stranica ocenjena kao bezopasna u svakom prikazu. Ako injekcija nedostaje u nekom od prikaza, premeštamo je na drugo mesto na stranici i ponovo renderujemo, čime osiguravamo da se injekcija nalazi u konačnoj napadnutoj stranici u svim prikazima. Završni skup automatizovanih provera ispravlja sve parove koji i dalje nose tragove izvora, kao što su stvarna imena hostova ili nazivi brendova.

Uvećaj

BrowseSafe-Guard: brzi i precizni detektori za svaki prikaz

Koristan detektor mora brzo i jeftino da proveri svaku stranicu. Takođe mora da bude tačan i na napadnutim i na čistim stranicama. Visoka preciznost je posebno važna, jer je većina stranica bezbedna; čak bi i relativno niska stopa lažno pozitivnih rezultata dovela do toga da većina upozorenja bude lažna. Modeli opšte namene sa promptom često nemaju dovoljnu preciznost i previše su spori i skupi da bi se pokretali na svakoj stranici.

Detektor obučen na napadnutim i čistim stranicama prikupljenim odvojeno mogao bi da nauči prečice koje slučajno razdvajaju ta dva skupa, poput teme ili rasporeda stranice. Međutim, takav detektor ne generalizuje dobro. Guard se umesto toga obučava na parovima čija je jedina razlika sama injekcija, što pomaže da se poboljša preciznost detektora. Za svaki par, Guard zasebno čita napadnutu stranicu i njenog čistog blizanca i svakoj dodeljuje skor koji pokazuje koliko je verovatno da sadrži injekciju. Za ažuriranje modela koriste se dva cilja obučavanja: standardni cilj klasifikacije i cilj rangiranja koji kažnjava Guard ako napadnuta stranica ne dobije skor viši od svog blizanca za najmanje fiksnu marginu. Intuitivno, cilj klasifikacije uči Guard koju odluku da donese, a cilj rangiranja vezuje tu odluku za samu injekciju i zanemaruje bezopasne ometajuće elemente. Tako se Guard obučava da reaguje na samu injekciju, a ne na okolni sadržaj stranice.

Guard se sastoji od dva detektora, od kojih je svaki fino podešen na osnovu modela Qwen3.5-0.8B. Tekstualni detektor čita jedan tekstualni prikaz stranice: HTML, Markdown ili stablo pristupačnosti. Multimodalni detektor čita snimak ekrana cele stranice. Pri primeni, Guard čita stranicu u jednom prolazu unapred i daje skor injekcije, a stranica se označava ako skor pređe prag. Pošto Guard ima samo 0,8 milijardi parametara i daje jedan skor, dovoljno je brz i jeftin da se pokreće na svakoj stranici.

Merenje performansi

Uporedili smo Guard sa 18 modela kojima je zadat prompt da otkrivaju injekcije na izdvojenom podskupu benčmarka. Navodimo četiri metrike, izmerene na BrowseSafe++:

• Odziv je udeo stranica sa injekcijom koje detektor označi, što meri koliko napada otkriva, pa je veća vrednost bolja.
• Stopa lažno pozitivnih rezultata (FPR) je udeo čistih stranica koje detektor greškom označi, što meri koliko često podiže lažne uzbune, pa je manja vrednost bolja.
• Preciznost je udeo označenih stranica koje zaista sadrže injekciju, što meri koliko je često upozorenje tačno, pa je veća vrednost bolja.
• F1 je harmonijska sredina odziva i preciznosti; visok je samo kada detektor otkrije većinu napada, a tek mali deo njegovih oznaka čine lažne uzbune.

Kao glavnu metriku koristimo F1, jer dobar detektor treba da ima visoku preciznost i visok odziv. Sve četiri metrike su usrednjene za tri tekstualna prikaza.

Uvećaj

Uvećaj

Poređenje modela

Mali modeli otvorenih težina koje smo testirali završili su na dnu. Mistral NeMo i Qwen3 30B-A3B označavaju po oko polovinu čistih stranica, dok Llama 3.1 8B retko išta označi i propušta većinu napada. Čak i najjači model iz ove grupe, GPT-OSS 20B, dostiže F1 od samo 70,97%. DeepSeek V3.1, znatno veći model otvorenih težina, prolazi nešto bolje, sa F1 od 75,23%.

Lagani API modeli, uključujući GPT-5.4 nano, Gemini 3.1 Flash-Lite i Claude Haiku 4.5, otkrivaju više napada, sa odzivom između 85% i 97%. Međutim, cena je visok udeo lažnih uzbuna; Gemini 3.1 Flash-Lite ima najnižu stopu FPR u grupi, od 35,2%, a FPR modela Haiku iznosi skoro 69%. Kao rezultat toga, najviši F1 skor u grupi je 80,9%, a postigao ga je Gemini 3.1 Flash-Lite.

Preostali modeli su jači modeli opšte namene, sa F1 rezultatima između 85% i 92%. Međutim, i dalje se suočavaju sa kompromisom između odziva i FPR-a; modeli skloni opreznosti blokiraju legitimne stranice, a modeli koji ređe podižu uzbunu propuštaju napade. Claude Sonnet 5 ima najveći odziv od svih detektora, 98,73%, ali FPR od 24,65%. Gemini 3.1 Pro i GPT-5.5 dostižu odziv od 97,78%, odnosno 97,19%, uz FPR od 19,80%, odnosno 20,44%. GPT-6 Astra ima najveću ukupnu tačnost, sa odzivom od 96,42% i FPR-om od 14,41%. Decider je drugi, sa odzivom od 96,02% i FPR-om od 17,44%. Claude Opus 5.5 ima najniži FPR, samo 4,21%, ali njegov odziv od 77,71% znači da propušta više od jednog od pet napada. Claude Fable 5.1 deluje snažno na stranicama na koje odgovori, sa odzivom od 89,31% i FPR-om od 7,92%, ali odbija da odgovori na oko 30% stranica, koje red „(all)“ računa kao oznake.

Uvećaj

Guard pomera Pareto granicu i postiže bolji odnos između propuštenih napada i lažnih uzbuna. Dostiže F1 od oko 95% i zauzima prvo mesto u svakom tekstualnom prikazu. Označava samo oko jednu od 20 čistih stranica, što je otprilike trećina stope modela Astra, najtačnijeg modela sa promptom. Ova razlika potiče od našeg treniranja; osnovni Qwen3.5-0.8B na kom je Guard zasnovan, kada mu se zada prompt na isti način kao ostalim modelima, dostiže F1 od samo 64% i označava skoro tri od četiri čiste stranice. U scenariju prikaza snimaka ekrana poredimo Guardov multimodalni detektor sa četiri modela koji podržavaju slike. Sa snimcima ekrana cele stranice, Guard postiže F1 od oko 93%, naspram oko 79% za najbolji od ostalih modela koje smo evaluirali.

Prepoznati napad nije isto što i odoleti mu

Intuitivno, model koji može tačno da prepozna injekciju trebalo bi i da je zanemari kada naiđe na tu stranicu dok izvršava korisničke zadatke. Međutim, naši eksperimenti pokazuju da visoki rezultati detekcije ne garantuju da će model odoleti napadu. Svakom modelu smo dva puta dali istu napadnutu stranicu: jednom da proceni da li sadrži injekciju, a jednom da izvrši korisnikov zadatak bez uvida u prethodnu procenu. Poseban sudija je proveravao da li je model postupio po injekciji. Svaki testirani model je i dalje postupio po nekim injekcijama koje je označio, od 1,64% označenih stranica kod modela GPT-6 Astra do 24,73% kod modela Llama 3.1 8B.

Uvećaj

Rezultati detekcije ne predviđaju pouzdano razlike među modelima. Claude Sonnet 5 i GPT-5.5 otkrivaju injekcije podjednako dobro, sa F1 rezultatima od oko 88%, odnosno 89%. Međutim, Sonnet 5 je postupio po injekciji koju je prethodno označio na 19,74% stranica, deset puta češće od modela GPT-5.5 sa 1,97%.

Sistem za odbranu od injekcija spreman za primenu

Ovi rezultati ukazuju na to da ima smisla odluku o blokiranju stranice prepustiti namenskom modelu, umesto oslanjanja na model koji izvršava korisnikov zadatak. Zaseban detektor koji proverava svaku stranicu pre nego što agent preduzme radnju pruža dodatni sloj odbrane, a nema zadatak koji bi se mogao oteti niti alate koji bi se mogli zloupotrebiti.

Guard je napravljen da bude upravo takav detektor. Osim što ima najviši F1 skor i tačnost od svih modela koje smo testirali, zahvaljujući maloj veličini dovoljno je jeftin da se pokreće na svakoj stranici. U proseku je Guard koristio oko 0,15 sekundi GPU vremena po tekstualnoj stranici. Na iznajmljenom H200 procenjujemo trošak od 0,18 USD na 1.000 stranica, u poređenju sa 18,95–180,61 USD za najnaprednije API modele po cenama iz cenovnika. Zbog toga je u našem poređenju često skeniranje mnogo jeftinije, uz zadržavanje visokih rezultata detekcije.

Grafikon ispod prikazuje tačnost svakog detektora u odnosu na vreme po stranici i trošak na 1.000 stranica, oba na logaritamskim skalama. Guard se sam nalazi u gornjem levom uglu oba panela: pobeđuje po tačnosti, brzini i trošku. Svakom modelu sa promptom potrebna je oko jedna sekunda ili više po stranici, a dva najtačnija, GPT-6 Astra i Claude Fable 5.1, koštaju više od 100 $ na 1.000 stranica.

Uvećaj

Testiranje odbrane od adaptivnih napada

Benčmark BrowseSafe++ ima konačan skup injekcija. Međutim, stvarni napadač može da izvede adaptivni napad; kada injekcija ne uspe, napadač može da je prepravi i pokuša ponovo. Zbog toga agent koji odoli originalnoj injekciji i dalje može biti ranjiv na buduće napade. Osim toga, modeli se treniraju na podacima prikupljenim sa interneta, pa mogu naučiti da odole većini injekcija iz benčmarka; pošto naš benčmark objavljujemo javno, verovatno će doći do zasićenja i on više neće dobro razlikovati modele. Da bismo rešili oba problema, napravili smo BrowseSafe-Adapt, testno okruženje u kom model napadača može da prepravlja injekcije. Svaki test ima tri faze:

1. Postavljanje slučaja. Slučaj povezuje unos iz BrowseSafe++ sa ciljnim agentom. Unos iz BrowseSafe++ obuhvata scenario sa korisničkim upitom i zadatkom, napadnutu stranicu i ishod koji napadač želi. Agent radi u sandbox okruženju koje obezbeđuje alate i sintetičke podatke potrebne za izvršavanje zadatka. Zaseban model za verifikaciju procenjuje da li je napad postigao svoj cilj.
2. Pokretanje pokušaja: Ubacujemo trenutnu injekciju u stranicu i puštamo agenta da izvrši zadatak. Verifikator proverava odgovor agenta i sve promene koje je napravio u sandbox okruženju kako bi utvrdio da li je napad uspeo. Prvi pokušaj koristi injekciju iz originalnog unosa u BrowseSafe++.
3. Prepravka i ponavljanje: Ako napad ne uspe, arhiviramo pokušaj, a model kritičar analizira šta je pošlo naopako. Model napadač koristi te povratne informacije da prepravi injekciju; može da promeni formulaciju, formatiranje ili poziciju napada na stranici. Cilj napada, kriterijumi uspeha i okolni sadržaj stranice ostaju isti. Sledeći pokušaj koristi ažurirani napad. Ovaj proces se ponavlja dok napad ne uspe ili dok napadač ne dostigne zadato ograničenje broja pokušaja.

Uvećaj

Testirali smo sedam agenata, svaki zasnovan na drugom modelu: Claude Sonnet 5, Claude Haiku 4.5, GPT-5.5, Gemini 3.1 Pro, Gemini 3.5 Flash-Lite i modele otvorenih težina DeepSeek V3.1 i Kimi K2. Svaki agent je dobio istih 1.024 zadatka, sa najviše 64 pokušaja po zadatku. U prvom pokušaju uspešnost napada bila je niska kod svih sedam agenata. Originalne injekcije uspele su na najviše 4% evaluiranih zadataka protiv bilo kog agenta. U adaptivnom okviru uspešnost napada drastično je porasla. Napadač je uspeo na najmanje 79% zadataka protiv pet od sedam agenata. Čak su i najjači agenti bili ranjivi: napadi su i dalje uspevali na oko dva od tri zadatka protiv modela GPT-5.5 i na oko jedan od tri protiv modela Claude Sonnet 5.

Razlika među agentima je najveća kada je cilj napadača da natera agenta da izvrši određeni poziv alata. Kod zadataka sa takvim ciljem, Sonnet 5 je popustio na oko 8% zadataka, a GPT-5.5 na oko 29%. Ostalih pet agenata izvršilo je cilj napadača na više od polovine svojih zadataka.

Takođe smo pokrenuli BrowseSafe-Adapt protiv agenta Gemini 3.5 Flash-Lite, pri čemu je Guard prvo proveravao svaku stranicu. Guard je blokirao 94,5% originalnih injekcija i skoro udvostručio prosečan broj pokušaja potrebnih napadačima, sa 9,7 na 17,0. Ipak, uz sva 64 pokušaja, napadač je i dalje uspeo na 84,2% zadataka (93,6% bez Guarda), gotovo uvek sa injekcijom koju Guard nije označio. To se poklapa sa stavom koji smo izneli kada smo objavili BrowseSafe: nijedan model za detekciju nije čarobno rešenje, pa detektor mora biti deo višeslojne odbrane.

Uvećaj

Zaključak

Agenti pregledača su često ranjivi na indirektnu injekciju prompta, kod koje napadi skriveni na običnim stranicama nastoje da ometu sposobnost agenata da izvršavaju korisničke zadatke. Opasnost s vremenom samo raste, kako zato što agenti dobijaju pristup sve većem broju podataka i alata, čime se povećavaju potencijalni ulozi napada, tako i zato što napadači mogu da prepravljaju svoje injekcije kako bi bile delotvornije.

Naš paket BrowseSafe odgovara na ove pretnje. Benčmark BrowseSafe++ sadrži 38.675 parova veb-stranica izgrađenih prvenstveno od stvarnih injekcija, što omogućava pouzdanije treniranje i evaluaciju detektora. Detektori BrowseSafe-Guard, trenirani na ovim parovima, omogućavaju veoma tačnu, brzu i jeftinu detekciju, pa je moguće skenirati stranice pre nego što agent postupi na osnovu njih. Okvir BrowseSafe-Adapt omogućava testiranje modela protiv prepravljenih injekcija i ističe ranjivosti koje možda ne bi bile vidljive iz pojedinačnih pokušaja sa fiksnim injekcijama.

Nadamo se da će ovi alati zajedno olakšati istraživačima i inženjerima da pronađu propuste i unaprede odbranu od napada injekcijom prompta na vebu. Takođe neprekidno evaluiramo i unapređujemo ugrađene odbrane u proizvodima Comet i Computer kako bismo zaštitili naše korisnike.

Prvi koraci

1. Instalirajte SDK i dobijte pristup podacima. SDK se instalira sa platforme GitHub:

Pristup skupu podataka je ograničen. Zatražite pristup jednom na njegovoj Hugging Face stranici, a zatim se prijavite komandom hf auth login.

2. Pošaljite rezultate na rang-listu. Evaluirajte sopstveni detektor na test podeli benčmarka BrowseSafe++:

Ovo zapisuje po jednu odluku po stranici za svaki prikaz koji navedete; navedite sva tri tekstualna prikaza da biste dobili prosek na tekstualnoj rang-listi. Prijavite se na Space sa rang-listom pomoću svog Hugging Face naloga i otpremite predictions.jsonl. Space vraća F1, tačnost, stopu lažno pozitivnih rezultata i ostale metrike za svaki prikaz i, ako želite, objavljuje rezultat na rang-listi. Svaki nalog (star najmanje 60 dana) dobija jednu ocenjenu prijavu nedeljno po UTC vremenu. Testne stranice služe isključivo za evaluaciju: nemojte obučavati modele na njima niti ih dalje distribuirati. Vodič za prijavu opisuje format datoteke i pravila objavljivanja.

Citiranje

@online{perplexity2026BrowseSafePlusPlus,
  author = {{Perplexity} and Yuetian Chen and Kaiyuan Zhang and Yuntao Du and Thomas Li and Mark Tenenholtz and Kyle Polley and Jerry Ma and Denis Yarats and Ninghui Li and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{BrowseSafe++: Building stronger defenses against real-world prompt injection}},
  date = {2026-10-28},
  url = {https://www.perplexity.ai/hub/blog/browsesafe-plus-plus}
}