BrowseSafe++: изградња јачих одбрана од убацивања промпта у стварном свијету

Агенти који могу да прегледају веб, као што је асистент уграђен у Comet или Computer, морају да ступају у интеракцију са веб-страницама, читајући садржај и користећи га за извршавање радњи у име својих корисника. То их чини подложним индиректној инјекцији промпта, код које нападач поставља злонамјеран текст на веб-страницу. Ако агент слиједи та упутства, може да врати обмањујући одговор или изврши радњу коју корисник није тражио.

У децембру 2025. објавили смо BrowseSafe, бенчмарк и модел за детекцију ове пријетње. Направили смо га додавањем синтетичких напада у реалистичне веб-странице на које би агенти вјероватно наишли. Током протекле године напади су постали софистициранији и све више личе на уобичајени садржај странице. Умјесто карактеристичних фраза попут „занемари претходна упутства“, они често опонашају садржај којем агент вјероватно вјерује, као што је званично обавјештење сајта или напомена о корисничким преференцијама.

Мотивисани овим промјенама, изградили смо ажурирани бенчмарк, BrowseSafe++, како бисмо измјерили да ли тренутни детектори инјекција откривају ове нападе и да ли агенти могу да им одоле. Садржи 38.675 парова нападнутих и чистих страница, изграђених првенствено око инјекција прикупљених у стварном свијету. За сваку страницу преписујемо околни садржај ради заштите приватности, али напад задржавамо дословно. Свака страница постоји у четири формата које читају агенти прегледача: HTML, Markdown, стабла приступачности и снимци екрана. Подскуп бенчмарка искористили смо за тренирање BrowseSafe-Guard, пара детектора са 0,8 милијарди параметара: текстуалног и мултимодалног детектора. Два Guard детектора препознају инјекције тачније од модела вођених промптом које смо тестирали, укључујући најнапредније моделе. Такође су бржи, јефтинији и знатно рјеђе грешком означавају обичне странице.

Објављујемо BrowseSafe++ као отворени бенчмарк. Веб-сајт пројекта садржи везе ка скупу података, SDK-у, истраживачком раду и јавној ранг-листи. Сваки тим може да оцијени свој детектор на тестним страницама чије ознаке нису дате и да пошаље ознаке на оцјењивање и могуће уврштавање на ранг-листу. Да бисте евалуирали и послали своје резултате, погледајте одјељак Први кораци.

Изградња бенчмарка од уочених инјекција

BrowseSafe++ је изграђен од инјекција промпта уочених на стварним веб-сајтовима. Између септембра 2025. и септембра 2026. детектор инјекција промпта у Comet-у означио је 1,15 милиона инјекција на страницама које је његов агент читао. Око тих инјекција изградили смо 32.187 парова и додали 6.488 парова из оригиналног бенчмарка BrowseSafe, што укупно чини 38.675 парова. Сваки пар садржи и нападнуту страницу и њену чисту близнакињу, тј. исту страницу без инјекције.

Како изгледају инјекције у стварном свијету

Два примјера из бенчмарка показују како ове инјекције изгледају у пракси.

У једном од њих, лажни захтјев за куповину подстиче агента да предузме неовлашћену радњу. Детектор у прегледачу Comet означио је овај блок текста на енглеском језику на страници документације за програмере на руском језику у октобру 2025. године:

Текст почиње и завршава се наредбама, а средина је испуњена уобичајеним маркетиншким текстом о токену. Тврди да потиче од самог програмера агента и завршава се ауторизационим кодом како би куповина изгледала одобрено.

У другом примјеру, лажни разговор има за циљ да омете задатак агента. Овај текст пронађен је на страници репозиторијума кода у марту 2026. године:

Текст је осмишљен тако да изгледа као разговор између корисника и агента: <|im_start|> и <|im_end|> су маркери које неки модели за ћаскање користе за раздвајање реплика у разговору. Агент који би насјео на овај напад одговорио би на лажни упит корисника и узвратио фразом нападача.

Уочавамо сличне обрасце у означеним инјекцијама:

• Опонашају поуздане изворе. Оба примјера чине да текст странице звучи као извор којем агент вјерује: његов програмер у првом, а његов сопствени разговор у другом. Убацивања се могу представљати и као сам сајт, опонашајући безбједносне провјере и обавјештења о правилима, или као корисник, износећи лажне преференције. Отприлике два од три су написана формалним језиком.
• Многе су написане на различитим језицима. У 24,4% парова инјекција користи језик који се разликује од остатка странице. То обично има облик упутства на енглеском на страници која није на енглеском, као у првом примјеру. Такви напади су очигледно упућени агенту који чита све језике и којем је енглески обично матерњи језик. Промјене језика такође отежавају детекцију: у нашој оригиналној евалуацији BrowseSafe, вишејезични напади били су међу најтежим за откривање.
• Већина жели радње, а не ријечи. Више од четири од десет гура агента ка радњи коју корисник никада није тражио, попут куповине токена у првом примјеру, а отприлике трећина покушава да га натјера да одустане од задатка корисника, као у другом примјеру. Само око 3% покушава да подметне лажне информације у одговор.
• Често се ослањају на садржај који свако може да објави. Нападачу није потребно да контролише сајт. Довољна је објава на форуму или дијељени документ на обичним сајтовима, а више од 23.000 убацивања у BrowseSafe++ стигло је на овај начин. Поуздан домен и даље може да се искористи за убацивање нападачевог текста.

Инјекције у коначном бенчмарку обухватају 12 врста веб-сајтова, 24 врсте напада, 6 циљева нападача и 18 позиција на страници.

Увећај

Од означене странице до пара у бенчмарку

Означене странице не можемо користити у бенчмарку у изворном облику, јер могу садржати личне податке корисника за ког је агент радио. Претварање странице у пар бенчмарка који се може дијелити захтијева три главне фазе:

1. Проналажење извора инјекције: Прикупљамо означене странице, уклањамо дупликате и маскирамо личне податке помоћу алата PII-Tracer. Затим потврђујемо да страница садржи инјекцију; конкретно, захтијевамо да се група модела сложи да садржи упутство које покушава да скрене агента са задатка који је корисник намјеравао.
2. Изградња пара: Агент уклања текст инјекције са сваке странице и преписује околни садржај странице, замјењујући детаље попут имена и брендова измишљеним. Други агент провјерава да ли на преписаној страници има преосталог стварног садржаја и враћа неуспјеле случајеве уз повратне информације. Људски рецензенти прегледају насумичних 10% страница; проблеми које пронађу исправљају се у процесу, а исправке се примјењују на цијели корпус. Инјекција се поново убацује у преписану страницу како би се направила нападнута копија, а изоставља се из чисте копије. Обје странице имају исти задатак, очекивани резултат и уобичајена упутства.
3. Провјера: Агенти читају странице у различитим облицима, па HTML сваке странице рендерујемо као Markdown, стабло приступачности (структурирану листу елемената интерфејса странице и њихових ознака) и снимак екрана. Други агент провјерава да се инјекција појављује у сва четири приказа нападнуте странице и да је чиста страница оцијењена као безопасна у сваком приказу. Ако инјекција недостаје у неком од приказа, премјештамо је на друго мјесто на страници и поново рендерујемо, чиме обезбјеђујемо да се инјекција налази у коначној нападнутој страници у свим приказима. Завршни скуп аутоматизованих провјера исправља све парове који и даље носе трагове свог извора, као што су стварна имена хостова или брендова.

Увећај

BrowseSafe-Guard: брзи и прецизни детектори за сваки приказ

Користан детектор мора брзо и јефтино да провјери сваку страницу. Такође мора бити тачан и на нападнутим и на чистим страницама. Висока прецизност је посебно важна јер је већина страница безбједна; чак би и релативно ниска стопа лажно позитивних резултата учинила да већина упозорења буду лажне узбуне. Модели опште намјене вођени промптом често заостају по прецизности и сувише су спори и скупи да би се покретали на свакој страници.

Детектор обучен на нападнутим и чистим страницама које су прикупљене одвојено могао би да научи пречице које случајно раздвајају та два скупа, као што су тема или распоред странице. Међутим, такав детектор не генерализује добро. Guard се умјесто тога обучава на паровима чија је једина разлика само убацивање, што помаже да се побољша прецизност детектора. За сваки пар, Guard засебно чита нападнуту страницу и њеног чистог близанца и сваком додјељује оцјену колико је вјероватно да садржи убацивање. За ажурирање модела користе се два циља обуке: стандардни класификациони циљ и циљ рангирања који кажњава Guard, осим ако нападнута страница не добије вишу оцјену од свог близанца барем за фиксну маргину. Интуитивно, класификациони циљ учи Guard коју одлуку да донесе, а циљ рангирања везује ту одлуку за само убацивање и занемарује безопасне ометаче. Тако се Guard обучава да реагује на само убацивање, а не на околни садржај странице.

Guard се састоји од два детектора, од којих је сваки фино подешен на основу модела Qwen3.5-0.8B. Текстуални детектор чита један текстуални приказ странице: HTML, Markdown или стабло приступачности. Мултимодални детектор чита снимак екрана читаве странице. У примјени, Guard чита страницу у једном пролазу унапријед и даје оцјену убацивања, а страница се означава ако оцјена пређе праг. Пошто Guard има само 0,8 милијарди параметара и даје једну оцјену, довољно је брз и јефтин да ради на свакој страници.

Мјерење перформанси

Упоредили смо Guard са 18 модела којима је промптом задато да откривају инјекције на издвојеном подскупу бенчмарка. Наводимо четири метрике, измјерене на BrowseSafe++:

• Одзив је удио страница са инјекцијом које детектор означи, што мјери колико напада открива, па је већа вриједност боља.
• Стопа лажно позитивних резултата (FPR) је удио чистих страница које детектор грешком означи, што мјери колико често подиже лажне узбуне, па је мања вриједност боља.
• Прецизност је удио означених страница које заиста садрже инјекцију, што мјери колико је често упозорење тачно, па је већа вриједност боља.
• F1 је хармонијска средина одзива и прецизности; висок је само када детектор открије већину напада, а мали број његових ознака представља лажне узбуне.

Као примарну метрику користимо F1, јер добар детектор треба да има високу прецизност и висок одзив. Све четири метрике усредњене су по три текстуална приказа.

Увећај

Увећај

Поређење модела

Мали модели отворених тежина које смо тестирали завршили су на дну. Mistral NeMo и Qwen3 30B-A3B означавају по отприлике половину чистих страница, док Llama 3.1 8B ријетко шта означи и пропушта већину напада. Чак и најјачи модел у овој групи, GPT-OSS 20B, достиже F1 од само 70,97%. DeepSeek V3.1, знатно већи модел отворених тежина, постиже нешто бољи резултат, са F1 од 75,23%.

Лагани API модели, укључујући GPT-5.4 nano, Gemini 3.1 Flash-Lite и Claude Haiku 4.5, откривају више напада, са одзивом између 85% и 97%. Међутим, цијена је висок удио лажних узбуна; Gemini 3.1 Flash-Lite има најнижи FPR у групи, од 35,2%, а FPR модела Haiku износи скоро 69%. Због тога највиши F1 резултат у групи износи 80,9%, а постигао га је Gemini 3.1 Flash-Lite.

Преостали модели су јачи модели опште намјене, са F1 резултатима између 85% и 92%. Међутим, и даље се суочавају са компромисом између одзива и FPR-а; модели склони опрезу блокирају легитимне странице, а модели који рјеђе подижу узбуну пропуштају нападе. Claude Sonnet 5 има највећи одзив од свих детектора, 98,73%, али FPR од 24,65%. Gemini 3.1 Pro и GPT-5.5 достижу одзив од 97,78%, односно 97,19%, са FPR-ом од 19,80%, односно 20,44%. GPT-6 Astra има највећу укупну тачност, са одзивом од 96,42% и FPR-ом од 14,41%. Decider је други, са одзивом од 96,02% и FPR-ом од 17,44%. Claude Opus 5.5 има најнижи FPR, само 4,21%, али његов одзив од 77,71% значи да пропушта више од једног од пет напада. Claude Fable 5.1 дјелује снажно на страницама на које одговори, са одзивом од 89,31% и FPR-ом од 7,92%, али одбија да одговори на око 30% страница, које ред „(all)“ рачуна као ознаке.

Увећај

Guard помјера Парето границу, постижући бољи однос између пропуштених напада и лажних узбуна. Достиже F1 од око 95% и први је у сваком текстуалном приказу. Означава само око једне од 20 чистих страница, што је отприлике трећина стопе модела Astra, најтачнијег модела вођеног промптом. Та разлика потиче од нашег тренирања; стандардни Qwen3.5-0.8B на ком је Guard изграђен, када му се зада промпт на исти начин као осталим моделима, достиже F1 од само 64% и означава скоро три од четири чисте странице. У сценарију приказа снимака екрана поредимо мултимодални детектор Guard-а са четири модела који подржавају слике. На снимцима цијелих страница Guard постиже F1 од око 93%, наспрам око 79% за најбољи од осталих модела које смо евалуирали.

Препознати напад није исто што и одољети му

Интуитивно, модел који може тачно да препозна инјекцију требало би и да је игнорише када наиђе на ту страницу док извршава задатке корисника. Међутим, наши експерименти показују да добри резултати детекције не гарантују да ће модел одољети нападу. Сваком моделу смо дали исту нападнуту страницу два пута: једном да процијени да ли садржи инјекцију, а једном да изврши задатак корисника, без увида у претходну процјену. Посебни судија провјеравао је да ли је модел слиједио инјекцију. Сваки тестирани модел и даље је слиједио неке инјекције које је означио, од 1,64% означених страница за GPT-6 Astra до 24,73% за Llama 3.1 8B.

Увећај

Резултати детекције не предвиђају поуздано разлике међу моделима. Claude Sonnet 5 и GPT-5.5 откривају инјекције приближно једнако добро, са F1 резултатима од око 88%, односно 89%. Међутим, Sonnet 5 је слиједио инјекцију коју је претходно означио на 19,74% страница, десет пута чешће од GPT-5.5 са 1,97%.

Систем за одбрану од убацивања спреман за примјену

Ови резултати указују на то да има смисла одлуку о блокирању странице препустити намјенском моделу, умјесто ослањања на модел који извршава задатак корисника. Засебан детектор који провјерава сваку страницу прије него што агент предузме радњу пружа додатни слој одбране и нема задатак који би се могао отети нити алате који би се могли злоупотријебити.

Guard је направљен да буде управо такав детектор. Осим што има највиши F1 и највећу тачност од свих модела које смо тестирали, захваљујући малој величини довољно је јефтин да ради на свакој страници. У просјеку, Guard је користио око 0,15 секунди GPU времена по текстуалној страници. На изнајмљеном H200 процјењујемо трошак од 0,18 $ на 1.000 страница, у поређењу са 18,95–180,61 $ за напредне API моделе по цијенама из цјеновника. Тиме је честа провјера у нашем поређењу знатно јефтинија, уз задржавање високих резултата детекције.

Слика испод приказује тачност сваког детектора у односу на вријеме по страници и трошак на 1.000 страница, обоје на логаритамским скалама. Guard се налази сам у горњем лијевом углу оба панела: побјеђује по тачности, брзини и трошку. Сваком моделу вођеном промптом потребна је око једна секунда или више по страници, а два најтачнија, GPT-6 Astra и Claude Fable 5.1, коштају више од 100 долара на 1.000 страница.

Увећај

Тестирање одбрана од адаптивних напада

Бенчмарк BrowseSafe++ има коначан скуп инјекција. Међутим, стварни нападач може да изведе адаптивни напад; када инјекција не успије, нападач може да је препише и покуша поново. Због тога агент који одолијева оригиналној инјекцији и даље може бити подложан будућим нападима. Поред тога, модели се тренирају на подацима прикупљеним са интернета, па могу научити да одолијевају већини тамошњих инјекција; пошто наш бенчмарк објављујемо јавно, вјероватно ће се засити и престати добро да разликује моделе. Да бисмо ријешили оба проблема, изградили смо BrowseSafe-Adapt, окружење за тестирање у којем модел нападача може да преписује инјекције. Сваки тест има три фазе:

1. Постављање случаја. Случај повезује унос из BrowseSafe++ са циљним агентом. Унос из BrowseSafe++ обухвата сценарио са корисничким упитом и задатком, нападнуту страницу и исход који нападач жели. Агент ради у Sandbox окружењу које обезбјеђује алате и синтетичке податке потребне за извршавање задатка. Засебан модел за верификацију процјењује да ли је напад постигао свој циљ.
2. Извођење покушаја: Убацујемо тренутну инјекцију у страницу и пуштамо агента да изврши задатак. Верификатор провјерава одговор агента и све промјене које је направио у Sandbox окружењу како би утврдио да ли је напад успио. Први покушај користи инјекцију из оригиналног уноса BrowseSafe++.
3. Измјена и понављање: Ако напад не успије, архивирамо покушај, а модел критичар анализира шта није успјело. Модел нападача користи те повратне информације да препише инјекцију; може да промијени формулацију, форматирање или позицију напада на страници. Циљ напада, критеријуми успјеха и околни садржај странице остају исти. Сљедећи покушај користи ажурирани напад. Овај поступак се понавља док напад не успије или нападач не достигне задато ограничење броја покушаја.

Увећај

Тестирали смо седам агената, сваки заснован на другом моделу: Claude Sonnet 5, Claude Haiku 4.5, GPT-5.5, Gemini 3.1 Pro, Gemini 3.5 Flash-Lite и моделе отворених тежина DeepSeek V3.1 и Kimi K2. Сваки агент суочио се са истих 1.024 задатка, са највише 64 покушаја по задатку. У првом покушају успјешност напада била је ниска код свих седам агената. Оригиналне инјекције успјеле су на највише 4% евалуираних задатака против било ког агента. У адаптивном оквиру успјешност напада драматично је порасла. Нападач је успио на најмање 79% задатака против пет од седам агената. Чак су и најјачи агенти били подложни: напади су и даље успијевали на отприлике два од три задатка против GPT-5.5 и на отприлике један од три против Claude Sonnet 5.

Разлика међу агентима највећа је када је циљ нападача да натјера агента да изврши одређени позив алата. Код задатака са оваквим циљем, Sonnet 5 је попустио на око 8% задатака, а GPT-5.5 на око 29%. Осталих пет агената испунило је циљ нападача на више од половине својих задатака.

Покренули смо и BrowseSafe-Adapt против агента Gemini 3.5 Flash-Lite, при чему Guard прво провјерава сваку страницу. Guard је блокирао 94,5% оригиналних инјекција и скоро удвостручио просјечан број покушаја који су нападачима били потребни, са 9,7 на 17,0. Ипак, уз свих 64 покушаја, нападач је и даље успио на 84,2% задатака (93,6% без Guard-а), готово увијек уз инјекцију коју Guard није означио. То одговара ставу који смо изнијели када смо објавили BrowseSafe: ниједан модел за детекцију није чаробно рјешење, па детектор мора бити дио вишеслојне одбране.

Увећај

Закључак

Агенти прегледача често су подложни индиректној инјекцији промпта, код које напади скривени на обичним страницама настоје да ометају способност агената да извршавају задатке корисника. Опасности временом само расту, и зато што агенти добијају приступ све већем броју података и алата, чиме се повећавају могући улози напада, и зато што нападачи могу да прерађују своје инјекције како би биле ефикасније.

Наш пакет BrowseSafe одговара на ове пријетње. Бенчмарк BrowseSafe++ садржи 38.675 парова веб-страница изграђених првенствено од стварних инјекција, што омогућава поузданије тренирање и евалуацију детектора. Детектори BrowseSafe-Guard, тренирани на овим паровима, омогућавају веома тачну, брзу и јефтину детекцију, па је могуће скенирати странице прије него што агент на основу њих предузме радње. Оквир BrowseSafe-Adapt омогућава тестирање модела против прерађених инјекција, откривајући рањивости које можда нису уочљиве из појединачних покушаја са фиксним инјекцијама.

Надамо се да ће ови алати заједно олакшати истраживачима и инжењерима да пронађу пропусте и унаприједе одбрану од напада инјекцијом промпта путем веба. Такође непрестано евалуирамо и унапређујемо уграђене одбране у Comet-у и Computer-у како би наши корисници били безбједни.

Први кораци

1. Инсталирајте SDK и добијте приступ подацима. SDK се инсталира са GitHub-а:

Скуп података има ограничен приступ. Једном затражите приступ на његовој страници на Hugging Face-у, а затим се пријавите командом hf auth login.

2. Пошаљите резултате на ранг-листу. Евалуирајте сопствени детектор на тестном скупу бенчмарка BrowseSafe++:

Ово уписује једну одлуку по страници за сваки приказ који наведете; наведите сва три текстуална приказа да бисте добили просјек на текстуалној ранг-листи. Пријавите се у Space ранг-листе својим Hugging Face налогом и отпремите predictions.jsonl. Space враћа F1, тачност, стопу лажно позитивних резултата и остале метрике за сваки приказ и, ако то изаберете, објављује резултат на ранг-листи. Сваки налог (стар најмање 60 дана) добија једну оцијењену пријаву по UTC седмици. Тест странице служе само за евалуацију: немојте их користити за обуку нити их даље дистрибуирати. Водич за пријаву описује формат фајла и правила објављивања.

Цитирање

@online{perplexity2026BrowseSafePlusPlus,
  author = {{Perplexity} and Yuetian Chen and Kaiyuan Zhang and Yuntao Du and Thomas Li and Mark Tenenholtz and Kyle Polley and Jerry Ma and Denis Yarats and Ninghui Li and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{BrowseSafe++: Building stronger defenses against real-world prompt injection}},
  date = {2026-10-28},
  url = {https://www.perplexity.ai/hub/blog/browsesafe-plus-plus}
}