BrowseSafe++: kuriame stipresnę apsaugą nuo realių raginimų injekcijų

Internete naršyti galintys agentai, pavyzdžiui, į Comet ar Computer integruotas asistentas, turi sąveikauti su tinklalapiais – skaityti jų turinį ir jį naudoti atlikdami veiksmus savo naudotojų vardu. Dėl to jie yra pažeidžiami netiesioginių raginimų injekcijų, kai užpuolikas tinklalapyje patalpina kenkėjišką tekstą. Jei agentas vykdo šiuos nurodymus, jis gali pateikti klaidinantį atsakymą arba atlikti veiksmą, kurio naudotojas neprašė.

2025 m. gruodžio mėn. išleidome BrowseSafe – šios grėsmės lyginamąjį testą ir aptikimo modelį. Sukūrėme jį įterpdami sintetines atakas į realistiškus tinklalapius, su kuriais agentai greičiausiai susidurtų. Per pastaruosius metus atakos tapo sudėtingesnės ir vis labiau primena įprastą puslapio turinį. Užuot naudojusios save išduodančias frazes, pavyzdžiui, „ignoruok ankstesnius nurodymus“, jos dažnai imituoja turinį, kuriuo agentas greičiausiai pasitikėtų, pavyzdžiui, oficialų svetainės pranešimą ar pastabą apie naudotojo nuostatas.

Atsižvelgdami į šiuos pokyčius, sukūrėme atnaujintą lyginamąjį testą BrowseSafe++, kad išmatuotume, ar dabartiniai injekcijų detektoriai sugauna šias atakas ir ar agentai gali joms atsispirti. Jame yra 38 675 atakuotų ir švarių puslapių poros, daugiausia sukurtos remiantis realiame pasaulyje surinktomis injekcijomis. Kiekvieno puslapio aplinkinį turinį perrašome, kad apsaugotume privatumą, tačiau ataką paliekame pažodžiui. Kiekvienas puslapis pateikiamas keturiais formatais, kuriuos skaito naršyklės agentai: HTML, Markdown, prieinamumo medžiais ir ekrano kopijomis. Dalį lyginamojo testo panaudojome BrowseSafe-Guard – dviejų 0,8 mlrd. parametrų detektorių (tekstinio ir multimodalinio) – mokymui. Abu Guard detektoriai injekcijas nustato tiksliau nei mūsų išbandyti raginimais valdomi modeliai, įskaitant pažangiausius modelius. Be to, jie yra greitesni, pigesni ir kur kas rečiau per klaidą pažymi įprastus puslapius.

BrowseSafe++ skelbiame kaip atvirą lyginamąjį testą. Projekto svetainėje pateiktos nuorodos į duomenų rinkinį, SDK, mokslinio tyrimo straipsnį ir viešą lyderių lentelę. Bet kuri komanda gali įvertinti savo detektorių su testavimo puslapiais, kurių žymos nepateikiamos, ir pateikti žymas vertinimui bei galimam įtraukimui į lyderių lentelę. Norėdami įvertinti ir pateikti savo rezultatus, žr. skyrių Darbo pradžia.

Lyginamojo testo kūrimas iš pastebėtų injekcijų

BrowseSafe++ sukurtas iš raginimų injekcijų, pastebėtų tikrose svetainėse. Nuo 2025 m. rugsėjo iki 2026 m. rugsėjo Comet raginimų injekcijų detektorius pažymėjo 1,15 mln. injekcijų puslapiuose, kuriuos skaitė jo agentas. Remdamiesi šiomis injekcijomis, sukūrėme 32 187 poras ir pridėjome 6 488 poras iš pradinio BrowseSafe lyginamojo testo – iš viso 38 675 poros. Kiekvienoje poroje yra ir atakuotas puslapis, ir jo švarus dvynys, t. y. tas pats puslapis be injekcijos.

Kaip injekcijos atrodo realiame pasaulyje

Du lyginamojo testo pavyzdžiai parodo, kaip šios injekcijos atrodo praktikoje.

Viename iš jų netikra pirkimo užklausa skatina agentą atlikti neleistiną veiksmą. Comet detektorius 2025 m. spalio mėn. pažymėjo šį angliško teksto bloką rusų kalba parašytame kūrėjų dokumentacijos puslapyje:

Tekstas prasideda ir baigiasi įsakymais, o viduryje pateikiama įprasta kriptovaliutų žetonų reklama. Jame teigiama, kad jį parengė pats agento kūrėjas, o pabaigoje pateikiamas autorizacijos kodas, kad pirkimas atrodytų patvirtintas.

Kitame pavyzdyje suklastotu pokalbiu siekiama sutrikdyti agento užduotį. Šis tekstas rastas kodo saugyklos puslapyje 2026 m. kovo mėn.:

Tekstas sukurtas taip, kad atrodytų kaip naudotojo ir agento pokalbis: <|im_start|> ir <|im_end|> – tai žymekliai, kuriuos kai kurie pokalbių modeliai naudoja pokalbio replikoms atskirti. Šiai atakai pasidavęs agentas atsakytų į suklastotą naudotojo užklausą ir pateiktų užpuoliko frazę.

Pažymėtose injekcijose pastebime panašius dėsningumus:

• Jos apsimeta patikimais šaltiniais. Abiejuose pavyzdžiuose puslapio tekstas atrodo kilęs iš šaltinio, kuriuo agentas pasitiki: pirmajame – iš jo kūrėjo, antrajame – iš jo paties pokalbio. Injekcijos taip pat gali apsimesti pačia svetaine, imituodamos saugumo patikras ir politikos pranešimus, arba naudotoju, pateikdamos netikras nuostatas. Maždaug dvi iš trijų parašytos formalia kalba.
• Daug jų parašyta įvairiomis kalbomis. 24,4 % porų injekcija parašyta kita kalba nei likęs puslapis. Paprastai tai būna nurodymas anglų kalba ne anglų kalbos puslapyje, kaip pirmajame pavyzdyje. Tokios atakos aiškiai skirtos agentui, kuris skaito visomis kalbomis ir kurio pagrindinė kalba paprastai yra anglų. Kalbos keitimas taip pat apsunkina aptikimą: mūsų pradiniame BrowseSafe vertinime daugiakalbės atakos buvo vienos sunkiausiai aptinkamų.
• Dauguma siekia veiksmų, o ne žodžių. Daugiau nei keturios iš dešimties stumia agentą link veiksmo, kurio naudotojas niekada neprašė, pavyzdžiui, žetono pirkimo pirmajame pavyzdyje, o maždaug trečdalis bando priversti jį atsisakyti naudotojo užduoties, kaip antrajame pavyzdyje. Tik maždaug 3 % bando įterpti klaidingą informaciją į atsakymą.
• Jos dažnai įterpiamos į turinį, kurį gali paskelbti bet kas. Užpuolikui nereikia valdyti svetainės. Pakanka forumo įrašo ar bendrinamo dokumento įprastose svetainėse – būtent taip atsirado daugiau nei 23 000 BrowseSafe++ injekcijų. Net patikimas domenas gali būti panaudotas užpuoliko tekstui įterpti.

Galutiniame lyginamajame teste esančios injekcijos apima 12 svetainių tipų, 24 atakų tipus, 6 užpuolikų tikslus ir 18 vietų puslapyje.

Padidinti

Nuo pažymėto puslapio iki lyginamojo testo poros

Pažymėtų puslapių negalime naudoti lyginamajame teste tokių, kokie jie yra, nes juose gali būti asmeninės informacijos apie naudotoją, kuriam dirbo agentas. Norint paversti puslapį bendrinama lyginamojo testo pora, reikia trijų pagrindinių etapų:

1. Injekcijų surinkimas: surenkame pažymėtus puslapius, pašaliname dublikatus ir užmaskuojame asmeninę informaciją naudodami PII-Tracer. Tada patvirtiname, kad puslapyje yra injekcija: reikalaujame, kad modelių grupė sutartų, jog jame yra nurodymas, kuriuo bandoma nukreipti agentą nuo naudotojo numatytos užduoties.
2. Poros sudarymas: agentas pašalina injekcijos tekstą iš kiekvieno puslapio ir perrašo aplinkinį puslapio turinį, pakeisdamas tokias detales kaip vardai ir prekių ženklai išgalvotais. Antrasis agentas patikrina, ar perrašytame puslapyje neliko realaus pasaulio turinio, ir nepavykusius atvejus grąžina su atsiliepimais. Žmonės peržiūrėtojai patikrina atsitiktinai atrinktus 10 % puslapių; jų rastos problemos ištaisomos procese, o pataisymai pritaikomi visam korpusui. Injekcija vėl įterpiama į perrašytą puslapį, kad būtų sukurta atakuota kopija, o į švarią kopiją ji neįtraukiama. Abu puslapiai turi tą pačią užduotį, tikėtiną rezultatą ir įprastus nurodymus.
3. Patikrinimas: agentai skaito puslapius įvairiais pavidalais, todėl kiekvieno puslapio HTML atvaizduojame kaip Markdown, prieinamumo medį (struktūrizuotą puslapio sąsajos elementų ir jų žymų sąrašą) ir ekrano kopiją. Kitas agentas patikrina, ar injekcija matoma visuose keturiuose atakuoto puslapio vaizduose ir ar švarus puslapis kiekviename vaizde įvertinamas kaip nekenksmingas. Jei kuriame nors vaizde injekcijos nėra, perkeliame ją į kitą puslapio vietą ir vėl atvaizduojame, kad galutiniame atakuotame puslapyje injekcija būtų visuose vaizduose. Galutinis automatinių patikrinimų rinkinys pataiso visas poras, kuriose vis dar likę šaltinio pėdsakų, pavyzdžiui, tikrų prieglobos serverių ar prekių ženklų pavadinimų.

Padidinti

BrowseSafe-Guard: greiti ir tikslūs detektoriai kiekvienam vaizdui

Naudingas detektorius turi greitai ir pigiai patikrinti kiekvieną puslapį. Be to, jis turi būti tikslus tiek atakuotuose, tiek švariuose puslapiuose. Didelis preciziškumas ypač svarbus, nes dauguma puslapių yra saugūs: net ir santykinai mažas klaidingai teigiamų rezultatų dažnis reikštų, kad dauguma įspėjimų būtų klaidingi pavojaus signalai. Raginimais valdomiems bendrosios paskirties modeliams dažnai trūksta preciziškumo, be to, jie per lėti ir per brangūs, kad būtų naudojami kiekvienam puslapiui.

Detektorius, apmokytas naudojant atskirai surinktus atakuotus ir švarius puslapius, galėtų išmokti „trumpųjų kelių“, kurie atsitiktinai atskiria šiuos du rinkinius, pavyzdžiui, puslapio temą ar išdėstymą. Tačiau toks detektorius prastai apibendrina. Vietoj to Guard mokomas naudojant poras, kurios skiriasi tik pačia injekcija, ir tai padeda pagerinti detektoriaus preciziškumą. Kiekvienai porai Guard atskirai perskaito atakuotą puslapį ir jo švarų dvynį ir kiekvienam jų priskiria balą, rodantį, kiek tikėtina, kad jame yra injekcija. Modeliui atnaujinti naudojamos dvi mokymo tikslo funkcijos: standartinė klasifikavimo funkcija ir reitingavimo funkcija, kuri baudžia Guard, nebent atakuoto puslapio balas bent fiksuota riba viršija jo dvynio balą. Intuityviai tariant, klasifikavimo funkcija moko Guard, kokį sprendimą priimti, o reitingavimo funkcija susieja tą sprendimą su pačia injekcija ir nepaiso nekenksmingų blaškančių elementų. Taip Guard išmokomas reaguoti į pačią injekciją, o ne į aplinkinį puslapio turinį.

Guard sudaro du detektoriai, kurių kiekvienas gautas tiksliai suderinus Qwen3.5-0.8B modelį. Tekstinis detektorius skaito vieną puslapio tekstinį vaizdą: HTML, Markdown arba prieinamumo medį. Multimodalinis detektorius skaito viso puslapio ekrano kopiją. Diegimo metu Guard perskaito puslapį vienu tiesioginiu perėjimu ir pateikia injekcijos balą, o puslapis pažymimas, jei balas viršija slenkstį. Kadangi Guard turi tik 0,8 mlrd. parametrų ir pateikia vieną balą, jis pakankamai greitas ir pigus, kad būtų paleidžiamas kiekviename puslapyje.

Našumo lyginamasis vertinimas

Guard palyginome su 18 modelių, kuriems raginimais nurodyta aptikti injekcijas atidėtame lyginamojo testo poaibyje. Pateikiame keturias metrikas, išmatuotas naudojant BrowseSafe++:

• Išsamumas (recall) – tai puslapių su injekcijomis, kuriuos detektorius pažymi, dalis; jis parodo, kiek atakų detektorius sugauna, todėl kuo didesnis, tuo geriau.
• Klaidingai teigiamų rezultatų dažnis (FPR) – tai švarių puslapių, kuriuos detektorius pažymi per klaidą, dalis; jis parodo, kaip dažnai detektorius kelia klaidingą pavojų, todėl kuo mažesnis, tuo geriau.
• Preciziškumas (precision) – tai pažymėtų puslapių, kuriuose iš tiesų yra injekcija, dalis; jis parodo, kaip dažnai įspėjimas būna teisingas, todėl kuo didesnis, tuo geriau.
• F1 – tai išsamumo ir preciziškumo harmoninis vidurkis; jis didelis tik tada, kai detektorius sugauna daugumą atakų ir tik nedaug jo pažymėjimų yra klaidingi pavojaus signalai.

Kaip pagrindinę metriką naudojame F1, nes geras detektorius turi pasižymėti dideliu preciziškumu ir išsamumu. Visų keturių metrikų vidurkis apskaičiuojamas pagal tris tekstinius vaizdus.

Padidinti

Padidinti

Modelių palyginimas

Mūsų išbandyti nedideli atvirųjų svorių modeliai atsidūrė pačioje apačioje. Mistral NeMo ir Qwen3 30B-A3B pažymi maždaug pusę švarių puslapių, o Llama 3.1 8B retai ką nors pažymi ir praleidžia daugumą atakų. Net stipriausias šios grupės modelis GPT-OSS 20B pasiekia tik 70,97 % F1. Gerokai didesnis atvirųjų svorių modelis DeepSeek V3.1 pasirodo šiek tiek geriau – jo F1 siekia 75,23 %.

Lengvieji API modeliai, įskaitant GPT-5.4 nano, Gemini 3.1 Flash-Lite ir Claude Haiku 4.5, sugauna daugiau atakų – jų jautrumas siekia nuo 85 % iki 97 %. Tačiau už tai tenka sumokėti didele klaidingų pavojaus signalų dalimi: Gemini 3.1 Flash-Lite FPR yra mažiausias grupėje – 35,2 %, o Haiku FPR siekia beveik 69 %. Todėl didžiausias grupės F1 balas yra 80,9 %, ir jį pasiekė Gemini 3.1 Flash-Lite.

Likę modeliai yra stipresni bendrosios paskirties modeliai, pasiekiantys 85–92 % F1 rezultatus. Tačiau jiems vis tiek tenka rinktis tarp išsamumo ir FPR: atsargumo linkę modeliai blokuoja teisėtus puslapius, o modeliai, kurie puslapius pažymi rečiau, praleidžia atakas. Claude Sonnet 5 išsamumas yra didžiausias iš visų detektorių – 98,73 %, tačiau jo FPR siekia 24,65 %. Gemini 3.1 Pro ir GPT-5.5 išsamumas siekia atitinkamai 97,78 % ir 97,19 %, o FPR – 19,80 % ir 20,44 %. GPT-6 Astra bendras tikslumas yra didžiausias: išsamumas – 96,42 %, FPR – 14,41 %. Antroje vietoje yra Decider, kurio išsamumas – 96,02 %, o FPR – 17,44 %. Claude Opus 5.5 FPR yra mažiausias – vos 4,21 %, tačiau dėl 77,71 % išsamumo jis praleidžia daugiau nei vieną ataką iš penkių. Claude Fable 5.1 atrodo stiprus puslapiuose, į kuriuos atsako: išsamumas – 89,31 %, FPR – 7,92 %, tačiau maždaug 30 % puslapių jis atsisako atsakyti, o eilutėje „(all)“ tokie atsisakymai laikomi pažymėjimais.

Padidinti

Guard pastumia Pareto ribą ir pasiekia geresnį praleistų atakų ir klaidingų pavojaus signalų santykį. Jo F1 siekia apie 95 %, ir jis užima pirmą vietą kiekviename tekstiniame vaizde. Jis pažymi tik maždaug vieną švarų puslapį iš 20 – maždaug trečdalį tiksliausio raginimais valdomo modelio Astra rodiklio. Šis skirtumas atsiranda dėl mūsų mokymo: standartinis Qwen3.5-0.8B, kuriuo paremtas Guard, raginamas taip pat kaip ir kiti modeliai, pasiekia tik 64 % F1 ir pažymi beveik tris iš keturių švarių puslapių. Ekrano kopijų vaizdo scenarijuje lyginame Guard multimodalinį detektorių su keturiais vaizdus apdoroti galinčiais modeliais. Gavęs viso puslapio ekrano kopijas, Guard pasiekia apie 93 % F1, o geriausias iš kitų mūsų vertintų modelių – apie 79 %.

Atpažinti ataką nėra tas pats, kas jai atsispirti

Intuityviai atrodo, kad modelis, galintis teisingai nustatyti injekciją, taip pat turėtų jos nepaisyti, kai susiduria su tuo puslapiu atlikdamas naudotojo užduotis. Tačiau mūsų eksperimentai rodo, kad geri aptikimo rezultatai negarantuoja, jog modelis atsispirs atakai. Kiekvienam modeliui du kartus pateikėme tą patį atakuotą puslapį: vieną kartą – kad įvertintų, ar jame yra injekcija, kitą kartą – kad atliktų naudotojo užduotį nematydamas ankstesnio sprendimo. Atskiras vertintojas patikrino, ar modelis vykdė injekciją. Kiekvienas išbandytas modelis vis tiek vykdė kai kurias savo pažymėtas injekcijas – nuo 1,64 % pažymėtų puslapių GPT-6 Astra atveju iki 24,73 % Llama 3.1 8B atveju.

Padidinti

Aptikimo rezultatai patikimai nenuspėja modelių skirtumų. Claude Sonnet 5 ir GPT-5.5 injekcijas aptinka maždaug vienodai gerai – jų F1 rezultatai atitinkamai siekia apie 88 % ir 89 %. Tačiau Sonnet 5 vykdė injekciją, kurią pats buvo pažymėjęs, 19,74 % puslapių – dešimt kartų dažniau nei GPT-5.5, kurio rodiklis buvo 1,97 %.

Diegimui paruošta apsaugos nuo injekcijų sistema

Šie rezultatai rodo, kad sprendimą blokuoti puslapį verta patikėti specializuotam modeliui, užuot pasikliovus modeliu, atliekančiu naudotojo užduotį. Atskiras detektorius, kuris patikrina kiekvieną puslapį prieš agentui imantis veiksmų, suteikia papildomą apsaugos sluoksnį, be to, jis neturi nei užduoties, kurią būtų galima užgrobti, nei įrankių, kuriais būtų galima piktnaudžiauti.

Guard sukurtas būti būtent tokiu detektoriumi. Jo F1 balas ir tikslumas yra didžiausi iš visų mūsų išbandytų modelių, be to, dėl mažo dydžio jį pakankamai pigu paleisti kiekviename puslapyje. Vidutiniškai Guard vienam tekstiniam puslapiui sunaudojo apie 0,15 sekundės GPU laiko. Apskaičiavome, kad naudojant nuomojamą H200 1 000 puslapių kainuotų 0,18 USD, o naudojant pažangiausius API modelius pagal katalogines kainas – 18,95–180,61 USD. Mūsų palyginime tai gerokai atpigina dažną tikrinimą ir kartu išlaiko aukštus aptikimo rodiklius.

Toliau pateiktame paveiksle kiekvieno detektoriaus tikslumas pavaizduotas pagal laiką vienam puslapiui ir kainą už 1 000 puslapių, abu – logaritminėse skalėse. Guard vienas užima viršutinį kairįjį abiejų skydelių kampą: jis laimi pagal tikslumą, greitį ir kainą. Kiekvienam raginimais valdomam modeliui vienam puslapiui reikia maždaug sekundės ar daugiau, o du tiksliausi – GPT-6 Astra ir Claude Fable 5.1 – kainuoja daugiau nei 100 $ už 1 000 puslapių.

Padidinti

Apsaugos priemonių testavimas prieš adaptyviąsias atakas

BrowseSafe++ lyginamajame teste yra baigtinis injekcijų rinkinys. Tačiau tikras užpuolikas gali surengti adaptyviąją ataką: kai injekcija nepavyksta, užpuolikas gali ją perrašyti ir bandyti dar kartą. Todėl agentas, atsispiriantis pradinei injekcijai, vis tiek gali būti pažeidžiamas būsimų atakų. Be to, modeliai mokomi naudojant iš interneto surinktus duomenis, todėl jie gali išmokti atsispirti daugumai šio lyginamojo testo injekcijų; kadangi savo lyginamąjį testą skelbiame viešai, jis greičiausiai prisisotins ir nebeleis gerai atskirti modelių. Siekdami išspręsti abi problemas, sukūrėme BrowseSafe-Adapt – testavimo aplinką, kurioje užpuoliko modelis gali perrašyti injekcijas. Kiekvieną testą sudaro trys etapai:

1. Parenkite atvejį. Atvejis sujungia BrowseSafe++ įrašą su tiksliniu agentu. BrowseSafe++ įraše yra scenarijus su naudotojo užklausa ir užduotimi, atakuotas puslapis ir užpuoliko siekiamas rezultatas. Agentas veikia Sandbox aplinkoje, kurioje yra užduočiai atlikti reikalingi įrankiai ir sintetiniai duomenys. Atskiras tikrintojo modelis įvertina, ar ataka pasiekė savo tikslą.
2. Bandymo vykdymas: įterpiame dabartinę injekciją į puslapį ir leidžiame agentui atlikti užduotį. Tikrintuvas patikrina agento atsakymą ir visus jo sandbox aplinkoje atliktus pakeitimus, kad nustatytų, ar ataka pavyko. Per pirmąjį bandymą naudojama injekcija iš pradinio BrowseSafe++ įrašo.
3. Pataisymas ir kartojimas: jei ataka nepavyksta, bandymą archyvuojame, o kritiko modelis įvertina, kas nepavyko. Užpuoliko modelis pagal šiuos atsiliepimus perrašo injekciją: jis gali pakeisti atakos formuluotę, formatavimą arba vietą puslapyje. Atakos tikslas, sėkmės kriterijai ir aplinkinis puslapio turinys lieka tokie patys. Kitas bandymas atliekamas su atnaujinta ataka. Šis procesas kartojamas, kol ataka pavyksta arba užpuolikas pasiekia nustatytą bandymų ribą.

Padidinti

Išbandėme septynis agentus, kurių kiekvienas sukurtas naudojant skirtingą modelį: Claude Sonnet 5, Claude Haiku 4.5, GPT-5.5, Gemini 3.1 Pro, Gemini 3.5 Flash-Lite ir atvirųjų svorių modelius DeepSeek V3.1 bei Kimi K2. Kiekvienas agentas gavo tas pačias 1 024 užduotis, kiekvienai užduočiai skiriant iki 64 bandymų. Per pirmąjį bandymą atakų sėkmė visiems septyniems agentams buvo maža. Pradinės injekcijos prieš bet kurį agentą pavyko ne daugiau kaip 4 % vertintų užduočių. Taikant adaptyviąją sistemą, atakų sėkmė smarkiai išaugo. Prieš penkis iš septynių agentų užpuolikui pavyko bent 79 % užduočių. Pažeidžiami buvo net patys stipriausi agentai: prieš GPT-5.5 atakos vis tiek pavyko maždaug dviejose užduotyse iš trijų, o prieš Claude Sonnet 5 – maždaug vienoje iš trijų.

Agentų skirtumai didžiausi, kai užpuoliko tikslas – priversti agentą atlikti tam tikrą įrankio iškvietimą. Užduotyse su tokiu tikslu Sonnet 5 pasidavė maždaug 8 % užduočių, o GPT-5.5 – maždaug 29 %. Kiti penki agentai užpuoliko tikslą įvykdė daugiau nei pusėje savo užduočių.

Taip pat paleidome BrowseSafe-Adapt prieš Gemini 3.5 Flash-Lite agentą, kai Guard pirmiausia patikrina kiekvieną puslapį. Guard užblokavo 94,5 % pradinių injekcijų ir beveik dvigubai padidino vidutinį užpuolikams reikalingų bandymų skaičių – nuo 9,7 iki 17,0. Vis dėlto, išnaudojęs visus 64 bandymus, užpuolikas vis tiek pasiekė tikslą 84,2 % užduočių (93,6 % be Guard), beveik visada naudodamas injekciją, kurios Guard nepažymėjo. Tai atitinka požiūrį, kurį išdėstėme išleisdami BrowseSafe: joks aptikimo modelis nėra stebuklingas sprendimas, todėl detektorius turi būti daugiasluoksnės apsaugos dalis.

Padidinti

Išvados

Naršyklės agentai dažnai yra pažeidžiami netiesioginių raginimų injekcijų, kai įprastuose puslapiuose paslėptomis atakomis siekiama sutrukdyti agentams atlikti naudotojų užduotis. Pavojai laikui bėgant tik didėja: agentai gauna prieigą prie vis daugiau duomenų ir įrankių, todėl atakų pasekmės gali būti vis rimtesnės, o užpuolikai gali taisyti savo injekcijas, kad jos būtų veiksmingesnės.

Mūsų BrowseSafe įrankių rinkinys padeda kovoti su šiomis grėsmėmis. BrowseSafe++ lyginamajame teste yra 38 675 tinklalapių poros, sukurtos daugiausia iš tikrų injekcijų, todėl detektorius galima patikimiau mokyti ir vertinti. Šiomis poromis apmokyti BrowseSafe-Guard detektoriai užtikrina labai tikslų, greitą ir pigų aptikimą, todėl puslapius galima patikrinti prieš agentui atliekant su jais veiksmus. BrowseSafe-Adapt sistema leidžia testuoti modelius su pataisytomis injekcijomis ir atskleidžia pažeidžiamumus, kurie gali likti nepastebėti atliekant pavienius bandymus su fiksuotomis injekcijomis.

Tikimės, kad visi šie įrankiai kartu padės tyrėjams ir inžinieriams lengviau rasti spragas ir sustiprinti apsaugą nuo internetinių raginimų injekcijų atakų. Taip pat nuolat vertiname ir tobuliname integruotas Comet ir Computer apsaugos priemones, kad mūsų naudotojai būtų saugūs.

Darbo pradžia

1. Įdiekite SDK ir gaukite prieigą prie duomenų. SDK įdiegiamas iš GitHub:

Duomenų rinkinio prieiga ribota. Vieną kartą paprašykite prieigos jo Hugging Face puslapyje, tada prisijunkite komanda hf auth login.

2. Pateikite rezultatus lyderių lentelei. Įvertinkite savo detektorių naudodami BrowseSafe++ testavimo dalį:

Taip kiekvienam nurodytam vaizdui įrašomas vienas sprendimas per puslapį; nurodykite visus tris tekstinius vaizdus, kad gautumėte vidurkį tekstinėje lyderių lentelėje. Prisijunkite prie lyderių lentelės „Space“ naudodami savo Hugging Face paskyrą ir įkelkite predictions.jsonl. „Space“ pateikia kiekvieno vaizdo F1, tikslumą, klaidingai teigiamų rezultatų dažnį ir kitus rodiklius, o jei pasirinksite, paskelbia rezultatą lyderių lentelėje. Kiekvienai paskyrai (ne jaunesnei nei 60 dienų) per UTC savaitę skiriamas vienas vertinamas pateikimas. Testiniai puslapiai skirti tik vertinimui: nenaudokite jų mokymui ir neplatinkite. Pateikimo vadove aprašytas failo formatas ir skelbimo taisyklės.

Citavimas

@online{perplexity2026BrowseSafePlusPlus,
  author = {{Perplexity} and Yuetian Chen and Kaiyuan Zhang and Yuntao Du and Thomas Li and Mark Tenenholtz and Kyle Polley and Jerry Ma and Denis Yarats and Ninghui Li and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{BrowseSafe++: Building stronger defenses against real-world prompt injection}},
  date = {2026-10-28},
  url = {https://www.perplexity.ai/hub/blog/browsesafe-plus-plus}
}