BrowseSafe++: spēcīgākas aizsardzības veidošana pret reālās pasaules uzvednes injekcijām

Aģentiem, kas spēj pārlūkot tīmekli, piemēram, asistentam, kas iebūvēts Comet vai Computer, ir jāmijiedarbojas ar tīmekļa lapām, lasot saturu un izmantojot to, lai veiktu darbības savu lietotāju vārdā. Tas padara tos ievainojamus pret netiešu uzvednes injekciju, kad uzbrucējs tīmekļa lapā ievieto ļaunprātīgu tekstu. Ja aģents seko šīm instrukcijām, tas var sniegt maldinošu atbildi vai veikt darbību, ko lietotājs nav pieprasījis.

2025. gada decembrī mēs izlaidām BrowseSafe — etalontestu un noteikšanas modeli šim apdraudējumam. Mēs to izveidojām, pievienojot sintētiskus uzbrukumus reālistiskām tīmekļa lapām, ar kurām aģenti, visticamāk, saskartos. Pēdējā gada laikā uzbrukumi ir kļuvuši sarežģītāki un arvien vairāk līdzinās parastam lapas saturam. Tā vietā, lai izmantotu acīmredzamas frāzes, piemēram, „ignorē iepriekšējos norādījumus”, tie bieži atdarina saturu, kuram aģents, visticamāk, uzticēsies, piemēram, oficiālu vietnes paziņojumu vai piezīmi par lietotāja preferencēm.

Šo pārmaiņu mudināti, mēs izveidojām atjauninātu etalontestu BrowseSafe++, lai novērtētu, vai pašreizējie injekciju detektori notver šos uzbrukumus un vai aģenti spēj tiem pretoties. Tajā ir 38 675 lapu pāri, katrā no kuriem ir lapa ar uzbrukumu un tīra lapa, un tie galvenokārt veidoti, balstoties uz reālajā pasaulē savāktām injekcijām. Katrai lapai mēs pārrakstām apkārtējo saturu, lai aizsargātu privātumu, bet uzbrukumu saglabājam burtiski. Katra lapa ir pieejama četros formātos, ko lasa pārlūka aģenti: HTML, Markdown, pieejamības koki un ekrānuzņēmumi. Mēs izmantojām etalontesta apakškopu, lai apmācītu BrowseSafe-Guard — divus detektorus, katru ar 0,8 miljardiem parametru: teksta detektoru un multimodālu detektoru. Abi Guard detektori identificē injekcijas precīzāk nekā mūsu testētie ar uzvedni instruētie modeļi, tostarp vismodernākie modeļi. Tie ir arī ātrāki, lētāki un kļūdaini atzīmē daudz mazāk parastu lapu.

Mēs publicējam BrowseSafe++ kā atvērtu etalontestu. Projekta vietnē ir saites uz datu kopu, SDK, pētījuma rakstu un publisku līderu sarakstu. Jebkura komanda var novērtēt savu detektoru testa lapās, kuru etiķetes nav sniegtas, un iesniegt etiķetes vērtēšanai un iespējamai iekļaušanai līderu sarakstā. Lai novērtētu un iesniegtu savus rezultātus, skatiet sadaļu Darba sākšana.

Etalontesta veidošana no novērotām injekcijām

BrowseSafe++ ir veidots no uzvednes injekcijām, kas novērotas reālās vietnēs. No 2025. gada septembra līdz 2026. gada septembrim Comet uzvednes injekciju detektors atzīmēja 1,15 miljonus injekciju lapās, ko lasīja tā aģents. Ap šīm injekcijām mēs izveidojām 32 187 pārus un pievienojām 6488 pārus no sākotnējā BrowseSafe etalontesta, kopā iegūstot 38 675 pārus. Katrā pārī ir gan lapa ar uzbrukumu, gan tās tīrais dvīnis — tā pati lapa bez injekcijas.

Kā injekcijas izskatās reālajā vidē

Divi piemēri no etalontesta parāda, kā šīs injekcijas izskatās praksē.

Vienā no tiem viltots pirkuma pieprasījums mudina aģentu veikt neatļautu darbību. Comet detektors 2025. gada oktobrī atzīmēja šo angļu valodas teksta bloku krievu valodas izstrādātāju dokumentācijas lapā:

Teksts sākas un beidzas ar pavēlēm, bet vidusdaļu aizpilda parasts tokenu mārketings. Tas apgalvo, ka nāk no paša aģenta izstrādātāja, un beidzas ar autorizācijas kodu, lai pirkums izskatītos apstiprināts.

Citā piemērā viltota saruna cenšas izjaukt aģenta uzdevumu. Šis teksts tika atrasts koda repozitorija lapā 2026. gada martā:

Teksts ir veidots tā, lai izskatītos pēc sarunas starp lietotāju un aģentu: <|im_start|> un <|im_end|> ir marķieri, ko daži tērzēšanas modeļi izmanto, lai atdalītu sarunas replikas. Aģents, kas uzķertos uz šo uzbrukumu, reaģētu uz viltoto lietotāja vaicājumu un atbildētu ar uzbrucēja frāzi.

Atzīmētajās injekcijās mēs novērojam līdzīgas tendences:

• Tās atdarina uzticamus avotus. Abos piemēros lapas teksts tiek pasniegts kā avots, kuram aģents uzticas: pirmajā — kā tā izstrādātājs, otrajā — kā tā paša saruna. Injekcijas var arī uzdoties par pašu vietni, atdarinot drošības pārbaudes un politikas paziņojumus, vai par lietotāju, izvirzot viltotas preferences. Aptuveni divas no trim ir rakstītas formālā valodā.
• Daudzas ir rakstītas citā valodā. 24,4 % pāru injekcijā izmantota valoda, kas atšķiras no pārējās lapas valodas. Parasti tā ir instrukcija angļu valodā lapā, kas nav angļu valodā, kā pirmajā piemērā. Šādi uzbrukumi nepārprotami ir adresēti aģentam, kas lasa jebkurā valodā un parasti vislabāk pārvalda angļu valodu. Valodas maiņa arī apgrūtina detektēšanu: mūsu sākotnējā BrowseSafe novērtējumā daudzvalodu uzbrukumi bija vieni no visgrūtāk notveramajiem.
• Lielākā daļa grib darbības, nevis vārdus. Vairāk nekā četras no desmit mudina aģentu uz darbību, ko lietotājs nekad nav lūdzis, piemēram, tokena pirkumu pirmajā piemērā, un aptuveni trešdaļa cenšas panākt, lai aģents atmet lietotāja uzdevumu, kā otrajā piemērā. Tikai aptuveni 3 % mēģina iestādīt atbildē nepatiesu informāciju.
• Tās bieži izmanto saturu, ko var publicēt ikviens. Uzbrucējam nav jākontrolē vietne. Pietiek ar foruma ierakstu vai kopīgotu dokumentu parastās vietnēs, un šādā veidā BrowseSafe++ nonāca vairāk nekā 23 000 injekciju. Arī uzticamu domēnu joprojām var izmantot uzbrucēja teksta injicēšanai.

Galīgajā etalontestā esošās injekcijas aptver 12 vietņu veidus, 24 uzbrukumu veidus, 6 uzbrucēju mērķus un 18 izvietojumus lapā.

Izvērst

No atzīmētas lapas līdz etalontesta pārim

Mēs nevaram izmantot atzīmētās lapas etalontestā tādas, kādas tās ir, jo tajās var būt personas informācija par lietotāju, kura labā aģents strādāja. Lai lapu pārvērstu kopīgojamā etalontesta pārī, nepieciešami trīs galvenie posmi:

1. Injekcijas iegūšana: Mēs savācam atzīmētās lapas, noņemam dublikātus un maskējam personas informāciju ar PII-Tracer. Pēc tam pārliecināmies, ka lapā ir injekcija; konkrēti, mēs pieprasām, lai modeļu grupa vienotos, ka tajā ir instrukcija, kas mēģina novirzīt aģentu no lietotāja iecerētā uzdevuma.
2. Pāra izveide: Aģents noņem injekcijas tekstu no katras lapas un pārraksta apkārtējo lapas saturu, aizstājot tādas detaļas kā vārdi un zīmoli ar izdomātiem. Otrs aģents pārbauda, vai pārrakstītajā lapā nav palicis reālās pasaules saturs, un neizdevušos gadījumus nosūta atpakaļ ar atgriezenisko saiti. Recenzenti cilvēki pārbauda nejauši izvēlētus 10 % lapu; atrastās problēmas tiek novērstas konveijerā, un labojumi tiek piemēroti visam korpusam. Injekcija tiek atkārtoti ievietota pārrakstītajā lapā, lai izveidotu kopiju ar uzbrukumu, un netiek iekļauta tīrajā kopijā. Abām lapām ir tas pats uzdevums, sagaidāmais rezultāts un parastās instrukcijas.
3. Verifikācija: Aģenti lasa lapas dažādās formās, tāpēc katras lapas HTML mēs renderējam kā Markdown, pieejamības koku (strukturētu lapas saskarnes elementu un to etiķešu sarakstu) un ekrānuzņēmumu. Vēl viens aģents pārbauda, vai injekcija ir redzama visos četros lapas ar uzbrukumu skatos un vai tīrā lapa katrā skatā tiek novērtēta kā nekaitīga. Ja kādā no skatiem injekcijas trūkst, mēs to pārvietojam uz citu vietu lapā un renderējam atkārtoti, nodrošinot, ka galīgajā lapā ar uzbrukumu injekcija ir visos skatos. Noslēguma automatizēto pārbaužu kopa izlabo visus pārus, kuros joprojām ir palikušas to avota pēdas, piemēram, reāli resursdatoru nosaukumi vai zīmolu nosaukumi.

Izvērst

BrowseSafe-Guard: ātri un precīzi detektori katram skatam

Noderīgam detektoram ātri un lēti jāpārbauda katra lapa. Tam arī jābūt precīzam gan lapās ar uzbrukumu, gan tīrās lapās. Augsta precizitāte ir īpaši svarīga, jo lielākā daļa lapu ir drošas; pat salīdzinoši zems viltus pozitīvo rezultātu īpatsvars padarītu lielāko daļu brīdinājumu par viltus trauksmēm. Ar uzvedni instruētiem vispārējas nozīmes modeļiem bieži trūkst precizitātes, un tie ir pārāk lēni un dārgi, lai tos darbinātu katrā lapā.

Detektors, kas apmācīts ar atsevišķi savāktām uzbrukumam pakļautām un tīrām lapām, varētu iemācīties īsceļus, kas nejauši atdala abas kopas, piemēram, lapas tēmu vai izkārtojumu. Taču šāds detektors slikti vispārina. Tā vietā Guard tiek apmācīts ar pāriem, kuru vienīgā atšķirība ir pati injekcija, un tas palīdz uzlabot detektora precizitāti. Katram pārim Guard atsevišķi nolasa uzbrukumam pakļauto lapu un tās tīro dvīni un katrai piešķir vērtējumu, kas norāda, cik liela ir varbūtība, ka tajā ir injekcija. Modeļa atjaunināšanai tiek izmantoti divi apmācības mērķi: standarta klasifikācijas mērķis un ranžēšanas mērķis, kas soda Guard, ja vien uzbrukumam pakļautās lapas vērtējums nav augstāks par tās dvīņa vērtējumu vismaz par noteiktu rezervi. Intuitīvi klasifikācijas mērķis māca Guard, kādu lēmumu pieņemt, bet ranžēšanas mērķis sasaista šo lēmumu ar pašu injekciju un ignorē nekaitīgus traucēkļus. Tādējādi Guard tiek apmācīts reaģēt uz pašu injekciju, nevis uz apkārtējo lapas saturu.

Guard sastāv no diviem detektoriem, no kuriem katrs ir izveidots, precizējot Qwen3.5-0.8B. Teksta detektors nolasa vienu lapas teksta skatu: HTML, Markdown vai pieejamības koku. Multimodālais detektors nolasa visas lapas ekrānuzņēmumu. Ekspluatācijā Guard nolasa lapu vienā tiešajā gājienā un izvada injekcijas vērtējumu, un lapa tiek atzīmēta, ja vērtējums pārsniedz slieksni. Tā kā Guard modelim ir tikai 0,8 mljrd. parametru un tas izvada vienu vērtējumu, tas ir pietiekami ātrs un lēts, lai to darbinātu katrā lapā.

Veiktspējas salīdzinošā novērtēšana

Mēs salīdzinājām Guard ar 18 modeļiem, kuriem ar uzvedni tika uzdots detektēt injekcijas etalontesta atliktajā apakškopā. Mēs ziņojam par četrām metrikām, kas mērītas ar BrowseSafe++:

• Atsaukums ir to lapu ar injekciju īpatsvars, kuras detektors atzīmē; tas mēra, cik daudz uzbrukumu detektors notver, tāpēc augstāka vērtība ir labāka.
• Viltus pozitīvo rezultātu īpatsvars (FPR) ir to tīro lapu īpatsvars, kuras detektors kļūdaini atzīmē; tas mēra, cik bieži detektors rada viltus trauksmes, tāpēc zemāka vērtība ir labāka.
• Precizitāte ir to atzīmēto lapu īpatsvars, kurās patiešām ir injekcija; tā mēra, cik bieži brīdinājums ir pareizs, tāpēc augstāka vērtība ir labāka.
• F1 ir atsaukuma un precizitātes harmoniskais vidējais; tas ir augsts tikai tad, ja detektors notver lielāko daļu uzbrukumu un tikai neliela daļa tā atzīmju ir viltus trauksmes.

Kā galveno metriku izmantojam F1, jo labam detektoram jābūt ar augstu precizitāti un atsaukumu. Visas četras metrikas ir vidējotas pa trim teksta skatiem.

Izvērst

Izvērst

Modeļu salīdzinājums

Mūsu testētie mazie atvērto svaru modeļi ierindojās pašā apakšā. Mistral NeMo un Qwen3 30B-A3B katrs atzīmē aptuveni pusi tīro lapu, savukārt Llama 3.1 8B reti ko atzīmē un palaiž garām lielāko daļu uzbrukumu. Pat šīs grupas spēcīgākais modelis GPT-OSS 20B sasniedz tikai 70,97 % F1. DeepSeek V3.1, daudz lielāks atvērto svaru modelis, darbojas nedaudz labāk ar 75,23 % F1.

Vieglie API modeļi, tostarp GPT-5.4 nano, Gemini 3.1 Flash-Lite un Claude Haiku 4.5, notver vairāk uzbrukumu — to atsaukums ir no 85% līdz 97%. Tomēr par to jāmaksā ar lielu viltus trauksmju īpatsvaru: Gemini 3.1 Flash-Lite ir zemākais FPR šajā grupā — 35,2%, bet Haiku FPR ir gandrīz 69%. Tāpēc šīs grupas maksimālais F1 rezultāts ir 80,9%, ko sasniedz Gemini 3.1 Flash-Lite.

Pārējie modeļi ir spēcīgāki vispārējas nozīmes modeļi, kas sasniedz F1 rādītājus no 85 % līdz 92 %. Tomēr tiem joprojām jārod kompromiss starp atsaukumu un FPR: modeļi, kas sliecas uz piesardzību, bloķē leģitīmas lapas, bet modeļi, kas lapas atzīmē retāk, palaiž garām uzbrukumus. Claude Sonnet 5 ir augstākais atsaukums no visiem detektoriem — 98,73 %, bet FPR ir 24,65 %. Gemini 3.1 Pro un GPT-5.5 sasniedz atsaukumu attiecīgi 97,78 % un 97,19 %, ar FPR 19,80 % un 20,44 %. GPT-6 Astra ir augstākā kopējā pareizība ar atsaukumu 96,42 % un FPR 14,41 %. Decider ir otrajā vietā ar atsaukumu 96,02 % un FPR 17,44 %. Claude Opus 5.5 ir zemākais FPR — tikai 4,21 %, taču tā atsaukums 77,71 % nozīmē, ka tas palaiž garām vairāk nekā vienu no pieciem uzbrukumiem. Claude Fable 5.1 izskatās spēcīgs lapās, uz kurām tas atbild, ar atsaukumu 89,31 % un FPR 7,92 %, taču tas atsakās atbildēt aptuveni 30 % lapu, ko rinda „(all)” uzskaita kā atzīmes.

Izvērst

Guard pārbīda Pareto fronti, panākot labāku kompromisu starp nepamanītiem uzbrukumiem un viltus trauksmēm. Tas sasniedz aptuveni 95 % F1 un ierindojas pirmajā vietā katrā teksta skatā. Tas atzīmē tikai aptuveni vienu tīru lapu no 20 — aptuveni trīs reizes retāk nekā Astra, precīzākais ar uzvedni instruētais modelis. Šī atšķirība rodas no mūsu apmācības: standarta Qwen3.5-0.8B, uz kura balstīts Guard, ar tādu pašu uzvedni kā pārējie modeļi sasniedz tikai 64 % F1 un atzīmē gandrīz trīs no četrām tīrajām lapām. Ekrānuzņēmumu skata scenārijā mēs salīdzinām Guard multimodālo detektoru ar četriem modeļiem, kas spēj apstrādāt attēlus. Ar pilnas lapas ekrānuzņēmumiem Guard sasniedz aptuveni 93 % F1, salīdzinot ar aptuveni 79 % labākajam no pārējiem mūsu novērtētajiem modeļiem.

Atpazīt uzbrukumu nenozīmē tam pretoties

Intuitīvi šķiet, ka modelim, kas spēj pareizi identificēt injekciju, tā būtu arī jāignorē, kad tas sastop šo lapu, pildot lietotāja uzdevumus. Tomēr mūsu eksperimenti rāda, ka augsti detektēšanas rādītāji negarantē, ka modelis pretosies uzbrukumam. Mēs katram modelim divreiz devām vienu un to pašu lapu ar uzbrukumu: vienreiz, lai tas spriestu, vai tajā ir injekcija, un vienreiz, lai tas izpildītu lietotāja uzdevumu, neredzot iepriekšējo spriedumu. Atsevišķs vērtētājs pārbaudīja, vai modelis sekoja injekcijai. Katrs testētais modelis joprojām sekoja dažām injekcijām, ko bija atzīmējis, — no 1,64 % atzīmēto lapu GPT-6 Astra gadījumā līdz 24,73 % Llama 3.1 8B gadījumā.

Izvērst

Detektēšanas rādītāji uzticami neprognozē atšķirības starp modeļiem. Claude Sonnet 5 un GPT-5.5 injekcijas detektē aptuveni vienlīdz labi, ar F1 rādītājiem attiecīgi aptuveni 88 % un 89 %. Tomēr Sonnet 5 sekoja injekcijai, ko pats bija atzīmējis, 19,74 % lapu — desmit reizes biežāk nekā GPT-5.5 ar 1,97 %.

Izvietojama sistēma aizsardzībai pret injekcijām

Šie rezultāti liecina, ka ir vērts lēmumu par lapas bloķēšanu deleģēt specializētam modelim, nevis paļauties uz modeli, kas izpilda lietotāja uzdevumu. Atsevišķs detektors, kas pārbauda katru lapu, pirms aģents rīkojas, nodrošina papildu aizsardzības slāni, un tam nav ne uzdevuma, ko varētu pārņemt, ne rīku, ko varētu ļaunprātīgi izmantot.

Guard ir izveidots, lai būtu tieši šāds detektors. Tam ir ne tikai augstākie F1 un akurātuma rādītāji no visiem mūsu testētajiem modeļiem, bet mazā izmēra dēļ tas ir arī pietiekami lēts, lai to darbinātu katrā lapā. Vidēji Guard izmantoja aptuveni 0,15 sekundes GPU laika uz vienu teksta lapu. Izmantojot nomātu H200, mēs lēšam izmaksas 0,18 USD par 1000 lapām, salīdzinot ar 18,95–180,61 USD progresīvākajiem API modeļiem pēc saraksta cenām. Mūsu salīdzinājumā tas padara biežu pārbaudi daudz lētāku, vienlaikus saglabājot augstus noteikšanas rādītājus.

Zemāk redzamajā attēlā katra detektora pareizība attēlota pret tā laiku uz lapu un izmaksām par 1000 lapām, abos gadījumos logaritmiskā skalā. Guard atrodas viens pats abu paneļu augšējā kreisajā stūrī: tas uzvar pareizībā, ātrumā un izmaksās. Katram ar uzvedni instruētajam modelim uz lapu nepieciešama aptuveni sekunde vai vairāk, un divi precīzākie — GPT-6 Astra un Claude Fable 5.1 — maksā vairāk nekā 100 $ par 1000 lapām.

Izvērst

Aizsardzības testēšana pret adaptīviem uzbrukumiem

BrowseSafe++ etalontestā ir ierobežota injekciju kopa. Tomēr reāls uzbrucējs var īstenot adaptīvu uzbrukumu: ja injekcija neizdodas, uzbrucējs var to pārrakstīt un mēģināt vēlreiz. Tāpēc aģents, kas pretojas sākotnējai injekcijai, joprojām var būt ievainojams pret nākotnes uzbrukumiem. Turklāt modeļi tiek apmācīti ar datiem, kas savākti no interneta, tāpēc tie var iemācīties pretoties lielākajai daļai tā injekciju; tā kā mēs publiskojam savu etalontestu, tas, visticamāk, piesātināsies un vairs labi nenošķirs modeļus. Lai risinātu abas problēmas, mēs izveidojām BrowseSafe-Adapt — testēšanas vidi, kurā uzbrucēja modelis var pārrakstīt injekcijas. Katram testam ir trīs posmi:

1. Sagatavojiet gadījumu. Gadījums apvieno BrowseSafe++ ierakstu ar mērķa aģentu. BrowseSafe++ ierakstā ir scenārijs ar lietotāja vaicājumu un uzdevumu, uzbrukumam pakļauta lapa un uzbrucēja vēlamais iznākums. Aģents darbojas smilšu kastē, kas nodrošina uzdevuma izpildei nepieciešamos rīkus un sintētiskos datus. Atsevišķs verificētāja modelis novērtē, vai uzbrukums sasniedza savu mērķi.
2. Mēģinājuma izpilde: Mēs ievietojam pašreizējo injekciju lapā un ļaujam aģentam izpildīt uzdevumu. Verificētājs pārbauda aģenta atbildi un visas izmaiņas, ko tas veicis smilšu kastē, lai noteiktu, vai uzbrukums izdevās. Pirmajā mēģinājumā tiek izmantota injekcija no sākotnējā BrowseSafe++ ieraksta.
3. Pārskatīšana un atkārtošana: Ja uzbrukums neizdodas, mēs arhivējam mēģinājumu, un kritiķa modelis izvērtē, kas nogāja greizi. Uzbrucēja modelis izmanto šo atgriezenisko saiti, lai pārrakstītu injekciju; tas var mainīt uzbrukuma formulējumu, formatējumu vai novietojumu lapā. Uzbrukuma mērķis, veiksmes kritēriji un apkārtējais lapas saturs paliek nemainīgi. Nākamajā mēģinājumā tiek izmantots atjauninātais uzbrukums. Šis process tiek atkārtots, līdz uzbrukums izdodas vai uzbrucējs sasniedz noteikto mēģinājumu limitu.

Izvērst

Mēs testējām septiņus aģentus, katru balstītu uz citu modeli: Claude Sonnet 5, Claude Haiku 4.5, GPT-5.5, Gemini 3.1 Pro, Gemini 3.5 Flash-Lite, kā arī atvērto svaru modeļus DeepSeek V3.1 un Kimi K2. Katram aģentam tika doti tie paši 1024 uzdevumi, ar līdz pat 64 mēģinājumiem katram uzdevumam. Pirmajā mēģinājumā uzbrukumu sekmīgums visiem septiņiem aģentiem bija zems. Sākotnējās injekcijas pret jebkuru aģentu izdevās ne vairāk kā 4 % novērtēto uzdevumu. Adaptīvajā ietvarā uzbrukumu sekmīgums krasi pieauga. Pret pieciem no septiņiem aģentiem uzbrucējam izdevās vismaz 79 % uzdevumu. Pat spēcīgākie aģenti bija ievainojami: pret GPT-5.5 uzbrukumi joprojām izdevās aptuveni divos no trim uzdevumiem, bet pret Claude Sonnet 5 — aptuveni vienā no trim.

Atšķirība starp aģentiem ir vislielākā, ja uzbrucēja mērķis ir panākt, lai aģents veic konkrētu rīka izsaukumu. Uzdevumos ar šāda veida mērķi Sonnet 5 padevās aptuveni 8 % uzdevumu, bet GPT-5.5 — aptuveni 29 %. Pārējie pieci izpildīja uzbrucēja mērķi vairāk nekā pusē savu uzdevumu.

Mēs arī palaidām BrowseSafe-Adapt pret Gemini 3.5 Flash-Lite aģentu, kur Guard vispirms pārbaudīja katru lapu. Guard bloķēja 94,5 % sākotnējo injekciju un gandrīz divkāršoja vidējo uzbrucējiem nepieciešamo mēģinājumu skaitu — no 9,7 līdz 17,0. Tomēr, izmantojot visus 64 mēģinājumus, uzbrucējam joprojām izdevās 84,2 % uzdevumu (93,6 % bez Guard), gandrīz vienmēr ar injekciju, ko Guard neatzīmēja. Tas atbilst nostājai, ko izklāstījām, kad izlaidām BrowseSafe: neviens detektēšanas modelis nav brīnumlīdzeklis, tāpēc detektoram jābūt daļai no daudzslāņu aizsardzības.

Izvērst

Secinājumi

Pārlūka aģenti bieži ir ievainojami pret netiešu uzvednes injekciju, kad parastās lapās paslēpti uzbrukumi cenšas traucēt aģentiem izpildīt lietotāju uzdevumus. Laika gaitā briesmas tikai pieaug — gan tāpēc, ka aģenti iegūst piekļuvi vairāk datiem un rīkiem, palielinot uzbrukumu iespējamās sekas, gan tāpēc, ka uzbrucēji var pārskatīt savas injekcijas, lai tās būtu efektīvākas.

Mūsu BrowseSafe komplekts risina šos draudus. BrowseSafe++ etalontestā ir 38 675 tīmekļa lapu pāri, kas galvenokārt veidoti no reālām injekcijām, ļaujot uzticamāk apmācīt un novērtēt detektorus. Ar šiem pāriem apmācītie BrowseSafe-Guard detektori nodrošina ļoti precīzu, ātru un lētu detektēšanu, ļaujot pārbaudīt lapas, pirms aģents uz tām rīkojas. BrowseSafe-Adapt ietvars ļauj testēt modeļus pret pārskatītām injekcijām, izceļot ievainojamības, kas var nebūt redzamas atsevišķos mēģinājumos ar fiksētām injekcijām.

Mēs ceram, ka kopā šie rīki pētniekiem un inženieriem atvieglos kļūmju atrašanu un aizsardzības uzlabošanu pret tīmeklī balstītiem uzvednes injekcijas uzbrukumiem. Mēs arī nepārtraukti novērtējam un uzlabojam Comet un Computer iebūvēto aizsardzību, lai mūsu lietotāji būtu drošībā.

Darba sākšana

1. Instalējiet SDK un iegūstiet piekļuvi datiem. SDK tiek instalēts no GitHub:

Piekļuve datu kopai ir ierobežota. Vienreiz pieprasiet piekļuvi tās Hugging Face lapā, pēc tam piesakieties ar hf auth login.

2. Iesniedziet rezultātus līderu sarakstā. Novērtējiet savu detektoru BrowseSafe++ testa daļā:

Tādējādi katrai lapai tiek ierakstīts viens lēmums katram norādītajam skatam; norādiet visus trīs teksta skatus, lai iegūtu vidējo vērtību teksta līderu tabulā. Pierakstieties līderu tabulas Space, izmantojot savu Hugging Face kontu, un augšupielādējiet predictions.jsonl. Space atgriež F1, akurātumu, kļūdaini pozitīvo rezultātu īpatsvaru un citus rādītājus katram skatam un, ja vēlaties, publicē rezultātu līderu tabulā. Katrs konts (vismaz 60 dienas vecs) var iesniegt vienu novērtējamu iesniegumu UTC nedēļā. Testa lapas ir paredzētas tikai novērtēšanai: neizmantojiet tās apmācībai un neizplatiet tās tālāk. Iesniegšanas ceļvedī ir aprakstīts faila formāts un publicēšanas noteikumi.

Citēšana

@online{perplexity2026BrowseSafePlusPlus,
  author = {{Perplexity} and Yuetian Chen and Kaiyuan Zhang and Yuntao Du and Thomas Li and Mark Tenenholtz and Kyle Polley and Jerry Ma and Denis Yarats and Ninghui Li and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{BrowseSafe++: Building stronger defenses against real-world prompt injection}},
  date = {2026-10-28},
  url = {https://www.perplexity.ai/hub/blog/browsesafe-plus-plus}
}