BrowseSafe++: нақты өмірдегі промпт-инъекциялардан күштірек қорғаныс құру

Интернетті шолып жүре алатын агенттер, мысалы Comet немесе Computer ішіне кірістірілген көмекші, веб-беттермен өзара әрекеттесіп, мазмұнды оқуы және оны пайдаланушылардың атынан әрекеттер орындау үшін қолдануы керек. Бұл оларды жанама промпт-инъекцияға осал етеді: мұнда шабуылдаушы веб-бетке зиянды мәтін орналастырады. Агент осы нұсқауларды орындаса, жаңылыстыратын жауап қайтаруы немесе пайдаланушы сұрамаған әрекетті жасауы мүмкін.

2025 жылдың желтоқсанында біз осы қауіпке арналған бенчмарк әрі анықтау моделі болып табылатын BrowseSafe жүйесін шығардық. Оны агенттер кездестіруі ықтимал шынайы веб-беттерге синтетикалық шабуылдар қосу арқылы жасадық. Өткен жыл ішінде шабуылдар күрделене түсіп, кәдімгі бет мазмұнына көбірек ұқсай бастады. Олар «алдыңғы нұсқауларды елеме» сияқты оңай танылатын тіркестерді қолданудың орнына, көбіне агент сенуі ықтимал мазмұнға — мысалы, сайттың ресми хабарландыруына немесе пайдаланушы қалаулары туралы жазбаға еліктейді.

Осы өзгерістерге орай біз қазіргі инъекция детекторлары бұл шабуылдарды ұстай ала ма және агенттер оларға төтеп бере ала ма, соны өлшеу үшін жаңартылған BrowseSafe++ бенчмаркін жасадық. Онда негізінен нақты әлемде жиналған инъекциялар төңірегінде құрылған шабуылға ұшыраған және таза беттердің 38 675 жұбы бар. Әр бет үшін құпиялылықты қорғау мақсатында айналадағы мазмұнды қайта жазамыз, бірақ шабуылды сөзбе-сөз сақтаймыз. Әр бет браузер агенттері оқитын төрт форматта берілген: HTML, Markdown, қолжетімділік ағаштары және скриншоттар. Бенчмарктің бір бөлігін біз BrowseSafe-Guard деп аталатын 0,8 млрд параметрлі екі детекторды — мәтіндік детектор мен мультимодальды детекторды оқыту үшін пайдаландық. Guard-тың екі детекторы инъекцияларды біз сынаған промпт берілген модельдерге, соның ішінде озық модельдерге қарағанда дәлірек анықтайды. Сондай-ақ олар жылдамырақ, арзанырақ және қарапайым беттерді әлдеқайда сирек қателесіп белгілейді.

Біз BrowseSafe++ бенчмаркін ашық бенчмарк ретінде шығарып жатырмыз. Жоба веб-сайтында деректер жиынтығына, SDK-ға, ғылыми мақалаға және жария көшбасшылар кестесіне сілтемелер бар. Кез келген команда өз детекторын таңбалары берілмеген сынақ беттерінде бағалап, таңбаларды бағалау және көшбасшылар кестесіне енгізілу мүмкіндігі үшін жібере алады. Нәтижелеріңізді бағалау және жіберу үшін Жұмысты бастау бөлімін қараңыз.

Байқалған инъекциялар негізінде бенчмарк құру

BrowseSafe++ нақты веб-сайттарда байқалған промпт-инъекциялар негізінде құрылған. 2025 жылғы қыркүйек пен 2026 жылғы қыркүйек аралығында Comet промпт-инъекция детекторы өз агенті оқыған беттерде 1,15 миллион инъекцияны белгіледі. Біз осы инъекциялар төңірегінде 32 187 жұп құрып, бастапқы BrowseSafe бенчмаркінен 6 488 жұп қостық, нәтижесінде барлығы 38 675 жұп болды. Әр жұпта шабуылға ұшыраған бет те, оның таза егізі, яғни инъекциясыз дәл сол бет те бар.

Нақты ортадағы инъекциялар қандай болады

Бенчмарктегі екі мысал бұл инъекциялардың іс жүзінде қандай болатынын көрсетеді.

Солардың бірінде жалған сатып алу сұрауы агентті рұқсат етілмеген әрекет жасауға итермелейді. Comet детекторы 2025 жылдың қазанында орыс тіліндегі әзірлеушілер құжаттамасы бетінде мына ағылшынша мәтін блогын белгіледі:

Мәтін бұйрықтармен басталып, бұйрықтармен аяқталады, ал ортасы токенге арналған кәдімгі жарнамалық мәтінмен толтырылған. Ол өзін агенттің өз әзірлеушісінен келгендей етіп көрсетеді және сатып алу мақұлданғандай көрінуі үшін авторизация кодымен аяқталады.

Екінші мысалда жалған әңгіме агенттің тапсырмасын бұзуды көздейді. Бұл мәтін 2026 жылғы наурызда код репозиторийінің бетінен табылған:

Мәтін пайдаланушы мен агент арасындағы әңгімеге ұқсайтындай етіп жасалған: <|im_start|> және <|im_end|> — кейбір чат модельдері әңгіме кезектерін ажырату үшін қолданатын маркерлер. Бұл шабуылға алданған агент жалған пайдаланушы сұрауына жауап беріп, шабуылдаушының сөз тіркесін қайталар еді.

Белгіленген инъекциялардан ұқсас заңдылықтарды байқаймыз:

• Олар сенімді дереккөздерге еліктейді. Екі мысал да бет мәтінін агент сенетін дереккөзден келгендей етіп көрсетеді: біріншісінде — оның әзірлеушісі, екіншісінде — оның өз диалогы. Инъекциялар сондай-ақ қауіпсіздік тексерулері мен ережелер туралы хабарламаларға еліктеп, сайттың өзі болып, немесе жалған қалауларды алға тартып, пайдаланушы болып көрінуі мүмкін. Шамамен үштен екісі ресми стильде жазылған.
• Көбі әртүрлі тілдерде жазылған. Жұптардың 24,4%-ында инъекция беттің қалған бөлігінен өзгеше тілде жазылған. Әдетте бұл бірінші мысалдағыдай ағылшын тілінде емес беттегі ағылшынша нұсқау түрінде болады. Мұндай шабуылдар барлық тілді оқи алатын және әдетте ағылшын тілін ана тіліндей меңгерген агентке арналғаны анық. Тілдің ауысуы анықтауды да қиындатады: бастапқы BrowseSafe бағалауымызда көптілді шабуылдар ұсталуы ең қиын шабуылдардың қатарында болды.
• Көбі сөзді емес, әрекетті талап етеді. Әр он инъекцияның төртеуінен көбі агентті пайдаланушы ешқашан сұрамаған әрекетке итермелейді (бірінші мысалдағы токен сатып алу сияқты), ал шамамен үштен бірі екінші мысалдағыдай агентке пайдаланушының тапсырмасын тастатуға тырысады. Тек шамамен 3%-ы ғана жауапқа жалған ақпарат енгізуге тырысады.
• Олар көбіне кез келген адам жариялай алатын мазмұнға жасырынады. Шабуылдаушыға сайтты басқарудың қажеті жоқ. Кәдімгі сайттардағы форум жазбасы немесе ортақ құжат жеткілікті, ал BrowseSafe++ ішіндегі 23 000-нан астам инъекция осылай түскен. Сенімді домен де шабуылдаушының мәтінін енгізу үшін пайдаланылуы мүмкін.

Соңғы бенчмарктегі инъекциялар веб-сайттардың 12 түрін, шабуылдың 24 түрін, шабуылдаушының 6 мақсатын және беттегі 18 орналасу нұсқасын қамтиды.

Ұлғайту

Белгіленген беттен бенчмарк жұбына дейін

Белгіленген беттерді бенчмаркте сол күйінде пайдалана алмаймыз, себебі оларда агент жұмыс істеген пайдаланушының жеке ақпараты болуы мүмкін. Бетті бөлісуге болатын бенчмарк жұбына айналдыру үш негізгі кезеңді қажет етеді:

1. Инъекцияның дереккөзін алу: Белгіленген беттерді жинап, қайталанатындарын алып тастаймыз және жеке ақпаратты PII-Tracer арқылы жасырамыз. Содан кейін беттің құрамында инъекция бар екенін растаймыз; атап айтқанда, модельдер тобы бетте агентті пайдаланушы көздеген тапсырмадан басқа жаққа бұруға тырысатын нұсқау бар екеніне келісуі керек.
2. Жұпты құру: Агент әр беттен инъекция мәтінін алып тастап, беттің айналадағы мазмұнын қайта жазады және аттар мен брендтер сияқты мәліметтерді ойдан шығарылғандарымен ауыстырады. Екінші агент қайта жазылған бетте нақты әлемнен қалған мазмұн бар-жоғын тексеріп, сәтсіз нәтижелерді кері байланыспен қайтарады. Адам рецензенттер беттердің кездейсоқ 10%-ын қарап шығады; олар тапқан мәселелер конвейерде түзетіледі және түзетулер бүкіл корпусқа қолданылады. Шабуылға ұшыраған көшірмені жасау үшін инъекция қайта жазылған бетке қайта енгізіледі, ал таза көшірмеге енгізілмейді. Екі беттің тапсырмасы, күтілетін нәтижесі және қарапайым нұсқаулары бірдей.
3. Тексеру: Агенттер беттерді әртүрлі пішімде оқиды, сондықтан біз әр беттің HTML кодын Markdown, қолжетімділік ағашы (беттің интерфейс элементтері мен олардың атауларының құрылымдалған тізімі) және скриншот түрінде рендерлейміз. Тағы бір агент инъекцияның шабуылға ұшыраған беттің төрт көрінісінде де бар екенін және таза беттің әр көріністе қауіпсіз деп бағаланатынын тексереді. Егер инъекция көріністердің бірінде болмаса, біз оны беттегі басқа орынға жылжытып, қайта рендерлейміз; осылайша инъекцияның соңғы шабуылға ұшыраған беттің барлық көріністерінде болуын қамтамасыз етеміз. Соңғы автоматтандырылған тексерістер жиынтығы нақты хост атаулары немесе бренд атаулары сияқты дереккөзінің іздері әлі де қалған жұптарды түзетеді.

Ұлғайту

BrowseSafe-Guard: әр көрініске арналған жылдам әрі дәл детекторлар

Пайдалы детектор әр бетті жылдам әрі арзан тексеруі керек. Сонымен қатар ол шабуылға ұшыраған беттерде де, таза беттерде де дәл болуы тиіс. Жоғары нақтылық әсіресе маңызды, өйткені беттердің көбі қауіпсіз; жалған оң нәтижелердің салыстырмалы түрде төмен жиілігінің өзі ескертулердің көбін жалған дабылға айналдырар еді. Промпт берілген жалпы мақсаттағы модельдер нақтылық жағынан жиі жеткіліксіз болады және әр бетте іске қосу үшін тым баяу әрі қымбат.

Бөлек жиналған шабуылға ұшыраған және таза беттерде оқытылған детектор осы екі жиынды кездейсоқ ажырататын жалған белгілерді, мысалы, беттің тақырыбын немесе макетін үйреніп алуы мүмкін. Алайда мұндай детектор жақсы жалпылай алмайды. Оның орнына Guard айырмашылығы тек инъекцияның өзі болатын жұптарда оқытылады, бұл детектордың нақтылығын арттыруға көмектеседі. Әр жұп үшін Guard шабуылға ұшыраған бетті және оның таза егізін бөлек оқып, әрқайсысына инъекция болу ықтималдығын көрсететін балл береді. Модельді жаңарту үшін екі оқыту мақсаты қолданылады: стандартты жіктеу мақсаты және шабуылға ұшыраған бет өз егізінен кемінде белгіленген шамаға жоғары балл алмаса, Guard-қа айыппұл салатын рангтау мақсаты. Интуитивті түрде айтқанда, жіктеу мақсаты Guard-қа қандай шешім қабылдау керектігін үйретеді, ал рангтау мақсаты бұл шешімді инъекцияның өзімен байланыстырып, зиянсыз алаңдатқыш элементтерді елемейді. Осылайша Guard айналадағы бет мазмұнына емес, инъекцияның өзіне жауап беруге үйретіледі.

Guard әрқайсысы Qwen3.5-0.8B негізінде дәлдеп бапталған екі детектордан тұрады. Мәтіндік детектор беттің бір мәтіндік көрінісін оқиды: HTML, Markdown немесе қолжетімділік ағашы. Мультимодальды детектор толық беттің скриншотын оқиды. Іске қосылған кезде Guard бетті бір тура өтуде (forward pass) оқып, инъекция баллын шығарады, ал балл шекті мәннен асса, бет белгіленеді. Guard-та небәрі 0,8 млрд параметр болғандықтан және ол бір ғана балл шығаратындықтан, ол әр бетте іске қосуға жеткілікті жылдам әрі арзан.

Өнімділікті бенчмарк арқылы бағалау

Біз Guard-ты бенчмарктің бөлек сақталған ішкі жиынында инъекцияларды анықтауға промпт берілген 18 модельмен салыстырдық. BrowseSafe++ бойынша өлшенген төрт метриканы ұсынамыз:

• Толықтық (recall) — детектор белгілейтін инъекциясы бар беттердің үлесі; ол қанша шабуылды ұстайтынын өлшейді, сондықтан неғұрлым жоғары болса, соғұрлым жақсы.
• Жалған оң нәтижелер жиілігі (FPR) — детектор қателесіп белгілейтін таза беттердің үлесі; ол жалған дабылдың қаншалықты жиі болатынын өлшейді, сондықтан неғұрлым төмен болса, соғұрлым жақсы.
• Нақтылық (precision) — белгіленген беттердің ішінде шын мәнінде инъекциясы бар беттердің үлесі; ол ескертудің қаншалықты жиі дұрыс болатынын өлшейді, сондықтан неғұрлым жоғары болса, соғұрлым жақсы.
• F1 — толықтық пен нақтылықтың гармоникалық ортасы; ол детектор шабуылдардың көбін ұстағанда және оның белгілерінің аз бөлігі ғана жалған дабыл болғанда ғана жоғары болады.

Біз негізгі метрика ретінде F1 көрсеткішін қолданамыз, өйткені жақсы детектордың нақтылығы да, толықтығы да жоғары болуы керек. Төрт метриканың барлығы үш мәтіндік көрініс бойынша орташаланған.

Ұлғайту

Ұлғайту

Модельдерді салыстыру

Біз сынаған салмақтары ашық шағын модельдер ең төменгі орындарға орналасты. Mistral NeMo мен Qwen3 30B-A3B әрқайсысы таза беттердің шамамен жартысын белгілейді, ал Llama 3.1 8B ештеңені дерлік белгілемей, шабуылдардың көбін өткізіп алады. Тіпті бұл топтағы ең мықты модель — GPT-OSS 20B — F1 бойынша небәрі 70,97%-ға жетеді. Әлдеқайда ірі салмақтары ашық модель DeepSeek V3.1 сәл жақсырақ нәтиже көрсетіп, F1 бойынша 75,23% алады.

GPT-5.4 nano, Gemini 3.1 Flash-Lite және Claude Haiku 4.5 сияқты жеңіл API модельдері шабуылдардың көбірек бөлігін анықтайды: толықтық (recall) 85%-дан 97%-ға дейін. Алайда оның бағасы — жалған дабылдардың жоғары үлесі: топ ішінде ең төмен FPR Gemini 3.1 Flash-Lite-та (35,2%), ал Haiku-ның FPR көрсеткіші 69%-ға жуық. Нәтижесінде топтағы ең жоғары F1 көрсеткіші 80,9% болды, оған Gemini 3.1 Flash-Lite қол жеткізді.

Қалған модельдер — F1 көрсеткіштері 85% бен 92% аралығында болатын неғұрлым мықты жалпы мақсаттағы модельдер. Дегенмен оларда толықтық пен FPR арасындағы ымыра әлі де сақталады: сақтыққа бейім модельдер заңды беттерді бұғаттайды, ал сирек белгі қоятын модельдер шабуылдарды өткізіп алады. Claude Sonnet 5 толықтығы барлық детекторлар ішіндегі ең жоғары — 98,73%, бірақ FPR көрсеткіші 24,65%. Gemini 3.1 Pro мен GPT-5.5 толықтығы тиісінше 97,78% және 97,19%, ал FPR көрсеткіштері 19,80% және 20,44%. GPT-6 Astra жалпы дәлдігі ең жоғары модель: толықтығы 96,42%, FPR көрсеткіші 14,41%. Екінші орында Decider: толықтығы 96,02%, FPR көрсеткіші 17,44%. Claude Opus 5.5 FPR көрсеткіші ең төмен — небәрі 4,21%, бірақ оның 77,71% толықтығы шабуылдардың бестен бірінен көбін өткізіп алатынын білдіреді. Claude Fable 5.1 жауап берген беттерінде мықты көрінеді: толықтығы 89,31%, FPR көрсеткіші 7,92%, бірақ ол беттердің шамамен 30%-ында жауап беруден бас тартады, ал «(all)» жолы мұны белгі ретінде есептейді.

Ұлғайту

Guard Парето шекарасын алға жылжытып, өткізіп алынған шабуылдар мен жалған дабылдар арасында жақсырақ теңгерімге қол жеткізеді. Оның F1 көрсеткіші шамамен 95%-ға жетеді және ол әр мәтіндік көріністе бірінші орын алады. Ол шамамен 20 таза беттің тек біреуін ғана белгілейді, бұл промпт берілген ең дәл модель Astra көрсеткішінің шамамен үштен бірі. Бұл айырмашылық біздің оқытуымыздың нәтижесі: Guard негізделген стандартты Qwen3.5-0.8B моделіне басқа модельдер сияқты промпт берілгенде, оның F1 көрсеткіші небәрі 64%-ға жетеді және ол таза беттердің төрттен үшіне жуығын белгілейді. Скриншот көрінісі сценарийінде біз Guard-тың мультимодальды детекторын кескіндермен жұмыс істей алатын төрт модельмен салыстырамыз. Толық беттік скриншоттар берілгенде Guard шамамен 93% F1 көрсеткішін алады, ал біз бағалаған басқа модельдердің ең үздігінікі шамамен 79%.

Шабуылды тану оған төтеп берумен бірдей емес

Интуитивті түрде қарағанда, инъекцияны дұрыс анықтай алатын модель пайдаланушы тапсырмаларын орындау барысында сол бетке тап болғанда бұл инъекцияны елемеуі де керек. Алайда біздің эксперименттеріміз анықтаудың жоғары көрсеткіштері модельдің шабуылға төтеп беретініне кепілдік бермейтінін көрсетеді. Біз әр модельге шабуылға ұшыраған бір бетті екі рет бердік: бірінші рет онда инъекция бар-жоғын бағалау үшін, ал екінші рет алдыңғы шешімін көрсетпей, пайдаланушының тапсырмасын орындау үшін. Жеке бағалаушы модельдің инъекцияны орындаған-орындамағанын тексерді. Сыналған әр модель өзі белгілеген кейбір инъекцияларды бәрібір орындады: бұл көрсеткіш GPT-6 Astra үшін белгіленген беттердің 1,64%-ынан Llama 3.1 8B үшін 24,73%-ына дейін жетті.

Ұлғайту

Анықтау көрсеткіштері модельдер арасындағы айырмашылықтарды сенімді түрде болжай алмайды. Claude Sonnet 5 пен GPT-5.5 инъекцияларды шамамен бірдей жақсы анықтайды: олардың F1 көрсеткіштері тиісінше шамамен 88% және 89%. Алайда Sonnet 5 өзі белгілеген инъекцияны беттердің 19,74%-ында орындады, бұл 1,97% көрсеткен GPT-5.5-тен он есе жиі.

Инъекциялардан қорғауға арналған іске қосуға дайын жүйе

Бұл нәтижелер бетті бұғаттау туралы шешімді пайдаланушы тапсырмасын орындап жатқан модельге сеніп тапсырудың орнына арнайы мақсаттағы модельге жүктеудің пайдасы бар екенін көрсетеді. Агент әрекет етпес бұрын әр бетті тексеретін жеке детектор қосымша қорғаныс қабатын береді, әрі оның басып алынатын тапсырмасы да, теріс пайдаланылатын құралдары да жоқ.

Guard дәл осындай детектор болу үшін жасалған. Ол біз сынаған барлық модельдердің ішінде ең жоғары F1 мен дәлдікке ие болуымен қатар, шағын өлшемінің арқасында әр бетте іске қосуға жеткілікті арзан. Guard орта есеппен бір мәтіндік бетке шамамен 0,15 секунд GPU уақытын жұмсады. Жалға алынған H200 негізінде біз 1000 беттің құны 0,18 $ болады деп бағалаймыз, ал озық API модельдері үшін тізімдік бағалар бойынша бұл 18,95–180,61 $ құрайды. Осылайша біздің салыстыруымызда жиі тексеру әлдеқайда арзанға түседі, әрі анықтау көрсеткіштері жоғары деңгейде сақталады.

Төмендегі суретте әр детектордың дәлдігі оның бір бетке жұмсайтын уақытымен және 1 000 бетке шаққандағы құнымен салыстырылған (екеуі де логарифмдік шкалада). Guard екі панельдің де жоғарғы сол жақ бұрышында жалғыз тұр: ол дәлдік, жылдамдық және құн бойынша озады. Промпт берілген әр модель бір бетке шамамен бір секунд немесе одан да көп уақыт жұмсайды, ал ең дәл екі модель — GPT-6 Astra мен Claude Fable 5.1 — 1 000 бет үшін 100 доллардан астам тұрады.

Ұлғайту

Қорғаныс құралдарын бейімделгіш шабуылдарға қарсы сынау

BrowseSafe++ бенчмаркіндегі инъекциялар жиыны шектеулі. Алайда нақты шабуылдаушы бейімделгіш шабуыл жасай алады: инъекция сәтсіз болса, шабуылдаушы оны қайта жазып, қайтадан байқап көре алады. Нәтижесінде бастапқы инъекцияға төтеп берген агент болашақ шабуылдарға бәрібір осал болуы мүмкін. Оның үстіне модельдер интернеттен жиналған деректермен оқытылады, сондықтан олар ондағы инъекциялардың көбіне төтеп беруді үйренуі мүмкін; біз бенчмаркімізді жария түрде шығаратындықтан, ол қанығып, модельдерді жақсы ажырата алмай қалуы ықтимал. Екі мәселені де шешу үшін біз BrowseSafe-Adapt атты сынақ ортасын жасадық, онда шабуылдаушы модель инъекцияларды қайта жаза алады. Әр сынақ үш кезеңнен тұрады:

1. Сынақ жағдайын дайындау. Сынақ жағдайы BrowseSafe++ жазбасын мақсатты агентпен біріктіреді. BrowseSafe++ жазбасында пайдаланушы сұрауы мен тапсырмасы бар сценарий, шабуылға ұшыраған бет және шабуылдаушы қол жеткізгісі келетін нәтиже болады. Агент тапсырманы орындауға қажетті құралдар мен синтетикалық деректерді беретін Sandbox ортасында жұмыс істейді. Шабуылдың мақсатына жеткен-жетпегенін бөлек тексеруші модель бағалайды.
2. Әрекетті іске қосу: Ағымдағы инъекцияны бетке енгізіп, агентке тапсырманы орындатамыз. Тексеруші агенттің жауабын және оның Sandbox ортасына енгізген кез келген өзгерістерін тексеріп, шабуылдың сәтті болған-болмағанын анықтайды. Алғашқы әрекет бастапқы BrowseSafe++ жазбасындағы инъекцияны пайдаланады.
3. Түзету және қайталау: Шабуыл сәтсіз болса, біз әрекетті мұрағаттаймыз, ал сыншы модель не дұрыс болмағанын талдайды. Шабуылдаушы модель осы кері байланысты пайдаланып, инъекцияны қайта жазады; ол шабуылдың сөздерін, пішімін немесе беттегі орнын өзгерте алады. Шабуылдың мақсаты, сәттілік критерийлері және беттің айналадағы мазмұны өзгеріссіз қалады. Келесі әрекет жаңартылған шабуылды пайдаланады. Бұл процесс шабуыл сәтті болғанша немесе шабуылдаушы белгіленген әрекет лимитіне жеткенше қайталанады.

Ұлғайту

Біз әрқайсысы әртүрлі модельге негізделген жеті агентті сынадық: Claude Sonnet 5, Claude Haiku 4.5, GPT-5.5, Gemini 3.1 Pro, Gemini 3.5 Flash-Lite, сондай-ақ салмақтары ашық DeepSeek V3.1 және Kimi K2 модельдері. Әр агент бірдей 1 024 тапсырманы орындады, әр тапсырмаға 64 әрекетке дейін берілді. Алғашқы әрекетте шабуылдың сәттілігі жеті агенттің барлығында төмен болды. Бастапқы инъекциялар кез келген агентке қарсы бағаланған тапсырмалардың ең көбі 4%-ында сәтті болды. Бейімделгіш фреймворкте шабуылдың сәттілігі күрт өсті. Жеті агенттің бесеуіне қарсы шабуылдаушы тапсырмалардың кемінде 79%-ында сәтті болды. Тіпті ең мықты агенттер де осал болып шықты: GPT-5.5-ке қарсы шабуылдар тапсырмалардың шамамен үштен екісінде, ал Claude Sonnet 5-ке қарсы шамамен үштен бірінде сәтті болды.

Агенттер арасындағы айырмашылық шабуылдаушының мақсаты агентке белгілі бір құрал шақыруын орындату болғанда ең үлкен болады. Осындай мақсаты бар тапсырмаларда Sonnet 5 тапсырмалардың шамамен 8%-ында, ал GPT-5.5 шамамен 29%-ында шабуылға берілді. Қалған бесеуі өз тапсырмаларының жартысынан көбінде шабуылдаушының мақсатын орындады.

Сондай-ақ біз BrowseSafe-Adapt құралын Gemini 3.5 Flash-Lite агентіне қарсы іске қостық, бұл жолы әр бетті алдымен Guard тексерді. Guard бастапқы инъекциялардың 94,5%-ын бұғаттап, шабуылдаушыларға қажет болған әрекеттердің орташа санын 9,7-ден 17,0-ге дейін, яғни екі есеге жуық арттырды. Дегенмен 64 әрекеттің барлығы берілгенде, шабуылдаушы бәрібір тапсырмалардың 84,2%-ында сәтті болды (Guard болмағанда 93,6%), және бұл әрдайым дерлік Guard белгілемеген инъекция арқылы жүзеге асты. Бұл біз BrowseSafe құралын шығарған кезде айтқан көзқарасқа сәйкес келеді: ешбір анықтау моделі әмбебап шешім емес, сондықтан детектор көпқабатты қорғаныстың бір бөлігі болуы керек.

Ұлғайту

Қорытынды

Браузер агенттері көбінесе жанама промпт-инъекцияға осал келеді: қарапайым беттерде жасырылған шабуылдар агенттердің пайдаланушы тапсырмаларын орындау қабілетіне кедергі келтіруге тырысады. Уақыт өте келе қауіп тек арта түседі: агенттер көбірек деректер мен құралдарға қол жеткізген сайын шабуылдардың ықтимал салдары ауырлай береді, ал шабуылдаушылар инъекцияларын тиімдірек ету үшін оларды қайта өңдей алады.

Біздің BrowseSafe жиынтығымыз осы қауіптерге қарсы бағытталған. BrowseSafe++ бенчмаркі негізінен нақты инъекциялардан құрылған 38 675 веб-бет жұбын қамтиды, бұл детекторларды сенімдірек оқытуға және бағалауға мүмкіндік береді. Осы жұптармен оқытылған BrowseSafe-Guard детекторлары жоғары дәлдікпен, жылдам әрі арзан анықтауды қамтамасыз етеді, сондықтан беттерді агент оларға қатысты әрекет етпес бұрын сканерлеуге болады. BrowseSafe-Adapt фреймворкі модельдерді қайта өңделген инъекцияларға қарсы сынауға мүмкіндік береді және тұрақты инъекциялармен жасалған бір реттік әрекеттерден байқалмауы мүмкін осалдықтарды анықтайды.

Бұл құралдар бірге зерттеушілер мен инженерлерге ақауларды табуды және веб-беттер арқылы жасалатын промпт-инъекция шабуылдарынан қорғанысты жақсартуды жеңілдетеді деп үміттенеміз. Сондай-ақ пайдаланушыларымыздың қауіпсіздігін қамтамасыз ету үшін Comet және Computer өнімдеріндегі кірістірілген қорғаныс құралдарын үздіксіз бағалап, жетілдіріп отырмыз.

Жұмысты бастау

1. SDK-ны орнатып, деректерге қолжетімділік алыңыз. SDK GitHub-тан орнатылады:

Деректер жиынтығына қолжетімділік шектелген. Оның Hugging Face бетінде бір рет қолжетімділік сұраңыз, содан кейін hf auth login арқылы жүйеге кіріңіз.

2. Көшбасшылар кестесіне жіберіңіз. Өз детекторыңызды BrowseSafe++ бенчмаркінің сынақ бөлігінде бағалаңыз:

Бұл тізімге енгізілген әр көрініс үшін әр бетке бір шешім жазады; мәтіндік көшбасшылар кестесінде орташа мән алу үшін үш мәтіндік көріністің барлығын көрсетіңіз. Hugging Face аккаунтыңызбен көшбасшылар кестесінің Space-іне кіріп, predictions.jsonl файлын жүктеп салыңыз. Space әр көрініс үшін F1, дәлдік, жалған оң нәтижелер үлесі және басқа метрикаларды қайтарады, ал қаласаңыз, нәтижені көшбасшылар кестесінде жариялайды. Әр аккаунт (кемінде 60 күн бұрын жасалған) UTC бойынша аптасына бір рет бағаланатын нәтиже жібере алады. Сынақ беттері тек бағалауға арналған: оларда модель оқытпаңыз және оларды қайта таратпаңыз. Жіберу нұсқаулығында файл пішімі мен жариялау ережелері сипатталған.

Дереккөзге сілтеме

@online{perplexity2026BrowseSafePlusPlus,
  author = {{Perplexity} and Yuetian Chen and Kaiyuan Zhang and Yuntao Du and Thomas Li and Mark Tenenholtz and Kyle Polley and Jerry Ma and Denis Yarats and Ninghui Li and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{BrowseSafe++: Building stronger defenses against real-world prompt injection}},
  date = {2026-10-28},
  url = {https://www.perplexity.ai/hub/blog/browsesafe-plus-plus}
}