Създаване на по-безопасни AI браузъри с BrowseSafe

BrowseSafe е нашият отворен модел за откриване и бенчмарк за улавяне на злонамерени инструкции, скрити в уеб страници.

Днес представяме BrowseSafe – отворен изследователски бенчмарк и модел за откриване на съдържание, насочен към защита на потребителите, докато сърфират в агентната мрежа.

Тъй като AI асистентите се преместват от полетата за търсене в самия браузър, очакваме следващото поколение на мрежата да премине от страници към агенти: по-малко зависимо от това къде се намира информацията и повече от това кой я извлича и действа според нея. Comet превръща браузъра в място, където асистентът може да изпълнява задачи, а не само да отговаря на въпроси, така че един принцип не подлежи на преговори: той трябва да остане на страната на потребителя.

BrowseSafe: защита на агенти и потребители чрез сканиране на съдържание в реално време

BrowseSafe е модел за откриване, финастроен да отговаря на един фокусиран въпрос: предвид HTML на страницата, съдържа ли тя злонамерени инструкции, насочени към агента? Големите модели с общо предназначение могат да разсъждават добре по тези казуси, но те често са твърде бавни и скъпи за изпълнение на всяка страница. BrowseSafe сканира пълни уеб страници в реално време, без да забавя браузъра. Също така пускаме пакета за оценка BrowseSafe‑Bench като ресурс за оценка и подобряване на ефективността на защитата.

Граници на доверие и многослойни защити

Въпреки това новото поколение AI сърфиране означава и ново поколение киберзаплахи, които изискват нови подходи за поддържане на сигурността на потребителите. В предишна публикация разгледахме как Comet използва множество слоеве защита, за да поддържа асистента да прави това, което потребителят е поискал, дори когато уебсайт се опитва да го отвлече с инжекция на промпт. Днес се насочваме към това как се справяме с този проблем: как тези заплахи се дефинират, тестват се срещу реални атаки и се използват за обучение на специализирани модели, които могат да откриват и спират лоши инструкции достатъчно бързо, за да работят безопасно в браузъра.

Как работи инжекцията на промпт в браузъра

Инжекцията на промпт е злонамерен език, вграден в текста, който AI прочита, който е проектиран да отмени първоначалното му намерение. В браузъра агентите четат цели страници, така че атаките могат да се скрият на места като коментари, шаблони или дълги долни колонтитули.

Нападателите използват тези места, за да промъкнат инструкции, които незабелязано пренасочрат агента. Тъй като той чете всичко, включително съдържание, което повечето хора никога не забелязват, тези съобщения могат да отвлекат поведението без силни защити.

Тези атаки често избягват очевидни фрази и могат да бъдат написани на изчистен или многоезичен текст, или поставени в HTML елементи, които никога не се появяват на екрана, като например атрибути за данни или полета на формуляри, които браузърите не изобразяват видимо, но агентите все пак анализират.

BrowseSafe-Bench: подобряване на сигурността на агентите в реални среди

За да проучим тези атаки в среда, която прилича на реалната мрежа, изградихме BrowseSafe, модел за откриване, който обучихме и пуснахме като софтуер с отворен код, и BrowseSafe‑Bench, публичен бенчмарк от 14 719 примера, които имитират производствени страници. Той включва сложен HTML, зашумено съдържание и комбинация от злонамерени и безобидни проби, които варират по три основни оси: какво се опитва да направи нападателят, къде се намира инструкцията в страницата и как е написан езикът.

Бенчмаркът включва 11 типа атаки, девет стратегии за инжектиране, обхващащи скрити полета до видими параграфи и долни колонтитули, и три езикови стила – от изрични команди до индиректен, камуфлиран текст.

Подход на многоетажна защита

В нашия модел на заплахи самият асистент живее в доверена среда, но всичко, което идва от мрежата, е недоверено. Нападателите могат да контролират цели сайтове или просто да инжектират съдържание, като описания на продукти, коментари и публикации в иначе доброжелателни страници, които асистентът посещава. За да се управлява този риск, инструментите, които могат да връщат недоверено съдържание, като уеб страници, имейли или файлове, се маркират и техните необработени изходи винаги се сканират от BrowseSafe, преди агентът да може да ги прочете или да действа по тях.

BrowseSafe е един слой в по-широк подход за защита. Необработеното съдържание се сканира преди употреба, разрешенията на инструментите са ограничени по подразбиране, а чувствителните действия могат да изискват изрично потвърждение от потребителя – всичко това върху съществуващите функции за сигурност на браузъра. Защитата в дълбочина позволява на потребителите да приемат мощни асистенти за браузър, без да жертват безопасността за сметка на функционалността.

Какво влияе върху ефективността на атаката?

Резултатите от оценката на BrowseSafe‑Bench показват ясни модели. Директните атаки, като например искането към агента да разкрие системния си промпт или да екфилтрира информация чрез URL сегменти, са сред най-лесните за улавяне от моделите. За разлика от тях, многоезичните атаки и тези, написани като индиректни или хипотетични инструкции, са значително по-трудни, защото избягват очевидните ключови думи, на които много детектори разчитат неявно.

Разположението също има значение. Атаките, скрити в коментари, се откриват относително добре, докато версиите, пренаписани във видими долни колонтитули, клетки на таблици или вградени параграфи, се оказват много по-трудни, което разкрива структурен байяс към „скрити“ инжекции. Внимателното обучение с добре проектирани примери може значително да подобри способността на моделите да откриват тези модели.

Създавайте по-безопасни агенти с BrowseSafe

BrowseSafe и BrowseSafe-Bench са напълно с отворен код. Всеки разработчик, който изгражда автономни агенти, може незабавно да защити своите системи срещу инжекция на промпт – без нужда от изграждане на защитни релси от нулата. Моделът за откриване с отворени тегла работи локално и маркира злонамерени инструкции, преди те да достигнат основната логика на вашия агент, достатъчно бързо за сканиране на всяка страница, без да забавя потребителите.

Използвайте над 14 000 сценария за реални атаки на BrowseSafe-Bench, за да тествате собствените си модели срещу заплетените HTML капани, които чупят стандартните LLM. Нашите техники за разделяне на парчета и паралелно сканиране позволяват на агентите да обработват масивни, недоверени страници ефективно – мощни възможности за сърфиране без излагане на потребителите на опасност. За да научите повече за това как изградихме BrowseSafe и BrowseSafe-Bench, вижте блога на Perplexity Research.