Как мы обеспечили безопасность Comet с самого начала

Подробнее о безопасности Comet: внешние аудиты, многоуровневая защита от внедрения промптов и открытые исследования.

Comet предоставляет ИИ-ассистентам мощные возможности для просмотра веб-сайтов, взаимодействия с контентом и выполнения сложных задач от имени пользователей. Эти возможности требуют столь же мощных средств защиты. Перед публичным запуском Comet мы наняли компанию Trail of Bits для стресс-тестирования нашей защиты посредством формальных аудитов. Их работа помогла нам выявить уязвимости и усилить меры защиты до того, как пользователи начали доверять Comet выполнение конфиденциальных задач.

Создание защиты с нуля

Атаки с внедрением промптов постоянно развиваются, и защита от них требует многоуровневого подхода. Мы с самого начала знали, что одного механизма защиты будет недостаточно. Наш основной принцип прост: перекрывающиеся уровни защиты гарантируют, что если один уровень будет обойден, другие останутся, чтобы обеспечить безопасность пользователей. Вот как мы применяем это на практике.

Наш путь к безопасности: Ключевые этапы

Апрель 2025 г.: Аудит безопасности перед запуском

Перед публичным запуском Comet мы наняли Trail of Bits для проведения систематического моделирования угроз нашей архитектуры. Их команды проверяли реальные сценарии атак, пытаясь обойти нашу защиту с помощью методов, которые могут использовать злоумышленники. Аудит выявил конкретные пробелы в нашей системе защиты и положил начало итеративному процессу устранения недостатков. Мы усовершенствовали наши меры защиты и закрыли уязвимости до того, как они могли повлиять на пользователей.

Октябрь 2025 г.: Публикация нашей архитектуры безопасности

Мы опубликовали подробную техническую статью, объясняющую нашу четырехуровневую структуру архитектуры защиты и обоснование каждого компонента. В статье описаны конкретные типы атак, от которых мы защищаемся: от скрытых внедрений HTML и CSS до подмены контента и перехвата целей. Мы также объявили о нашей программе поиска уязвимостей, пригласив исследователей безопасности протестировать нашу защиту и сообщать об уязвимостях. Прозрачность всегда была основой нашего подхода к безопасности: мы считаем, что обмен нашей методологией делает всю индустрию ИИ сильнее.

Декабрь 2025 г.: Открытие исходного кода BrowseSafe

Безопасность улучшается, когда все сообщество ИИ может учиться на основе общих исследований. Мы выпустили BrowseSafe, нашу модель обнаружения и эталон оценки, в качестве инструментов с открытым исходным кодом. BrowseSafe-Bench включает 14 719 примеров, охватывающих 11 типов атак, 9 стратегий внедрения и 3 лингвистических стиля. Публикуя нашу методологию и наборы данных, мы помогаем другим разработчикам ИИ создавать более безопасные системы и вносим свой вклад в отраслевые стандарты безопасности. Отклик от сообщества разработчиков оказался обнадеживающим: команды уже используют BrowseSafe для повышения безопасности своих ИИ-ассистентов.

Что мы узнали

Создание системы безопасности для ИИ-ассистентов дало нам важные уроки о меняющемся ландшафте угроз. Внешнее тестирование на устойчивость к атакам выявляет «слепые зоны», которые могут упустить даже самые квалифицированные внутренние команды. Моделирование угроз — это не разовая задача, а непрерывная дисциплина, которая должна развиваться по мере совершенствования методов атак. Самое главное, безопасность требует сотрудничества всей отрасли. Делясь своими исследованиями, привлекая внешних экспертов и участвуя в разработке открытых стандартов, мы помогаем строить более безопасную экосистему.

Наши постоянные обязательства

Мы проводим регулярные оценки безопасности по мере развития Comet, гарантируя, что новые функции проходят строгую проверку перед запуском. Чтобы помочь уменьшить количество дезинформации в исследованиях безопасности ИИ, мы инвестируем в надежные методы оценки и прозрачную отчетность, чтобы результаты исследований защиты Comet были точными, воспроизводимыми и не искажались сенсационными или неполными заявлениями о безопасности.

Наша команда также проводит успешную программу раскрытия уязвимостей и частную программу bug bounty, приглашая исследователей безопасности отовсюду тестировать нашу защиту. По мере того как ИИ-ассистенты становятся более функциональными и выполняют все более конфиденциальные задачи, наши инвестиции в безопасность будут расти соответствующим образом.