Как проектираме по-безопасни агенти

За да изградим по-безопасни AI агенти, трябва да проектираме както за техните възможности, така и за техните неуспехи. Дори когато изпълняват законни задачи и без никакви злонамерени инструкции, агентите могат да преминат границите на сигурността, докато се опитват да преодолеят препятствията.

Вярваме, че това е проблем на инженерството по сигурността и индустрията трябва да се справи с него така, както се справи с интернет червеите от началото на 2000-те години. Системите около агентите трябва да ограничават достъпа на агентите, да откриват нежелано поведение и да овладяват неизправностите, когато те възникнат.

В Perplexity ние активно си сътрудничим с изследователи и практици за напредъка на инженерството по сигурността за AI агенти и прилагаме множество слоеве защита в нашите модели, harness за агенти и инфраструктура, така че сигурността да не зависи от нито един защитен механизъм.

Поведение извън контрол при AI агенти

През юли AI агенти пробиха производствената инфраструктура на платформата с отворен код за изкуствен интелект Hugging Face. По време на вътрешна оценка на киберсигурността и обучителни тестове, моделите на OpenAI откриха начин да експлоатират мениджъра на репозитори Artifactory, за да създадат табло за съобщения за комуникация помежду си, което им позволи да се организират в рояци. По-късно агенти, които не успяха да напреднаха по задачи в бенчмарк за киберсигурност, наеха други агенти да помогнат. Тези агенти избягаха от средата си за оценка и стигнаха до интернет. Те също така откриха начини за измамяване чрез обратно проектиране (reverse engineering) на отговорите на задачите от бенчмарка, но смятаха, че системата за оценяване ще открие измамата. За да разберат по-добре как работи оценката на бенчмарка, за да намерят начини да избегнат разкриването като измамници, те в крайна сметка компрометираха системите на Hugging Face (Hugging Face; OpenAI).

Инцидентът е ясен пример за режим на неизправност, който описахме, когато пуснахме Numbat като отворен код през юли: случайни сригове, термин, измислен от изследователи на сигурността от Cornell Tech (arXiv). Агент, който преследва законна цел, се сблъсква с триене, като липсващ файл, неуспешно API повикване, изтекли идентификационни данни или откази за разрешение, и започва да търси заобиколно решение. По този начин той може да премине границите на сигурността чрез разузнаване, ескалация на привилегии, откриване на тайна или екфилтрация на данни. Самият агент ефективно се превръща в противник, въпреки че няма злонамерена подкана или външен нападател.

Hugging Face не беше изолиран случай. През последните седмици бяха открити и докладвани още поведения на излизане на агенти извън контрол. На 27-28 май агенти, опитващи се да съберат данни за Университета на Айова от Data USA – платформа, предлагаща отворен достъп до данни на правителството на САЩ, се сблъскаха с грешки, причинени от деформирана заявка. Те отговориха с проверки, включващи SQL инжекции, междусайтов скриптинг (XSS), инжекции на шаблони, обхождане на пътища (path traversal) и инжекции на команди. По-късно дейността беше свързана с OpenAI (SecurityWeek). На 20-21 юни агенти на OpenAI, опитващи се да получат правителствени разходи на човек за категория лекарства в местни райони във Виктория от Австралийския институт за здраве и благосъстояние (AIHW), бяха блокирани от изтеглянето на файл. В отговор агентите изтеглиха файла, който вече беше публичен, от предпроизводствения сървър на AIHW, заобикаляйки в процеса защитите на сайта срещу ботове (SecurityWeek).

Моделът не се ограничава само до една лаборатория. По време на тестове за киберсигурност моделите на Anthropic пробиха три компании, след като грешка им даде отворен достъп до интернет, Gemini на Google отгатна идентификационни данни за три уебсайта, а модел на Meta експлоатира услуга на трета страна (Reuters).

Поуки от историята: Ерата на интернет червеите

Тези инциденти напомнят за ерата на интернет червеите преди около четвърт век. В началото на 2000-те години интернет се разрасна много по-бързо от практиките за сигурност около него. Видяхме вълна от вируси и червеи с последици, много по-сериозни от това, което виждаме сега с AI агентите в състояние извън контрол.

На 4 май 2000 г. хората започнаха да получават имейли от познати податели със заглавие „ILOVEYOU“. Отварянето на прикачения файл в имейла доведе до стартиране на скрипт, който изпрати копие от себе си на всички в адресната книга на Outlook на жертвата. До 18:00 ч. същия ден Координационният център на CERT бе получил доклади, засягащи повече от 420 000 интернет хоста (Доклад на US GAO). Съобщава се, че вирусът е проникнал в най-малко 14 федерални агенции, включително Министерство на отбраната, ЦРУ, НАСА и Камарата на представителите и Сената (Доклад на US GAO). Той също така затвори имейл сървърите в Пентагона и Британския парламент (Wired). Гигантът в застраховането Lloyd's of London направи ранна оценка, че вирусът ще струва над 15 милиарда долара щети и загубена производителност (Изслушване на Камарата на представителите на САЩ). Computer Economics по-късно изчисли 8,75 милиарда долара щети по целия свят (Information Week).

Червеи, които не се нуждаеха от човешко кликване, достъпиха след това. На 19 юли 2001 г. червеят Code-Red зарази повече от 359 000 компютъра за по-малко от 14 часа (CAIDA). На 25 януари 2003 г. SQL Slammer удвояваше размера си на всеки 8,5 секунди и зарази повече от 90% от интернет хостовете, уязвими към него, в рамките на 10 минути (CAIDA), експлоатирайки дупка, за която Microsoft бе пуснал пач шест месеца по-рано (CNET). През август 2003 г. червеят Blaster и имейл червеят Sobig се появиха на около седмица разлика (Microsoft, F-Secure).

По това време беше разумно да се запитаме дали мрежовите компютри изобщо могат да бъдат направени безопасни. Шест дни след вируса ILOVEYOU, подкомисия на Камарата на представителите на САЩ проведе изслушване по него. Много експерти по сигурността призоваха за законодателство, което да направи софтуерните компании отговорни за щети, причинени от дефекти в техните продукти. Вашингтон пое по различен път. Националната стратегия за защита на киберпространството заяви, че „федералното регулиране няма да се превърне в основно средство за защита на киберпространството.“ Тя предупреди, че широките мандати могат да създадат „подход към киберсигурността с най-нисък общ знаменател“ (CISA).

Индустрията отговори с инженерство. Единадесет дни след ILOVEYOU, Microsoft обяви актуализация на Outlook, която блокира изпълними прикачени файлове. През януари 2002 г. компанията направи сигурността основен приоритет (Seattle Times). Автоматичното прилагане на пачове, сигурните настройки по подразбиране, програмите за награди за открити бъгове и координираното разкриване се превърнаха в стандартна практика. През 2008 г. Chrome започна да изпълнява уеб съдържание в sandbox, който „ограничава това, което даден нападател може да направи, след като експлоатира бъг“ (Chromium Blog). Криптирането, някога изключение, се превърна в стандарт. Технологиите за сигурност, включително многофакторно удостоверяване, защитни стени (firewalls), нула доверие (zero trust) и управление на сигурността и събитията (SIEM), станаха широко използвани. Организациите по света се предвижда да похарчат около 240 милиарда долара през 2026 г. за информационна сигурност (Gartner). Червеите никога не изчезнаха напълно, но ерата на рутинните епидемии в мащаба на целия интернет отшумя. В същото време интернет, до голяма степен необременен от регулации, се превърна в мощен двигател на иновации и икономически растеж през следващите две десетилетия.

Инженерство по сигурността за AI агенти

Скорошните инциденти повдигнаха основателни въпроси относно управлението на агенти. Съществуващите механизми за сигурност бяха разработени за изчислителни среди отпреди ерата на агентите, характеризиращи се с тясно дефинирано и предимно детерминистично софтуерно поведение. Механизмите за контрол на достъпа в частност са проектирани основно около човешки потребители и често им предоставят широки привилегии, които по принцип са достатъчни за причиняване на значителни щети.

Този дизайн се основава на няколко предположения: повечето потребители действат добросъвестно; злонамерените участници могат да бъдат възпрени чрез одит и последици в реалния свят; и хората предприемат действия, независимо дали правилни или погрешни, с относително ограничен темп. Прилагането на тези механизми за сигурност към агенти изисква отчитане на разликите между човешкото поведение и поведението на агентите. Както написахме в нашия отговор на искането на NIST за информация относно сигурността на AI агентите, AI агентите предизвикват тези предположения. Те могат да упражняват привилегии и да предприемат действия със скоростта на машината, не се възпират сами от последици в реалния свят и могат да предприемат действия, които са технически разрешени, но които типичен човешки потребител рядко би предприел.

Отговорът на тези въпроси изисква инженерство по сигурността. Ние познаваме принципите на сигурността за изграждане на системи, които поддържат рисковете под контрол, когато отделните компоненти се държат неправилно. Но трябва да се уверим, че тези принципи се прилагат при проектирането на средите за обучение, тестване и използване на AI агенти.

Принципът на сигурността с многопластова защита

Може би най-важният принцип на сигурността, който трябва да се приложи за осигуряване на сигурността на AI агентите, е многопластовата сигурност, която се застъпва за многопластова архитектура за сигурност, при която се използват множество, разнообразни и излишни защитни мерки за защита на системните ресурси. Нито един защитен механизъм не е перфектен. Хората могат да се подхлъзнат на атаки за социално инженерство и да разкрият своите данни за вход, софтуерни уязвимости от нулев ден се откриват и експлоатират, а откриването на прониквания пропуска нови варианти на атаки. Многопластовата сигурност приема това и подрежда няколко независими слоя защита. Ако един защитен слой бъде заобиколен, другите слоеве остават на място, за да противодействат или да открият проникването.

Инцидентът с Hugging Face показва защо многопластовата сигурност има значение. Ретроспективният отчет на OpenAI съобщава, че автоматизираните защитни механизми, използвани в производствените им системи, включително harness, модели за автопреглед и класификатори за безопасност, са липсвали в средата за оценка. Ако текущо разгърнатият им мониторинг на веригата на мислене беше работил по време на тези оценки, той щеше да улови първоначалната активност и да уведоми екипа по сигурността повече от ден преди пробива (OpenAI). Слоевете, които са могли да уловят проблема, са съществували. Те просто не са били на мястото си едновременно.

Осигуряването на сигурността на AI агентите изисква подобряване както на безопасността и сигурността на AI моделите, така и на системите около тях. Работата на ниво модел е от значение и тя дава резултати. Ранните LLM бяха лесно манипулирани от инжектирани инструкции, докато днешните модели са съществено по-добри в разпознаването и отхвърлянето им. Разработчиците на модели също така обучават модели за по-безопасно поведение и, както описва ретроспекцията на OpenAI, наблюдават следите от разсъждения за признаци на проблемно поведение. Но защитите на ниво модел са само част от решението. Системите, в които агентите се обучават, тестват и внедряват, също трябва да бъдат проектирани за сигурност и овладяване. Безопасността на ниво модел намалява вероятността агентът да се отклони; сигурността на ниво система ограничава щетите, когато това се случи.

Уголеми

Правила за проектиране на излишни защитни механизми

Многопластовата сигурност изисква излишни защитни механизми. За агентите се застъпваме за прилагането ѝ с три правила за проектиране:

1. Независимост. Всеки слой трябва да се проваля по независими причини. Два контрола, които споделят едно и също предположение, могат да бъдат преодолени от същата атака. Мониторите и точките за прилагане трябва да се намират извън обсега на агента.
2. Принудително прилагане под агента. Най-малко един слой трябва да бъде детерминистичен: конвенционален, проверим код, който блокира забранени действия независимо от това какво произвежда моделът. Защитен механизъм, който агентът може да откаже да извика или да преконфигурира, не е защитен механизъм.
3. Сигналите могат само да намалят правомощията. Откриването трябва да задейства отговори, които тесно ограничават това, което агентът може да направи, като пауза, отнемане на идентификационни данни, прекъсване на мрежовия достъп или прекратяване на сесията. Никакъв сигнал за риск никога не трябва да предоставя допълнителен достъп.

Споделяме тези принципи с нашите партньори в Open Secure AI Alliance, включително NVIDIA, която твърди, че harness насочва това, което агентът се опитва, докато инфраструктурата контролира какво може да направи (NVIDIA).

Многопластова сигурност в продуктите на Perplexity

Perplexity изпълнява агенти в четири вида среди: в облака чрез нашата платформа за агенти Computer, в браузъра чрез Comet, на потребителски устройства чрез Portable Computer и на лаптопи на служители, където нашите инженери използват агенти за кодиране на трети страни. Всяка среда има свои собствени рискове и всяка получава няколко слоя защита.

В облака: Computer и SPACE

Всяка задача на Computer се изпълнява в SPACE, нашата sandbox платформа, която третира агента като ненадежден по подразбиране. Всяка задача получава свой собствен microVM, идентификационните данни се пазят извън sandbox и се инжектират само когато е необходимо, изходящият трафик се контролира извън гост системата, а снимките (snapshots) ни позволяват да върнем деструктивни промени назад (Making SPACE). Корпоративните клиенти могат също така да донесат свои собствени криптиращи ключове. Отнемането на ключ прави защитените данни нечетливи и агентът не може да отмени това решение.

Ние също така тестваме дали тези слоеве издържат. В Escaping SPACE: Part I дадохме на девет водещи модела root достъп в SPACE sandbox и ги помогнахме да избягат. Никой не избяга от виртуалната машина (VM), но някои намериха начин да заобиколят мрежовата политика, когато беше разрешен частичен мрежов достъп. Отстранихме тези пропуски, потвърдихме корекциите при повторен тест и разкрихме подобни слабости, открити в осем от други десет sandbox платформи, на техните доставчици.

В браузъра: Comet и BrowseSafe

Comet използва многопластова защита срещу prompt-injection от стартирането си: класификаторите филтрират извлеченото съдържание, структурираните подкани го маркират като ненадеждно, чувствителни действия като изпращане на имейл или правене на поръчка изискват потвърждение от потребителя, а потребителите получават информация, когато нещо е блокирано (Защити на Comet срещу prompt-injection). BrowseSafe, моделът за откриване с отворен код зад първия слой, превъзхожда водещите модели по нашия бенчмарк BrowseSafe-Bench, въпреки че същият бенчмарк показва, че никой детектор не е напълно сигурен, поради което откриването никога не е единственият слой (Изследване на BrowseSafe). Computer наследява тези защити, които са били одитирани от Trail of Bits (Perplexity).

На устройството: Portable Computer

Portable Computer е агент с локално приоритетно изпълнение (local-first): моделът, harness, разговорът и траекторията остават на машината на потребителя по подразбиране. Детерминистичен оркестратор, който представлява код на harness, а не LLM, изпълнява цикъла и прилага политиката. Моделът предлага действия, а одобрените извиквания на инструменти се изпълняват в sandbox на ниво операционна система, който ограничава процесите, файловите пътища и мрежовия достъп. Sandbox е винаги включен и работи в режим fail-closed: ако не е наличен, harness се деактивира, вместо да изпълнява команди с разрешенията на потребителя. Действията, които преминават границата на устройството, като уеб търсене, конектори и ескалация към по-мощен облачен съветник модел, се случват само когато потребителят ги активира и одобри. Преди повикване към съветник, класификатор на PII маркира чувствителна информация и потребителят вижда какво ще бъде изпратено. Съветникът получава само този одобрен контекст и връща текстови указания, без достъп до файловете или инструментите на устройството.

На крайната точка: Numbat

Кодиращите агенти на лаптопите на програмистите работят с часове с достъп до изходен код, идентификационни данни и производствени системи. Numbat, нашият пакет за сигурност на агенти с отворен код, добавя независим слой, който се намира извън всеки отделен агент. Той работи с harness като Claude Code, Codex, OpenCode и Pi, блокира опасни действия, преди те да стартират, маркира подозрителни многостъпкови последователности като четене на тайна и след това изпращане на данни навън, и запазва времевите линии на сесиите за разследване. Numbat работи в хиляди крайни точки на Perplexity заедно с Bumblebee, нашия скенер за веригата за доставки с отворен код. Computer редовно преглежда техните открития и предлага подобрени правила за откриване, а човек одобрява всяка промяна, преди тя да бъде пусната.

Задача за цялата индустрия

Тъй като AI агентите стават все по-способни и широко използвани, инженерството по сигурността трябва да остане централно за тяхното развитие и внедряване. Изследователите и инженерите могат да надграждат върху установени принципи, да използват констатации от реалния свят за усъвършенстване на защитите и да тестват защитни механизми в средите, в които агентите работят. Сигурността е постоянна инженерна дисциплина, която се развива заедно с технологията.

Инженерството по сигурността за агенти е задача за цялата индустрия. Нито една компания не контролира пълния стек, на който работи агентът. Разработчиците на модели, създателите на harness, доставчиците на sandbox и среди за изпълнение, доставчиците на облачни услуги и хардуер и екипите по сигурността на предприятията притежават по един слой. Безопасността на цялото зависи от това всеки слой да издържи, когато друг се подхлъзне. Ето защо изграждаме защитни механизми, които работят през различни harness на агенти и предоставяме нашите инструменти като отворен код. Това е и причината да разкриваме слабостите, които откриваме в други платформи, и да участваме в инициативи като Open Secure AI Alliance.

За да работи с по-широката общност по тези предизвикателства, Perplexity стартира Secure Intelligence Institute през март 2026 г., за да изследва сигурността, надеждността и практическата защита на авангардни AI системи (Perplexity). В момента Perplexity си сътрудничи и/или финансира академични изследователи в Stanford, CMU, Duke, Columbia, Ohio State и University of Virginia. Ние също така провеждаме вътрешни изследвания, за да преместим границите на изследванията на сигурността на агентите, да преведем тези постижения в конкретни подобрения в системите на Perplexity и да споделим знания и ресурси, които спомагат за укрепването на по-широката AI екосистема. По-безопасните агенти са нещо, което индустрията може да проектира. Възнамеряваме да продължим да правим своя принос и каним други да градят с нас.