Saugesnių DI naršyklių kūrimas su „BrowseSafe“

„BrowseSafe“ – tai mūsų atviras aptikimo modelis ir etalonas, skirtas gaudyti kenksmingas instrukcijas, paslėptas tinklalapiuose.

Šiandien išleidžiame BrowseSafe – atvirą mokslinių tyrimų etaloną ir turinio aptikimo modelį, skirtą užtikrinti naudotojų saugumą naršant agentiniame saityne.

AI asistentams persikeliant iš paieškos laukelių tiesiai į naršyklę, tikimės, kad naujos kartos saitynas pereis nuo puslapių prie agentų: bus mažiau svarbu, kur yra informacija, ir daugiau – kas ją randa ir su ja veikia. „Comet“ paverčia naršyklę vieta, kur asistentas gali atlikti užduotis, o ne tik atsakinėti į klausimus, todėl vienas principas yra nekeičiamas: jis privalo išlikti vartotojo pusėje.

„BrowseSafe“: apsaugokite agentus ir vartotojus vykdydami turinio nuskaitymą realiuoju laiku

„BrowseSafe“ yra aptikimo modelis, patobulintas atsakyti į vieną konkretų klausimą: ar puslapio HTML yra kenksmingų instrukcijų, skirtų agentui? Dideli bendrosios paskirties modeliai gerai orientuojasi tokiuose atvejuose, tačiau jie dažnai yra per lėti ir brangūs, kad būtų paleidžiami kiekviename puslapyje. „BrowseSafe“ realiuoju laiku nuskaito visus tinklalapius nesulėtindama naršyklės. Taip pat išleidžiame vertinimo rinkinį „BrowseSafe-Bench“ kaip išteklių gynybos veiksmingumui vertinti ir gerinti.

Pasitikėjimo ribos ir daugiapakopė gynyba

Tačiau naujos kartos dirbtinio intelekto naršymas taip pat reiškia naujos kartos kibernetinio saugumo grėsmes, kurioms reikia naujoviškų požiūrių į naudotojų saugumą. Ankstesniame įraše aptarėme, kaip „Comet“ naudoja kelis apsaugos sluoksnius, kad asistentas vykdytų tai, ko paprašė naudotojas, net kai svetainė bando jį užvaldyti naudodama užklausų injekciją (angl. prompt injection). Šiandien atidžiau nagrinėjame, kaip sprendžiame šią problemą: kaip šios grėsmes yra apibrėžiamos, išbandomos su realiomis atakos ir naudojamos specializuotiems modeliams, galintiems pakankamai greitai pastebėti ir sustabdyti blogas instrukcijas, kad jos saugiai veiktų naršyklėje, mokyti.

Kaip veikia naršyklės užklausų injekcijos

Užklausų injekcija (angl. prompt injection) – tai kenksminga kalba, įterpta į tekstą, kurį skaito AI ir kuri skirta jo pradinei paskirčiai perrašyti. Naršyklėje agentai skaito visus puslapius, todėl atakos gali pasislėpti tokiose vietose kaip komentarai, šablonai ar ilgos paraštės.

Užpuolikai naudoja šias vietas slapta nukreipimui. Kadangi jis perskaito viską, įskaitant turinį, kurio dauguma žmonių niekada nepastebi, šie pranešimai gali perimti elgseną be stiprių apsaugos priemonių.

Šios atakos dažnai vengia akivaizdžių frazių ir gali būti parašytos šlifuotu arba daugiakalbiu tekstu, arba įdėtos į HTML elementus, kurie niekada nepasirodo ekrane, pvz., duomenų atributus arba formų laukus, kurių naršyklės vizualiai nerodo, bet agentai vis tiek perskaito.

„BrowseSafe-Bench“: agentų saugumo didinimas realiose aplinkose

Kad ištirtume šias atakas aplinkoje, kuri primena tikrąjį saityną, sukūrėme BrowseSafe – aptikimo modelį, kurį išmokėme ir padarėme atvirojo kodo, bei BrowseSafe-Bench – viešą 14 719 pavyzdžių etaloną, imituojantį gamybinius puslapius. Jame yra sudėtingas HTML, triukšmingas turinys ir kenksmingų bei nekenksmingų pavyzdžių mišinys, kurie skiriasi trimis ašimis: ką užpuolikas bando padaryti, kur puslapyje yra instrukcija ir kaip parašyta kalba.

Etalone yra 11 atakos tipų, devynios injekcijos strategijos, apimančios nuo paslėptų laukų iki matomų pastraipų ir poraštčių, bei trys lingvistiniai stiliai – nuo aiškių komandų iki netiesioginio, užmaskuoto teksto.

Gynyba gylio principu

Mūsų grėsmių modelyje pats asistentas gyvena patikimoje aplinkoje, tačiau viskas, kas gaunama iš saityno, yra nepatikima. Užpuolikai gali valdyti visas svetaines arba tiesiog įterpti turinį, pvz., produktų aprašymus, komentarus ir įrašus į kitu atveju gerybinius puslapius, kuriuos lanko asistentas. Siekiant suvaldyti šią riziką, įrankiai, kurie gali pateikti nepatikimą turinį, pavyzdžiui, tinklalapius, el. laiškus ar failus, yra pažymėti, o jų neapdorotus rezultatus visada nuskaito „BrowseSafe“, prieš asistentui perskaitant ar atliekant veiksmus su jais.

„BrowseSafe“ yra vienas iš platesnio gynybos požiūrio sluoksnių. Neapdorotas turinys nuskaitomas prieš naudojimą, įrankių leidimai pagal numatylejius nustatymus yra ribojami, o jautriems veiksmams gali reikėti aiškiojo naudotojo patvirtinimo, ir visa tai pridedama prie esamų naršyklės saugumo funkcijų. Gynyba gylio principu leidžia naudotojams naudoti galingus naršyklės asistentus neaukojant saugumo dėl galimybių.

Kas turi įtakos atakos veiksmingumui?

„BrowseSafe-Bench“ vertinimo rezultatai rodo aiškius dėsningumus. Tiesioginės atakos, pvz., prašymas asistentui atskleisti savo sistemos užklausą arba nusavinti informaciją per URL segmentus, yra vienos lengviausiai pagaunamų modeliams. Priešingai, daugiakalbės atakos ir tos, kurios parašytos kaip netiesioginės ar hipotetinės instrukcijos, yra kur kas sudėtingesnės, nes jose vengiamų akivaizdžių raktinių žodžių, kuriais netiesiogiai remiasi daugelis detektorių.

Vieta taip pat svarbi. Komentuose paslėptos atakos aptinkamos palyginti gerai, o versijos, perrašytos į matomas poraštes, lentelių langelius ar teksto pastraipas, pasirodo esančios daug sudėtingesnės, o tai atskleidžia struktūrinį polinkį į „paslėptas“ injekcijas. Atidus mokymas naudojant gerai suprojektuotus pavyzdžius gali gerai patobulinti modelių gebėjimą aptikti šiuos dėsningumus.

Sukurkite saugesnius agentus su „BrowseSafe“

„BrowseSafe“ ir „BrowseSafe-Bench“ yra visiškai atvirojo kodo. Bet kuris kūrėjas, kuriantis autonominius agentus, gali nedelsdamas apsaugoti savo sistemas nuo užklausų injekcijų – nereikia nuo nulio kurti saugos apsaugos priemonių. Atvirojo svorio aptikimo modelis veikia vietoje ir pažymi kenksmingas instrukcijas, kol jos nepasiekia pagrindinės jūsų agento logikos, pakankamai greitai, kad nuskaitytų kiekvieną puslapį neletindamas naudotojų.

Naudokite „BrowseSafe-Bench“ daugiau nei 14 000 realaus pasaulio atakos scenarijų, kad atliktumėte stresinį testą savo modeliams su netvarkingais HTML spąstais, kurie pažeidžia standartinius LLM. Mūsų dalijimo į dalis ir lygiagrečiojo nuskaitymo technikos leidžia agentams efektyviai apdoroti didžiulius, nepatikimus puslapius – galingos naršyklės galimybės neeksponuojant naudotojų pavojui.Norėdami sužinoti daugiau apie tai, kaip sukūrėme „BrowseSafe“ ir „BrowseSafe-Bench“, apsilankykite „Perplexity Research“ tinklaraštyje.