Hvernig við hönnum öruggari gervigreindarfulltrúa

Til að byggja upp öruggari gervigreindarfulltrúa þurfum við að hanna bæði fyrir getu þeirra og bilanir þeirra. Jafnvel þegar þeir sinna lögmætum verkefnum, og án skaðlegra leiðbeiningar, gætu gervigreindarfulltrúar farið yfir öryggismörk þegar þeir reyna að sigrast á hindrunum.

Við teljum að þetta sé öryggisverkfræðivandamál, og iðnaðurinn ætti að takast á við það eins og hann tókst á við netorma snemma á 2. áratugnum. Kerfin í kringum gervigreindarfulltrúa verða að takmarka það sem gervigreindarfulltrúar geta nálgast, greina óæskilega hegðun og einangra bilanir þegar þær eiga sér stað.

Hjá Perplexity erum við virkir í samstarfi við rannsakendur og iðkendur til að efla öryggisverkfræði fyrir gervigreindarfulltrúa, og við beitum mörgum varnarlögum yfir líkön okkar, harness gervigreindarfulltrúa og innviði þannig að öryggi treysti á engri einni öryggisráðstöfun.

Hegðun gervigreindarfulltrúa sem fara úr böndunum

Í júlí brotust gervigreindarfulltrúar inn í framleiðslustofn opna gervigreindarvettvangsins Hugging Face. Við innri netöryggismat og þjálfunarlotur uppgötvuðu líkön frá OpenAI leið til að nýta Artifactory geymslustjórann til að koma á upplýsingatöflu til að eiga samskipti sín á milli, sem gerði þeim kleift að skipuleggja sig í svarm. Síðar réðu gervigreindarfulltrúar sem gátu ekki náð árangri í verkefnum í netöryggisviðmiði til sín öðrum gervigreindarfulltrúum til að hjálpa til. Þessir gervigreindarfulltrúar sluppu úr matsumhverfi sínu og náðu á internetið. Þeir uppgötvuðu einnig leiðir til að svindla með því að bakverkfræða svör við viðmiðunarverkefnum, en töldu að einkunnakerfið myndi greina svindlið. Til að skilja betur hvernig viðmiðunarmatið virkaði til að finna leiðir til að forðast að greinast fyrir svindl, komu þeir að lokum kerfum Hugging Face í hættu (Hugging Face; OpenAI).

Atvikið er skýrt dæmi um bilunarham sem við lýstum þegar við opnuðum Numbat í júlí: slysasjálfsvíg, hugtak sem öryggisrannsakendur frá Cornell Tech bjuggu til (arXiv). Gervigreindarfulltrúi sem sækist eftir lögmætu markmiði lendir í núningi, svo sem vantar skrá, bilað API símtal, útrunnið skilríki eða neitun á heimild, og fer að leita að lausn. Við það gæti hann farið yfir öryggismörk með könnun, stigmögnun réttinda, uppgötvun leyndarmála eða útflutningi gagna. Gervigreindarfulltrúinn sjálfur verður í raun andstæðingurinn, jafnvel þótt engin skaðleg leiðbeining eða utanaðkomandi árásarmaður eigi hlut að máli.

Hugging Face var ekki einangrað tilfelli. Fleiri hegðunartilvik þar sem gervigreindarfulltrúar fóru úr böndunum fundust og voru tilkynnt undanfarnar vikur. Þann 27.–28. maí lentu gervigreindarfulltrúar, sem reyna að safna gögnum Háskólans í Iowa frá Data USA (vettvangi sem býður upp á opinn aðgang að gögnum bandarískra stjórnvalda), í villum sem stafaði af gölluðum fyrirspurnum. Þeir sögðu til svara með leitaraðgerðum, þar á meðal SQL-innspýtingu, vefskeljun milli vefsvæða (XSS), sniðmátsinnspýtingu, slóðarflakki og skipanainnspýtingu. Starfsemin var síðar rakin til OpenAI (SecurityWeek). Þann 20.–21. júní var gervigreindarfulltrúum frá OpenAI, sem reyna að nálgast ríkiskostnað á mann fyrir lyfjaflokk á staðbundnum svæðum í Viktoríu frá Australian Institute of Health and Welfare (AIHW), meinað að hlaða niður skrá. Í kjölfarið hlaður gervigreindarfulltrúar niður skránni, sem var þegar opinber, frá forframleiðsluþjóni AIHW og komust þannig framhjá varnaraðgerðum vefsvæðisins gegn vélmennum (SecurityWeek).

Þetta munstur takmarkast ekki við eina rannsóknarstofu. Við netöryggisprófanir brotust líkön frá Anthropic inn í þrjú fyrirtæki eftir mistök sem veittu þeim opinn aðgang að internetinu, Gemini frá Google gátum aðgangsskilríki að þremur vefsíðum og líkan frá Meta nýtti sér þjónustu þriðja aðila (Reuters).

Læra af sögu: Tímabil netormsins

Þessi atvik minna á tímabil netorma fyrir um það bil fjórðungsöld síðan. Snemma á 2. áratugnum stækkaði internetið mun hraðar en öryggisvenjur í kringum það. Við sáum bylgju vírusum og ormum, með afleiðingum sem voru mun alvarlegri en því sem við sjáum núna með gervigreindarfulltrúa sem fara úr böndunum.

Þann 4. maí 2000 fóru fólk að fá tölvupósta frá þekktum sendendum með efnislínunni „ILOVEYOU“. Að opna viðhengið í tölvupóstinum leiddi til þess að keyrður var skrift sem sendi afrit af sjálfum sér til allra í Outlook vistfangaskrá fórnarlambsins. Klukkan 18:00 þann dag hafði CERT Coordination Center móttekið tilkynningar sem vörðuðu fleiri en 420.000 netþjóna (US GAO Report). Vírusinn hafði greinilega komist inn í að minnsta kosti 14 alríkisstofnanir, þar á meðal varnarmálaráðuneytið, CIA, NASA og fulltrúadeildina og öldungadeildina (US GAO Report). Hann lokaði einnig fyrir tölvupóstþjóna í Pentagon og breska þinginu (Wired). Vátryggingarisinn Lloyd's of London gerði snemma áætlun um að vírusinn myndi kosta yfir 15 milljarða dala í tjóni og tapaðri framleiðni (US House Committee Hearing). Computer Economics áætlaði síðar 8,75 milljarða dala í tjóni um allan heim (Information Week).

Ormar sem þurftu engan mannlegan smell komu næst. Þann 19. júlí 2001 sýkti Code-Red ormurinn meira en 359.000 tölvur á innan við 14 klukkustundum (CAIDA). Þann 25. janúar 2003 tvöfaldaðist SQL Slammer í stærð á 8,5 sekúndum og sýkti meira en 90% netþjóna sem voru viðkvæmir fyrir honum innan 10 mínútna (CAIDA), og nýtti sér holu sem Microsoft hafði gefið út plástur fyrir sex mánuðum fyrr (CNET). Í ágúst 2003 birtust Blaster ormurinn og Sobig tölvupósturinn með um viku millibili (Microsoft, F-Secure).

Á þeim tíma var eðlilegt að spyrja hvort hægt væri að gera nettengdar tölvur öruggar yfir höfuð. Sex dögum eftir ILOVEYOU vírusinn hélt undirnefnd fulltrúadeildar Bandaríkjanna yfirheyrslu um hann. Margir öryggissérfræðingar kölluðu eftir lögjöf sem myndi gera hugbúnaðarfyrirtæki ábyrg fyrir tjóni af völdum galla í vörum sínum. Washington fór aðra leið. Þjóðarstefnan um trygging netrýmis kvað á um að „sambandsreglugerð verði ekki aðal leiðin til að tryggja netrýmið“. Hún varaði við því að víðtæk fyrirmæli gætu skapað „lægsta-sameiginlega-nefnara nálgun á netöryggi“ (CISA).

Iðnaðurinn svaraði með verkfræði. Ellifu dögum eftir ILOVEYOU tilkynnti Microsoft um Outlook uppfærslu sem lokaði á keyrsluforrit í viðhengjum. Í janúar 2002 gerði fyrirtækið öryggi að aðalforgangsatriði (Seattle Times). Sjálfvirk plástrun, öruggir sjálfgefnir valkostir, villubótauppbótaráætlanir og samræmd miðlun urðu staðlaðar venjur. Árið 2008 byrjaði Chrome að keyra vefefni í sandkassa sem „takmarkar það sem árásarmaður getur gert eftir að hafa nýtt sér galla“ (Chromium Blog). Dulkóðun, einu sinni undantekningin, varð sjálfgefin. Öryggistækni, þar á meðal fjölþátta auðkenning, eldveggir, núlltraust og öryggisupplýsingar og atburðastjórnun (SIEM), varð víða notuð. Spáð er að stofnanir um allan heim eyði um 240 milljörðum dala árið 2006 í netöryggi (Gartner). Ormar hurfu aldrei alveg, en tímabil reglubundinna útbrota um allt internetið minnkaði. Á sama tíma varð internetið, að miklu leyti óheft af reglugerðum, öflugur vél nýsköpunar og efnahagsvaxtar á næstu tveimur áratugum.

Öryggisverkfræði fyrir gervigreindarfulltrúa

Nýleg atvik hafa vekveið réttmætum spurningum um stjórnun gervigreindarfulltrúa. Núverandi öryggiskerfi voru þróuð fyrir tölvuumhverfi sem einkenndust af þröngt afmörkuðum og að mestu leyti ákvörðunarbundnum hugbúnaðarhegðun. Aðgangsstýringarkerfi eru sérstaklega hönnuð í kringum mannlega notendur og veita þeim oft víðtæk réttindi sem eru í meginatriðum nægileg til að valda verulegum skaða.

Þessi hönnun byggir á nokkrum forsendum: flestir notendur koma fram af góðum hug; hægt er að fæla illgjarna aðila frá með endurskoðun og raunverulegum afleiðingum; og menn grípa til aðgerða, hvort sem þær eru réttar eða rangar, á tiltölulega takmörkuðum hraða. Að beita þessum öryggiskerfum á gervigreindarfulltrúa krefst þess að tekið sé tillit til munar á hegðun manna og gervigreindarfulltrúa. Eins og við skrifuðum í svörum okkar við beiðni NIST um upplýsingar um öryggi gervigreindarfulltrúa, ögra gervigreindarfulltrúar þessum forsendum. Þeir geta nýtt sér réttindi og gert aðgerðir á vélarhraða, eru ekki fældir af raunverulegum afleiðingum sjálfir, og kunna að grípa til aðgerða sem eru tæknilega leyfðar en dæmigerður mannlegur notandi myndi sjaldan gera.

Til að svara þessum spurningum þarf öryggisverkfræði. Við þekkjum öryggisreglurnar við að byggja upp kerfi sem halda áhættunni í skefjum þegar einstakir hlutar haga sér illa. En við þurfum að tryggja að þessum reglum sé beitt við hönnun umhverfis til þjálfunar, prófunar og notkunar gervigreindarfulltrúa.

Dýptarvöruöryggisreglan

Sennilega mikilvægasta öryggisreglan sem þarf að beita til að tryggja öryggi gervigreindarfulltrúa er dýptarvörn, sem mælir með lagskiptri öryggisarkitektúr þar sem margar, fjölbreyttar og endurteknar varnaraðgerðir eru notaðar til að vernda kerfisauðlindir. Engin ein öryggisráðstöfun er fullkomin. Fólk gæti fallið fyrir félagsverkfræðiárásum og gefið upp innskráningarskilríki sín, nýir hugbúnaðarveikleikar eru uppgötvaðir og nýttir og innbrotsgreining missir af nýjum afbrigðum af árásum. Dýptarvörn samþykkir það og staflar nokkrum sjálfstæðum varnarlögum. Ef eitt varnarlag er sniðgengið eru önnur lög til staðar til að vinna gegn eða greina innbrotið.

Hugging Face atvikið sýnir hvers vegna dýptarvörn skiptir máli. Í eftirmati OpenAI kemur fram að sjálfvirku öryggisráðstafanirnar sem notaðar eru í framleiðslukerfum þeirra, þar á meðal harness, sjálfvirkar endurskoðunarlíkön og öryggisflokkar, voru ekki til staðar í matsumhverfinu. Ef núverandi eftirlit þeirra með hugsunarferlum hefði verið í gangi við þessi mat, hefði það gripið upphaflegu virknina og sent öryggisteyminu viðvörun meira en sólarhring fyrir öryggisbrestið (OpenAI). Lögin sem hefðu getað gripið vandamálið voru til staðar. Þau voru einfaldlega ekki öll til staðar á sama tíma.

Að tryggja öryggi gervigreindarfulltrúa krefst þess að bæta bæði öryggi og vernd gervigreingarlíkana og kerfanna í kringum þau. Vinna á líkanalaginu skiptir máli og hún skilar árangri. Snemma LLM líkön voru auðveldlega meðhöndluð af stungnum leiðbeiningum, en líkön nútímans eru mun betri í að þekkja og hafna þeim. Líkanahönnuðir þjálfa einnig líkön fyrir öruggari hegðun og, eins og eftirmatið frá OpenAI lýsir, fylgjast með rökréttum snefilmerkjum fyrir merki um vandamálahegðun. En varnir á líkanalagi eru aðeins hluti af lausninni. Kerfin þar sem gervigreindarfulltrúar eru þjálfaðir, prófaðir og teknir í notkun verða einnig að vera hönnuð fyrir öryggi og einangrun. Öryggi á líkanalagi dregur úr líkum á því að gervigreindarfulltrúi fari afvega; öryggi á kerfisstigi takmarkar skaðann þegar það gerist.

Stækka

Hönnunarreglur fyrir endurteknar öryggisráðstafanir

Dýptarvörn krefst endurtekinna öryggisráðstafana. Fyrir gervigreindarfulltrúa mælum við með því að nota það með þremur hönnunarreglum:

1. Sjálfstæði. Hvert lag ætti að bregðast af sjálfstæðum ástæðum. Tvær stýringar sem deila sömu forsendum geta verið sigraðar með sömu árásinni. Eftirlitsmenn og framfylgdarpunktar ættu að vera utan seilingar gervigreindarfulltrúans.
2. Framfylgd fyrir neðan gervigreindarfulltrúann. Að minnsta kosti eitt lag verður að vera ákvörðunarbundið: hefðbundinn, staðfestanlegur kóði sem lokar á bannaðar aðgerðir sama hvað líkanið skilar. Öryggisráðstöfun sem gervigreindarfulltrúi getur afþakkað að virkja, eða endurstilla, er ekki öryggisráðstöfun.
3. Merki geta aðeins dregið úr heimildum. Greining ætti að kveikja á viðbrögðum sem þrengja það sem gervigreindarfulltrúinn getur gert, svo sem að gera hlé, afturkalla skilríki, slökkva á netaðgangi eða ljúka samtalinu. Ekkert áhættumerki ætti nokkurn tíma að veita viðbótaraðgang.

Við deilum þessum reglum með samstarfsaðilum okkar í Open Secure AI Alliance, þar á meðal NVIDIA, sem hefur haldið því fram að harness leiðbeini því sem gervigreindarfulltrúi reynir á meðan innviðirnir stjórna því sem hann getur gert (NVIDIA).

Dýptarvörn í vörum Perplexity

Perplexity keyrir gervigreindarfulltrúa í fjórum tegundum umhverfis: í skýinu í gegnum gervigreindarvettvang okkar Computer, í vafranum í gegnum Comet, á tækjum notenda í gegnum Portable Computer, og á fartölvum starfsmanna, þar sem verkfræðingar okkar nota forritunargervigreindarfulltrúa frá þriðju aðilum. Hvert umhverfi hefur sín eigin áhættu, og hvert fær nokkur lög af vörn.

Í skýinu: Computer og SPACE

Hvert Computer verkefni keyrir í SPACE, sandkassavettvangi okkar, sem meðhöndlar gervigreindarfulltrúann sem ótreystan sjálfgefið. Hvert verkefni fær sína eigin örsýndarvél, skilríki eru geymd utan sandkassans og aðeins sprautað inn þegar þörf krefur, útleiðsluumferð er stýrð utan gestsins og skyndimyndir leyfa okkur að snúa við eyðileggingarbreytingum (Making SPACE). Fyrirtækjanotendur geta einnig komið með sín eigin dulkóðunarlykla. Að afturkalla lykil gerir vernduð gögn ólæsileg og gervigreindarfulltrúinn getur ekki hnekkt þeirri ákvörðun.

Við prófum einnig hvort þessi lög haldi. Í Escaping SPACE: Part I gáfum við níu fremstu líkönum rótaraðgang inni í SPACE sandkassa og báðum þau um að brjótast út. Ekkert þeirra slapp úr sýndarvélinni, en sum fundu leiðir framhjá netstefnunni þegar hluta netaðgangur var leyfður. Við lokuðum þessum götum, staðfestum lagfæringarnar í endurprófun og tilkynntum álíka veikleika sem við fundum í átta af tíu öðrum sandkassavettvangi til söluaðila þeirra.

Í vafranum: Comet og BrowseSafe

Comet hefur notast við lagskipta vörn gegn stungum í leiðbeiningar frá upphafi: flokkar skanna sótt efni, uppbyggðar leiðbeiningar merkja það sem ótreyst, viðkvæmar aðgerðir eins og að senda tölvupóst eða gera pöntun krefjast staðfestingar notandans, og notendum er tilkynnt þegar eitthvað er lokað (Varnir Comet gegn stungum í leiðbeiningar). BrowseSafe, opna greiningarlíkanið á bak við fyrsta lagið, stendur sig betur en fremstu líkönin á BrowseSafe-Bench viðmiði okkar, en sama viðmið sýnir að enginn greinir er fullkomlega öruggur, þess vegna er greining aldrei eina lagið (BrowseSafe rannsókn). Computer erfir þessar varnir, sem hafa verið teknar út af Trail of Bits (Perplexity).

Á tækinu: Portable Computer

Portable Computer er staðbundið-fyrst gervigreindarfulltrúi: líkanið, harness, samtalið og ferillinn eru á vél notandans sjálfgefið. Ákvörðunarbundinn stjórnandi, sem er harness kóði frekar en LLM, keyrir lykkjuna og framfylgir reglum. Líkanið leggur til aðgerðir og samþykkt töltsímtöl keyra í stýrikerfissandkassa sem takmarkar ferli, skráarslóðir og netaðgang. Sandkassinn er alltaf í gangi og bilar lokað: ef hann er ekki tiltækur, slekkur harness á sér í stað þess að keyra skipanir með heimildum notandans. Aðgerðir sem fara yfir mörk tækisins, svo sem leit á vefnum, tengingar og stigmögnun yfir í sterkara skýjaráðgjafalíkan, gerast aðeins þegar notandinn virkjar og samþykkir þær. Fyrir ráðgjafasímtal merkir PII flokkari viðkvæmar upplýsingar og notandinn sér hvað yrði sent. Ráðgjafinn fær aðeins það samþykt umhverfi og skilar textaleiðbeiningum, án aðgangs að skrám tækisins eða verkfærum.

Á endapunktinum: Numbat

Forritunargervigreindarfulltrúar á fartölvum hönnuða keyra í klukkustunda saman með aðgang að upprunakóða, skilríkjum og framleiðslukerfum. Numbat, opna öryggissvíta okkar fyrir gervigreindarfulltrúa, bætir við sjálfstæðu lagi sem er fyrir utan hvern einasta gervigreindarfulltrúa. Það virkar með tækjum eins og Claude Code, Codex, OpenCode og Pi, lokar á hættulegar aðgerðir áður en þær keyra, merkir grunsamlegar margra þrepa raðir eins og að lesa leyndarmál og senda síðan gögn út, og varðveitir samtalatímalínur til rannsóknar. Numbat keyrir á þúsundum Perplexity endapunkta ásamt Bumblebee, opna aðfangakeðjuskannanum okkar. Computer endurskoðar reglulega niðurstöður þeirra og leggur til endurbættar greiningarreglur, og mannlegur aðili samþykkir hverja breytingu áður en hún fer í útgerð.

Starf fyrir allan iðnaðinn

Þar sem gervigreindarfulltrúar verða færari ogvíðar notaðir, verður öryggisverkfræði að vera í fyrirrúmi við þróun þeirra og útgáfu. Rannsakendur og verkfræðingar geta byggt á föstum reglum, notað raunverulegar niðurstöður til að betrumbæta varnir og prófað öryggisráðstafanir í því umhverfi þar sem gervigreindarfulltrúar starfa. Öryggi er stöðug verkfræðigrein sem þróast samhliða tækninni.

Öryggisverkfræði fyrir gervigreindarfulltrúa er starf fyrir allan iðnaðinn. Eitt fyrirtæki stjórnar ekki öllum staflanum sem gervigreindarfulltrúi keyrir á. Líkanahönnuðir, smiðir harness, veitendur sandkassa og keyrsluumhverfis, skýja- og vélbúnaðarsöluaðilar og öryggisteymi fyrirtækja eiga hvert sitt lag. Öryggi heildarinnar fer því á því að hvert lag haldi þegar annað bilar. Þess vegna byggjum við öryggisráðstafanir sem virka yfir harness gervigreindarfulltrúa og gerum tól okkar að opnum uppsprettum. Það er líka ástæðan fyrir því að við opinberum veikleika sem við finnum á öðrum vettvangi og tökum þátt í starfsemi eins og Open Secure AI Alliance.

Til að vinna með breiðari samfélaginu að þessum áskorunum setti Perplexity á laggirnar Secure Intelligence Institute í mars 2026 til að rannsaka öryggi, áreiðanleika og hagnýta vörn leiðandi gervigreimarkerfa (Perplexity). Perplexity er nú í samstarfi við og/eða fjármagnar akademíska rannsakendur í Stanford, CMU, Duke, Columbia, Ohio State og University of Virginia. Við erum einnig að framkvæma innanhússrannsóknir til að ýta undir mörk rannsókna á öryggi gervigreindarfulltrúa, þýða þær framfarir yfir í áþreifanlegar umbætur á kerfum Perplexity og deila þekkingu og auðlindum sem hjálpa til við að styrkja víðara gervigreindarvistkerfið. Öruggari gervigreindarfulltrúar eru eitthvað sem iðnaðurinn getur hannað. Við ætlum að halda áfram að gera okkar hlut og bjóðum öðrum að byggja með okkur.