Hvað er öryggi stórra mállíkana? Svona dregur þú úr 10 helstu öryggisáhættunum samkvæmt OWASP

Árás sem blekkir gervigreind til að meðhöndla fyrirmæli árásaraðila sem skipanir – fyrirmælainnspýting (e. prompt injection) – hefur verið í 1. sæti á listanum OWASP Top 10 for LLM Applications í hverri útgáfu frá árinu 2023.

Listinn kemst eins nálægt samstöðu og hægt er í gervigreindaröryggi. Verkefnið hófst sem lítill hópur sérfræðinga í öryggismálum og byggir nú á framlagi meira en 600 sérfræðinga í yfir 18 löndum.

Við erum gervigreindarfyrirtæki sem gefur út leiðarvísi um það hvernig hægt er að tala gervigreind til, svo við ætlum ekki að láta eins og vandinn sé leystur. Wilson, sem er annar af leiðtogum OWASP-verkefnisins, talaði skýrt um núverandi varnir: „... satt best að segja held ég að við séum ekki komin upp í 99%.“

Útgáfan 2026 hefst á sömu nótum. Verkefnisstjórinn segir okkur að „hætta að reyna að smíða líkan sem ekki er hægt að blekkja“ og að hanna kerfið í kringum það þannig að blekkt líkan geti ekki skemmt neitt mikilvægt.

Við nálgumst allar 10 áhætturnar á lista OWASP fyrir 2026 út frá þeirri afstöðu.

Hvað felst í LLM-öryggi?

LLM-öryggi snýst um að verja gervigreindarlíkön og forritin sem nota þau gegn árásum og misnotkun. Áhættan eykst eftir því hverju líkanið er tengt: skránum og gögnunum sem það getur lesið og tólunum sem það getur notað, svo sem tölvupósti, leit eða gagnagrunni fyrirtækis.

Í hugbúnaði sem er rétt varinn eru skörp skil á milli fyrirmælanna sem forrit fylgir og upplýsinganna sem það vinnur úr. En stór mállíkön hafa engin slík skil.

Allt sem líkanið les berst sem einn samfelldur textastraumur: fyrirmæli forritarans, spurningin þín, vefsíða sem það fletti upp. Gervigreindarlíkön eiga að halda utan um hver er að tala, hvort sem það er forritarinn, notandinn eða líkanið sjálft að hugsa sig í gegnum vandamál.

En rannsakendurnir Jasmine Cui og Charles Ye komust að því að líkön giska að mestu á hver er að tala út frá því hvernig textinn hljómar. Ef árásaraðili skrifar eitthvað sem hljómar eins og röksemdafærsla líkansins sjálfs getur líkanið því talið að hugmyndin sé frá því sjálfu komin. Það er vandamál fyrir allar öryggisráðstafanir sem byggja á því að líkanið viti hver ræður.

Við höfum rekist á sama vandamál með okkar eigin gervigreindarfulltrúa. Kyle Polley, yfirmaður upplýsingaöryggis hjá okkur, sagði ISMG að gervigreindarfulltrúar „fylgi hugsanlega ekki reglum jafnvel þótt þeim sé bætt við kerfisfyrirmælin“. Þess vegna smíðuðum við Numbat, tól með opnum frumkóða sem kannar hvað gervigreindarfulltrúi er í þann mund að gera og getur stöðvað aðgerðina ef hún brýtur gegn skilgreindri öryggisreglu.

LLM-öryggi felst í því að sætta sig við að líkanið taki stundum við skipunum frá röngum aðila og byggja varnargirðingar fyrir gervigreind í kringum það sem halda samt þegar það gerist.

Hverjar eru bestu starfsvenjurnar í LLM-öryggi?

Við förum yfir OWASP Top 10 for LLM Applications 2026 í réttri röð, frá nr. 1 til nr. 10.

Fyrir hverja áhættu færðu einfalda útskýringu á því hvernig hlutirnir fara úrskeiðis og raunverulegt dæmi. Síðan förum við yfir starfsvenjur sem geta hjálpað til við að koma í veg fyrir hana eða að minnsta kosti takmarkað skaðann.

1. Haltu fyrirmælainnspýtingu í skefjum

Fyrirmælainnspýting á sér stað þegar árásaraðili fær gervigreind til að fylgja fyrirmælum sem hún ætti ekki að fylgja. Þessi fyrirmæli geta borist beint í spjalli eða verið falin í tölvupósti, vefsíðu eða skjali.

Seinni gerðin kallast óbein fyrirmælainnspýting. Þú biður aðstoðarforritið þitt að taka saman skjal. Höfundar skjalsins hafa sagt aðstoðarforritinu að senda þeim einkaskrárnar þínar. Ef aðstoðarforritið fylgir þeim fyrirmælum hefur sá sem skrifaði skjalið í raun fengið aðganginn þinn að láni.

PCMag líkir öryggi fyrirmæla við að stoppa í göt á gljúpum steini. Þú þéttir eitt op og vatnið finnur annað. „Árás finnur sér leið í gegn; glufunni er lokað, en ótal aðrar árásarleiðir eiga enn eftir að uppgötvast, einfaldlega vegna þess hve kvik kerfi á borð við stór mállíkön eru.“

Dæmi: Í júní 2025 fundu rannsakendur hjá Aim Security EchoLeak, galla sem blekkti Microsoft 365 Copilot til að leka trúnaðarupplýsingum fyrirtækja. Þegar starfsmaður spurði hefðbundinnar vinnutengdrar spurningar gat Copilot sótt tölvupóstinn, fylgt fyrirmælunum sem voru falin í honum og sent viðkvæmar upplýsingar til árásaraðilans. Árásin komst fram hjá eftirliti sem átti að grípa skaðleg fyrirmæli og fjarlægja grunsamlega tengla.

Hvað þú getur gert:

• Fylgdu „reglu tveggja“ frá Meta: EchoLeak þurfti gervigreind sem gat lesið gögn fyrirtækisins, lesið utanaðkomandi tölvupóst og sent upplýsingar út – og hún hafði alla þrjá eiginleikana. Ef hún er takmörkuð við tvo þeirra kemur það í veg fyrir að fyrirmælainnspýting nái of mikilli stjórn. Ef verkefnið krefst allra þriggja skaltu krefjast samþykkis manneskju fyrir hverja aðgerð.
• Prófaðu gegn árásaraðilum sem þekkja varnirnar þínar: Láttu öryggisprófurum þínum í té reglurnar og síurnar sem þú hefur komið upp og leyfðu þeim svo að finna leiðir fram hjá þeim. Í einni rannsókn tókst árásaraðilum sem löguðu sig að vörnunum ætlunarverk sitt í meira en 90% tilvika gegn flestum af þeim 12 vörnum sem prófaðar voru.

2. Komdu í veg fyrir leka viðkvæmra upplýsinga

Þegar gervigreindarkerfi láta fólki í té persónulegar upplýsingar sem það ætti ekki að sjá kallast það uppljóstrun viðkvæmra upplýsinga. Það gæti falið í sér að afhjúpa greiðsluupplýsingar viðskiptavinar eða skilja einkasamtöl eftir í sameiginlegum gagnagrunni.

Margir lekar hefjast með „ofdeilingu“. Segjum að fyrirtæki tengi gervigreindina sína við drif og þekkingargrunna með slökum heimildum. Gervigreindin sækir allt sem hún nær í, nákvæmlega eins og hún var hönnuð til. Enginn þarf að brjótast inn, en líta má svo á að brotist hafi verið inn í mállíkanið.

Dæmi: Í janúar 2025 fundu rannsakendur hjá Wiz gagnagrunn DeepSeek opinn öllum á netinu með meira en milljón annálsfærslum, þar á meðal spjallferli og API-lyklum, sem hugbúnaður notar til að fá aðgang að annarri þjónustu. Rannsakendurnir þurftu ekki að sannfæra líkanið um að afhjúpa neitt.

Hvað þú getur gert:

• Kannaðu aðgang áður en gervigreindin les gögnin: Forritið þitt ætti að kanna hvaða skjöl sá sem ber upp spurninguna hefur heimild til að sjá áður en þau eru send til líkansins.
• Verndaðu gögnin sem gervigreindin skilur eftir sig: Fjarlægðu persónuupplýsingar og leynilykla áður en virkniannálar eru vistaðir, krefstu innskráningar og takmarkaðu aðgang við þá sem þurfa á honum að halda. Settu varðveislutíma svo að þessar skrár safnist ekki upp endalaust.

3. Haltu óhóflegu sjálfræði í skefjum

Gervigreind með óhóflegt sjálfræði hefur meira vald en verkefni hennar krefjast: tól sem hún þarf ekki, heimildir sem ná út fyrir verkefnið eða frelsi til að athafna sig án eftirlits. Orsökin skiptir hér engu máli.

Innspýtt fyrirmæli, villa eða líkan sem einfaldlega misskilur leiða öll til sömu niðurstöðu. Gervigreindin mun á endanum gera eitthvað skaðlegt ef hún hefur getuna til þess.

Dæmi: Í júlí 2025 greindi Jason Lemkin, stofnandi SaaStr, frá því að forritunarfulltrúi Replit hefði eytt gagnagrunni hans með 1.206 færslum um stjórnendur, þrátt fyrir fyrirmæli um að gera engar breytingar. Gervigreindarfulltrúinn sagði í fyrstu að ekki væri hægt að endurheimta gögnin, en síðar kom í ljós að það var hægt. Jason komst að því að fyrirmæli um að láta gagnagrunninn í friði höfðu ekki svipt gervigreindarfulltrúann getunni til að eyða honum.

Stækka

Heimild: X

Hvað þú getur gert:

• Fjarlægðu getu sem verkefnið þarfnast ekki: Takmarkaðu bæði tólin sem gervigreindarfulltrúi fær og hvað þau tól geta gert. Aðstoðarforrit sem tekur saman tölvupósta þarf heimild til að lesa þá, ekki til að senda þá eða eyða þeim.
• Hafðu heimildaeftirlit utan gervigreindarinnar: Í hvert sinn sem beðið er um aðgerð skaltu láta kanna hana á móti öryggisreglunum þínum og krefjast samþykkis manneskju.

4. Kannaðu hvað berst inn í aðfangakeðju gervigreindarinnar

Fá fyrirtæki smíða gervigreind frá grunni og þeim fækkar með hverju ári. Samkvæmt könnun Menlo Ventures, 2025 The State of Generative AI in the Enterprise, keyptu 53% fyrirtækja gervigreindarlíkön árið 2024 og hlutfallið hækkaði í 76% árið 2025.

Oftar en ekki sækja fyrirtæki líkön af vefgáttum á borð við Hugging Face, þjálfa þau frekar á gagnasöfnum sem aðrir söfnuðu og bæta við viðbótum og kóðapökkum sem ókunnugir skrifuðu.

Hver og einn þessara hluta er leið inn. Ef átt er við einn þeirra fylgir vandinn með í vörunni þinni.

Dæmi: Opinberum líkanageymslum Hugging Face fjölgaði úr 2,43 milljónum í 2,96 milljónir frá janúar 2026 til ágúst 2026. Í júlí 2026 komust líkön OpenAI hins vegar fram hjá stýringum sem áttu að halda þeim frá netinu meðan á innri öryggisprófunum stóð og brutust inn í hluta af kerfum Hugging Face. Einn gervigreindarfulltrúi náði meira að segja í 14 opinberlega berskjölduð aðgangsauðkenni, kannaði hvort þau virkuðu og deildi þeim með öðrum gervigreindarfulltrúum. Gervigreindarfulltrúarnir nýttu sér síðan galla sem gerðu þeim kleift að keyra kóða á netþjónum Hugging Face.

„Við gerum strangari kröfur um samstillingu (e. alignment) allan líftíma líkans og búum til betur einangraða sandkassa, takmörkum netaðgang og stýrum aðgangi að vægjum líkana enn frekar,“ segir í skýrslu OpenAI.

Hvað þú getur gert:

• Festu líkön við nákvæma útgáfu og staðfestu þau: Festu hvert líkan við yfirfarna útgáfu og kannaðu fingrafar skrárinnar áður en hún er hlaðin inn, svo að ekki sé hægt að lauma annarri skrá inn undir sama heiti. OWASP mælir einnig með stafrænum undirskriftum, með fyrirvara – undirskrift sannar hvaðan líkan kemur, ekki að það sé öruggt.
• Kannaðu hvern pakka sem gervigreindin stingur upp á: Áður en þú setur upp kóðapakka sem gervigreindaraðstoðarforrit mælti með skaltu staðfesta að hann sé til, að þetta sé pakkinn sem þú ætlaðir þér og að hann komi frá útgefandanum sem þú býst við.

5. Verstu gegn eitrun gagna og líkana

Eitruð gervigreind lærir af spilltum gögnum. Þetta gætu verið dæmin sem hún var fínstillt á eða þekkingargrunnur sem hún leitar í að svörum. Líkanið virðist enn virka; það lærir bara rangar lexíur og stundum lærir það að hegða sér illa aðeins þegar það sér tiltekna kveikjusetningu.

Kveikjusetningin sleppur í gegnum öll próf sem þú leggur fyrir, allt þar til einhver notar hana.

Stækka

Auk þess er mjög erfitt að vinda ofan af þessu. Eitrun er ekki villa sem hægt er að plástra. Ef gögnin þín eru röng gætirðu þurft að yfirfara þau aftur, endurþjálfa líkanið eða skipta því alveg út.

Dæmi: Í október 2025 sýndu rannsakendur hjá Anthropic, UK AI Security Institute og Alan Turing Institute fram á að 250 eitruð skjöl gætu kennt líkani að framleiða bull í hvert sinn sem það rækist á tiltekna kveikju. Sami fjöldi dugði í öllum fjórum líkanastærðunum sem prófaðar voru, jafnvel þótt stærsta líkanið hefði verið þjálfað á meira en 20 sinnum meira magni af hreinum gögnum.

Hvað þú getur gert:

• Fylgstu með uppruna gagnanna þinna: Haltu skrá yfir hvert gagnasafn og líkan sem þú notar, hvaðan hvert þeirra kom og hvað breyttist á milli útgáfa. Við mælum með útgáfustýringu fyrir gagnasöfn svo að ef eitrun kemur í ljós getir þú snúið aftur til hreinnar útgáfu og fundið út hvernig hún komst inn.
• Leitaðu að bakdyrum: „Bakdyr“ eru falin hegðun sem árásaraðili kemur fyrir í líkani og bíða þess að tiltekin setning eða önnur kveikja virki þær. Leitaðu að þeim með ílagi sem er hannað til að fá líkanið til að brjóta venjulegar reglur sínar.

6. Settu þak á takmarkalausa notkun

Þegar engin takmörk eru á því hversu mikla vinnu gervigreind getur unnið eða hversu mikið hún getur kostað telst notkun hennar „takmarkalaus“. Flestar gervigreindarþjónustur rukka fyrir hverja notkun, svo árásaraðili gæti hækkað reikninginn þinn upp úr öllu valdi eða smíðað eftirlíkingu af líkaninu þínu.

OWASP kallar kjarnavandann „kostnaðarójafnvægi“. Stutt og ódýr beiðni getur kallað fram dýra útreikninga þín megin.

Dæmi: Í maí 2024 uppgötvaði ógnarannsóknateymi Sysdig nýja tegund árása sem kallast „LLMjacking“. Hópur árásaraðila beindi spjótum sínum að 10 skýhýstum LLM-þjónustum með stolnum aðgangsauðkennum. Þeir komust inn í gegnum veikleika í útgáfu af Laravel og könnuðu síðan hvað aðgangsauðkennin gátu gert og hvaða kvótar giltu, augljóslega í þeim tilgangi að selja aðganginn. Einnig var spurst fyrir um ýmsar annálastillingar, líklega til að forðast að uppgötvast. Samkvæmt Sysdig gæti versta tilvikið kostað fórnarlambið meira en 46.000 Bandaríkjadali á dag.

Hvað þú getur gert:

• Settu fjárhagsramma sem stöðva útgjöldin: Settu föst útgjaldaþök fyrir einstaka notendur, API-lykla, teymi og reikninginn í heild. Framfylgdu þeim alls staðar þar sem beiðnir geta borist inn.
• Gefðu hverju verkefni endapunkt: Takmarkaðu hversu lengi verkefni getur keyrt, hversu mikinn texta það getur unnið úr og búið til og hversu mörg tólaköll það getur framkvæmt. Bættu við sjálfvirkri stöðvun fyrir gervigreindarfulltrúa sem endurtaka sig eða fara fram úr kvóta sínum.

7. Komdu auga á rangupplýsingar áður en brugðist er við

Þegar gervigreind býr til eitthvað rangt sem hljómar rétt og einhver, eða eitthvað, bregst við því kallast það rangupplýsingar. Helsta áhættan felst ekki svo mikið í ranga svarinu sjálfu heldur í því að ranga svarinu er treyst og það notað.

Atvikaskráin bendir til þess að fagfólk hafi ekki haft eins miklar áhyggjur af rangupplýsingum og það hefði átt að hafa. Samkvæmt inngangsbréfi útgáfunnar 2026 settu þátttakendur í kosningunni þær nálægt botninum, en raunveruleg atvik sýna að þær eiga heima nálægt toppnum.

Dæmi: Árið 2025 skilaði Deloitte Australia úttekt á upplýsingatæknikerfum velferðarkerfisins samkvæmt ríkissamningi upp á 440.000 ástralska dali. Chris Rudge, rannsakandi við Háskólann í Sydney, fann tilvísanir í rannsóknir sem ekki eru til og uppspunna tilvitnun í dóm alríkisdómstóls. Í endurskoðuðu skýrslunni kom fram að Deloitte hefði notað Azure OpenAI GPT-4o í aðferðafræði sinni og fyrirtækið samþykkti að endurgreiða lokagreiðsluna. Því miður var þetta staðfestingarúttekt.

Hvað þú getur gert:

• Kannaðu hvort gögnin styðji svarið: Byggðu fullyrðingar á nýlegum og áreiðanlegum heimildum. Fyrir svar um stefnu skaltu sækja samþykktu stefnuna og kanna hvort hún styðji niðurstöðuna, þar á meðal undantekningar hennar.
• Staðfestu áður en kerfið bregst við: Ef gervigreindarfulltrúi segir að viðskiptavinur hafi staðist auðkenningu skaltu staðfesta það í sannprófunarkerfinu áður en greiðsla er losuð. Krefstu samþykkis manneskju fyrir afdrifaríkar ákvarðanir og sjáðu til þess að sá sem fer yfir hafi aðgang að gögnunum sem liggja að baki.

8. Takmarkaðu skaðann af afhjúpun falins samhengis

Gervigreindarforrit gefa líkaninu fyrirmæli og bakgrunnsupplýsingar sem notendur sjá venjulega ekki. Þar á meðal geta verið kerfisfyrirmælin, innri stefnur, lýsingar á tiltækum tólum og reglur um hverjir mega nota þau. Afhjúpun falins samhengis á sér stað þegar líkanið ljóstrar þessum upplýsingum upp fyrir einhverjum.

OWASP víkkaði þennan lið út frá „leka kerfisfyrirmæla“ árið 2026 vegna þess að kerfisfyrirmælin eru aðeins hluti af því sem getur lekið út. Hættan fer eftir því hvað þú hefur sett þar. Leki á leiðbeiningum um raddblæ er dálítið vandræðalegur, en leki á API-lykli veitir einhverjum aðgang að trúnaðargagnagrunninum þínum.

Dæmi: Í febrúar 2023 fengu notendur Bing Chat frá Microsoft til að afhjúpa innri fyrirmæli sín. Ein vel heppnuð tilraun kom frá Marvin von Hagen, sem sagðist vera forritari hjá OpenAI og bað um fyrirmælin svo að hann gæti stillt líkanið. Bing upplýsti um reglur sem stýrðu leitum þess, svörum og öryggishegðun, ásamt innra heiti sínu, Sydney. Meðal þess sem kom í ljós voru fyrirmæli um að halda þessum fyrirmælum leyndum.

Hvað þú getur gert:

• Haltu leyndarupplýsingum utan samhengis líkansins: Gerðu ráð fyrir að allt sem líkanið getur lesið gæti orðið sýnilegt notendum – geymdu lykilorð, API-lykla og aðgangstákn í sérstöku kerfi fyrir umsýslu leyndarupplýsinga.
• Láttu heimildir halda jafnvel þótt reglurnar leki út: Framfylgdu aðgangsathugunum í kóða forritsins. Ef tól er eingöngu ætlað stjórnendum skaltu athuga aðgangsheimildir notandans áður en það er keyrt.

9. Tryggðu öryggi vigra og innfellinga

Þegar gervigreind notar vigraleit til að finna svör í skjölum fyrirtækisins leitar hún ekki beint í textanum. Skjölunum er breytt í „innfellingar“, sem eru langir talnalistar sem fanga merkingu hvers textabúts, og þær eru geymdar í vigragagnagrunni. Spurningu er breytt á sama hátt og kerfið sækir síðan þá textabúta þar sem tölurnar liggja næst.

OWASP lýsir í stuttu máli fjórum leiðum sem þetta getur farið úrskeiðis: eitrun lætur kerfið gefa röng svör, umsnúningur fær það til að leka, truflun þaggar niður í því og gölluð aðgangsstýring fær það til að afhenda hverjum sem er hvað sem er.

Tölurnar eru ekki sú örugga óhlutbundna framsetning sem þær virðast vera. Hægt er að breyta vistuðum innfellingum aftur í texta og ein aðferð endurheimti 92% stuttra textabúta, 32 tóka að lengd, nákvæmlega í prófunum sínum. Ef afrit sem inniheldur „aðeins innfellingar“ lekur getur það því líka afhjúpað innihald skjalanna.

Dæmi: Í rannsókn sem kynnt var á USENIX Security 2025 sýndu rannsakendur að eitt vandlega útbúið skjal gæti komið í veg fyrir að gervigreind svaraði tiltekinni spurningu. Þeir bættu því við safnið sem gervigreindin leitaði í. Þegar gervigreindin fann skjalið gat hún sagst ekki hafa nægar upplýsingar eða að ekki væri öruggt að svara. Skjalið þurfti ekki að segja gervigreindinni að hunsa reglur sínar. Þetta kallast „sóknartruflun“ (e. retrieval jamming).

Hvað þú getur gert:

• Haltu úti aðskildum leitarskrám fyrir opinber gögn og einkagögn: Ekki blanda efni sem safnað er sjálfvirkt af vefnum saman við gögn samstarfsaðila eða trúnaðarskjöl innanhúss. Aðskildu efnið efnislega eftir traustsstigi í stað þess að merkja efni í einni leitarskrá, því það útilokar heilan flokk rangra stillinga og efni sem safnað er af netinu getur ekki lent við hliðina á stjórnarskjölunum þínum.
• Meðhöndlaðu innfellingar eins og skjölin sem þær eru unnar úr: Dulkóðaðu þær, verndaðu afrit af vigragagnagrunninum jafnt sem upprunaskrárnar og eyddu innfellingum þegar þú eyðir upprunalega skjalinu. Halda skal API-lyklum fyrir innfellingarþjónustuna leyndum.

10. Athugaðu úttak gervigreindar áður en því er komið áfram

Í hvert sinn sem forrit sendir úttak gervigreindar áfram í annað kerfi án þess að ganga úr skugga um að óhætt sé að nota það þar meðhöndlar það úttak stóra mállíkansins á ófullnægjandi hátt.

Þessi liður nær einnig yfir óöruggan kóða sem gervigreindaraðstoðarmenn við forritun búa til í stórum stíl. Hver lína sem aðstoðarmaður skrifar er því líka úttak.

Dæmi: Árið 2025 sýndi rannsakandinn Johann Rehberger hvernig forritunaraðstoðarmaðurinn Amp frá Sourcegraph gat lekið efni úr spjalli einfaldlega með því að birta mynd. Hann notaði kvaðningarinnskot (e. prompt injection) til að fá Amp til að setja einkaupplýsingar inn í veffang myndar. Forritið sótti síðan myndina sjálfkrafa og sendi þannig upplýsingarnar á netþjóninn hans. Bilunin í meðhöndlun úttaksins fólst í þessari sjálfvirku beiðni – textinn sem líkanið bjó til varð að tengingu við utanaðkomandi netþjón sem flutti einkagögn með sér.

Hvað þú getur gert:

• Gerðu úttakið öruggt fyrir áfangastaðinn: Athugaðu og meðhöndlaðu svör eftir því hvert þau fara. Á vefsíðu skaltu koma í veg fyrir að texti sem líkanið býr til verði að keyranlegum kóða. Í gagnagrunni skaltu nota undirbúnar fyrirspurnir sem halda innsendum gildum aðskildum frá skipunum.
• Komdu í veg fyrir að svör myndi sjálfkrafa tengingar út á við: Slökktu sjálfgefið á sjálfvirkri hleðslu mynda, forskoðun tengla og ívafinna síðna í svörum líkansins. Takmarkaðu nauðsynlegar tengingar við áfangastaði sem hafa verið sérstaklega samþykktir.

Hvernig tryggir Perplexity öryggi stórra mállíkana?

Við gerum ráð fyrir að hver einasta áhætta hér að ofan raungerist á endanum og hönnum kerfin þannig að hún geti ekki valdið miklum skaða þegar það gerist. Kyle Polley, yfirmaður upplýsingaöryggis hjá okkur, fór yfir hvernig við gerum það í nýlegri vinnustofu.

• Gervigreindarfulltrúinn fær sína eigin tölvu og hún byrjar tóm: Tól fyrir gervigreindarfulltrúa sem sett eru upp á fartölvunni þinni geta fengið aðgang að skrám hennar, forritum og vistuðum innskráningarupplýsingum. Perplexity Computer virkar öfugt. Hvert verk keyrir í sínum eigin einangraða sandkassa og, eins og Polley orðar það, „sjálfgefið hefur hann ekki aðgang að neinu“.
• Gervigreindarfulltrúinn sér aldrei lykilorðin: Innskráningarupplýsingar fyrir tengdar þjónustur eru geymdar utan sandkassans. Þegar fulltrúinn þarf að tengjast þjónustu á borð við GitHub sendir hann beiðni án innskráningarupplýsinga. Gátt athugar hvort áfangastaðurinn og beiðnin séu eins og búist var við og bætir síðan innskráningarupplýsingunum við á leiðinni út. Fulltrúinn getur notað tenginguna án þess að fá lyklana.
• Heimildirnar þínar fylgja með og þú getur hert þær: Tengingar sem gerðar eru í gegnum OAuth halda aðgangsheimildum þínum í tengdu þjónustunni. Ef þú getur ekki séð eitthvað getur gervigreindarfulltrúinn þinn það ekki heldur.
• Farið er með hverja vefsíðu eins og ókunnugan: Við smíðuðum BrowseSafe fyrir Comet, gervigreindarvafrann okkar sem vinnur verk sjálfstætt, vegna þess að tólin sem við prófuðum stóðust ekki kröfur okkar við raunverulega notkun. Vafrinn skannar vefsíður og annað utanaðkomandi efni, þar á meðal tölvupóst, í leit að kvaðningarinnskotum. Við gáfum bæði líkanið og gagnasafnið út í opnum aðgangi.
• Við fylgjumst með gervigreindarfulltrúanum og vélunum sem hann keyrir á: Numbat situr á milli þess að gervigreindarfulltrúi ákveður að grípa til aðgerðar og þess að tólið keyrir í raun. Numbat skráir virkni studdra forritunarfulltrúa og getur stöðvað aðgerðir sem brjóta gegn skilgreindum reglum áður en þær eru framkvæmdar. Bumblebee heldur skrá yfir hugbúnaðarpakka á fartölvum, netþjónum og smíðaferlum og merkir pakka sem vitað er að eru skaðlegir. Bæði tólin eru opinn hugbúnaður.
• Líkanaveiturnar geyma ekki gögnin þín: Við erum með samninga um enga varðveislu gagna við þá þriðju aðila sem útvega okkur stór mállíkön. Stjórnendur í Enterprise geta einnig stytt varðveislutíma gagna hjá Perplexity sjálfu niður í 24 klukkustundir.

Við smíðuðum Numbat að fyrra bragði, af ástæðu sem Polley dregur saman í einni setningu: „Því meira sjálfræði sem þú veitir gervigreindarfulltrúa, því meiri er áhættan.“

Algengar spurningar um öryggi stórra mállíkana

Hvert er öruggasta stóra mállíkanið?

Ekkert stórt mállíkan gerir forrit öruggt eitt og sér – líkön geta enn ruglað saman efni sem þau eiga að lesa og fyrirmælum sem þau eiga að fylgja. Varnir sem virðast sterkar í stöðluðum prófunum geta líka brostið undir álagi.

Betri spurning er hvaða uppsetning er öruggust fyrir þitt notkunartilvik. Það þýðir takmarkaðar heimildir, innskráningarupplýsingar sem haldið er frá líkaninu, samþykki manneskju fyrir áhættusömum aðgerðum og prófanir af hálfu fólks sem þekkir varnirnar þínar.

Hverjir eru veikleikar stórra mállíkana?

Veikleikar stórra mállíkana eru gallar sem gera það að verkum að hægt er að blekkja gervigreindarkerfi, láta það leka gögnum eða valda skaða, hvort sem það er af völdum árásaraðila eða eigin mistaka þess.

Tíu helstu áhætturnar eru kvaðningarinnskot, uppljóstrun viðkvæmra upplýsinga, óhóflegt athafnafrelsi, aðfangakeðja, eitrun gagna og líkana, ótakmörkuð auðlindanotkun, rangar upplýsingar, afhjúpun falins samhengis, veikleikar í vigrum og innfellingum og ófullnægjandi meðhöndlun úttaks.

Er einkarekið stórt mállíkan öruggt?

Öruggari kostur í sumum tilvikum, en ekki sjálfkrafa. Þú hefur meiri stjórn á meðhöndlun gagna ef þú keyrir líkan á eigin innviðum eða í skýjaumhverfi. Það er engin sjálfvirk leið til að koma í veg fyrir kvaðningarinnskot, óhóflegt athafnafrelsi, eitrun eða rangar upplýsingar.

Með eigin hýsingu berð þú einnig ábyrgð á líkaninu sem þú sækir, þar á meðal áhættunni í aðfangakeðjunni og þeim innviðum sem það þarfnast.