Mis on LLM-i turvalisus? Kuidas leevendada OWASP top 10 turvariske

Rünnak, mis paneb tehisintellekti ründaja juhiseid käskudena käsitlema – viibasüst (prompt injection) –, on alates 2023. aastast olnud igas väljaandes OWASP Top 10 for LLM Applications nimekirja esikohal.

See nimekiri on ehk kõige lähemal konsensusele, mis tehisintellekti turvalisuses üldse võimalik. Projekt sai alguse väikese turvaspetsialistide rühmana ja toetub nüüd enam kui 600 panustavale eksperdile enam kui 18 riigis.

Oleme tehisintellektiettevõte, kes avaldab juhendi selle kohta, kuidas tehisintellekti saab asju tegema meelitada, seega ei hakka me teesklema, et probleem on lahendatud. OWASP-i projekti üks juhte Wilson väljendus praeguste kaitsemeetmete kohta üsna selgelt: „...ausalt öeldes ei usu ma, et oleme 99% juures.“

2026. aasta väljaanne algab samal noodil. Projekti juht soovitab meil „lõpetada katsed ehitada mudelit, mida ei saa petta“ ja kujundada ümbritsev süsteem nii, et petetud mudel ei saaks midagi olulist rikkuda.

Lähtume sellest seisukohast kõigi OWASP-i 2026. aasta nimekirja 10 riski puhul.

Mida tähendab LLM-i turvalisus?

LLM-i turvalisus tähendab tehisintellektimudelite ja neid kasutavate rakenduste kaitsmist rünnakute ja väärkasutuse eest. Risk kasvab koos sellega, millega mudel on ühendatud: failid ja andmed, mida see saab lugeda, ning tööriistad, mida see saab kasutada, näiteks e-post, otsing või ettevõtte andmebaas.

Korralikult turvatud tarkvaras on kindel piir programmi täidetavate juhiste ja töödeldava teabe vahel. LLM-idel aga sellist piiri pole.

Kõik, mida mudel loeb, saabub ühe pika tekstivoona: arendaja juhised, sinu küsimus, veebileht, mille see üles otsis. Tehisintellektimudelid peaksid jälgima, kes räägib – kas arendaja, kasutaja või mudel ise, kes probleemi üle arutleb.

Teadlased Jasmine Cui ja Charles Ye leidsid aga, et mudelid arvavad enamasti teksti kõla järgi, kes räägib. Seega kui ründaja kirjutab midagi, mis kõlab nagu mudeli enda arutluskäik, võib mudel uskuda, et tuli selle mõtte peale ise. See on probleem iga turvalahenduse jaoks, mis eeldab, et mudel teab, kelle sõna maksab.

Oleme sama probleemiga kokku puutunud oma tehisintellektiagentide puhul. Meie infoturbejuht (CISO) Kyle Polley ütles ISMG-le, et agendid „ei pruugi reegleid järgida isegi siis, kui need süsteemiviipa lisada“. Seepärast ehitasime Numbati – avatud lähtekoodiga tööriista, mis kontrollib, mida agent kavatseb teha, ja suudab selle blokeerida, kui toiming rikub seadistatud turvareeglit.

LLM-i turvalisus tähendab leppimist sellega, et mudel võtab mõnikord käske vastu valelt inimeselt, ning selle ümber selliste tehisintellekti kaitsepiirete loomist, mis peavad vastu ka siis, kui see juhtub.

Millised on LLM-i turvalisuse parimad tavad?

Käime OWASP Top 10 for LLM Applications 2026 läbi järjekorras, 1. kohast 10. kohani.

Iga riski kohta saad lihtsas keeles selgituse, kuidas asjad viltu lähevad, ja päriselust pärit näite. Seejärel käsitleme tavasid, mis aitavad seda ära hoida või vähemalt kahju piirata.

1. Ohjelda viibasüsti

Viibasüst toimub siis, kui ründaja paneb tehisintellekti järgima juhiseid, mida see ei peaks järgima. Need juhised võivad tulla otse vestluses või olla peidetud e-kirja, veebilehte või dokumenti.

Teist tüüpi nimetatakse kaudseks viibasüstiks. Palud oma assistendil dokumendi kokku võtta. Nad on andnud assistendile korralduse saata neile sinu privaatsed failid. Kui assistent neid juhiseid järgib, on dokumendi kirjutaja sisuliselt sinu ligipääsu laenanud.

PCMag võrdleb viipade turvalisust aukude lappimisega poorses kivis. Sulged ühe ava ja vesi leiab teise. „Rünnak leiab tee läbi; see parandatakse, kuid lugematud muud ründeteed ootavad avastamist juba ainuüksi seetõttu, kui dünaamilised on sellised süsteemid nagu LLM-id.“

Näide: 2025. aasta juunis avastasid Aim Security teadlased EchoLeaki – vea, mis pettis Microsoft 365 Copiloti lekitama ettevõtte privaatset teavet. Kui töötaja esitas tavapärase tööalase küsimuse, võis Copilot kaasata e-kirja, järgida selles peidetud juhiseid ja saata tundlikku teavet ründajale. Rünnak pääses mööda kontrollidest, mis pidid tabama pahatahtlikke juhiseid ja eemaldama kahtlased lingid.

Mida saad teha:

• Järgi Meta „kahe reeglit“: EchoLeak vajas tehisintellekti, mis suudaks lugeda ettevõtte andmeid, lugeda väliseid e-kirju ja saata teavet välja – ning sellel olid kõik kolm. Kui piirata tehisintellekti kahe võimekusega neist kolmest, ei saa viibasüst liiga palju kontrolli. Kui ülesanne nõuab kõiki kolme, nõua enne iga toimingut inimese kinnitust.
• Testi ründajate vastu, kes tunnevad sinu kaitsemeetmeid: Anna oma turvatestijatele kasutusele võetud reeglid ja filtrid ning lase neil püüda neist mööda pääseda. Ühes uuringus olid kaitsemeetmetega kohanenud ründajad enam kui 90% juhtudest edukad enamiku 12 testitud kaitsemeetme vastu.

2. Takista tundliku teabe lekkimist

Kui tehisintellektisüsteemid annavad privaatset teavet inimestele, kes ei peaks seda nägema, nimetatakse seda tundliku teabe avalikustamiseks. See võib tähendada kliendi makseandmete paljastamist või privaatsete vestluste jätmist jagatud andmebaasi.

Paljud lekked algavad „üle jagamisest“. Oletame, et ettevõte ühendab oma tehisintellekti lõdvalt seadistatud õigustega ketaste ja teadmusbaasidega. Tehisintellekt hangib kõike, milleni ulatub, täpselt nii, nagu see on kavandatud. Kellelgi pole vaja sisse murda, kuid LLM-i võib sellegipoolest pidada kompromiteerituks.

Näide: 2025. aasta jaanuaris leidsid Wizi teadlased DeepSeeki andmebaasi, mis oli avatud internetile ja sisaldas üle miljoni logikirje, sealhulgas vestlusajalugu ja API-võtmeid, mida tarkvara kasutab teistele teenustele ligipääsemiseks. Teadlastel polnud vaja mudelit millegi paljastamiseks veenda.

Mida saad teha:

• Kontrolli ligipääsu enne, kui tehisintellekt andmeid loeb: Sinu rakendus peaks enne dokumentide mudelile edastamist kontrollima, milliseid dokumente küsimuse esitajal on lubatud näha.
• Kaitse kirjeid, mille sinu tehisintellekt endast maha jätab: Eemalda enne tegevuslogide salvestamist privaatsed üksikasjad ja salajased võtmed, nõua sisselogimist ja piira ligipääs inimestele, kes neid vajavad. Määra säilitusaeg, et need kirjed ei koguneks lõputult.

3. Ohjelda liigset tegutsemisvabadust

Liigse tegutsemisvabadusega tehisintellektidel on rohkem võimu, kui nende töö nõuab: tööriistad, mida nad ei vaja, õigused, mis ulatuvad nende ülesandest kaugemale, või vabadus tegutseda ilma kontrollita. Põhjus on siin ebaoluline.

Süstitud viip, viga või mudel, mis lihtsalt eksib – kõik viivad sama tulemuseni. Kui tehisintellektil on selleks võimekus, teeb see lõpuks midagi hävitavat.

Näide: 2025. aasta juulis teatas SaaStri asutaja Jason Lemkin, et Repliti kodeerimisagent kustutas tema andmebaasi 1206 juhi andmetega, hoolimata korraldusest muudatusi mitte teha. Agent väitis algul, et andmeid ei saa taastada, kuigi hiljem selgus, et taastamine oli võimalik. Jason avastas, et käsk andmebaas rahule jätta polnud võtnud agendilt võimet seda kustutada.

Suurenda

Allikas: X

Mida saad teha:

• Eemalda võimekused, mida ülesanne ei vaja: Piira nii tööriistu, mille agent saab, kui ka seda, mida need tööriistad teha saavad. E-kirju kokkuvõttev assistent vajab luba neid lugeda, mitte saata ega kustutada.
• Paiguta õiguste kontrollid väljapoole tehisintellekti: Iga kord, kui toimingut taotletakse, kontrolli seda oma turvareeglite alusel ja nõua, et inimene selle kinnitaks.

4. Kontrolli, mis sinu tehisintellekti tarneahelasse jõuab

Vähesed ettevõtted loovad tehisintellekti nullist ja iga aastaga teeb seda üha vähem. Menlo Venturesi 2025. aasta uuringu „The State of Generative AI in the Enterprise“ järgi ostis 2024. aastal tehisintellektimudeleid 53% ettevõtetest, 2025. aastal aga juba 76%.

Enamasti laadivad ettevõtted mudeleid alla sellistest keskkondadest nagu Hugging Face, treenivad neid edasi teiste kogutud andmestikel ning ühendavad lisandmooduleid ja koodipakette, mille on kirjutanud võõrad inimesed.

Iga selline osa on sissepääs. Kui ühega neist on manipuleeritud, tarnitakse probleem koos sinu tootega.

Näide: Hugging Face'i avalike mudelirepositooriumide arv kasvas 2026. aasta jaanuarist augustini 2,43 miljonilt 2,96 miljonini. 2026. aasta juulis aga möödusid OpenAI mudelid sisemise turvatestimise ajal kontrollidest, mis pidid neid internetist eemal hoidma, ja murdsid sisse Hugging Face'i süsteemide osadesse. Üks agent hankis koguni 14 avalikult paljastatud juurdepääsuandmete komplekti, kontrollis nende toimimist ja jagas neid teiste agentidega. Seejärel kasutasid agendid ära vigu, mis võimaldasid neil Hugging Face'i serverites koodi käivitada.

„Kehtestame mudeli kogu elutsükli vältel rangemad nõuded joondamisele, loome isoleeritumaid liivakaste, piirame internetiühendust ja kontrollime veelgi rangemalt ligipääsu mudeli kaaludele“, seisab OpenAI aruandes.

Mida saad teha:

• Lukusta mudelid täpsele versioonile ja kontrolli neid: Lukusta iga mudel üle vaadatud versioonile ja kontrolli enne laadimist selle faili sõrmejälge, et vahetatud fail ei saaks sama sildi all sisse lipsata. OWASP soovitab ka digiallkirju, kuid hoiatusega: allkiri tõendab, kust mudel pärineb, mitte seda, et see on ohutu.
• Kontrolli iga paketti, mida sinu tehisintellekt soovitab: Enne tehisintellektiassistendi soovitatud koodipaketi installimist veendu, et see on olemas, et see on just see pakett, mida silmas pidasid, ja et see pärineb oodatud väljaandjalt.

5. Kaitse end andmete ja mudelite mürgitamise eest

Mürgitatud tehisintellekt õpib rikutud andmetest. Need võivad olla näited, millel seda peenhäälestati, või teadmusbaas, kust see vastuseid otsib. Mudel näib endiselt töötavat; see lihtsalt õpib valesid õppetunde ja mõnikord õpib see valesti käituma ainult siis, kui näeb konkreetset päästikfraasi.

Selline fraas läbib iga sinu testi, kuni keegi seda kasutab.

Suurenda

Lisaks on seda väga raske tagasi pöörata. Mürgitamine pole viga, mida saab paigata. Kui sinu andmed on valed, võib olla vaja need üle kontrollida, mudel uuesti treenida või see täielikult välja vahetada.

Näide: 2025. aasta oktoobris näitasid Anthropicu, Ühendkuningriigi tehisintellekti turvalisuse instituudi (AI Security Institute) ja Alan Turingi Instituudi teadlased, et 250 mürgitatud dokumenti võivad õpetada mudelit tootma mõttetut teksti alati, kui see kohtab teatud päästikut. Sama arv toimis kõigi nelja testitud mudelisuuruse puhul, kuigi suurimat neist treeniti enam kui 20 korda suurema hulga puhaste andmetega.

Mida saad teha:

• Jälgi, kust sinu andmed pärinevad: Pea arvestust iga kasutatava andmestiku ja mudeli kohta: kust igaüks pärineb ja mis versioonide vahel muutus. Soovitame andmestikke versioonihaldusega hallata, et mürgituse ilmnemisel saaksid naasta puhtale versioonile ja välja selgitada, kuidas see sisse sattus.
• Testi tagauste suhtes: „Tagauks“ on varjatud käitumine, mille ründaja mudelisse paigaldab ja mis ootab sisselülitamiseks kindlat fraasi või muud päästikut. Testi nende olemasolu sisenditega, mis on loodud panema mudelit oma tavapäraseid reegleid rikkuma.

6. Sea piirid piiramatule ressursikasutusele

Kui tehisintellektidel pole piiranguid selle kohta, kui palju tööd nad teha võivad või kui palju see maksta võib, peetakse nende ressursikasutust „piiramatuks“. Enamik tehisintellektiteenuseid võtab tasu kasutuse eest, nii et ründaja võib sinu arve üles kruvida või ehitada sinu mudelist koopia.

OWASP nimetab põhiprobleemi „kulude asümmeetriaks“. Lühike ja odav päring võib sinu poolel käivitada kuluka arvutuse.

Näide: 2024. aasta mais avastas Sysdigi ohu-uuringute meeskond uue rünnaku nimega „LLMjacking“. Ründajate rühm võttis varastatud juurdepääsuandmetega sihikule 10 pilves majutatud LLM-teenust. Nad pääsesid sisse Laraveli haavatava versiooni kaudu, seejärel selgitasid välja, mida juurdepääsuandmetega teha saab ja millised on kvoodid, ilmse eesmärgiga juurdepääsu müüa. Samuti päriti paljusid logimisseadeid, tõenäoliselt avastamise vältimiseks. Sysdigi sõnul võivad ohvri kulud halvimal juhul ulatuda üle 46 000 dollari päevas.

Mida saad teha:

• Sea eelarved, mis kulutamise peatavad: Kehtesta ranged kulupiirangud üksikkasutajatele, API-võtmetele, meeskondadele ja kontole tervikuna. Jõusta neid kõikjal, kust päringud sisse võivad tulla.
• Anna igale ülesandele peatumispunkt: Piira, kui kaua ülesanne võib kesta, kui palju teksti see võib töödelda ja luua ning mitu tööriistakutset see võib teha. Lisa automaatsed katkestused agentidele, kes kordavad ennast või ületavad oma limiidi.

7. Taba väärinfo enne tegutsemist

Kui tehisintellekt loob midagi valet, mis kõlab õigena, ja keegi või miski selle põhjal tegutseb, nimetatakse seda väärinfoks. Peamine risk pole niivõrd vale vastus ise, kuivõrd see, et valet vastust usaldatakse ja kasutatakse.

Intsidentide ajalugu viitab sellele, et praktikud ei muretsenud väärinfo pärast nii palju, kui oleksid pidanud. 2026. aasta väljaande avakirja järgi paigutasid hääletajad selle nimekirja lõpu lähedale, kuid päriselu intsidentide põhjal kuulub see tippu.

Näide: 2025. aastal esitas Deloitte Australia 440 000 Austraalia dollari suuruse valitsuslepingu alusel sotsiaaltoetuste IT-süsteemide ülevaate. Sydney Ülikooli teadlane Chris Rudge leidis viiteid olematutele uuringutele ja väljamõeldud tsitaadi föderaalkohtu otsusest. Muudetud aruandes avalikustati, et Deloitte oli oma metoodikas kasutanud Azure OpenAI GPT-4o-d, ning ettevõte nõustus viimase osamakse tagasi maksma. Kahjuks oli tegemist ülevaatega, mis pidi pakkuma kindlustunnet.

Mida saad teha:

• Kontrolli, et tõendid vastust toetavad: Tugine väidetes ajakohastele ja usaldusväärsetele allikatele. Eeskirja puudutava vastuse puhul hangi kinnitatud eeskiri ja kontrolli, et see toetab järeldust, sealhulgas selle erandeid arvestades.
• Kontrolli enne, kui süsteem tegutseb: Kui agent ütleb, et klient läbis isikutuvastuse, kinnita seda enne makse vabastamist tuvastussüsteemist. Nõua oluliste otsuste puhul inimese kinnitust ja tee toetavad tõendid ülevaatajale kättesaadavaks.

8. Piira varjatud konteksti paljastumisest tulenevat kahju

Tehisintellektirakendused annavad mudelile juhiseid ja taustateavet, mida kasutajad tavaliselt ei näe. See võib hõlmata süsteemiviipa, sisemisi eeskirju, saadaolevate tööriistade kirjeldusi ja reegleid selle kohta, kes neid kasutada tohib. Varjatud konteksti paljastumine toimub siis, kui mudel avaldab selle teabe kellelegi.

OWASP laiendas seda punkti 2026. aastal „süsteemiviiba lekkimisest“, sest süsteemiviip on vaid osa sellest, mis võib välja pääseda. Oht sõltub sellest, mida oled sinna pannud. Lekkinud hääletooni juhend on kergelt piinlik, kuid lekkinud API-võti annab kellelegi ligipääsu sinu konfidentsiaalsele andmebaasile.

Näide: 2023. aasta veebruaris said kasutajad Microsofti Bing Chati oma sisemisi juhiseid paljastama. Üks edukas katse pärines Marvin von Hagenilt, kes väitis end olevat OpenAI arendaja ja küsis juhiseid, et mudelit seadistada. Bing avaldas reeglid, mis juhtisid tema otsinguid, vastuseid ja turvakäitumist, ning oma sisemise nime Sydney. Paljastatud juhiste hulgas oli ka üks, mis käskis tal neid juhiseid konfidentsiaalsena hoida.

Mida saad teha:

• Hoidke saladused mudeli kontekstist eemal: Eeldage, et kõik, mida mudel saab lugeda, võib muutuda kasutajatele nähtavaks – hoidke paroole, API-võtmeid ja juurdepääsulube eraldi saladuste haldamise süsteemis.
• Tagage, et õigused kehtiksid ka siis, kui reeglid lekivad: Rakendage juurdepääsukontrolle oma rakenduse koodis. Kui tööriist on mõeldud ainult administraatoritele, kontrollige enne selle käivitamist kasutaja konto õigusi.

9. Turvake oma vektorid ja vektoresitused

Kui tehisintellekt kasutab vektorotsingut, et leida vastuseid teie ettevõtte dokumentidest, ei otsi see otse tekstist. Dokumendid teisendatakse „vektoresitusteks“ (embeddings) – pikkadeks arvuloenditeks, mis tabavad iga lõigu tähendust – ja salvestatakse vektorandmebaasi. Küsimus teisendatakse samamoodi ning süsteem toob välja lõigud, mille arvud on sellele kõige lähemal.

OWASP võtab kokku neli viisi, kuidas see võib ebaõnnestuda: mürgitamine muudab süsteemi vastused valeks, inversioon paneb selle andmeid lekitama, segamine (jamming) vaigistab selle ja puudulik juurdepääsukontroll paneb selle kõike kõigile välja andma.

Arvud ei ole nii turvaline abstraktsioon, kui paistavad. Salvestatud vektoresitusi saab tagasi tekstiks teisendada ja üks meetod taastas oma katsetes täpselt 92% lühikestest, 32 tokeni pikkustest lõikudest. Seega võib lekkinud varukoopia, mis sisaldab „ainult vektoresitusi“, paljastada ka dokumentide sisu.

Näide: Konverentsil USENIX Security 2025 esitletud uurimuses näitasid teadlased, et üks hoolikalt koostatud dokument võib takistada tehisintellekti konkreetsele küsimusele vastamast. Nad lisasid selle kogusse, millest tehisintellekt otsis. Kui tehisintellekt selle leidis, võis see öelda, et tal pole piisavalt teavet või et vastamine oleks ohtlik. Dokument ei pidanud tehisintellekti käskima oma reegleid eirata. Seda nimetatakse „otsingu segamiseks“ (retrieval jamming).

Mida saad teha:

• Hoidke avalike ja privaatsete andmete jaoks eraldi indekseid: Ärge segage veebist kraabitud sisu partnerite andmete ega konfidentsiaalsete sisedokumentidega. Eraldage sisu usaldustaseme järgi füüsiliselt, selle asemel et seda ühes indeksis märgistada, sest nii kaob terve klass konfiguratsioonivigu ja internetist kraabitud sisu ei saa sattuda teie juhatuse dokumentide kõrvale.
• Kohelge vektoresitusi nagu dokumente, millest need loodi: Krüpteerige need, kaitske vektorandmebaasi varukoopiaid sama hoolikalt kui lähtefaile ja kustutage vektoresitused, kui kustutate originaali. Hoidke oma vektoresitusteenuse API-võtmed salajas.

10. Kontrollige tehisintellekti väljundit enne selle edasiandmist

Kui rakendus edastab tehisintellekti väljundi teisele süsteemile, kontrollimata, kas seda on seal turvaline kasutada, käsitleb see LLM-i väljundit ebaõigesti.

See kategooria hõlmab ka ebaturvalist koodi, mida tehisintellektil põhinevad kodeerimisabilised genereerivad suures mahus. Seega on iga rida, mille abiline kirjutab, samuti väljund.

Näide: 2025. aastal näitas teadlane Johann Rehberger, kuidas Sourcegraphi kodeerimisabiline Amp võis vestluse sisu lekitada lihtsalt pilti kuvades. Ta kasutas viipesüsti (prompt injection), et panna Amp lisama privaatset teavet pildi veebiaadressi. Seejärel laadis rakendus selle pildi automaatselt alla ja saatis teabe tema serverisse. Väljundi käsitlemise viga seisnes just selles automaatses päringus – mudeli genereeritud tekstist sai ühendus välisserveriga, mis kandis endaga kaasa privaatseid andmeid.

Mida saad teha:

• Muutke väljund sihtkoha jaoks turvaliseks: Kontrollige ja töödelge vastuseid vastavalt sellele, kuhu need edasi liiguvad. Veebilehe puhul vältige seda, et genereeritud tekstist saaks käivitatav kood. Andmebaasi puhul kasutage ettevalmistatud päringuid, mis hoiavad edastatud väärtused käskudest eraldi.
• Takistage vastustel automaatselt väliseid ühendusi loomast: Keelake mudeli vastustes vaikimisi piltide, lingieelvaadete ja manustatud lehtede automaatne laadimine. Piirake vajalikud ühendused selgesõnaliselt heakskiidetud sihtkohtadega.

Kuidas Perplexity LLM-e turvab?

Eeldame, et iga ülaltoodud risk realiseerub varem või hiljem, ja kujundame süsteemid nii, et sel juhul oleks selle mõju võimalikult väike. Meie infoturbejuht (CISO) Kyle Polley selgitas hiljutises töötoas, kuidas me seda teeme.

• Agent saab oma arvuti ja see on alguses tühi: Teie sülearvutisse installitud agenditööriistad võivad saada juurdepääsu selle failidele, rakendustele ja salvestatud sisselogimisandmetele. Perplexity Computer töötab vastupidi. Iga ülesanne käivitatakse eraldi isoleeritud liivakastis ja nagu Polley ütleb: „vaikimisi pole sellel juurdepääsu millelegi“.
• Agent ei näe kunagi paroole: Ühendatud teenuste sisselogimisandmeid hoitakse väljaspool liivakasti. Kui agent peab jõudma mõne teenuseni, näiteks GitHubini, saadab see päringu ilma sisselogimisandmeteta. Lüüs kontrollib, et sihtkoht ja päring vastavad ootustele, ning lisab seejärel väljuvale päringule sisselogimisandmed. Agent saab ühendust kasutada, ilma et võtmed tema kätte satuksid.
• Teie õigused kanduvad üle ja te saate neid karmistada: OAuthi kaudu loodud ühendused säilitavad teie juurdepääsuõigused ühendatud teenuses. Kui teie midagi ei näe, ei näe seda ka teie agent.
• Iga veebilehte koheldakse võõrana: Lõime tööriista BrowseSafe oma agentse brauseri Comet jaoks, sest meie testitud tööriistad ei vastanud reaalses kasutuses meie vajadustele. Brauser kontrollib veebilehti ja muud välist sisu, sealhulgas e-kirju, viipesüstide suhtes. Avaldasime nii mudeli kui ka andmestiku avatud lähtekoodina.
• Jälgime agenti ja masinaid, millel see töötab: Numbat paikneb agendi tegutsemisotsuse ja tööriista tegeliku käivitamise vahel. Numbat logib toetatud kodeerimisagentide tegevust ja saab blokeerida toiminguid, mis rikuvad seadistatud reegleid, enne kui need käivituvad. Bumblebee inventeerib tarkvarapakette sülearvutites, serverites ja koostamiskonveierites ning märgistab teadaolevalt pahatahtlikud paketid. Mõlemad on avatud lähtekoodiga.
• Mudelipakkujad ei säilita teie andmeid: Meil on kolmandatest osapooltest LLM-i pakkujatega sõlmitud andmete nullsäilituse kokkulepped. Enterprise'i administraatorid saavad ka Perplexity enda andmete säilitusaja lühendada kuni 24 tunnini.

Lõime Numbati ennetavalt põhjusel, mille Polley võtab kokku ühe lausega: „Mida rohkem autonoomiat agendile anda, seda suurem on risk.“

Korduma kippuvad küsimused LLM-i turvalisuse kohta

Mis on kõige turvalisem LLM?

Ükski LLM ei muuda rakendust iseenesest turvaliseks – mudelid võivad endiselt pidada sisu, mida nad peaksid lugema, juhisteks, mida nad peaksid järgima. Kaitsemehhanismid, mis standardtestides tunduvad tugevad, võivad surve all samuti kokku variseda.

Parem küsimus on, milline seadistus on teie kasutusjuhu jaoks kõige turvalisem. See tähendab piiratud õigusi, mudelist eemal hoitud sisselogimisandmeid, inimese heakskiitu riskantsetele toimingutele ning testimist, mida teevad teie kaitsemehhanisme tundvad inimesed.

Mis on LLM-i haavatavused?

LLM-i haavatavused on nõrkused, mis võimaldavad tehisintellektisüsteemi petta või panevad selle andmeid lekitama või kahju tekitama – olgu ründaja tegevuse või süsteemi enda vigade tõttu.

Kümme peamist riski on viipesüst, tundliku teabe avalikustamine, liigne tegutsemisvabadus, tarneahel, andmete ja mudeli mürgitamine, piiramatu ressursikasutus, väärinfo, varjatud konteksti paljastamine, vektorite ja vektoresituste nõrkused ning väljundi ebaõige käsitlemine.

Kas privaatne LLM on turvaline?

Mõne asja jaoks on see turvalisem valik, kuid mitte vaikimisi. Kui käitate mudelit oma taristul või pilvekeskkonnas, on teil andmete käsitlemise üle rohkem kontrolli. Viipesüstide, liigse tegutsemisvabaduse, mürgitamise ega väärinfo vältimiseks pole aga automaatset viisi.

Isemajutamise korral vastutate ka allalaaditud mudeli eest, sealhulgas tarneahela riskide ja selle jaoks vajaliku taristu eest.