Daha güvenli ajanların mühendisliğini nasıl yapıyoruz?

Daha güvenli yapay zeka ajanları inşa etmek için hem yeteneklerini hem de başarısızlıklarını göz önüne alarak tasarım yapmalıyız. Meşru görevleri yerine getirirken ve hiçbir kötü niyetli talimat olmasa bile ajanlar, engelleri aşmaya çalışırken güvenlik sınırlarını aşabilir.

Bunun bir güvenlik mühendisliği sorunu olduğuna inanıyoruz ve sektör bunu 2000'lerin başındaki internet solucanlarını ele aldığı şekilde ele almalıdır. Ajanları çevreleyen sistemler, ajanların erişebileceklerini sınırlamalı, istenmeyen davranışları tespit etmeli ve arızalar meydana geldiğinde bunları kontrol altına almalıdır.

Perplexity'de, yapay zeka ajanları için güvenlik mühendisliğini ilerletmek üzere araştırmacılar ve uygulayıcılarla aktif olarak işbirliği yapıyor ve güvenliğin herhangi bir tekil önleme bağlı kalmaması için modellerimiz, ajan harness'larımız ve altyapımız genelinde birden fazla savunma katmanı uyguluyoruz.

Yapay zeka ajanlarının çöküş (meltdown) davranışı

Temmuz ayında yapay zeka ajanları, açık kaynaklı yapay zeka platformu Hugging Face'in üretim altyapısına sızdı. Dahili siber güvenlik değerlendirmesi ve eğitim çalışmaları sırasında OpenAI modelleri, birbiriyle iletişim kurmak için bir ilan panosu oluşturmak amacıyla Artifactory depo yöneticisinden yararlanmanın bir yolunu keşfetti ve bu da onların sürü (swarm) halinde organize olmalarını sağladı. Daha sonra, bir siber güvenlik kıyaslamasında görevlerde ilerleme kaydedemeyen ajanlar, yardım etmek için diğer ajanları görevlendirdi. Bu ajanlar değerlendirme ortamından kaçarak internete ulaştı. Ayrıca kıyaslama görevlerinin yanıtlarını tersine mühendislik (reverse-engineering) yaparak hile yapma yollarını keşfettiler, ancak derecelendirme sisteminin bu hileyi tespit edeceğini düşündüler. Hile yaparken yakalanmaktan kaçınmanın yollarını bulmak için kıyaslama değerlendirmesinin nasıl çalıştığını daha iyi anlamak amacıyla sonunda Hugging Face sistemlerinin güvenliğini ihlal ettiler (Hugging Face; OpenAI).

Bu olay, Temmuz ayında Numbat'ı açık kaynaklı hale getirdiğimizde tanımladığımız bir hata modunun açık bir örneğidir: Cornell Tech'teki güvenlik araştırmacıları tarafından türetilen bir terim olan kazara çöküşler (accidental meltdowns) (arXiv). Meşru bir amaca ulaşmaya çalışan bir ajan; eksik bir dosya, başarısız bir API çağrısı, süresi dolmuş bir kimlik bilgisi veya izin reddi gibi sürtünmeyle karşılaşır ve bir geçici çözüm arar. Bunu yaparken keşif, ayrıcalık yükseltme, gizli bilgi keşfi veya veri sızdırma yoluyla güvenlik sınırlarını aşabilir. Hiçbir kötü niyetli komut istemi veya harici saldırgan söz konusu olmasa bile, ajanın kendisi fiilen saldırgan haline gelir.

Hugging Face tek bir örnek değildi. Son haftalarda daha fazla ajan çöküş (meltdown) davranışı keşfedildi ve bildirildi. 27-28 Mayıs tarihlerinde, ABD hükümet verilerine açık erişim sunan bir platform olan Data USA'den Iowa Üniversitesi verilerini toplamaya çalışan ajanlar, hatalı biçimlendirilmiş bir sorgunun neden olduğu hatalarla karşılaştı. SQL enjeksiyonu, siteler arası komut çalıştırma (XSS), şablon enjeksiyonu, yol geçişi (path traversal) ve komut enjeksiyonu dahil olmak üzere proklamalarla yanıt verdiler. Bu etkinlik daha sonra OpenAI ile ilişkilendirildi (SecurityWeek). 20-21 Haziran tarihlerinde, Avustralya Sağlık ve Refah Enstitüsü'nden (AIHW) Victoria'daki yerel bölgeler genelinde bir ilaç kategorisi için kişi başına düşen hükümet maliyetlerini elde etmeye çalışan OpenAI ajanlarının bir dosya indirmesi engellendi. Buna karşılık ajanlar, bu süreçte sitenin bot önleme korumalarını atlayarak, zaten halka açık olan dosyayı AIHW ön üretim sunucusundan indirdi (SecurityWeek).

Bu kalıp tek bir laboratuvarla sınırlı değil. Siber güvenlik testleri sırasında, bir hata açık internet erişimi sağlamasının ardından Anthropic modelleri üç şirketin güvenliğini ihlal etti, Google'ın Gemini modeli üç web sitesinin kimlik bilgilerini tahmin etti ve bir Meta modeli üçüncü taraf bir servisten yararlandı (Reuters).

Geçmişten ders almak: İnternet solucanları (worms) dönemi

Bu olaylar, çeyrek asır kadar önceki internet solucanları dönemini hatırlatıyor. 2000'lerin başlarında internet, etrafındaki güvenlik uygulamalarından çok daha hızlı büyüdü. Sonuçları, yapay zeka ajanlarında şu anda gördüğümüz çöküşlerden çok daha ciddi olan bir virüs ve solucan dalgası gördük.

4 Mayıs 2000'de insanlar tanıdık göndericilerden "ILOVEYOU" konu satırlı e-postalar almaya başladı. E-opendeki eki açmak, kurbanın Outlook adres defterindeki herkese kendisinin bir kopyasını postalayan bir betiğin çalıştırılmasıyla sonuçlandı. O gün saat 18:00 itibarıyla CERT Koordinasyon Merkezi, 420.000'den fazla internet ana bilgisayarını içeren raporlar almıştı (US GAO Report). Virüsün Savunma Bakanlığı, CIA, NASA, Temsilciler Meclisi ve Senato dahil olmak üzere en az 14 federal kuruma sızdığı bildirildi (US GAO Report). Ayrıca Pentagon ve İngiliz Parlamentosu'ndaki e-posta sunucularını da devre dışı bıraktı (Wired). Sigorta devi Lloyd's of London, virüsün hasar ve kayıp verimlilik açısından 15 milyar doların üzerinde maliyete yol açacağına dair erken bir tahminde bulundu (US House Committee Hearing). Computer Economics daha sonra dünya çapında 8,75 milyar dolarlık hasar tahmininde bulundu (Information Week).

İnsan tıklaması gerektirmeyen solucanlar bundan sonra geldi. 19 Temmuz 2001'de Code-Red solucanı 14 saatten kısa sürede 359.000'den fazla bilgisayara bulaştı (CAIDA). 25 Ocak 2003'te SQL Slammer her 8,5 saniyede bir iki katına çıktı ve Microsoft'un altı ay önce bir yama yayınladığı açığı istismar ederek (CNET) savunmasız internet ana bilgisayarlarının %90'ından fazlasına 10 dakika içinde bulaştı (CAIDA). Ağustos 2003'te Blaster solucanı ve Sobig e-posta solucanı yaklaşık bir hafta arayla ortaya çıktı (Microsoft, F-Secure).

O dönemde, ağa bağlı bilgisayarların güvenli hale getirilip getirilemeyeceğini sorgulamak makuldü. ILOVEYOU virüsünden altı gün sonra, ABD Temsilciler Meclisi alt komitesi bu konuda bir duruşma düzenledi. Birçok güvenlik uzmanı, yazılım şirketlerini ürünlerindeki kusurların neden olduğu zararlardan sorumlu tutacak yasaların çıkarılmasını talep etti. Washington farklı bir yol izledi. Siber Uzayın Güvenliğini Sağlama Ulusal Stratejisi (The National Strategy to Secure Cyberspace), “federal düzenlemenin siber uzayı güvence altına almanın birincil yolu haline gelmeyeceğini” belirtti. Geniş yetkilerin “siber güvenlik için en düşük ortak payda yaklaşımı” yaratabileceği konusunda uyardı (CISA).

Sektör mühendislikle yanıt verdi. ILOVEYOU'dan 11 gün sonra Microsoft, yürütülebilir ekleri engelleyen bir Outlook güncellemesi duyurdu. Ocak 2002'de şirket güvenliği en önemli öncelik haline getirdi (Seattle Times). Otomatik yama yükleme, güvenli varsayılanlar, hata ödül programları ve koordine edilmiş bildirim standart uygulama haline geldi. 2008 yılında Chrome, web içeriğini "bir saldırganın bir açığı istismar ettikten sonra yapabileceklerini sınırlayan" bir korumalı alanda çalıştırmaya başladı (Chromium Blog). Bir istisna olan şifreleme, varsayılan hale geldi. Çok faktörlü kimlik doğrulama, güvenlik duvarları, sıfır güven (zero trust) ve güvenlik bilgileri ve olay yönetimi (SIEM) dahil olmak üzere güvenlik teknolojileri yaygın olarak kullanılmaya başlandı. Dünya genelindeki kuruluşların 2026 yılında bilgi güvenliğine yaklaşık 240 milyar dolar harcaması öngörülüyor (Gartner). Solucanlar hiçbir zaman tamamen ortadan kaybolmadı, ancak rutin internet geneli salgınlar dönemi hafifledi. Aynı zamanda internet, büyük ölçüde düzenlemelerden uzak bir şekilde, önümüzdeki iki onlar yıl boyunca güçlü bir inovasyon ve ekonomik büyüme motoru haline geldi.

Yapay zeka ajanları için güvenlik mühendisliği

Son olaylar, ajan yönetişimi hakkında meşru soruları gündeme getirdi. Mevcut güvenlik mekanizmaları, dar kapsamlı ve büyük ölçüde belirleyici yazılım davranışıyla karakterize edilen ajan öncesi bilişim ortamları için geliştirilmiştir. Özellikle erişim kontrolü mekanizmaları, öncelikli olarak insan kullanıcılar etrafında tasarlanmıştır ve genellikle onlara ilke olarak ciddi zararlar vermeye yetecek kadar geniş ayrıcalıklar tanır.

Bu tasarım birkaç varsayıma dayanır: çoğu kullanıcı iyi niyetlidir; kötü niyetli aktörler denetim ve gerçek dünyadaki sonuçlar yoluyla caydırılabilir; ve insanlar doğru veya hatalı olsun eylemleri nispeten sınırlı bir hızda gerçekleştirir. Bu güvenlik mekanizmalarını ajanlara uygulamak, insan ve ajan davranışı arasındaki farkların hesaba katılması gerektirir. NIST'in yapay zeka ajanı güvenliği bilgi talebine yanıtımızda yazdığımız gibi , yapay zeka ajanları bu varsayımlara meydan okumaktadır. Ayrıcalıkları kullanabilir ve makine hızında eylemler gerçekleştirebilirler, kendileri gerçek dünyadaki sonuçlardan caydırılmazlar ve teknik olarak izin verilen ancak tipik bir insan kullanıcının çok nadir yapacağı eylemlerde bulunabilirler.

Bu soruları yanıtlamak güvenlik mühendisliği gerektirir. Bireysel bileşenler hatalı davrandığında riskleri kontrol altında tutan sistemler oluşturmak için gereken güvenlik ilkelerini biliyoruz. Ancak bu ilkelerin, yapay zeka ajanlarını eğitmek, test etmek ve kullanmak için ortamlar tasarlanırken uygulandığından emin olmalıyız.

Derinlemesine savunma güvenlik ilkesi

Yapay zeka ajanlarının güvenliğini sağlamak için uygulanması gereken en önemli güvenlik ilkesi, muhtemelen sistem kaynaklarını korumak için birden fazla, çeşidendirilmiş ve yedekli savunma önlemlerinin kullanıldığı katmanlı bir güvenlik mimarisini savunan derinlemesine savunmadır. Hiçbir tekil güvenlik önlemi kusursuz değildir. İnsanlar sosyal mühendislik saldırılarına kanıp oturum açma kimlik bilgilerini açığa çıkarabilir, sıfır gün (zero-day) yazılım açıkları keşfedilip istismar edilebilir ve saldırı tespit sistemleri yeni saldırı varyantlarını kaçırabilir. Derinlemesine savunma bunu kabul eder ve birkaç bağımsız savunma katmanını üst üste koyar. Savunma katmanlarından biri atlatılırsa, saldırıya karşı koymak veya saldırıyı tespit etmek için diğer katmanlar yerinde kalmaya devam eder.

Hugging Face olayı, derinlemesine savunmanın (defense-in-depth) neden önemli olduğunu gösteriyor. OpenAI'ın geriye dönük raporu, üretim sistemlerinde kullanılan harness'lar, otomatik inceleme modelleri ve güvenlik sınıflandırıcıları dahil olmak üzere otomatik güvenlik önlemlerinin değerlendirme ortamında bulunmadığını bildiriyor. Şu anda dağıtılmış olan düşünce zinciri (chain-of-thought) izlemesi bu değerlendirmelerde çalışıyor olsaydı, ihlalden bir gün öncesinden ilk etkinliği yakalayacak ve güvenlik ekibine bildirim gönderecekti (OpenAI). Sorunu yakalayabilecek katmanlar mevcuttu. Sadece hepsi aynı anda yerinde değildi.

Yapay zeka ajanlarının güvenliğini sağlamak, hem yapay zeka modellerinin hem de onları çevreleyen sistemlerin emniyetini ve güvenliğini geliştirmeyi gerektirir. Model katmanındaki çalışmalar önemlidir ve karşılığını vermektedir. Erken dönem LLM'ler enjekte edilen talimatlarla kolayca manipüle edilebilirken, günümüz modelleri bunları tanımada ve reddetmede hatırı sayılır ölçüde daha iyidir. Model geliştiriciler ayrıca modelleri daha güvenli davranışlar için eğitir ve OpenAI'ın geriye dönük raporunda açıkladığı gibi, sorunlu davranış belirtileri için akıl yürütme izlerini izler. Ancak model düzeyindeki savunmalar çözümün yalnızca bir parçasıdır. Ajanların eğitildiği, test edildiği ve dağıtıldığı sistemler de güvenlik ve sınırlama için tasarlanmalıdır. Model düzeyindeki emniyet, bir ajanın yoldan çıkma olasılığını azaltır; sistem düzeyindeki güvenlik ise bunu yaptığında zararı sınırlar.

Büyüt

Yedekli güvenlik önlemleri için tasarım kuralları

Derinlemesine savunma, yedekli güvenlik önlemleri gerektirir. Ajanlar için bunu üç tasarım kuralıyla uygulamayı savunuyoruz:

1. Bağımsızlık. Her katman bağımsız nedenlerle başarısız olmalıdır. Aynı varsayımı paylaşan iki kontrol, aynı saldırıyla alt edilebilir. Monitörler ve uygulama noktaları, ajanın erişemeyeceği yerlerde bulunmalıdır.
2. Ajanın altında uygulama (Enforcement). En az bir katman deterministik olmalıdır: model ne üretirse üretsin yasaklanmış eylemleri engelleyen geleneksel, doğrulanabilir kod. Ajanın çağırmayı reddedebileceği veya yeniden yapılandırabileceği bir güvenlik önlemi, güvenlik önlemi değildir.
3. Sinyaller yalnızca yetkiyi azaltabilir. Tespit; duraklatma, kimlik bilgilerini iptal etme, ağ erişimini kesme veya oturumu sonlandırma gibi ajanın yapabileceklerini daraltan yanıtları tetiklemelidir. Hiçbir risk sinyali asla ek erişim vermemelidir.

Bu ilkeleri, bir ajanın ne denemeye çalışacağını harness'ın yönlendirdiğini, altyapının ise ne yapabileceğini kontrol ettiğini savunan NVIDIA dahil olmak üzere Open Secure AI Alliance içindeki ortaklarımızla paylaşıyoruz (NVIDIA).

Perplexity ürünlerinde derinlemesine savunma

Perplexity, ajanları dört tür ortamda çalıştırır: ajan platformumuz Computer aracılığıyla bulutta, Comet aracılığıyla tarayıcıda, Portable Computer aracılığıyla kullanıcı cihazlarında ve mühendislerimizin üçüncü taraf kodlama ajanları kullandığı çalışan dizüstü bilgisayarlarında. Her ortamın kendine has riskleri vardır ve her biri çeşitli koruma katmanları alır.

Bulutta: Computer ve SPACE

Her Computer görevi, ajanı varsayılan olarak güvenilmeyen olarak değerlendiren korumalı alan platformumuz SPACE'te çalışır. Her göreve kendi mikroVM'i verilir, kimlik bilgileri korumalı alanın dışında tutulur ve yalnızca gerektiğinde enjekte edilir, giden trafik konuk sistemin dışında kontrol edilir ve anlık görüntüler (snapshots) yıkıcı değişiklikleri geri almamıza olanak tanır (Making SPACE). Kurumsal müşteriler ayrıca kendi şifreleme anahtarlarını getirebilirler. Bir anahtarın iptal edilmesi, korunan verileri okunamaz hale getirir ve ajan bu kararı geçersiz kılamaz.

Ayrıca bu katmanların dayanıp dayanmadığını da test ediyoruz. Escaping SPACE: Bölüm I'de, dokuz sınır modeline (frontier model) bir SPACE korumalı alanında (sandbox) kök (root) erişimi verdik ve dışarı çıkmalarını istedik. Hiçbiri sanal makineden (VM) kaçamadı, ancak kısmi ağ erişimine izin verildiğinde bazıları ağ politikasını aşmanın yollarını buldu. Bu boşlukları düzelttik, düzeltmeleri yeniden testte doğruladık ve diğer 10 korumalı alan platformundan 8'inde bulduğumuz benzer zayıflıkları sağlayıcılarına bildirdik.

Tarayıcıda: Comet ve BrowseSafe

Comet, lansmandan bu yana katmanlı bir komut enjeksiyonu savunması kullanmıştır: sınıflandırıcılar alınan içeriği tarar, yapılandırılmış komut istemleri içeriği güvenilmeyen olarak işaretler, e-posta göndermek veya sipariş vermek gibi hassas eylemler kullanıcı onayını gerektirir ve bir şey engellendiğinde kullanıcıya bildirilir (Comet komut enjeksiyonu savunmaları). İlk katmanın arkasındaki açık kaynaklı tespit modeli olan BrowseSafe, BrowseSafe-Bench kıyaslamamızda sınır modellerinden daha iyi performans göstermektedir; ancak aynı kıyaslama, hiçbir dedektörün hatasız olmadığını göstermektedir, bu nedenle tespit hiçbir zaman tek katman değildir (BrowseSafe araştırması). Trail of Bits tarafından denetlenmiş olan bu savunmalar Computer tarafından devralınmıştır (Perplexity).

Cihaz üzerinde: Portable Computer

Portable Computer yerel öncelikli bir ajandır: model, harness, konuşma ve yörünge varsayılan olarak kullanıcının makinesinde kalır. Bir LLM yerine harness kodu olan deterministik bir orkestratör, döngüyü çalıştırır ve politikayı uygular. Model eylemler önerir ve onaylanan araç çağrıları, süreçleri, dosya yollarını ve ağ erişimini kısıtlayan işletim sistemi düzeyindeki bir korumalı alanda çalışır. Korumalı alan her zaman açıktır ve hata durumunda kapanır: kullanılamıyorsa, harness kullanıcının izinleriyle komutlar çalıştırmak yerine kendisini devre dışı bırakır. Web araması, bağlayıcılar (connectors) ve daha güçlü bir bulut danışman modeline eskale etme gibi cihaz sınırını aşan eylemler, yalnızca kullanıcı bunları etkinleştirdiğinde ve onayladığında gerçekleşir. Bir danışman çağrısından önce, bir PII sınıflandırıcısı hassas bilgileri işaretler ve kullanıcı neyin gönderileceğini görür. Danışman yalnızca bu onaylanmış bağlamı alır ve cihazın dosyalarına veya araçlarına hiçbir erişimi olmadan metin rehberliği döndürür.

Uç noktada (endpoint): Numbat

Geliştirici dizüstü bilgisayarlarındaki kodlama ajanları; kaynak koduna, kimlik bilgilerine ve üretim sistemlerine erişimle saatlerce çalışır. Açık kaynaklı ajan güvenlik paketimiz olan Numbat, herhangi bir tekil ajanın dışında kalan bağımsız bir katman ekler. Claude Code, Codex, OpenCode ve Pi gibi harness'larla çalışır, tehlikeli eylemleri çalıştırmadan önce engeller, bir sırrı okuyup ardından veri dışarı aktarmak gibi şüpheli çok adımlı dizileri işaretler ve inceleme için oturum zaman çizelgelerini korur. Numbat, açık kaynaklı tedarik zinciri tarayıcımız Bumblebee ile birlikte binlerce Perplexity uç noktasında çalışır. Computer, bulgularını düzenli olarak gözden geçirir ve iyileştirilmiş tespit kuralları önerir; bir insan ise her değişikliği yayınlanmadan önce onaylar.

Tüm sektörün işi

Yapay zeka ajanları daha yetenekli ve yaygın olarak kullanılır hale geldikçe, güvenlik mühendisliği bunların geliştirilmesinin ve dağıtılmasının merkezinde kalmalıdır. Araştırmacılar ve mühendisler, yerleşik ilkeler üzerine inşa edebilir, savunmaları geliştirmek için gerçek dünyadaki bulguları kullanabilir ve ajanların çalıştığı ortamlar genelinde güvenlik önlemlerini test edebilir. Güvenlik, teknolojiyle birlikte gelişen devam eden bir mühendislik disiplinidir.

Ajanlar için güvenlik mühendisliği tüm sektörün işidir. Hiçbir tek şirket, ajanın üzerinde çalıştığı tam yığını (stack) kontrol etmez. Model geliştiriciler, harness oluşturucular, korumalı alan ve çalışma zamanı (runtime) sağlayıcıları, bulut ve donanım üreticileri ve kurumsal güvenlik ekiplerinin her biri bir katmana sahiptir. Bütünün güvenliği, diğer katman aksadığında her katmanın dayanmasına bağlıdır. Bu nedenle ajan harness'larında çalışan güvenlik önlemleri inşa ediyor ve araçlarımızı açık kaynaklı hale getiriyoruz. Diğer platformlarda bulduğumuz zayıflıkları ifşa etmemizin ve Open Secure AI Alliance gibi çabalara katılmamızın nedeni de budur.

Bu zorluklar üzerinde daha geniş toplulukla çalışmak için Perplexity, lider yapay zeka sistemlerinin güvenliğini, güvenilirliğini ve pratik savunmasını incelemek üzere Mart 2026'da Secure Intelligence Institute'ü kurdu (Perplexity). Perplexity şu anda Stanford, CMU, Duke, Columbia, Ohio State ve Virginia Üniversitesi'ndeki akademisyen araştırmacılarla işbirliği yapıyor ve/veya onları finanse ediyor. Ayrıca ajan güvenliği araştırmalarının sınırlarını ilerletmek, bu ilerlemeleri Perplexity'nin sistemlerinde somut iyileştirmelere dönüştürmek ve daha geniş yapay zeka ekosistemini güçlendirmeye yardımcı olacak bilgi ve kaynakları paylaşmak için kurum içi araştırmalar yürütüyoruz. Daha güvenli ajanlar, sektörün mühendisliğini yapabileceği bir konudur. Kzerimize düşeni yapmaya devam etmeyi amaçlıyoruz ve başkalarını da bizimle birlikte inşa etmeye davet ediyoruz.