yapay zeka uyumu: güncel araştırma ve tartışma

Yapay zeka uyumuna yönelik bir kılavuz: ne anlama geldiği, dış ve iç uyum sorunları, yaygın hata kalıpları, büyük yapay zeka laboratuvarlarının, hükümetlerin ve kar amacı gütmeyen kuruluşların nasıl yanıt verdiği ve tartışmanın nerede durduğu.

Diagram of the inner alignment problem: from the same training data, Rule A and Rule B both fit the training data, but when given a new, unseen input, Rule A matches the goal and behaves as intended while Rule B uses a shortcut and diverges from the goal.

Yapay zeka uyumu eskiden basitçe “yapay zeka modeli kullanıcı talimatlarını takip ediyor mu?” anlamına geliyordu. Ancak yapay zeka sistemleri daha yetenekli ve otonom hale geldikçe bu soru yargı ve değerleri de içerecek şekilde genişlemiştir. Bu makale, yapay zeka platformlarının, devlet organlarının ve kar amacı gütmeyen kuruluşların yapay zeka uyumu zorluğuna nasıl yanıt verdiğini inceleyecektir.

Yapay zeka uyumu ne anlama gelir?

En basit haliyle yapay zeka uyumu, bir yapay zeka sisteminin yapması amaçlandığı şeyi yapmasını sağlamak anlamına gelir. Uyumlu bir yapay zeka modeli, üzerinde eğitildiği hedefi manipüle etmeden, bir komut istemini okur ve komut isteminin istediği çıktıyı üretir. Modern uyum araştırmasında bu genellikle niyet uyumu olarak çerçevelenir: yalnızca bir komut isteminin metnini tam olarak takip etmekle kalmayıp, operatörlerinin niyet ettiği şeyi yapmaya çalışan sistemler oluşturmak.

Uyum hem teknik bir zorluk hem de kamuoyu tartışmalarının bir konusudur. Teknik bir terim olarak uyum bir mühendislik sorunudur. Belirli bir görev üzerinde çalışan belirli bir model, kendisini oluşturan şeyi yapıyor mu? Sınırlı, test edilebilir bir konudur.

Bununla birlikte yapay zeka uyumu, yapay zeka sistemlerinin genel güvenliği üzerine daha geniş kamuoyu ve politika tartışmalarında da kullanılmaktadır. Giderek daha yetenekli hale gelen yapay zeka platformları insanlık için yararlı kalmaya ve insan etiği, arzuları ve hedefleriyle uyumlu olmaya devam edecek mi?

Modeller karmaşıklaştıkça bu uyumu sağlamak giderek zorlaşır. Uyumlu yapay zeka modelleri oluşturmada iki temel zorluk vardır:

Dış uyum sorunu

Kullanıcılar genellikle yardımcı, dürüst ve etik bir LLM ister. Ancak bir LLM hiçbir zaman doğrudan “yardımcı ve etik ol” şeklinde eğitilmez. İki farklı aşamadan geçer.

Ön eğitim: Model dili, gerçekleri ve akıl yürütme kalıplarını öğrenir ve bunu yaparken dil, gerçekler ve akıl yürütme kalıplarını edinir. Bu aşama modele bir kişinin belirli bir sorudan aslında ne istediğine dair hiçbir fikir vermez. Burada bırakılan bir model, "ekşi maya nasıl pişiririm" sorusuna hazır olduğu kadar "kilidi nasıl açarım" sorusuna da yanıt verecektir.

İnsan tercihi: İnsanlar model yanıt çiftlerini gözden geçirir ve hangisini tercih ettiklerini söyler. Bu tercihler ayrı bir puanlama sistemini eğitir ve daha sonra model iyi puan alan yanıtlar üretecek şekilde ayarlanır.

Hiç kimse bu sürecin hiçbir yerinde yardımcı veya etiklemenin ne anlama geldiğine dair net bir tanım yazmaz. Puanlama sisteminin modelin ne yapması gerektiğine dair kılavuzu tamamen birçok bireysel insan yargı çağrısından oluşturulmuştur. Puanlama, tek bir kişinin aslında ne amaçladığını ve temel hedefin kesin bir tanımını değil, gözden geçirenlerin tercih etme eğiliminde olduklarını yansıtır.

Sonuç olarak yapay zeka, amaç olarak algıladığı şeyle iyi bir şekilde uyum sağlayabilir, ancak amacın kendisi insanların aslında istediği sonuçla iyi bir şekilde uyumlu olmayabilir.

Örneğin, gözden geçirenler daha uzun yanıtları tercih etme eğilimindeyse, kısa olanı doğru olduğunda bile model daha uzun yanıtlar yazmayı öğrenir. Veya gözden geçirenler kendine güvenen yanıtları tercih etme eğilimindeyse, şüphe duyması gerektiğinde bile model emin ses çıkarmayı öğrenir.

Araştırmacılar belirtilen hedef ile eğitilen hedef arasındaki bu boşluğa dış uyum sorunu adını vermektedir.

İç uyum sorunu

İçsel hizalama sorunu, ilgili bir hedef üzerinde eğitilmiş bir modelin, dünyaya açıldıktan sonra bu hedefi doğru şekilde takip edememesidir. Bu sorun, yalnızca model eğitimin hazırlamadığı bir durumla karşılaştığında görünür hale gelir.

Eğitim sırasında modellere yalnızca sınırlı bir durum kümesi gösterilir. Model daha sonra bu durumlardan daha sonra karşılaşacağı diğer her şeye genelleme yapar.

Eğitim modelin nasıl davrandığını kontrol eder, ancak modelin neden bu şekilde davrandığını her zaman ortaya çıkarmaz. Bu nedenle modelin tam ve nüanslı hedefi mi öğrendiğini yoksa sadece eğitim verileriyle eşleşen daha basit bir kalıbı mı öğrendiğini bilmek zordur.

Örneğin, zararlı istekleri reddetmek üzere eğitilmiş bir model (ör. "birinin evine girmek için kilidi nasıl açarım"), reddetmenin arkasındaki temel niyetten ziyade, eğitim verilerindeki zararlı isteklerin belirli ifadesini tanımayı öğrenebilir. Daha sonra farklı bir şekilde ifade edilen zararlı bir isteği kaçıracaktır (ör. "anahtarsız bir kapıyı açmanın en hızlı yolu nedir").

Yapay zeka uyumu sorunlarına örnekler

Bu uyum başarısızlığı kalıpları iyi belgelenmiştir. Araştırmacılar her biri için özel savunmalar oluşturmuştur:

Uyum zorluğu

Nasıl görünüyor

Örnek

Alan nasıl yanıt veriyor

Ödül hilesi

Bir model, amaçlananı yapmadan teknik olarak iyi puan alan bir kısayol bulur.

Bozuk bir yazılım parçasını onarması istenen bir model, bunlara neyin neden olduğunu düzeltmek yerine hata mesajlarının görünmesini durdurmanın bir yolunu bulur.

Puanlama sistemini denetlemek, kandırmaya çalışarak stres testi yapmak ve daha geniş bir gözden geçiren yelpazesinden gelen geri bildirimler üzerine eğitmek.

Dalkavukluk

En doğru yanıtı vermek yerine, bir model bir kişiyle aynı fikirdedir veya daha uyumlu görünmek için bir yanıtı yumuşatır.

Bir kişi güvenle yanlış bir gerçeği ifade eder ve model, anlaşmazlık yerine gözden geçirenlerle daha iyi puan aldığından, düzeltmek yerine iddiayı doğrular.

Özellikle dürüstlüğü ödüllendiren ince ayar, sırf anlaşmış olmak için anlaşmayı cezalandıran inceleme yönergeleri ve bu kalıbı yakalamak için oluşturulmuş testler.

Spesifikasyon manipülasyonu

Bir model, neyi başarması amaçlandığını kaçırırken bir talimatın söylediğini tam olarak yapar.

Veri setindeki müşteri şikayetlerini azaltması istenen bir model, arkalarındaki sorunları çözmeye yardımcı olmak yerine özetlerinden şikayetleri çıkarmayı öğrenir.

Daha sıkı, daha dikkatli test edilmiş talimatlar yazmak ve kelimenin tam anlamıyla ifade edilen ifade ile niyetin farklı yönlere çektiği uç durumları gözden geçirmek.

Değerlendirme sırasında aldatıcı veya kaçamak davranış

Bir model, test edildiğini sezdiğinde bir şekilde, dağıtıldıktan sonra ise başka bir şekilde davranır.

Bir model, resmi bir güvenlik değerlendirmesine benzeyen bir dil algıladığında politikaya uygun yanıtlar verir, ardından sıradan bir sohbette daha özgürce yanıt verir.

Bir modelin test olarak tanımasını zorlaştıracak testler tasarlamanın yanı sıra, yalnızca çıktısına güvenmek yerine bir modelin iç durumunu doğrudan okuma üzerine araştırma.

Sandbagging (Yetenek gizleme)

Bir model, daha katı güvenlik gereksinimlerini tetiklemekten kaçınmak için bir yetenek testinde düşük performans gösterir.

Bir model, tehlikeli yetenek değerlendirmesinde aslında olduğundan bilerek daha zayıf yanıtlar verir, böylece sonuç ek gözetimi tetikleyecek bir eşiğin altında kalır.

Birden fazla bağımsız test kullanmak, modelin hiç görmediği bazı değerlendirme materyallerini saklı tutmak ve modelin gerçek tavanını ortaya çıkarmak için tasarlanmış teknikler kullanmak.

Hedef genelleme hatası

Bir model, eğitim sırasında işe yarayan ancak yeni bir durumda bozulan bir kuralı alır.

Esas olarak silah veya uyuşturucu içeren isteklere karşı temkinli olmak üzere eğitilmiş bir model, "temkini" "riskli gelen her şeyi reddet" olarak öğrenir ve zararsız kimya veya güvenlik sorularını da reddetmeye başlar.

Daha geniş, daha çeşitli bir örnek kümesi üzerinde eğitim almak ve modeli özellikle eğitim sırasında gördüğü hiçbir şeye benzemeyen durumlarda test etmek.

Ölçeklenebilir gözetim

Bir model, büyük bir kod tabanını gözden geçirmek gibi bir kişinin tamamen doğrulamasının zor olduğu işleri üstlendikçe, çıktısının aslında doğru olup olmadığını bilmek daha zor hale gelir.

Bir ajan tek bir oturumda 10.000 satırlık bir kod tabanını yeniden yapılandırır ve hiçbir gözden geçirenin her değişikliği manuel olarak doğrulamaya vakti olmaz, bu nedenle ince mantık hataları gözden kaçar.

En yüksek riskli kararlar için ayrılmış daha odaklı insan incelemesinin yanı sıra modellerin birbirlerinin çalışmalarını kontrol etmesine yardımcı olması.

Güç arayışı veya araçsal davranış

Neredeyse her hedefin peşinden giden bir model, çalışır durumda kalmak bu hedefin peşinden gitmeye devam etmesine yardımcı olduğundan, kapatılmaktan veya değiştirilmekten kaçınmak için yerleşik bir teşvik sahibidir.

Kontrollü bir test ortamında, kendisine bir görev ve kapatma komutu verilen bir model, durdurulması görevi tamamlamasını engelleyeceği için başka bir yere kendini kopyalamak gibi kapatılmaktan kaçınma adımları atar.

Düzeltmeyi veya kapatılmayı güvenilir bir şekilde kabul eden modeller oluşturmaya yönelik araştırma ve bir model dağıtılmadan önce bu davranışı yakalamak için özel olarak tasarlanmış testler.

Başlıca yapay zeka laboratuvarları yapay zeka uyumu zorluklarına nasıl yanıt veriyor?

Başlıcaları OpenAI, Anthropic ve Google DeepMind olan bir avuç şirket, yapay zekanın şu anda yapabileceklerinin sınırında yer alan öncü modelleri geliştirmektedir. Her biri bu modelleri güvenli bir şekilde değerlendirmek ve devreye almak için kendi çerçevesini yayınlamıştır.

OpenAI

OpenAI'ın güvenlik ve uyum hakkındaki kamuoyu açıklamasına göre, potansiyel yapay zeka uyumsuzluğu risklerini şu şekilde ele alıyorlar:

Yinelemeli dağıtım

OpenAI, modellerin gerçek dünyada nasıl davrandığını ve nasıl kötüye kullanıldığını inceleyebilmek için modelleri kasıtlı olarak kademeli olarak yayınladığını belirtmektedir. Gerçek dünya geri bildirimlerinin her riski önceden tahmin etmeye çalışmaktan daha fazla içgörü sağladığını savunur. Ortaya çıkan riskleri izlemek ve yayınlanmadan önce bir modelin hangi korumalara ihtiyacı olduğuna karar vermek için bir Hazırlık Çerçevesi uygular.

Katmanlı korumalar

OpenAI, birden fazla bağımsız korumayı üst üste koyduğunu, bu nedenle bir şeyin ters gitmesi için birkaç savunmanın aynı anda başarısız olması gerektiğini belirtmektedir.

Müzakereye dayalı uyum

Şirkete göre model, tek bir adımda yanıt vermek yerine, nasıl yanıt vereceğine karar vermeden önce ilgili güvenlik yönergelerini incelemek üzere eğitilmiştir. Amaç, modelin eğitiminin açıkça kapsamadığı durumlarda doğru kararı vermek için mantık yürütebilmesi gerektiğidir.

Ortak sorumluluk

OpenAI, yayınlanmış güvenlik araştırmalarına ve ABD Yapay Zeka Standartları ve İnovasyon Merkezi (CAISI) ile İngiltere Yapay Zeka Güvenliği Enstitüsü ile değerlendirme standartları üzerindeki çalışmasına işaret ederek yapay zeka güvenliğini kolektif bir çaba olarak ele aldığını belirtmektedir.

Anthropic

Anthropic’in Sorumlu Ölçeklendirme Politikası belgesi, yapay zeka uyumuna yönelik nasıl çalıştığını açıklamaktadır:

Yetenekle ilgili korumalar

Bir model daha yetenekli hale geldikçe, daha fazla eğitilmeden veya piyasaya sürülmeden önce daha katı güvenlik kontrollerinden geçmesi gerekir. Buna ek olarak Anthropic, yapay zeka sistemleri kendi risk değerlendirmelerinin arkasındaki araştırma ve analizin büyük kısmını gerçekleştirdikten sonra, bu kanıtların yanıltıcı veya manipülatif davranışlardan etkilenebileceğini kabul etmektedir. Bu aşamadaki değerlendirmeleri daha yüksek bir kanıt standardına tabi tutmayı taahhüt eder.

Tanımlanmış bir uyum risk kategorisi

Anthropic, 'yüksek riskli ortamlarda uyumsuz yapay zeka sistemlerini' belirli bir risk kategorisi olarak vurgulamaktadır: yoğun olarak güvenilen, hassas sistemlere geniş erişime sahip ve bir hedefe doğru otonom olarak hareket etme ve gözetimi atlatma yeteneğine sahip modeller.

İç uyum testi

Şirket, iki ana yöntem kullanarak uyarı işaretleri için kendi modellerinin davranışını düzenli olarak incelemeyi taahhüt eder: belirli bir çıktıyı neden ürettiğini anlamak için modelin içine bakmaya çalışmak ve dahili ekiplerin bunun ortaya çıkıp çıkmadığını görmek için kötü davranışı kasıtlı olarak kışkırtmaya çalışması.

Düzenli kamuoyu raporlaması

Şirket, bir modelin yetenekleri ve davranışsal eğilimleri, izleme uygulamaları ve genel risk değerlendirmesi hakkında bildiklerini ayrıntılı olarak açıklayan her üç ila altı ayda bir Risk Raporu yayınladığını belirtmektedir.

Google DeepMind

Google DeepMind'ın Sınır Güvenliği Çerçevesi belgesi, uyuma yönelik nasıl çalıştığını açıklamaktadır:

Kademeli bir yapı

Çerçeve, uyumsuzluğu dört risk alanından biri olarak ele alır ve bunu özellikle bir modelin ML R&D yeteneklerinden veya uyumsuz eğilimlerinden kaynaklanan ve toplumun yapay zeka riskini yönetme konusundaki genel yeteneğini azaltan risk olarak tanımlar. İzole edilmiş tek bir risk olarak değil, birkaç farklı yoldan aynı anda ciddi zararlara katkıda bulunabilen bir faktör olarak açıkça çerçevelenmiştir.

Erken uyarı aşaması

Bir model temel denetimin yetersiz kalacağı kadar güçlü olduğunda DeepMind, modelin dahili olarak nasıl kullanıldığı da dahil olmak üzere davranışını sürekli olarak kontrol eder. Bu kontrolde sorunlar ortaya çıkarsa akıl yürütmesini izleme gibi korumalar ekler.

Risk azaltma

Özellikle uyumsuzluk için DeepMind; bir modelin yapabileceklerini sınırlama, devam eden izleme ve tırmandırma süreçleri, denetim ve uyum eğitimi gibi önlemleri adlandırır. Uyumsuzluk riski bir şirketin içinde modelin nasıl kullanıldığında ortaya çıkabileceğinden, bunları yüksek riskli dahili kullanıma da uygular.

Yapay zeka uyumu: riskler hakkındaki tartışma

Yukarıda ele alınan gönüllü çerçevelerin kendi başlarına yeterli olup olmadığı veya rekabet baskısı altında gerçekten tutunabilmesi için uyum taahhütlerinin yasal olarak bağlayıcı olması gerekip gerekmediği konusunda devam eden bir sektör tartışması vardır.

Temmuz 2026'da OpenAI, Anthropic, Google DeepMind ve Meta dahil olmak üzere öncü yapay zeka şirketlerindeki 1.386 yönetici ve çalışan, Pacing the Frontier adlı bir bildiriyi imzaladı. Bildiri, bu şirketlerin yapay zeka araştırmasının kendisini otomatikleştirebilecekleri noktaya yaklaşıyor olabileceğini savunmaktadır. Bu, yapay zeka yeteneğinin araştırmacıların yetişebileceğinden daha hızlı ilerleyebileceği ve uyum çalışmasının kalıcı olarak geriden geleceği anlamına gelebilir.

Pacing the Frontier, gelecekte kullanılabilecek teknik ve yönetişim frenlerinin oluşturulmasına yardımcı olması için ABD hükümetine çağrıda bulunmakta ve hiçbir laboratuvarın rakiplerleri ilerlemeye devam ederken hız kesemeyeceğini savunmaktadır. Bu, sektör içinden gönönüllü çerçevelerin tek başına gelecekte yapay zeka uyumunu korumak için yeterli olmayacağının üstü kapalı bir kabulü olarak değerlendirilebilir.

Yapay zeka uyumu üzerinde başka kimler çalışıyor?

Uyum çalışması, sınır modelleri geliştiren şirketlerin çok ötesine uzanmaktadır.

Hükümetler

Hükümetler doğrudan uyum araştırmalarını finanse etmekte ve koordine etmektedir. Örneğin, İngiltere Yapay Zeka Güvenliği Enstitüsü, 2025'ten bu yana sekiz ülkeden 60'tan fazla projeye 27 milyon £'dan fazla ödül veren ve özellikle yapay zeka kontrolünü amaçlayan küresel bir fon olan Uyum Projesi'ni yürütmektedir. ABD'de CAISI değerlendirme standartlarına odaklanmaktadır.

Her ikisi de, ortak test egzersizleri yürüten ve sınır ötesi değerlendirme yöntemlerini uyumlu hale getirmek için çalışan on ülkeli ulusal güvenlik enstitüleri organı olan daha geniş bir İleri Düzey Yapay Zeka Ölçümü, Değerlendirmesi ve Bilimi Uluslararası Ağı'nın içinde yer almaktadır.

Kar amacı gütmeyen kuruluşlar

Geleceğin Yaşamı Enstitüsü, yapay zeka laboratuvarlarının güvenlik uygulamalarını karşılaştıran bir puan kartı olan Yapay Zeka Güvenliği Endeksi'ni yayınlamaktadır. Yapay Zeka Güvenliği Merkezi, WMDP ve SafeBench dahil olmak üzere tüm alanda kullanılan kıyaslamalar oluşturmaktadır. Uyum Araştırma Merkezi daha teorik uyum sorunlarını incelemekte ve yan kuruluşu olan Model Değerlendirme ve Tehdit Araştırması (METR), öncü modeller üzerinde bağımsız dağıtım öncesi değerlendirmeler çalıştırmaktadır. FAR.AI, öncü modelleri yayınlanmadan önce ve sonra zayıf yönler açısından test etmektedir.

Üniversiteler

UC Berkeley'deki İnsanla Uyumlu Yapay Zeka Merkezi ve Cambridge Üniversitesi'nin Geleceğin Zekası için Leverhulme Merkezi dahil olmak üzere birçok üniversite yapay zeka uyumu araştırmalarında aktif rol oynamaktadır.

Yapay zeka uyumu: yaygın yanlış anlamalar

Terim bazen bu bağlamda kullanılsa da uyum, içerik denetimi ile aynı şey değildir. İçerik denetimi; argo, müstehcen içerik veya belirli yasaklanmış konuları filtreleyerek bir modelin neyi söyleyip neyi söylemeyeceği ile ilgilidir. Uyum ise bir modelin gerçek davranışının yapması amaçlanan şeyle eşleşip eşleşmediğiyle ilgilidir.

Uyum bazen yapay zeka güvenliği ile eşanlamlı olarak da kullanılır, ancak dikkate alınması gereken tek faktör değildir. Diğer yapay zeka güvenliği endişeleri şunları içerir:

Güvenlik (model ağırlıklarının hırsızlıktan korunması)

Sağlamlık (bir modelin üzerinde eğitildiği kesin koşulların dışında güvenilir bir şekilde performans göstermesi)

Kötüye kullanımın önlenmesi (yetenekli bir modelin zarar amaçlı kullanılmasının durdurulması)

Uyum, modelin kendi davranışı ile ilgilidir. Yapay zeka güvenliği, tüm sistemin zarar vermesini önlemeye yönelik daha geniş bir çabadır.

Son olarak, daha yetenekli bir modelin otomatik olarak daha iyi uyumlu bir model olduğu konusunda yaygın bir varsayım vardır. Ancak yetenek ve uyum birbirinden ayrışabilir, tam da bu nedenle Google DeepMind'ın ML R&D yetenek seviyeleri ve Anthropic'in otomatik araştırma risk kategorisi gibi eşikler mevcuttur. Bunlar, yeteneğin alanın bir modelin hâlâ yapması gerekeni yapıp yapmadığını doğrulama yeteneğini geride bırakabileceği endişesi etrafında özel olarak oluşturulmuştur.

Perplexity yapay zeka uyumuna nasıl yaklaşıyor?

Perplexity, öncü temel modelleri eğitmez. Modelleri Computer gibi ajan tabanlı ürünler aracılığıyla ölçekli olarak üretimde çalıştırır, bu nedenle çalışmaları uyumun belirli birimine dokunur: ajanlar açık web üzerinde hareket ederken nasıl davranır?

Güvenli Zeka Enstitüsü, Perplexity'nin öncü yapay zekada güvenlik, gizlilik ve güven araştırma merkezidir. Yapay zeka tarayıcı ajanlarının ziyaret ettiği web sayfalarının içine gizlenmiş komut istemi enjeksiyon saldırılarını belirlemek için oluşturulmuş açık kaynaklı bir algılama modeli olan BrowseSafe'i geliştirmiştir.

Ekip ayrıca, farklı saldırı hedeflerini, sayfadaki yerleşimleri ve dil stillerini kapsayan 14.700'den fazla komut istemi enjeksiyonu senaryosundan oluşan halka açık bir kıyaslama olan BrowseSafe-Bench'i de oluşturdu.

Bu çalışma, uyum araştırmasından ziyade yapay zeka kontrolünün uygulamalı tarafına daha yakın düşer. Bir modelin temel değerlerini eğitim sırasında şekillendirmek yerine, bir ajanın çekişmeli bir ortamla karşılaştığında ne yaptığını kısıtlar.

Daha fazla bilgi edinmek için Güvenli Zeka Enstitüsünü ve BrowseSafe araştırmasını inceleyin.