Yapay zeka ajanlarında bağlam çürümesi: Uzun görevler neden doğruluk kaybeder ve bu nasıl önlenir?
Bir yapay zeka ajanının bağlamında nelerin biriktiğine, bunun doğruluğu neden olumsuz etkilediğine ve güvenilir kalan görevleri nasıl ayarlayabileceğinize dair bir rehber.

Bağlam çürümesinin yapay zeka ajanları için anlamı
Yapay zeka ajanlarında bağlam çürümesi, uzun bir görev sırasında ajanın bağlamı doldukça ortaya çıkan kademeli doğruluk kaybıdır.
Bir ajanın bağlamı, modelin bir sonraki adımı için elinde bulunan bilgilerdir. Buna talimatlar, önceki mesajlar, arama sonuçları ve web sitelerinden ya da dosyalardan alınan metinler dahil olabilir. Ajan çalıştıkça bağlama yeni bilgiler ekleyebilir.
Örneğin bir ajanın görevinin, iki hafta içinde teslimat yapan tedarikçileri bulmak olduğunu varsayalım. Başlangıçta bağlamında yalnızca bu talep bulunur. Görevin ortasına gelindiğinde bağlamda ayrıca onlarca tedarikçi web sitesinin metni, birkaç sayfalık arama sonucu ve ajanın hangi tedarikçileri zaten kontrol ettiğine dair notlar da yer alır.
Bir modelin tutabileceği bağlam miktarının bir sınırı vardır (buna bağlam penceresi denir). Bu pencere, genellikle bir kelime ya da bir kelimenin parçası olan küçük metin parçaları, yani token'larla ölçülür. Bağlam çürümesi bağlam büyüdükçe artar; bu nedenle en çok, çok adımlı uzun görevlerde ortaya çıkar.
Bağlam çürümesi kötüleştikçe ajanın doğruluğu azalır. Ajan ilk talimatlarına daha az sadık kalabilir, ayrıntıları gözden kaçırabilir ya da benzer görünen bilgileri ihtiyaç duyduğu bilgiyle karıştırabilir.
Örneğin ajana iki hafta içinde teslimat yapan tedarikçileri bulması söylenmiş olsa bile, teslimatı altı hafta süren tedarikçileri de listeye eklemeye başlayabilir. Talimat hâlâ bağlamındadır ancak artık ajanın seçimlerini belirlemez.
Bağlam çürümesi, bağlam penceresinde yerin tükenmesiyle aynı şey değildir. Bir görevin bağlamı pencereyi aştığında içeriğin bir kısmı kesilir ya da görev başarısız olur. Bağlam çürümesi ise bu noktadan çok önce, her şey hâlâ pencereye sığarken başlar.
Bağlam zehirlenmesiyle (yanıltıcı ya da zararlı bilgilerin ajanın bağlamına girmesi) de aynı şey değildir. Doğru ve eksiksiz bilgiye sahip bir ajan da bağlam çürümesi yaşayabilir.
Bağlam çürümesinin nedenleri
Bağlam çürümesi, bağlam penceresinde hâlâ yer olsa bile modelin dikkatinin sınırlı olmasından kaynaklanır. Yapay zeka modellerinde dikkat, bir modelin yanıtın her kelimesini yazarken girdisinin hangi bölümlerinden yararlanacağına nasıl karar verdiğini ifade eden teknik terimdir. Bağlamın her bölümü bu dikkat için yarışır. Metin ne kadar fazlaysa her bölüme düşen dikkat o kadar azalır.
Örneğin Chroma, girdi uzunluğunun yapay zeka modellerini nasıl etkilediğine dair bir çalışma yayımladı. Çalışmada Anthropic, OpenAI, Google ve Alibaba'ya ait 18 model test edildi. Testlerden birinde araştırmacılar, uzun bir deneme koleksiyonunun içine yazma tavsiyesiyle ilgili bir cümle gizledi. Ardından modele bu tavsiyenin ne olduğunu sordular.
Testi her seferinde daha fazla deneme metni ekleyerek defalarca tekrarladılar. Cümle ve soru hiç değişmedi. Yalnızca bunların etrafındaki metnin miktarı değişti.
Modellerin okuması gereken metin arttıkça performansları kötüleşti. Bu bulgu, rapordaki tüm testlerde geçerliliğini korudu. Araştırmacılar, ajan görevlerinin çoğu gibi çok adımlı gerçek işlerde doğruluktaki düşüşün daha da büyük olacağını öngörüyor.
Bağlam çürümesinin yapay zeka ajanlarını etkileme biçimleri
Bağlam çürümesi genellikle şu dört biçimden birinde kendini gösterir:
İlk talimatların takibini kaybetme
Chroma'nın en basit testi, modellerden tekrarlanan kelimelerden oluşan ve içine bir yerde farklı bir kelime yerleştirilmiş uzun bir diziyi birebir kopyalamalarını istiyordu. Bu, açık bir talimat içeren basit bir görevdi. Buna rağmen metin uzadıkça tüm modellerin performansı düştü. Bazı modeller girdide hiç bulunmayan kelimeler üretmeye başladı.
Bir ajan görevinde kullanıcı genellikle görevin başında bütçe ya da gerekli biçim gibi belirli kısıtlamalar belirler. Bağlam büyüdükçe ajan bu kısıtlamaları daha az tutarlı biçimde uygulayabilir. Bunun nedeni talimatın bulunduğu yer değil, bağlamın toplam uzunluğudur.
Görevin ortasındaki ayrıntıların gözden kaçması
Stanford'un 2023 tarihli bir çalışmasına göre yapay zeka modelleri, bilgiyi en güvenilir şekilde girdilerinin en başında ya da en sonunda yer aldığında kullanır. Testlerden birinde araştırmacılar modellere 20 belgelik bir set verdi ve yalnızca birinin yanıtını içerdiği bir soru sordu. Bu belge ilk ya da son sırada olduğunda modeller genellikle yanıtı buldu. Belge setin ortasında olduğunda ise yanıtı çok daha sık kaçırdılar. Araştırmacılar buna konum etkisi diyor.
Aynı örüntü ajanlar için de geçerlidir. Görevin başlarında bulunan bilgiler uzun bir konuşmanın ortasında kalabilir ve bazı modeller bu bilgileri kullanmakta daha çok zorlanır. Tedarikçi örneğinde nihai liste, ajanın görevin ortalarında kontrol ettiği iyi bir tedarikçiyi dışarıda bırakabilir.
Benzer bilgilerin karıştırılması
Bağlam büyüdükçe ajanlar, hangi bilgilerin talimatlarına uyduğunu ayırt etmekte zorlanabilir. Örneğin kullanıcının ajana “iki hafta içinde” sevkiyat yapan tedarikçileri bulmasını söylediğini varsayalım. Bir tedarikçinin web sitesinde “sipariş tarihinden itibaren 14 takvim günü içinde teslim edilir” yazıyor. Kısa bir görevde ajan büyük olasılıkla bunların aynı anlama geldiğini fark eder. Ancak onlarca başka tedarikçi sayfası arasında kaybolduğunda bu eşleşmeyi kaçırma olasılığı artar.
Ya da ajan, alakasız sonuçları da listeye eklemeye başlayabilir. Ajanın ofis sandalyesi tedarikçileri aradığını varsayalım. Bir tedarikçinin web sitesi iki hafta içinde teslimat vaat ediyor, ancak yalnızca masalar için. Sandalyelerin teslimatı altı hafta sürüyor. Web sitesi talimattaki kelimelerin aynısını kullandığı için ajan bu tedarikçiyi yine de listesine ekleyebilir. Araştırmacılar bu tür bilgilere çeldirici diyor. Bu bilgiler alakalı görünür ama değildir; bu yüzden önemli olan bilgilerle rekabet eder.
Chroma'nın çalışması, çevredeki metin miktarı arttıkça her iki sorunun da kötüleştiğini ortaya koydu.
Fark edilmesi zor hatalar
Bağlam çürümesi bir hata mesajı tetiklemez. Ajan çalışmaya devam eder ve tamamlanmış gibi görünen bir çıktı teslim eder. Bu da hatalarının kolayca gözden kaçmasına yol açar.
Chroma'nın testlerinde bu hatalar iki biçimde ortaya çıktı. Bazen model kendinden emin ama yanlış bir yanıt verdi. Tedarikçi araştırması örneğinde ajan, teslimat koşullarını yanlış okuduğu bir tedarikçiyi de içeren, düzenli ve iyi biçimlendirilmiş bir tedarikçi listesi sunabilir.
Diğer durumlarda model, aslında orada olan bilgileri bulamadığını söyledi. Örneğin ajan, birkaç tedarikçi iki haftalık sınırı karşıladığı hâlde hiçbir tedarikçinin karşılamadığını belirten bir rapor sunabilir.
Bağlam çürümesini azaltmak için ajan görevlerini ayarlama
Görevleri doğru şekilde ayarlamak, bağlam çürümesinin etkisini en aza indirir ve ajanın görev boyunca olabildiğince doğru çalışmasını sağlar. Aşağıdaki en iyi uygulamalar bu konuda yardımcı olabilir.
Görevi bir iş tanımı olarak yazın
Net bir iş tanımı bağlamı daha küçük tutar. Ajan işin ne zaman bittiğini bilir; bu yüzden yeterli malzemeye ulaştığında toplamayı bırakır. Belirli gereksinimler ayrıca ajana her sayfayı karşılaştırabileceği somut ölçütler sunar. Bu da ajanın doğru bilgiyi fark etmesini kolaylaştırır.
Bir görevi göndermeden önce şu üç unsuru kapsadığından emin olun:
- Görev: Ajanın ne yapması ve ne üretmesi gerektiği; örneğin “tedarikçileri bul ve bir kısa liste hazırla”.
- Gereksinimler: Ajanın tahmin edemeyeceği bilgiler; örneğin bütçe, son tarih, teslimat adresi ve sonucun kimin için hazırlandığı.
- Çıktı: Biçim, uzunluk ve yapı; örneğin “ad, sandalye başına fiyat ve teslimat süresini içeren bir tablo”.
Bunların hepsi bir araya geldiğinde tedarikçi görevi sorgusu şöyle görünebilir:
“Chicago ofisimize iki hafta içinde, sandalye başına 250 doların altında bir fiyatla 40 ofis sandalyesi teslim edebilecek 10 tedarikçi bul. Tedarikçi adı, sandalye başına fiyat, teslimat süresi ve ürün sayfasının bağlantısını içeren bir tablo hazırla. Liste, siparişi verecek olan ofis müdürümüz için.”
Her görevi odaklı tutun
Tek ve net bir hedefi olan tek bir görev, bağlamı küçük tutar. Uzun görevler ayrıca daha maliyetlidir. Her adım o ana kadar toplanan her şeyi işlediğinden, şişkin bir bağlam her adımda daha fazla kredi kullanır.
Birkaç bölümden oluşan bir projeyi parçalara ayırın:
- Ayrı ayrı teslim edilecek çıktıları listeleyin; örneğin bir tedarikçi araştırması, bir fiyat karşılaştırması ve seçilen tedarikçiye gönderilecek bir e-posta.
- Her çıktıyı ayrı bir görev olarak çalıştırın.
- Bir görevden diğerine yalnızca tamamlanmış sonucu aktarın. Örneğin karşılaştırma görevini, tedarikçi tablosunu üreten konuda devam etmek yerine bu tabloyu dosya olarak yükleyerek başlatın.
Böylece karşılaştırma görevi her sayfa yerine tek bir tabloyla başlar.
Ajanı doğru kaynaklara yönlendirin
Ajanın okuduğu her sayfa, yararlı kısmın etrafındaki menüler, reklamlar ve standart metinler de dahil olmak üzere bağlamına eklenir. Kaynakları ajana doğrudan vermek bu gürültüyü azaltır.
Görevin dayandığı dosyaları, örneğin onaylı satıcılar listesini, sorguya ekleyerek yükleyin. Ajanın web'de arama yapması gerekiyorsa, güvenilir iki tedarikçi rehberi gibi aramaya değer web sitelerini belirtin.
Bilgilerin bulunduğu araçları bağlayın. Örneğin Perplexity Computer'da kenar çubuğundan Bağlayıcılar'ı açın ve görevin ihtiyaç duyduğu Google Drive ya da Slack gibi uygulamaları etkinleştirin. Ardından bunları sorguda belirtin: “Google Drive'ımızdaki sandalye özelliklerini kullan.” Her bağlayıcı ajanın bağlamında bir miktar yer kapladığından yalnızca ilgili uygulamaları bağlayın.
Bilgiler Bağlayıcılar listesinde yer almayan bir uygulamadaysa, bu uygulamayı bağlamak yine de mümkün olabilir. Birçok uygulama, yapay zeka araçlarının diğer yazılımlara bağlanması için standart bir yöntem olan MCP (Model Context Protocol) bağlayıcısı sunar. Computer bunları yerleşik bağlayıcılarıyla birlikte kullanabilir. Şirket hesaplarında bunların önce bir yönetici tarafından etkinleştirilmesi gerekebilir.
Talimatlara göre son bir kontrol isteyin
Sorguyu, en önemli kısıtlamaları belirten bir inceleme adımıyla bitirin:
“Bitirmeden önce her tedarikçiyi şu gereksinimlere göre kontrol et: iki hafta içinde teslimat, sandalye başına 250 doların altında fiyat. Bu gereksinimleri karşılamayanları listeden çıkarmak yerine işaretle.”
Kısıtlamalar hâlâ bağlamın başında durur. İnceleme adımı ise ajana, talimatların her adımda etkisini korumasına güvenmek yerine nihai çıktısını kısıtlamalarla karşılaştırması için bir neden verir.
Bu arada ajandan bu sonuçları doğrudan çıkarmak yerine sorunları işaretlemesini istemek, hataları yakalamayı kolaylaştırır (14 takvim günü içinde teslimat vaat eden bir tedarikçinin “iki hafta” ifadesini kullanmadığı için reddedilmesi gibi).
İşi kontrol noktalarında gözden geçirin
Daha uzun görevlerde sorguya bir kontrol noktası ekleyin:
“Önce 20 aday tedarikçi bul, sonra dur. Fiyat bilgilerini toplamadan önce listeyi ben onaylayacağım.”
Kısa listeyi ilk talimatlarla karşılaştırın. Yanlış olan her şeyi bir takip mesajıyla düzeltin, ardından ajanın devam etmesine izin verin. Bu aşamada yakalanan hatalar sonraki adımlara taşınmaz.
Görev yolundan saptığında yeni bir görev başlatın
Ajan düzeltmelere rağmen aynı hatayı tekrarlıyorsa yeni bir görev başlatın. Her düzeltme, zaten uzun olan bağlama daha fazla metin ekler. Bunun yerine yeni bir görev oluşturun. Talimatları yeniden belirtin, ilk denemeden çıkan iyi çıktıları yükleyin ve baştan başlayın.
Bazı ajanlar bunun bir versiyonunu otomatik olarak yapar; bu sürece sıkıştırma (compaction) denir. Görev uzadıkça ajan, başlarda okuduğu sayfaların tam metni gibi eski içerikleri bulduklarının kısa bir özetiyle değiştirir. Perplexity'nin Portable Computer'ı bağlamını bu şekilde sıkıştırır; böylece model, iyi başa çıkabileceği miktarın içinde kalır.
Hedef değişirse yeni bir görev başlatmak da önemlidir. Tedarikçi araştırması olarak başlayan bir konu, sözleşme incelemesine dönüşmemelidir.
Tekrarlanan talimatları bir Skill'e dönüştürün
Tercih edilen bir tablo biçimi, kaçınılacak satıcıların listesi ya da standart bir inceleme adımı gibi bazı talimatlar, belirli türdeki her görevde karşınıza çıkar. Computer'da bunlar, ajanın her seferinde izlediği yeniden kullanılabilir bir talimat seti olan Skill olarak kaydedilebilir. Bir Skill, diğer en iyi uygulamaları onu kullanan her göreve yerleştirir.
Bir Skill oluşturmak için:
- Tedarikçi araştırması gibi sık karşılaşılan bir görev seçin.
- Her seferinde verdiğiniz talimatları yazın: biçim, kontroller, kullanılacak ya da kaçınılacak kaynaklar.
- Bunları bir Skill olarak kaydedin. Halihazırda Markdown ile yazılmış talimatlar doğrudan içe aktarılabilir.
- Sonraki sorgularda Skill'in adını belirtin: “Denver ofisi için sandalye tedarikçileri bulmak üzere tedarikçi araştırması Skill'ini kullan.”
Perplexity'nin ajan çalışmalarında bağlama yaklaşımı
Perplexity Computer, uzun görevleri her modelin bağlamını küçük ve alakalı tutacak şekilde yönetir. Tasarımının üç unsuru, bir modelin aynı anda okuması gereken metin miktarını sınırlar.
İşi alt ajanlara bölme
Computer, bir talebi görevlere ve alt görevlere ayırır, ardından bunları yürütmek için alt ajanlar oluşturur. Her alt ajan, işin bir bölümü üzerinde kendi bağlamında çalışır. Tedarikçi görevinde bir alt ajan fiyatları araştırırken diğeri teslimat koşullarını kontrol edebilir. Hiçbiri diğerinin okuduğu her şeyi okumak zorunda kalmaz.
İşi dosyalarda tutma
Her Computer görevinin kendi dosyaları, web tarayıcısı ve araçlarıyla birlikte kendine ait bir çalışma alanı vardır. Ajan, çalışmasını bir dosyaya kaydedebilir; örneğin kontrol ettiği tedarikçilerin sürekli güncellenen bir tablosu gibi. Ardından bu dosyayı yalnızca ihtiyaç duyduğunda yeniden açar.
Arama sonuçlarından ilgili pasajları seçme
Web sayfaları; menüler, reklamlar, meta veriler ve başka konulardaki metinler gibi modelin ihtiyaç duymadığı içeriklerle doludur. Sorguya duyarlı bağlam sıkıştırma bunları ayıklar. Bir sayfa modele ulaşmadan önce Perplexity yalnızca sorguyla ilgili cümleleri tutar.
Bu adımları uygulamaya koymak için Perplexity Computer'a yönelik ipuçlarını, kılavuzları ve örnek görevleri keşfedin.
SSS
Bağlam çürümesi halüsinasyonla aynı şey mi?
Hayır, ancak ikisi birbiriyle bağlantılıdır. Halüsinasyon, yanlış ya da dayanaksız bir şey ifade eden herhangi bir yanıttır. Bağlam çürümesi, göz ardı edilen talimatlar ve kaçırılan ayrıntılar gibi diğer hataların yanı sıra halüsinasyon olasılığını artıran koşullardan biridir.
Daha iyi bir sorgu bağlam çürümesini düzeltebilir mi?
Net bir sorgu, görevi odaklı tutarak bağlam çürümesini azaltır. Ancak bağlamın büyümesini engelleyemez. Yeterince uzun bir görevde ajan yine de iyi kullanabileceğinden fazlasını toplar; bu nedenle işi bölmek ve ilerledikçe kontrol etmek, sorgunun kendisi kadar önemlidir.
Bağlam çürümesi yalnızca ajanları değil, normal yapay zeka sohbetlerini de etkiler mi?
Evet. Bir sohbette bağlam, her mesaj ve sohbete yapıştırılan ya da yüklenen tüm belgeler dahil olmak üzere o ana kadarki konuşmanın tamamıdır. Birkaç farklı mesele üzerine saatlerce süren bir konu, uzun bir ajan görevindeki hataların aynısına yol açabilir. Her yeni mesele için yeni bir konu başlatmak, her konuşmanın odaklı kalmasını sağlar.
Bağlam çürümesi başlamadan önce bir görev ne kadar uzayabilir?
Sabit bir eşik yoktur. Bu, modele ve göreve bağlıdır. Örneğin 260.000 token'lık bağlam pencerelerine sahip cihaz üzerinde çalışan modeller, sınırlarının oldukça altında, yaklaşık 100.000 token'dan sonra zorlanmaya başlar. Düşüş de ani değil, kademelidir.