Kendini geliştiren Skill’ler
Perplexity Brain’in yinelenen prosedürleri deneyimlerden nasıl öğrendiği ve bunları nasıl güncel tuttuğu.
Giriş
Kullanıcıların, genel amaçlı bir modelin önceden bilemeyeceği, iş akışlarına özgü tercihleri ve gereksinimleri vardır. Bir ajanın, kullanıcıdan her oturumda aynı prosedürü açıklamasını veya aynı düzeltmeleri yapmasını istemek yerine, çalışmasını kullanıcıya uyarlayabilmesi için bu ayrıntıları öğrenmesi gerekir. Sürekli öğrenme bunu mümkün kılar: Tamamlanan görevlerden edinilen deneyim, ajanın gelecekteki işlere nasıl yaklaşacağına yön vermelidir.
Computer'ın kişiselleştirilmiş kendini geliştirme sistemi olan Brain, deneyim yoluyla öğrenmeyi mümkün kılar. Brain, kullanıcı ve çalışmaları hakkındaki bilgileri bunları destekleyen kanıtlara bağlayan yapılandırılmış bir bilgi wiki'sini zaten sürdürüyor. Arka plan ajanları yeni bilgiler biriktikçe wiki'yi güncelliyor; böylece bellek sistemi zamanla gelişiyor.
Ajan Skill'leri, temel modeli değiştirmeden ajan davranışına yön vermenin bir başka yolunu sunar. Skill'ler, bir ajanı belirli görevlerde yönlendiren yeniden kullanılabilir talimatlardır. Ajanın aksi takdirde bellekten çıkarması veya her seferinde kullanıcıdan alması gereken, yinelenen iş akışlarına ilişkin gereksinimleri ve destekleyici kaynakları içerirler; bu da dağılım dışı görevlerdeki performansı artırır. Ayrıca kodla güvenilir şekilde ifade edilebilen tekrarlayan prosedürler veya işlemler için betikler de içerebilirler; böylece ajan, uygun olduğunda bu betikleri doğrudan çalıştırabilir. Harness, mevcut Skill'leri keşfedilebilir hale getirir ve ajan talep ettiğinde talimatlarını bağlama yükler. Kullanıcılar, hangi Skill'lerin kullanılacağını istemde doğrudan da belirtebilir.
Brain'i, ajan Skill'lerini otomatik olarak oluşturacak ve güncelleyecek şekilde genişletiyoruz. Brain, kullanıcının belleğini ve oturum geçmişini temel alarak o kullanıcının iş akışlarına yönelik prosedürleri yakalayan kişisel Skill'ler yazar ve bunları geliştirir. Benzer bir yaklaşımı, tüm oturumlardaki toplu örüntülere dayanarak, her Perplexity kullanıcısının erişebildiği yerleşik Skill'leri güncellemek için de uyguluyoruz.
Önce tüm Skill türlerinde paylaşılan kendini geliştirme motorumuzu açıklıyor, ardından bunun kişisel ve yerleşik Skill'ler için nasıl çalıştığını anlatıyoruz.
Paylaşılan kendini geliştirme motoru
Yararlı bir Skill'in de yeni tercihler ortaya çıktıkça veya deneyim talimatlarındaki eksiklikleri gün yüzüne çıkardıkça değişmesi gerekir. Brain, Computer benzer bir görevle bir sonraki karşılaştığında ajanın davranışının nasıl değişmesi gerektiğini keşfetmekten ve istenen sonuca daha iyi ulaşmak için Skill'in nasıl değişmesi gerektiğini belirlemekten sorumludur.
Bu iyileştirme süreci dört aşamalı bir döngü oluşturur:
- Kanıt. Brain, Skill'in kullanıldığı geçmiş oturumları, özellikle de yetersiz kaldığı oturumları bulur.
- Yansıtma. Bir iyileştirme ajanı bu kanıtları inceler ve Skill için güncellemeler önerir.
- Doğrulama. Kontroller, önerinin doğru biçimlendirildiğini ve sonuçları iyileştirme olasılığının yüksek olduğunu teyit eder.
- Etkinleştirme. Doğrulanan değişiklik uygulanır. Gelecekteki oturumlar yeni sürümü kullanır ve bir sonraki tur için kanıt sağlar.
Bu döngü, Computer ve Brain için oluşturulmuş birçok mevcut yeteneğe dayanır. Burada kanıt toplamayı ve yansıtmayı mümkün kılan paylaşılan altyapıyı açıklıyoruz. Doğrulama ve etkinleştirme prosedürleri, bir değişikliğin tek bir kullanıcıya mı yoksa tüm Perplexity kullanıcılarına mı ulaştığına bağlıdır; bu nedenle bunları kişisel ve yerleşik Skill iyileştirme döngülerine ilişkin sonraki bölümlerde ele alıyoruz.
Geçmiş oturumlardan elde edilen kanıtlar
Yansıtma, bir Skill'in kullanıldığı oturumları, özellikle de iyileştirmeye açık olanları bulmayı gerektirir. Computer harness'ı bunu mümkün kılan sinyalleri kaydeder. Ajan bir Skill yüklediğinde harness, Skill'i oturuma bağlayan bir Skill yükleme olayı kaydeder. Ajan kullanıcının hayal kırıklığını, hatalı davranışı veya belirgin bir verimsizliği fark ettiğinde kısa, yapılandırılmış bir tanılama kaydı oluşturur ve harness kullanılan Skill'leri buna ekler. Bunlar özellikle yerleşik Skill'ler için yararlıdır; bu Skill'lerde herhangi bir oturum potansiyel olarak ilgili olabileceğinden, sistemin kanıt havuzunu hızla daraltmanın bir yoluna ihtiyacı vardır.
Ajanlar, sonuca veya kısa bir özete dayanarak karar vermek yerine kaydın tamamına erişebildiklerinde daha iyi sonuç alır. Computer, geçmiş oturumları mesajları, araç çağrılarını, akıl yürütmeyi ve sonuçları yakalayan, sağlayıcıdan bağımsız yörünge temsilleriyle depolar. Ayrıca ajanların bu yörüngelerin kodunu çözmek ve oturumların tamamını yeniden oluşturmak için kullanabileceği bir komut satırı araçları paketi de geliştirdik. Bu sayede yansıtma ajanı belirli Skill yüklemelerini ve araç çağrılarını inceleyerek sorunların tam olarak nerede ortaya çıktığını veya nerede iyileştirme yapılabileceğini belirleyebilir.
# Decode a stored trajectory into structured messages,
# including tool calls, their arguments, and their results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--jsonl -o session.jsonl
# Identify which skills the agent loaded and how often.
python3 list_skills_used.py session.jsonl
# Read one turn in detail, including its tool calls and results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--turn 3 -o turn-3.md
# Recover earlier steps preserved before a context compaction.
python3 deserialize_trajectory.py \
--convo-path session/compactions/001/original_convo.pb.lz4 \
--jsonl -o earlier-history.jsonlComputer’ın dahili yörünge inceleme araçlarına ilişkin örnek kullanım. Yollar ve tanımlayıcılar örnekleme amacıyla basitleştirilmiştir; komut adları ve bağımsız değişkenler uygulamadaki hâliyle verilmiştir.
Arka plan ajanlarıyla yansıtma
Brain, her kullanıcının deneyimini sürekli olarak optimize etmek için bir arka plan ajanları ekibi kullanır. Örneğin Dream ajanları, bilgi wiki'sini güncellemek için biriken deneyimi gözden geçirir. Benzer şekilde Skill iyileştirme de Skill kullanım kanıtlarını değerlendirerek güncellemeler öneren iyileştirme ajanları tarafından yürütülür.
Her ajan; öncü bir model, ilgili kanıtlar ve mevcut Skill kütüphanesiyle kendi korumalı alanında, eklentiler ve Skill'lerin rehberliğinde çalışır. Hangi oturumları okuyacağına karar verir, her birinden somut bir ders çıkarır ve aynı yeniden kullanılabilir davranışı gerektiren dersleri gruplandırır. Bir hatanın düzeltilmesi başka bir talimatla çelişebileceğinden veya başka bir yerde ek iş yaratabileceğinden, ajan bir düzenleme önermeden önce Skill'in tamamını okur ve kanıtlar bir düzenlemeyi desteklemediğinde öneride bulunmaktan kaçınır.
İyileştirme ajanları, Computer ile aynı harness üzerinde çalışır. Harness'ı modüler hale getirdik; böylece yeni bir ajan uygulaması, kendi talimatlarını ve yeteneklerini eklentiler aracılığıyla tanımlarken akıl yürütme, araç kullanımı ve bağlam yönetimi için harness'ın altyapısını yeniden kullanabilir. Özel bir arka plan çalışan filosu, bu işlemeyi ön plan görevlerinden bağımsız olarak ölçeklendirmemizi sağlar.
Kişisel Skill iyileştirme döngüsü
Önce paylaşılan kendini geliştirme motorunun, kullanıcının görev geçmişini yeni veya güncellenmiş kişisel Skill'lere dönüştüren kişisel iyileştirme döngüsüne nasıl uygulandığını açıklıyoruz. Aşağıdaki şekil, örnek bir Skill'i döngünün tamamı boyunca izliyor ve revize edilmiş sürümle sona eriyor.
Günlük oluşturma çalıştırması sırasında iyileştirme ajanı, yapılmaya değer değişiklikleri belirlemek için kullanıcının son oturumlarını inceler. Bir dizi son oturum, Skill kullanım verileriyle birlikte korumalı alana önceden yüklenir; kullanıcının oturum geçmişinin geri kalanı gerektiğinde alınabilir. İyileştirme ajanı ayrıca mevcut Skill'lerin kataloğunu da alır. İnternete veya diğer bağlayıcılara erişimi yoktur.
Kişisel Skill iyileştirme iş akışı için tasarlanmış eklentiler ve Skill'ler, iyi bir güncellemeyi neyin oluşturduğuna dair ilkelerimizden yararlanarak yansıtma sürecine rehberlik eder. Ajan önce her oturumdaki somut dersi belirlemek için yörüngelerin tamamını analiz eder. Ardından dersleri mevcut talimatlarla karşılaştırır ve bir Skill'i güncellemeye, yeni bir Skill oluşturmaya ya da hiçbir değişiklik yapmamaya karar verir. Bir Skill oluşturmak için aynı yeniden kullanılabilir davranışın birbirinden bağımsız iki kez ortaya çıkması gerekirken, mevcut bir Skill'in güncellenmesi sağlam temelli tek bir örnekle gerekçelendirilebilir.
Ajan, Skill'i doğrudan değiştirmez. Bunun yerine amaçlanan değişiklikleri, destekleyici gerekçeyi ve kanıtları kaydeden bir öneri üretir. Güncellemeler, her çalıştırmada Skill başına tek bir değişiklikle sınırlıdır. Deterministik kontroller, önerilerin doğru biçimlendirildiğini ve Skill'e uygulanabileceğini doğrular. Bunun yanı sıra bir LLM hakemi, örneklenen önerileri denetleyerek kanıtların değişikliği destekleyip desteklemediğini ve ortaya çıkan Skill'in yararlı talimatlar sunup sunmadığını kontrol eder.
Etkinleştirme, doğrulanmış bir öneriyi kullanıcının Skill kütüphanesinde bir değişikliğe dönüştürür; böylece yeni sürüm gelecekteki oturumlarda yüklenip kullanılabilir. Harness her oturumun başında mevcut tüm Skill'lerin bir dizinini yüklediğinden, büyük bir Skill kütüphanesi bağlam penceresini doldurabilir ve ajanın ilgili Skill'leri bulup yüklemesini zorlaştırabilir. Bu nedenle sistem yalnızca en değerli Skill'leri tutar ve küçük, özenle seçilmiş bir kütüphane korumak için gerekli olmayan Skill'leri kullanımdan kaldırır. Özellikle, otomatik olarak oluşturulan Skill'ler için kullanıcı başına 10 Skill sınırı uyguluyoruz. Sınıra ulaşıldığında iyileştirme ajanı Skill'leri güncellemeye veya kaldırmaya devam edebilir; ancak yeni bir Skill eklemek için mevcut bir Skill'i kullanımdan kaldırmalı ve yeni Skill'in kullanıcının çalışmaları için neden daha yararlı olduğunu gerekçelendirmelidir.
Yerleşik Skill iyileştirme döngüsü
Brain'in sürekli Skill iyileştirme çerçevesini yerleşik Skill'lere de genişletiyoruz. Yerleşik döngü, tek bir kullanıcının belleğini ve oturum geçmişini o kullanıcının kişisel Skill'lerini iyileştirmek için kullanmak yerine, her Perplexity kullanıcısının erişebildiği Skill'leri iyileştirmek için birçok kullanıcıdan elde edilen kanıtları kullanır. Yerleşik Skill'ler herkes tarafından kullanılabildiğinden değişiklik çıtası yüksektir; performansı istemeden kötüleştiren güncellemeler binlerce oturumu etkileyebilir. Yerleşik iyileştirme ajanı yalnızca Skill'lerin aday sürümlerini değiştirir. Bu güncellemelerin Skill'in kanonik sürümüne ulaşabilmesi için eşleştirilmiş yeniden oynatmadan ve şirket içi insan incelemesinden geçmesi gerekir. Döngünün tamamını bir kez daha örnek bir Skill ve destekleyici kanıtlarla izliyoruz.
Yerleşik iyileştirme döngüsü, eğitimde kullanılmaya uygun oturumlardan elde edilen arındırılmış kanıtları kullanır. İlgili kanıtları seçmek için tanılama kayıtları ve hata sinyalleri, Skill'in herhangi bir uyarı tetiklemeden kullanıldığı kontrol oturumlarıyla birlikte kullanılır. Bir arındırma işlem hattı, kimlik bilgilerini ve diğer gizli bilgileri, ekli dosyalar ve medyayla birlikte temizler.
Bir senaryo oluşturma ajanı, arındırılmış kanıtları somut hata senaryolarına dönüştürür. Yalnızca hata durumunu anlamak ve Skill'i iyileştirmek için gerekli bağlamı tutar; oturumun geri kalanı sentetik olarak yeniden oluşturulur ve böylece doğrulama süreci için kendi içinde bütünlüklü bir test elde edilir. Senaryolar bağlı uygulamalar veya oturum açma olmadan çalışabilmelidir; asıl görev bir bağlayıcıya dayanıyorsa bu girdi, senaryoda sentetik dosyalarla değiştirilir. Ayrı bir kontrol, Skill'in oluşturulan senaryoda başarısız olduğunu doğrular.
Yansıtma, gözlemlenen hataları düzeltmelere dönüştüren haftalık bir revizyon işiyle gerçekleşir. Bu iş, tek bir kötü oturumun bir düzenlemeye yol açmaması için birden fazla oturumda yinelenen Skill hatalarını arar. Yinelenen her hata için ayrı bir iyileştirme ajanı çalıştırması yapılır. Ajan, kök nedenin bir açıklamasını ve başarılı oturumlardan alınan arındırılmış kayıtları alır. Bu kanıtları kullanarak Skill'in aday bir revizyonunu yazar. Hata senaryolarının tamamı değerlendirmede kullanıldığından ajana verilmez.
Ayrı bir yeniden oynatma işi, Skill'in orijinal ve revize edilmiş sürümlerini karşılaştırmak için oluşturulan senaryoları kullanır. Bir LLM hakemi, bir ajanın yanıtlarını ve yörüngelerini her senaryonun değerlendirme ölçütlerine göre değerlendirir. Bir önerinin geçmesi için her test senaryosunun revize edilmiş Skill ile başarılı olması ve en az birinin orijinal Skill ile başarısız olması gerekir. Hiçbir şeyin bozulmadığını doğrulamak için kontrol oturumlarından oluşturulan senaryolar da yeniden oynatılır. Hata senaryolarında hakem, başarısız bir görevi aynı sorunun kanıtı olarak kabul etmek yerine söz konusu hatanın gerçekten meydana geldiğini de kontrol eder.
İş akışı, aday değişiklikleri ve değerlendirme sonuçlarını şirket içi insan incelemesi için bir pull request halinde paketler. Değişiklikler yalnızca bir mühendis PR'ı onaylarsa yürürlüğe girer.
Değerlendirmeler
Otomatik Skill iyileştirme, Skill oluşturmayı ve kullanımını önemli ölçüde artırdı. Brain, 1 Ağustos ile 14 Kasım arasında 20.000'den fazla kullanıcı için 80.000'den fazla kişisel Skill yazdı. Ayrıca 4 Eylül ile 14 Kasım arasında mevcut 30.000'den fazla kişisel Skill'e 100.000'den fazla otomatik güncelleme uygulandı.
Bu Skill'ler, yazılım doğrulamadan bordro mutabakatına ve şekil tasarlamaya kadar geniş bir alan ve görev yelpazesini kapsıyor. Brain tarafından oluşturulan Skill'leri, tanımladıkları iş akışlarına göre kategorilere ayırdık. En büyük alan olan yazılım mühendisliği bile Skill'lerin yalnızca %11'ini oluşturuyor; onu araştırma ve brifingler (%10,1), satış ve operasyonlar (%9,9) ile finans ve yatırım (%9,9) izliyor.
Üretim trafiği üzerinde, otomatik kişisel Skill iyileştirmesi etkin olan kullanıcıları bu özelliğin devre dışı olduğu bir kontrol grubuyla karşılaştıran sekiz haftalık randomize bir test yürüttük. Skill iyileştirmesi etkin olan kişilerin %72,9'u en az bir yeni kişisel Skill edinirken, bu özellik olmayan kişilerin yalnızca %6,5'i manuel olarak yeni bir Skill ekledi. Deney grubunun yarısından fazlasında (%53) başlattıkları bir konuşmada kişisel bir Skill yüklenirken, bu oran kontrol grubunda %13'tü; bu kullanıcıların turlarında kişisel bir Skill yaklaşık 3,6 kat daha sık yüklendi. Brain tarafından yazılmış bir Skill edinen müşterilerin %63'ü, dört hafta içinde daha sonraki bir konuşmada bu Skill'lerden birini yeniden kullandı.
Değerlendirmelerimiz, bu yeni ve güncellenmiş Skill'lerin görev yürütmeyi ve genel performansı nasıl etkilediğini belirlemeyi amaçlıyor.
Aynı randomize deneyin sonuçları, araç çağrısı hatalarında ve kullanıcı memnuniyetsizliğinde bir düşüş olduğunu gösteriyor. Otomatik Skill iyileştirmesi olan kullanıcılarda araç çağrısı hata oranı, tüm Computer etkinliğinde %11 azaldı. Sistemin kendi arka plan çalıştırmaları hariç tutulduğunda bile araç çağrıları yaklaşık %7 daha az başarısız oldu; bu da güvenilirliğin kullanıcının kendi çalışmalarında arttığına işaret ediyor. Kullanıcı başına orta/yüksek düzeyde memnuniyetsizlik içeren konu sayısıyla ölçülen kullanıcı memnuniyetsizliği %7,6 azaldı. Maliyette veya yanıt süresinde ölçülebilir bir değişiklik görmedik. Bu ilk testler umut verici sonuçlar ortaya koyuyor ve sistemi geliştirip kendini geliştiren Skill'leri daha fazla kullanıcıya sundukça iyileşmelerin zamanla artmasını bekliyoruz.
Çevrimdışı deneyler de daha dar kapsamlı ortamlarda iyileşmeler kaydetti. Bir SkillLearnBench deneyinde Computer, dokuz görev ailesinin her biri için birer kişisel Skill oluşturmak üzere önceki görev yörüngelerini kullandı. 16 eşleştirilmiş değerlendirme örneğinde görev başarısı, Skill'ler olmadan %43,8 iken oluşturulan Skill'lerle %62,5'e yükseldi; bu da geçmiş deneyimden türetilen Skill'lerin tekrarlanan görevlerde performansı artırabileceğine dair kanıt sunuyor. Yerleşik Skill'lere ilişkin bir vaka çalışmasında, bir e-ticaret Skill'inde yapılan düzenlemeler %32 daha düşük maliyetle %6'lık bir kalite artışı sağladı; kalite otomatik bir hakem tarafından ölçüldü.
Sonuç
Kendini geliştiren Skill'ler, Computer'a yaptığı işten öğrenmesi için bir yol daha sunuyor. Bu yaklaşım Brain'i prosedürel bellek oluşturup sürdürecek şekilde genişleterek karmaşık iş akışlarındaki performansı artırıyor. Otomatik Skill iyileştirme şimdiden Skill kullanımını artırdı, araç hata oranlarını düşürdü ve kullanıcı memnuniyetsizliğini azalttı.
Kişisel Skill iyileştirme artık ABD'deki tüm Max abonelerinin kullanımına sunuldu. Uygun kullanıcılar için varsayılan olarak açıktır ancak kapatılabilir. Eklentiler sekmesi mevcut Skill'leri gösterir, Brain tarafından yazılanları belirtir ve kullanıcıların hangi Skill'lerin etkin olacağını seçmesine olanak tanır.
Bir sonraki adımda iyileştirmeyi kullanıcıların yazdığı Skill'ler, projeler içinde paylaşılan Skill'ler ve kuruluş Skill'leri dahil olmak üzere daha fazla Skill sınıfına genişleteceğiz. Revizyonların daha güvenilir prosedürlere ve daha iyi sonuçlara yol açması için iyileştirme işlem hattını ve değerlendirmelerini geliştirmeye devam edeceğiz.
Atıf
@online{perplexity2026SelfImprovingSkills,
author = {{Perplexity} and Nicholas Bien and Se Won Jang and Kate Jung and Nikila Venkat and Jarrod Bryan and Claire Beamer and Jeremy Yang},
title = {{Self-improving skills}},
date = {2026-11-18},
url = {https://www.perplexity.ai/hub/blog/self-improving-skills}
}