Gerçek Dünya Deneyiminden Öğrenme

Kullanıcıların ürünlerimizle gerçek dünyada nasıl etkileşime girdiği, model eğitimi için değerli bir kaynaktır. Veriler boldur, kullanıcı görevlerinin gerçek dağılımını yansıtır ve yapay ortamların gözden kaçırabileceği kullanıcı düzeltmelerini ve araç hatalarını yakalar.

Gerçek dünya verilerinden öğrenmenin yaygın bir yolu reddetme örnekleme ince ayarıdır: her oturumun sonucunu değerlendirin, başarılı olanları saklayın ve modeli bunları taklit etmesi için eğitin. Ancak başarılı bir sonuç her adımın doğru olduğu anlamına gelmez, bu nedenle tüm yörüngeyi taklit etmek, iyi ara davranışların yanı sıra kötü ara davranışları da pekiştirme riski taşır. Başarısız oturumları atmak da modelin yetersiz kaldığı kritik kanıtları kaybetmesine neden olur.

Başarılı ve başarısız oturumlardan öğrenmek amacıyla reddetme örneklemesiyle ince ayarı, ipucu rehberliğinde kendi kendine damıtma ile birleştiriyoruz. İpucu, modelin hata yaptığında halihazırda sahip olduğu bilgilere dayanan kısa bir düzeltici talimattır. Başarılı oturumlardan elde edilen faydalı adımlar taklit hedefleri olarak kalırken, temellendirilmiş ipuçları önlenebilir hataları düzeltme hedeflerine dönüştürür.

Kullanıcı düzeltmeleri ve araç hataları, görevin nihayetinde başarılı olup olmasının yanı sıra, süreçte neyin yanlış gittiği konusunda ek denetim sağlar. Bu aşamayı, bu ortamlar ile gerçek dünya kullanımı arasındaki boşluğu kapatmaya yardımcı olmak için yapay ortamlardaki pekiştirmeli öğrenmeden sonra uyguluyoruz.

Canlı kullanımda, eğitim sonrası elde edilen daha geç bir GLM-5.2 kontrol noktası, daha erken eğitilmiş bir kontrol noktasına kıyasla araç çağrısı hatalarını %21,2 oranında azalttı. GLM-5.3 için ise eğitim sonlandırma, stok modele kıyasla araç çağrısı hatalarını %33,0 oranında ve orta veya yüksek düzeyde kullanıcı memnuniyetsizliğinin ortalama tahmini olasılığını %17,2 oranında azalttı.

Yapay görevler, doğrulanması kolay sonuçlarla kontrollü sorunlar yaratmamıza olanak tanır, ancak bunlar tipik olarak tek bir istemle sınırlıdır ve yalnızca açıkça tasarladığımız senaryoları kapsayabilir.

Buna karşılık, gerçek dünya oturumlarındaki kullanıcılar; çoklu etkileşim dönüşleri boyunca açılan oturumlara çeşitli yönergeler, bağlam ve araç kombinasyonları getirir. Bu tür gerçek dünya kullanımı doğası gereği iki değerli hata sinyali üretir: kullanıcı düzeltmeleri ajanın istediklerini sağlamakta nerede başarısız olduğunu ortaya çıkarır ve araç hataları eylemlerinin gerçek ortamlarda nerede bozulduğunu gösterir. Örnekleme boru hattımız; kişisel olarak tanımlanabilir bilgileri (PII) içeren oturumları ve vazgeçen kullanıcıların oturumlarını hariç tutarak kullanıcıların gizliliğine ve eğitim seçimlerine saygı duyar.

Bu nedenle gerçek dünya verileri bize yapay bir ortamın ortaya çıkaramayacağı hata durumları sunar ve genellikle hatanın nerede gerçekleştiği halihazırda içine işlenmiş olarak gelir.

Gerçek dünya verileri üzerinde eğitilirken, standart reddetme örnekleme ince ayarı (RFT), iyi ara eylemleri kötü olanlardan ayırt etmek için kullanıcı ve araç geri bildirimlerini açıkça kullanmadan, başarılı oturumları nihai sonuçlarına göre seçer. Bir ajan kötü bir araç çağrısından toparlanabilir veya kullanıcı geri bildiriminden sonra bir hatayı düzeltebilir ve sonunda yine de doğru çıktıyı sunabilir.

Başarısız oturumları elemek aynı zamanda örnek verimliliğini sınırlandırır. İyi bir sonuca asla ulaşamayan bir oturum, yararlı eğitim sinyalleri olarak net ve kaçınılabilir bir hatayı yine de ortaya çıkarabilir.

Bu sınırlamaları iki kararı ayırarak ele alıyoruz: hangi oturumların taklit edilmeye değer davranışlar içerdiği ve hangi dönüşlerin düzeltilmeye değer hatalar içerdiği. Veri boru hattı bu kararları ayrı ayrı alır, ardından model dönüşlerine üç muameleden birini atar:

Taklit et: başarılı oturumlardaki hatasız dönüşler sıradan Çapraz Entropi (CE) kaybı alarak kaydedilen token'ların olasılığını yükseltir.
Doğru: hem başarılı hem de başarısız oturumlarda, geçerli bir ipucuna sahip hata dönüşleri Kullback–Leibler (KL) sapma kaybı (divergence loss) alarak modeli ipucunu gördüğünde yaptığı sonraki token tahminlerine doğru hareket ettirir.
Bağlam olarak sakla: doğrulanmış bir ipucundan yoksun olan başarılı olmayan oturumlardaki dönüşler ve her iki oturum türünde de doğrulanmış bir ipucu olmayan işaretli hatalı dönüşler, bağlam olarak hizmet eder ancak her iki kaybı da almaz.

Sonuç olarak, başarılı oturumlar hem taklit hem de düzeltme hedefleri sağlayabilirken, başarısız oturumlar yalnızca düzeltme hedefleri sağlar. Sistem, kullanıcı ve araç çıktısı dahil kalan tüm dönüşler bağlam olarak kalır.

Oturum yönlendirme diyagramı: başarılı oturumlar CE taklidi ve uygun ipucu verilmiş düzeltmeler sağlar; başarılı olmayan oturumlar yalnızca uygun düzeltmeler sağlar. — Mevcut oturum yönlendirme ve asistan içeriği maskeleri. Başarılı oturumlar taklit hedeflerine katkıda bulunur; saklanan geri bildirim kayıtları, oturum başarısız olsa bile ipucu verilmiş düzeltmelere katkıda bulunabilir. Diğer içerik bağlam olarak kalır. Eksik oturumlar hariç tutulur. Finalde olmayan verim/durdurma token'ı CE istisnası çizilmemiştir ve bu diyagram daha önceki bir kontrol noktası tarafından kullanılan karışımı oluşturmaz.

Taklit kısmı standart RFT kullanır. Düzeltici kısım ise On-Policy Self-Distillation (OPSD) kullanır: aynı model öğretmen ve öğrenci olarak hareket eder ve öğretmene ayrıcalıklı bilgi verilir. Burada bu ayrıcalıklı bilgi, kaçınılabilir bir hatayı açıklayan kısa bir ipucudur. Öğrenciyi, ipucu verilmeden öğretmenin sonraki token tahminleriyle eşleşmesi için eğitiriz.

Her iki parça da önemlidir. Yalnızca düzeltme odaklı eğitim bir kestirme yol ortaya çıkarabilir: öğretmen ve öğrenci, düzeltmeyi öğrenmek yerine bağlamı göz ardı ederek aynı fikirde olabilir. CE terimi, eğitimi yararlı davranışa sabitler ve bağlamın göz ardı edilmesinden kaynaklanan uzlaşmayı caydırmaya yardımcı olur.

Eğitim sonrası eğitilen öğrenci daha sonra Computer içinde bir model seçeneği haline gelir. Canlı kullanımdan gelen yeni oturumlar, eğitim boru hattının bir sonraki turuna girmeden önce aynı uygunluk ve gizlilik filtrelerinden geçer.

Ardından, hem taklit hem de düzeltme içeren somut bir örneği adım adım inceliyoruz.

Kullanıcının resmi belgeleri kullanarak Python 3.13'teki asyncio değişikliklerinin karşılaştırmasını istediği nihai olarak başarılı bir oturumu ele alalım. Araç belgelerimiz, search.web ifadesinin her biri url alanına sahip bir isabet listesi döndürdüğünü belirtir.

Model ilk olarak, taklit edilecek iyi bir davranış olan karşılaştırma için kanıt toplamanın bir parçası olarak bir sürüm için geçerli bir arama çalıştırır.

Ancak sonraki kod yürütme çağrısı, bu listeyi yanlış bir şekilde bir sözlük olarak ele alır. Kod aracı TypeError: list indices must be integers or slices, not str döndürür. Dönüş türü çağrıdan önce belgelendiği için bu, modelin kaçınabilmesi gereken bir hatadır. Bu eylemi düzeltmek için doğru çağrıyı içeren bir ipucu oluşturulabilir.

Açıklayıcı kodlama oturumu: sistem ve kullanıcı girdisi ve araç hataları bağlam olarak kalır; yararlı kaydedilmiş arama ve kurtarma çağrıları başarılı bir oturumda CE alır; işaretli hatalı liste arama çağrısı, temellendirilmiş bir ipucu verilen bir öğretmene doğru KL alır. — Açıklayıcı bir kodlama oturumu üç eğitim rolünü gösterir: yalnızca bağlam girdileri ve araç çıktıları (gri), yararlı kaydedilmiş çağrıların CE taklidi (koyu) ve işaretli bir hatanın KL düzeltmesi (mavi yeşil). Burada model, bir arama isabetleri listesini yanlış bir şekilde bir sözlük olarak ele alır; önceki araç belgelerinde temellendirilmiş yalnızca öğretmene yönelik bir ipucu düzeltmeye rehberlik eder. Tamamlanan oturumun başarılı olduğu değerlendirildiğinde CE hedefleri yalnızca o zaman geçerli olurken, başarısız bir oturum uygun bir KL düzeltme hedefi sağlamaya devam edebilir.

Eğitim boru hattının dört aşaması vardır: oturumları seçmek ve sonuçlarını değerlendirmek, kullanıcı geri bildirimlerinden ve araç hatalarından hataları belirlemek ve ipuçları oluşturmak, hem öğretmenden hem de öğrenciden sonraki token olasılıkları üretmek ve modeli birleştirilmiş CE ve KL kaybı ile eğitmek.

Örnekleme hattı, GLM 5.2 tarafından sunulan gerçek dünya Computer oturumlarının eğitim için uygun bir alt kümesinden veri çeker. Eğitimden çıkma tercihleri ve hattın KİŞİ ile ilgili dışlamaları, bu iş akışı için örnekler seçilmeden önce uygulanır.

İlk tarama süreci, bir LLM hakemi tarafından beş puanlık bir görev zorluğu ölçeğinde 4 veya 5 olarak derecelendirilen adayları seçer ve bunları 2 gruba ayırır:

Kullanıcı geri bildirimi grubu, gerçek bir kullanıcı takibine veya orta-yüksek memnuniyetsizlik bayrağına sahip oturumlar içerir. Bu yüksek niyetli takipleri öğrenme için özellikle yararlı buluyoruz: kullanıcılar bir görevi tamamlamaya çalışmaktadır ve düzeltmeleri modelin neyi kaçırdığını tam olarak gösterir.
Araç hatası grubu, tanınan altyapı arızaları ve reddedilen yetkilendirme hariç olmak üzere, kural tabanlı kontroller tarafından işaretlenen başarısız çağrılara sahip oturumlar içerir.

İki LLM hakemi, ardından kullanıcının talebine göre nihai çıktıyı değerlendirir; oturumun “başarılı” olarak etiketlenebilmesi için her iki hakemin de olumlu bir karar vermesi gerekir. Yapıt sunan durumlarda, sonuç aşaması çıktıyı yeniden oluşturabilir ve inceleyebilir; bu aşama başarısız olursa metin tabanlı değerlendirmelere geri döner. Kullanıcıyı bekleyen işler gibi eksik olarak sınıflandırılan oturumlar hariç tutulur.

Bu adım, öğrenme sinyallerinin potansiyel kaynaklarını belirler; ancak bazı hatalar belirsiz yönergelerden veya altyapı arızalarından kaynaklandığından, her hata modele atfedilemez. Sonraki annotasyon, hangi aday hataların aslında kaçınılabilir ve eğitim için uygun olduğunu belirler.

Kullanıcı geri bildirimi grubunda, kullanıcının “How do I find my w3 on paychex” (Paychex üzerinde w3'ümü nasıl bulabilirim) diye sorduğu örnek bir oturum ele alalım. Model, “w3” ifadesini W-2 için bir yazım hatası olarak ele alır, W-2 yönergelerini arar ve bu formu nasıl bulacağınızı açıklar. Kullanıcının “I meant the W-3 transmittal form” (W-3 aktarım formunu kastettim) şeklindeki takip mesajı, oturum nihayetinde başarılı olsa bile hatayı tanımlar.

Şikayet hatayı bulmaya yardımcı olur, ancak temel neden “w3” ifadesini W-2 olarak yeniden yorumlama yönündeki önceki karardır. Orijinal istek hatayı kaçınılabilir kılar: model W-3'ü koruyabilirdi veya açıklama isteyebilirdi. Şikayetten önceki son asistan dönüşünün yalnızca yarı yarıya kök neden olduğu ortaya çıkmaktadır.

Açıklama ekleme (annotasyon) boru hattımız, her kullanıcı geri bildirim oturumunda neden ve sonucu sistematik olarak eşler. Açıklayıcı önce kaçırılan bir gereksinimi veya daha önceki bağlam tarafından desteklenen bir niyetin olup olmadığını tarar. Üç LLM hakemi daha sonra sorumlu dönüşleri belirler ve belirli bir dönüş üzerinde en az ikisinin uzlaşmasını gerektirir. Bazen önceki bir ifade gereksinimi açıkça ortaya koyar. Diğer durumlarda, önceki hiçbir tekli ifade bunu yapmaz, ancak önceki konuşmanın birden fazla parçası amaçlanan davranışın çıkarılabilmesini ortaklaşa sağlar. Bu tasarım, şikayeti yalnızca son yanıta bağlamak yerine daha önceki bir kök hataya bağlamalarına olanak tanır.

Bir ipucunu kabul etmeden önce boru hattı, düzeltici iddialarının işaretli dönüşten önce mevcut olan bilgilerden gelip gelmediğini de kontrol eder. Bu kontroller, şikayette ortaya çıkan yeni bir tercihin modelin zaten bilmesi gereken bir şey olarak ele alındığı sonradan görme yanlılığını (hindsight bias) azaltmayı amaçlar.

Bu örnekte ipucu, modele W-2 yerine Paychex üzerinde W-3 aktarım formunu aramasını söyler veya istek belirsizse kullanıcının hangi formu kastettiğini sormasını ister. Düzeltme yalnızca nihai yanıtı değil, önceki yorumlama ve arama kararını hedefler. Orijinal dönüş değişmeden kalır; annotasyon is_bad_turn: true ve boş olmayan bir hint ekler.

W-3 isteği W-2 olarak yanlış yorumlanır; sonraki bir şikayet önceki arama kararına kadar izlenir ve önceki kanıtlara göre kontrol edilir. — Annotasyon prosedürü eklenmiş olarak, bir şikayetin önceki bir hataya kadar nasıl izlendiğini gösteren gerçek bir oturum. Kullanıcı Paychex üzerinde “w3” istedi, ancak model bunu W-2 için bir yazım hatası olarak ele aldı ve yanlış formu aradı. Öneri fikir birliği kök nedeni bulurken, iki temellendirme kontrolü kanıtın hatadan önce gelip gelmediğini ve ipucunun iddialarının o noktada mevcut olan bilgilerden gelip gelmediğini değerlendirir. Kabul edilen annotasyonlar orijinal metni korur ve yeniden yazılmış hedefler yerine işaretler ve ipuçları ekler.

Ajanın recency_filter: "year" ile arama yaptığı ancak aracın izin verilen değerler “day,” “week,” veya “month” olduğu için bunu reddettiği araç hatası grubunda başka bir oturum ele alalım. Bu açık bir şema ihlalidir.

Araç hatası yolu, bilinen hatalar için belirleyici kurallar ve belirsiz durumlar için model yargısı kullanır. Yalnızca bir hata mesajı da modeli suçlamak için yeterli değildir; değerlendirilen bir düzeltme, modelin araç şemasından, sistem yönergelerinden veya önceki konuşmadan bilebileceği bir konuya işaret etmelidir.

Bir arama çağrısı geçersiz recency_filter yıl değerini kullanır; temellendirilmiş bir ipucu, modele listelenen bir değeri kullanmasını veya isteğe bağlı bir alanı atlamasını söyler. — Raporun geçersiz arama argümanı, mevcut araç hatası prosedürünü göstermektedir. Şema bu hatayı kaçınılabilir kılar; tek başına bir kesinti bunu yapamazdı. Orijinal çağrı kayıtta kalır ve temellendirilmiş bir ipucu alır. İpucu, alan isteğe bağlıysa listelenen bir değere veya atlamaya izin verir; her istek için “month” (ay) gerektirmez.

Burada ipucu başarısız çağrıyı adlandırır, doğrulama hatasını içerir ve modele izin verilen bir değeri kullanmasını veya alan isteğe bağlıysa atlamasını söyler.

Bir tur işaretlendiğinde, eğitmen aynı kontrol noktasını iki kez çalıştırır: bir kez öğretmen olarak ve bir kez öğrenci olarak. Öğretmen ipucunu görür, öğrenci ise görmez.

Her iki geçiş de, yeni token'lar seçmesine izin vermek yerine modele kaydedilen oturumu beslediğimiz öğretmen zorlamasını (teacher forcing) kullanır. İleri geçiş her adımda hala tam bir sonraki token dağılımı üretir, ancak her zaman lansman (rollout) token'larına değil, kayıttaki sabit öneke koşullandırılır.

Arama örneği için, ipucu verildiğinde aynı model “month” (ay) için çok daha yüksek, “year” (yıl) için ise daha düşük olasılık atar. Eğitim, bu dağılımsal kaymayı yumuşak bir hedef olarak kullanır.

Aynı model, oturum açmış bir dönüşü ipucuyla ve ipucusuz olarak puanlar; ayrıştırılmış öğretmen olasılıkları KL hedefleri sağlarken CE taklidi sabitler. — İki geçiş, bir ağırlık seti. Her iki geçiş de kaydedilen devamı puanlar; yalnızca öğretmen ipuçları alır. Ayrıştırılmış sonraki token olasılıkları, ileri KL aracılığıyla öğrenciye rehberlik eder. Ayrı CE hedefleri taklidi sabitler. Her iki kayıp da bir ağırlık güncellemesini besler. Önceki ipuçları öğretmenin mevcut segmentinde kalabilir; hiçbir geçiş yedek bir eğitim yanıtı üretmez.

Öğretmenin tahminleri ayrıştırılır veya gradyan durdurulur: bir hedef sağlarlar ancak öğretmen geçişi yoluyla bir güncelleme almazlar. Öğrencinin geçişinden sonra, bir optimizasyon adımı paylaşılan modeli günceller.

CE kaybı, taklit için seçilen kaydedilmiş token'ları mutlak gerçeklik (ground-truth) hedefleri olarak ele alır ve bunlara düşük olasılıklar atadığı için modeli cezalandırır. Bu, sert bir taklit hedefi oluşturur.

Token konumunda , öğrencinin tam kelime dağarcığındaki token'ı olma olasılığı olsun. Yanıttaki veya araç çağrısındaki kaydedilen sonraki token 'tir, one-hot hedef dağılımı 'dır. $i$ $p_i(v)$ $v$ $V$ $y_i$ $r_i$

r_i(v)=\mathbf{1}[v=y_i]

Çapraz entropi (Cross-entropy), öğrencinin kaydedilen token'ı ne kadar iyi tahmin ettiğini ölçer. One-hot bir hedefle, $y_i$ için atanan negatif log-olasılığa indirgenir.

H(r_i,p_i)=-\sum_{v\in V}r_i(v)\log p_i(v)=-\log p_i(y_i)

CE maskesi $m_i^{\mathrm{CE}}$ , token'ın taklit edilmesi gereken yerde $1$ ve aksi takdirde $0$ şeklindedir. Seçilen konumlar üzerinden toplama yapmak taklit kaybını verir.

\mathcal{L}_{\mathrm{CE}}=\sum_i m_i^{\mathrm{CE}}H(r_i,p_i)

KL kaybı, bunun yerine öğretmenin sonraki tüm token olasılık dağılımını $q_i$ yumuşak bir düzeltme hedefi olarak kullanır. Öğretmenin bağlamı mevcut ipucunu ve bu eğitim segmentinde tutulan önceki ipuçlarını içerir; öğrencinin bağlamı her zaman ipucu içermez.

KL maskesi $m_i^{\mathrm{KL}}$ , token'ın düzeltilmesi gereken yerde $1$ ve aksi takdirde $0$ şeklindedir; CE ve KL maskeleri örtüşmez. Bu konumlarda ileri KL, tüm kelime dağarcığı genelinde öğretmen ve öğrenci arasındaki anlaşmazlığı cezalandırır:

\mathcal{L}_{\mathrm{KL}}=\sum_i m_i^{\mathrm{KL}}D_{\mathrm{KL}}(q_i\Vert p_i)=\sum_i m_i^{\mathrm{KL}}\sum_{v\in V}q_i(v)\log\frac{q_i(v)}{p_i(v)}

Her iki terim de ayrı ayrı normalize edilmek yerine tek bir payda paylaşır. Bu payda, küresel eğitim yığını genelinde taklit için seçilen toplam token sayısını sayar. $\lambda$ ağırlığı, taklime göre düzeltici eğitimin katkısını kontrol eder.

Bu paylaşılan normalizasyon, eğitim altyapımızın tek paydalı arayüzüne uyar ve $\lambda=0$ olduğunda standart SFT kaybını geri kazandırarak temel karşılaştırmalarını basitleştirir. CE token'ları KL token'larından çok daha bol olduğundan, paylaşılan bir payda kullanmak, az sayıda işaretli token'a sahip yığınlarda bireysel KL token'larına orantısız derecede büyük ağırlıklar verilmesini de önler.

\mathcal{L}=\frac{\mathcal{L}_{\mathrm{CE}}+\lambda\mathcal{L}_{\mathrm{KL}}}{\sum_i m_i^{\mathrm{CE}}}

Önceki örneklere uygulandığında, W-3/W-2 karışıklığını ve geçersiz arama çağrısını içeren dönüşler KL alır. Başarılı bir oturumdaki diğer işaretlenmemiş asistan içeriği yine de CE alır. Başarısız bir oturumdaki diğer asistan içeriği bağlam olarak saklanır ancak ne CE ne de KL alır.

Değerlendirmelerimiz iki ayrı soruyu yanıtlamaktadır. Birincisi, bir ipucu mevcut olduğunda gerçekten de modelin bir hatayı düzeltmesine yardımcı oluyor mu? İkincisi, eğitim modelin daha sonra bu hatadan ipucu olmadan kaçınmasına yardımcı oluyor mu? Birincisi, ipuçlarının yararlı eğitim sinyalleri sağlayıp sağlamadığını test eder. İkincisi, modelin bunlardan öğrenip öğrenmediğini test eder.

İpuçlarının gerçekten de modeli hatalardan uzaklaştırıp uzaklaştıramayacağından emin olmak için eğitim çalıştırılmadan önce ilk soruyu test ediyoruz.

Sıfır sıcaklıkta aynı GLM-5.2 taban modelini kullanarak işaretli kullanıcı geri bildirimi dönüşlerini ipucuyla ve ipucu olmadan yeniden oluşturduk. Kör bir hakem sonraki şikayeti görür, ancak ne ipucunu ne de hangi koşulun yanıtı ürettiğini görür.

W-3 örneğinde ipucu, “W-” önekinden sonra sonraki token olasılığını “2”den uzaklaştırıp “3”e doğru kaydırır.

Değiştirilmemiş taban modeli bir ipucu aldığında W- sonrasındaki token olasılıkları 2 yerine 3'e doğru kayar. — Bir ipucu istenen W-3 formunu korur. Çubuklar sekiz ileri geçiş boyunca ortalama token olasılıklarını gösterir; bıyıklar bir güven aralığını değil, gözlemlenen aralığı gösterir. Her iki koşul da değiştirilmemiş taban modelini kullanır.

Açıkça belirtilen önceki kanıtlarla desteklenen daha büyük 40 dönüşlü tutulan bir örneklemde, sabit veya yolunda gittiği değerlendirilenlerin payı ipucu olmadan %40,0'dan ipucu ile %75,0'a yükselmektedir. Çıkarılan niyetle desteklenen diğer 40 dönüşte ise %32,5'ten %80,0'a yükselmektedir.

İpucu doğrulaması: sabit veya yolunda gitme oranları açık kanıt için %40,0'dan %75,0'a ve çıkarılan niyet için %32,5'ten %80,0'a yükselir. — Eğitim sonrası değerlendirme değil, ipucu doğrulaması. Her kanıt grubundaki aynı 40 işaretli dönüş, sıfır sıcaklıkta değiştirilmemiş GLM-5.2 kullanılarak ipucuyla ve ipucusuz olarak yeniden oluşturulur. Hakem şikayeti görür ancak ipucunu veya koşulu görmez. Sayımlar raporun oranlarından ve örneklem boyutlarından türetilmiştir; güven aralıkları bildirilmemiştir.

Arama aracı hatası örneğinde, bir ipucu gerçekten de olasılık kütlesini yıl token'ından ay token'ına kaydırır.

Bir ipucu, değiştirilmemiş taban modelinin sonraki token olasılıklarını yıldan (year) uzaklaştırıp izin verilen month değerine doğru kaydırır. — Bir ipucu, olasılığı izin verilen bir değere doğru kaydırır. Çubuklar sekiz ileri geçiş boyunca ortalama sonraki token olasılıklarını gösterir; bıyıklar bir güven aralığını değil, gözlemlenen aralığı gösterir. Her iki koşul da aynı taban modelini kullanır; eğitilmiş hiçbir kontrol noktası karşılaştırılmaz.

Daha büyük, tutulan (held-out) 985 dönüşlük bir örneklem üzerinde, aynı taban modelini kullanarak her dönüşü ipucuyla ve ipucusuz olmak üzere dört kez yeniden oluşturduk. Kör bir hakem, her yeniden oluşturmanın orijinal hatadan kaçınıp kaçınmadığını değerlendirir. İpuçları, hatadan kaçınmayı %75,1'den %93,7'ye çıkararak 18,6 yüzde puanlık eşleştirilmiş bir kazanç sağlar ve düzeltilmiş eylemi gerçekleştirme oranını %60,6'dan %82,3'e yükseltir. Kazançlar, tek başına tekrarlanan örneklemenin düzeltmekte zorlandığı hatalarda en yüksektir.

Tutulan 985 işaretli araç hatası dönüşünde ipuçları, hatadan kaçınmayı %75,1'den %93,7'ye ve düzeltilmiş eylem oranlarını %60,6'dan %82,3'e yükseltir. — Koşul başına dört yeniden oluşturma ile tutulan 985 işaretli dönüşte araç hatası ipucu doğrulaması. Çubuklar, ipuçları olan ve olmayan değiştirilmemiş taban modeli için hatadan kaçınma ve düzeltilmiş eylem oranlarını gösterir. Hedeflenen hatadan kaçınmak, araç çağrısının veya görevin başarılı olduğunu kanıtlamaz.

Ardından, eğitilmiş modelin ipuçları almadan daha az hata yapıp yapmadığını test ederiz. Stok modeli ve çeşitli sonrası eğitilmiş kontrol noktalarını çevrimdışı kıyaslama görevlerinde ve canlı kullanıcı oturumlarında değerlendirerek daha az araç hatası ve daha düşük kullanıcı memnuniyetsizliği olup olmadığını kontrol ederiz.

Çevrimdışı değerlendirme; BrowseComp, Finch, WideSearch, DRACO, DSQA, SpreadsheetBench, HLE, temsilci bir Computer görev kümesini kullanır ve beceri yükleme, belge incelemesi ve satır içi alıntıları kontrol eder. Değerlendirme yörüngelerinde sonuçları açıkça hata olarak işaretlenen araç çağrılarının payını ölçüyoruz.

Bu değerlendirmelerde, kaydedilen araç hatası oranı stok GLM 5.2 için %2,79, yalnızca RFT kontrol noktası için %1,35 ve bir RFT-plus-OPSD kontrol noktası için %0,87 idi. Bu kontrol noktaları farklı veriler üzerinde eğitilmiştir, dolayısıyla bu OPSD'nin eşleştirilmiş veri ablasyonu değildir. Görev düzeyindeki kıyaslama sonuçları karışıktı, bu nedenle tek başına daha az araç hatası mutlaka görev başarısında geniş bir iyileşmeye dönüşmez.

Çevrimdışı kaydedilen araç hatası oranları: stok GLM 5.2 için %2,79, yalnızca RFT için %1,35 ve RFT plus OPSD için %0,87; eğitim verileri farklıdır. — Stok GLM-5.2, yalnızca RFT ve RFT-plus-OPSD kontrol noktaları için çevrimdışı araç hatası oranları. Eğitim verileri kontrol noktaları arasında farklılık gösterir; bu, kontrollü bir ablasyon değildir.

GLM-5.2 için, her bir koşulda yaklaşık yüz bin kullanıcının katıldığı iki ayrı A/B testi yürüttük. Birincisinde, erken döneme ait bir RFT artı OPSD kontrol noktası, orijinal GLM 5.2'ye kıyasla biraz daha düşük bir araç hatası oranına sahipti (%2,82'ye karşılık %2,94), ancak aradaki fark istatistiksel olarak anlamlı değildi.

Sonraki testte, iki RFT-plus-OPSD kontrol noktasını karşılaştırdık: daha erken bir tane (kontrol noktası bir) ve daha sonraki bir tane (kontrol noktası iki). Kaydedilmiş bir duruma sahip çağrıların araç çağrısı hataları %2,24'ten %1,77'ye düştü. Bu, istatistiksel olarak anlamlı bir %21,2'lik göreli düşüştü. Kontrol noktası ikiyi çevrimiçi olarak doğrudan stok GLM 5.2 ile karşılaştırmadık.

Kullanıcı geri bildirimi sonuçları o kadar kesin değildi. İkinci GLM-5.2 denemesinde, güçlü memnuniyetsizliğin (orta veya yüksek) ortalama olasılığı birinci kontrol noktası için %2,58 ve ikinci kontrol noktası için %2,54 oldu; istatistiksel olarak anlamlı bir fark görülmedi.

İki ayrı çevrimiçi A/B testi; yalnızca daha sonraki kontrol noktası karşılaştırması, önemli bir MID+ memnuniyetsizlik değişimi olmaksızın önemli bir araç hatası azalmasına sahiptir. — İki ayrı GLM-5.2 canlı A/B testi. Kontrol noktası 1, orijinal GLM-5.2 ile karşılaştırılır; kontrol noktası 2, kontrol noktası 1 ile karşılaştırılır. Bu iki test içinde yalnızca daha sonraki araç hatası azaltımı istatistiksel olarak anlamlıdır. MID+ oranları, şikayet sayılarını değil, orta veya yüksek düzeyde memnuniyetsizliğin ortalama tahmini olasılıklarını ifade eder.

GLM-5.3 için, eğitim sonrası elde edilen bir kontrol noktasını doğrudan stok GLM-5.3 ile karşılaştırdık. Kaydedilmiş bir duruma sahip çağrılarda araç çağrısı hataları %3,56'dan %2,38'e düşerek %33,04'lük göreli bir azalma gösterdi. Orta veya yüksek düzeyde memnuniyetsizliğin ortalama tahmini olasılığı olan MID+ oranı %4,12'den %3,41'e düşerek %17,2'lik göreli bir azalma gösterdi. Her iki azalma da istatistiksel olarak anlamlıydı.

GLM-5.3 A/B testi: araç hatası oranı %3,56'dan %2,38'e düşerken, orta veya yüksek düzeyde memnuniyetsizliğin ortalama tahmini olasılığı olan MID+ oranı %4,12'den %3,41'e düşüyor. CUPED ile düzeltilmiş göreli azalmalar sırasıyla %33,04 ve %17,16'dır. Her iki %95'lik sıralı aralık sıfırı hariç tutmaktadır; birincil etkileşim metriği anlamlı değildir. — Ayrı bir çevrim içi A/B testinde eğitim sonrası GLM-5.3 ile stok GLM-5.3 karşılaştırması. Araç hatası ve MID+ oranları, göreli değişimler ve %95 sıralı güven aralıkları CUPED düzeltmesi kullanır. Her iki azalma da istatistiksel olarak anlamlıdır. MID+ oranları, şikayet sayılarını değil, uygun puanlanmış takip konuları üzerindeki orta veya yüksek memnuniyetsizlik ortalama tahmini olasılıklarını ifade eder. Araç hatası oranları, kaydedilmiş bir başarı veya hata durumu olmayan çağrıları hariç tutar.

Merkezi fikir, yalnızca oturum düzeyinde değil, karar düzeyinde öğrenmektir.

Başarılı bir sonuç hataları gizleyebilir ve başarısız bir oturum nasıl iyileştirileceğini yine de ortaya çıkarabilir. Başarılı oturumlardan elde edilen yararlı davranışları bir çapa olarak saklıyor, kaçınılabilir arızaları belirlemek için şikayetleri ve araç hatalarını kullanıyor ve modeli bu hatalar ve düzeltmeler açık hale getirildiğinde yaptığı tahminlere doğru eğitiyoruz. Başarı, korunacak davranışı sağlar; başarısızlık ise iyileştirme için yön sağlar.

Gerçek dünya kullanımı bu yaklaşımı özellikle yararlı kılar. Gerçek kullanıcılar; yapay bir ortamda öngörülmesi zor olan hedefler, kısıtlamalar ve iş akışları getirir. Düzeltmeleri modelin kaçırdığı gereksinimleri ortaya çıkarırken, araç hataları modelin denediği şey ile ortamın izin verdiği şey arasındaki boşlukları açığa çıkarır. Bu sinyaller sonuç tabanlı eğitimi tamamlar: yalnızca bir görevin başarılı olup olmadığını sormak yerine, modelin nerede yanlış gittiğini ve hangi bilginin daha iyi bir karar vermesine yardımcı olabileceğini sorabiliriz.

Sınırlar da en az o kadar önemlidir. Hakemler hatalı olabilir ve bir turu düzeltmek, tüm görevin başarıyla tamamlanacağını garanti etmez. Amaç, yalnızca bir düzeltmenin ardından kurtarma yapabilen bir ajan değildir. Amaç, daha az sıklıkta düzeltmeye ihtiyaç duyan bir ajandır.

BibTeX

@online{perplexity2026LearningFromRealWorldExperience,
  author = {{Perplexity} and Senzeyu Zhang and Chuan Wang and Hang Wu and Hao Zhang and Yuan Liang and Yunfan Zhong and Phi Hoang and Claire Beamer and Jeremy Yang and Andrew Wilson and Denis Yarats},
  title = {{Learning from real-world experience}},
  date = {2026-09-21},
  url = {https://www.perplexity.ai/hub/blog/learning-from-real-world-experience}
}

Yapay veriden gerçek dünya verisine

İyi adımları taklit edin, kötüleri düzeltin

Örnek: Tek bir oturum her iki dersi de verebilir

Eğitim nasıl çalışır?

Oturumları seçin, ardından sonucu değerlendirin

Kullanıcı geri bildiriminden hataları bulun

Araç hatalarından hataları bulun

İki ileri geçiş

Kayıp fonksiyonu

CE kaybı

KL kaybı

Birleştirilmiş kayıp

Değerlendirmeler ne gösteriyor

İpuçları modeli hatalardan uzaklaştırabilir

Kullanıcı geri bildirimi

Araç hataları

Eğitim sonrasında araç güvenilirliği ve kullanıcı geri bildirimi

Çevrimdışı değerlendirme

Çevrim içi değerlendirme: GLM-5.2

Çevrim içi değerlendirme: GLM-5.3

Sonuç

Alıntı