İyi bir öğretmen öğrenciyi bulunduğu yerde karşılar

Karmaşık akıl yürütme ve ajan görevlerinde model performansını ve eğitim verimliliğini artırmak için öğretmen ile öğrenciyi birlikte eğiten yeni bir öz damıtma yöntemi.

YazarlarPerplexity Research & NVIDIA

Giriş

Pekiştirmeli Öğrenme (RL), dil modellerinin karmaşık akıl yürütme ve uzun ufuklu ajan görevlerindeki yeteneklerini geliştirmek amacıyla eğitim sonrası aşamada yaygın olarak kullanılır.

Tipik bir kurulumda model bir görevi tekrar tekrar dener, her deneme için bir sonuç ödülü alır ve daha yüksek ödüllü denemelerde gerçekleştirilen eylemleri tercih etmeyi öğrenir. Ancak tek bir sonuç ödülü, hangi ara eylemlerin sonuca katkı sağladığını ya da zarar verdiğini ayırt etmeyen seyrek bir öğrenme sinyali sunar. Bu seyreklik, özellikle denemelerin uzun ve başarıların nadir olduğu zorlu ajan görevlerinde örnek verimliliğini sınırlar.

Bu seyreklik sorununa yönelik popüler yaklaşımlardan biri, öğrencinin kendi denemelerine token token rehberlik sağlamak için daha güçlü bir öğretmen model kullanan ve böylece çok daha yoğun ödüller sunan On-Policy Distillation (OPD, politika içi damıtma) yöntemidir. Ancak öğretmek başlı başına bir beceridir. Bir görevi çözmede iyi olan bir model, o görevi öğretmede iyi olmayabilir; çünkü verdiği geri bildirim öğrencinin mevcut yeteneklerinin ötesinde kalabilir. Bu durum, yalnızca öğrenciyi öğretmeni taklit edecek şekilde değil, öğretmeni de öğrenciye daha uyumlu rehberlik sağlayacak şekilde eğitmeyi gerekli kılar.

Bu türden bir yöntem öneriyoruz: Joint On-policy Learning and Teaching (JOLT; Ortak Politika İçi Öğrenme ve Öğretme). On-Policy Self-Distillation (OPSD, politika içi öz damıtma) yaklaşımını temel alarak tek bir modeli iki rolde kullanıyoruz: doğrulanmış çözümler gibi ayrıcalıklı bilgilere erişimi olan bir öğretmen ve bu erişime sahip olmayan bir öğrenci. Bu iki rolü birlikte eğitiyoruz. Öğrenci standart damıtma amacını izler. Öğretmenin amacı ise geri bildirimini, öğrenciyi kendi ödülü üzerindeki RL ile aynı yönde ilerletecek şekilde yönlendirir. Bu amaçlar bir arada, öğretmeni öğrenciyi bulunduğu yerde karşılayacak şekilde eğitir ve öğrencinin erişebileceği düzeydeki rehberlikten öğrenmesine yardımcı olur.

Deneylerimiz, bir dizi matematiksel akıl yürütme, kodlama ve ajan görevinde hem model performansında hem de eğitim verimliliğinde iyileşmeler olduğunu gösteriyor.

Seyrek ödüllerden yoğun geri bildirime

Sonuç ödüllü RL, en temel biçimiyle beklenen getiri amacını kullanır:

JRL(θ)=Eτ∼πθ[R(τ)]\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

Burada τ\tau, bir πθ\pi_\theta politikasını izleyen bir yörünge, R(τ)R(\tau) ise bu yörüngenin getirisidir. Karşılık gelen politika gradyanı şöyledir:

gRL(θ)=∇θJRL(θ)=Eτ∼πθ[∑tR(τ) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

Burada sts_t ve ata_t, tt zaman adımındaki sırasıyla durumu ve eylemi temsil eder. Örneklemeye dayalı tahminlerin varyansını azaltmak için gradyan genellikle şu şekilde ifade edilir:

gRL(θ)=Eτ∼πθ[∑tAπθ(st,at) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

Burada Aπθ(st,at)A^{\pi_\theta}(s_t, a_t) avantajı, ata_t eyleminin sts_t durumunda mevcut politikaya göre beklenen fazla getirisini ölçer. Yaklaşımlardan biri olan Group Relative Policy Optimization (GRPO, grup göreli politika optimizasyonu), her yörüngenin getirisini aynı istem için örneklenen grubun ortalama getirisiyle karşılaştırarak avantajı tahmin eder.

Ancak bu ayarlamalara rağmen sonuç ödüllü pekiştirmeli öğrenme, özellikle zorlu ve uzun ufuklu görevlerde seyrek denetim sorunu yaşar. Giderek büyüyen bir literatür, daha yoğun bir öğrenme sinyali sağlamak için ek bilgi kaynaklarından yararlanarak bu soruna çözüm arıyor.

On-Policy Distillation (OPD) bu yaklaşımlardan biridir. OPD, yalnızca nihai bir ödülden öğrenmek yerine öğrenciden yörüngeler örnekler ve örneklenen her eylemi daha güçlü bir öğretmenle değerlendirir. Bir πT\pi_T öğretmen politikası ve yörüngeleri üretmek için kullanılan öğrenci parametrelerinin sabit bir θˉ\bar{\theta} anlık görüntüsü için, θ=θˉ\theta = \bar{\theta} noktasında değerlendirilen yerel gradyan şöyledir:

gOPD(θˉ;πT)=∇θJOPD(θ;θˉ,πT)∣θ=θˉ=−∇θEτ∼πθˉ ⁣[∑tKL ⁣(πθ(⋅∣st) ∥ πT(⋅∣st))]∣θ=θˉ=Eτ∼πθˉ[∑t(log⁡πT(at∣st)−log⁡πθˉ(at∣st)) ∇θˉlog⁡πθˉ(at∣st)]\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

Burada JOPD(θ;θˉ,πT)\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T), negatif ters KL damıtma amacıdır. Türev alma sırasında öğretmen politikası ve örneklenen önekler sabit tutulur. Öğretmen-öğrenci log-olasılık oranı, eylem düzeyindeki ağırlık olarak avantajın yerini alarak ziyaret edilen her durumda yoğun bir öğrenme sinyali sağlar.

On-Policy Self-Distillation (OPSD), ayrı bir öğretmen modele duyulan ihtiyacı da ortadan kaldırır. Öğrenci politikası; doğrulanmış bir çözüm, geri bildirim veya bir referans izi gibi ayrıcalıklı bilgiler verildiğinde kendi öğretmeni olarak görev yapar. Ancak OPSD öğrenciyi yalnızca öğretmeni taklit edecek şekilde eğitir; öğretmenin öğrenciye yararlı bir sinyal sağlamasını güvence altına alan bir mekanizma yoktur.

Ortak politika içi öğrenme ve öğretme

JOLT, paylaşılan bir modeli hem daha uyumlu rehberlik sağlayan öğretmen hem de bu rehberlikten öğrenen öğrenci olarak eğiterek OPSD'yi genişletir. Daha bilgili öğretmen, öğrenciye doğru KL düzenlileştirmesiyle sonuç ödüllerinden öğrenirken ayrıcalıksız öğrenci, öğretmenin yoğun damıtma sinyalinden öğrenir. Öğretmen güncellemesi öğretmenin ürettiği denemeleri kullanırken öğrenci güncellemesi, öğrencinin ürettiği ve öğretmen tarafından puanlanan denemeleri kullanır. JOLT+ ise öğrencinin damıtma sinyalini ayrıca sonuç ödülleriyle destekler.

Tek bir politika hem öğretmen hem de öğrenci olarak öğrenir.

Öğretmeni eğitmek

Bir öğretmenin ne yapması gerektiğini tanımlamak

Daha iyi öğretmen performansı, öğrenci için her zaman yararlı güncellemelere dönüşmez. Bir öğretmen ayrıcalıklı bilgiyi kullanarak öğrencinin erişemediği kısayollardan yararlanabilir, öğrenci politikası altında olasılığı düşük yörüngelere yüksek olasılık atayabilir ya da öğrencinin ürettiği öneklerdeki hatalardan sonra güvenilmez rehberlik sağlayabilir. Bu nedenle öğretmen kalitesi, öğretmenin kendi görev ödülüne göre değil, öğrenciye sağladığı öğrenme sinyaline göre belirlenmelidir.

Öğrencide tetiklediği damıtma güncellemesi, pozitif bir ölçek çarpanı dışında öğrencinin beklenen görev ödülünün politika gradyanıyla örtüşen bir öğretmene ödül tutarlı diyoruz. Daha açık bir ifadeyle, ödül tutarlı bir πT⋆\pi_T^\star öğretmeni şu koşulu sağlamalıdır:

gOPD(θˉ;πT⋆)=1βT gRL(θˉ)g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

Burada βT\beta_T pozitif bir skalerdir. Önceki bölümde olduğu gibi gOPDg_{\mathrm{OPD}} OPD yerel gradyanı, θˉ\bar\theta, θ\theta öğrenci modeli parametrelerinin sabit bir anlık görüntüsü, gRLg_{\mathrm{RL}} ise beklenen getiri amacının politika gradyanıdır.

Bu koşulu sağlayan öğretmenlerden biri şudur:

πT⋆(a∣s,c)=1Z(s) πθˉ(a∣s)exp⁡ ⁣(1βTAπθˉ(s,a))\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

Burada Aπθˉ(s,a)A^{\pi_{\bar{\theta}}}(s, a) öğrenci devam avantajlarını, Z(s)Z(s) ise uygun bir olasılık dağılımı elde edilmesini sağlayan bir normalleştirme sabitini temsil eder.

İdeal hedeften öğretmen amacına

Bir öğretmeni, ideal hedef πT⋆\pi_T^\star ile arasındaki KL ıraksamasını en aza indirerek bu hedefe doğru eğitebiliriz. Sabit bir öğrenci ve ss durumu için şu ifade elde edilir:

min⁡πT KL ⁣(πT(⋅∣s,c) ∥ πT⋆(⋅∣s,c))\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

πT⋆\pi_T^\star için ifadeyi yerine koyduğumuzda eşdeğer bir maksimizasyon problemi elde ederiz:

max⁡πT{Ea∼πT(⋅∣s,c) ⁣[Aπθˉ(s,a)]−βT KL ⁣(πT(⋅∣s,c) ∥ πθˉ(⋅∣s))}\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

Bu amaç, öğretmeni öğrencinin eylem dağılımına yakın kalırken öğrenci avantajı daha yüksek olan eylemleri seçmeye teşvik eder. βT\beta_T parametresi bu cezanın gücünü kontrol eder: daha büyük değerler öğretmeni öğrencinin mevcut davranışına daha yakın tutarken daha küçük değerler yüksek avantajlı eylemleri daha agresif biçimde tercih etmesine olanak tanır.

Pratik bir vekil amaç

Bu amaç, öğrencinin her eylemden sonra ne kadar iyi devam edeceğine bağlıdır; ancak bu öğrenci devam avantajları genellikle mevcut değildir. Bu nedenle pratik bir vekil olarak öğretmenin kendi yörüngelerinden elde edilen merkezlenmiş getirileri kullanıyoruz. Ödül terimi öğretmeni görevi çözmeye teşvik ederken KL terimi öğrencinin mevcut eylem dağılımından sapmaları caydırır. KL terimi öğretmeni öğrenciye yakın tutsa da bu ikame tam değildir; çünkü öğretmenin getirilerinin öğrencinin devam avantajlarıyla örtüşmesi gerekmez.

JT(θ;θˉ)=Eτ∼πθˉ(⋅∣c)[ ∑t(sg⁡[A^T(τ)]log⁡πθ(at∣st,c)−βT KL(πθ(⋅∣st,c) ∥ sg⁡[πθˉ(⋅∣st)]))]\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

Burada A^T(τ)\widehat{A}_T(\tau), öğretmen denemesinin getirisi ile grubundaki öğretmen tarafından üretilen denemelerin ortalama getirisi arasındaki farktır. sg⁡\operatorname{sg} operatörü gradyan durdurmayı ifade eder: argümanı, tıpkı örneklenen önekler ve öğrenci referansı gibi, türev alma sırasında sabit kabul edilir.

Öğrenciyi eğitmek

Öğrenci güncellemesi standart bir OPSD güncellemesidir. Öğrenci, görevden yörüngeler üretir. Ardından aynı model, ayrıcalıklı bilgi bağlamdayken örneklenen her tokenı puanlar. Öğrenci amacı, öğrencinin ziyaret ettiği her durumda öğrenci ile bu ayrıcalıklı öğretmen arasındaki ters KL ıraksamasını cezalandırır:

JOPSD(θ;θˉ)=− Eτ∼πθˉ[∑tKL(πθ(⋅∣st) ∥ sg⁡[πθˉ(⋅∣st,c)])]\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

Böylece öğretmenin tercih ettiği tokenlar pekiştirilirken öğretmenin öğrenciye kıyasla daha düşük olasılıklı gördüğü tokenlar bastırılır.

Hepsini bir araya getirmek

Öğretmen ve öğrenci amaçlarının birleştirilmesiyle ortak eğitim amacı elde edilir:

JJOLT(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

βS\beta_S, öğrenci damıtma kaybının birleşik güncellemede ne kadar ağırlık taşıyacağını belirleyen bir skalerdir.

Ödül tutarlılığı sonucu, belirli bir öğretmen için öğrencinin damıtma güncellemesini nitelendirir. JOLT bu ilkeyi ortak eğitime yön vermek için kullanır; öğretmen ve öğrenci amaçlarını birleştirerek bu rollerin paylaştığı parametreleri günceller.

JOLT+ ayrıca öğrencinin kendi sonuç ödülünü de güncellemesine ekler. Her öğrenci yörüngesinin merkezlenmiş getirisi damıtma sinyaline eklenerek yoğun öğretmen denetimi, öğrenci yörüngeleri üzerindeki doğrudan sonuç geri bildirimiyle birleştirilir. Öğretmen amacı değişmediğinden şunu yazabiliriz:

JJOLT+(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)+Eτ∼πθˉ ⁣[∑tsg⁡[A^S(τ)] log⁡πθ(at∣st)]\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

Burada A^S(τ)\widehat{A}_S(\tau), öğrenci yörüngesinin getirisi ile öğrencinin ürettiği yörüngelerden oluşan grubunun ortalama getirisi arasındaki farktır.

Her iki varyantta da her rol kendi bağlamında üretilen yörüngelerden öğrenir ve her iki rol de paylaşılan politikayı günceller. Bir eğitim adımına ait sözde kod aşağıda gösterilmiştir.

Bir JOLT eğitim adımı için sözde kod.

Deneyler

JOLT ve JOLT+'yı matematiksel akıl yürütme, kod üretimi, araç kullanımı ve uzun ufuklu terminal görevlerini kapsayan kıyaslama testlerinde, farklı temel modeller ve farklı ayrıcalıklı bilgi biçimleri kullanarak değerlendiriyoruz. Deneylerde kullandığımız kıyaslama testleri, temel modeller ve ayrıcalıklı bilgi yapılandırmaları şunlardır:

  • GSM8K: DeepSeek-V2-Lite modelini, ilkokul düzeyindeki matematik problemlerinden oluşan bir veri kümesi olan GSM8K üzerinde eğitiyoruz. Öğretmen her problemin doğrulanmış cevabını alır.
  • MATH: Qwen3-0.6B modelini MATH üzerinde eğitiyoruz. Öğretmen, adım adım çözülmüş referans çözümleri alır.
  • LCBv6: Qwen3-8B modelini LiveCodeBench-V6 içinden 131 kodlama problemi üzerinde eğitiyoruz. Öğretmen, eğitimde görünür olan tüm testleri geçen ve model tarafından üretilmiş bir çözümü ya da hiçbir deneme bu testleri geçemediğinde yürütme geri bildirimini alır.
  • AppWorld: Qwen3-4B-Instruct modelini AppWorld üzerinde eğitiyoruz. Öğretmen, önceki denemelerin özetlerini alır.
  • Terminal-Bench: Qwen3-30B-A3B-Instruct modelini terminal ajanlarına yönelik bir eğitim görevleri kümesi olan TMax üzerinde eğitiyor ve Terminal-Bench 2.1 üzerinde değerlendiriyoruz. Öğretmen, doğrulayıcıya ait gizli bilgileri alır.

Her yöntem için hiperparametreleri ayarlayarak GRPO, OPSD ve π-Distill ile karşılaştırma yapıyoruz. π-Distill de JOLT gibi ayrıcalıklı öğretmen ve öğrenci rollerini paylaşılan bir model içinde birlikte eğitir; ancak farklı bir öğretmen hedefi kullanır ve öğrenci güncellemesi, öğrencinin kendi üretimleri yerine öğretmenin ürettiği yörüngelere dayandığı için politika dışı kalır.

Doğruluk

JOLT+, değerlendirdiğimiz her ortamda en yüksek ortalama puana sahiptir. Test edilen en güçlü referans yöntem olan GRPO ile kıyaslandığında GSM8K doğruluğunu 1,5 yüzde puan (yp), MATH doğruluğunu 4,2 yp, LCBv6 doğruluğunu 3,0 yp ve AppWorld durum testi geçme oranını 9,9 yp artırır.

JOLT+ dört kıyaslama testinin tamamında en yüksek ortalama puana sahiptir.

Doğrudan herhangi bir öğrenci ödülü olmadan JOLT'un ortalama doğruluğu GSM8K, MATH ve LCBv6'da GRPO'nunkinden yüksektir. Ancak AppWorld'de hem GRPO'nun hem de π-Distill'in gerisinde kalır.

Terminal-Bench 2.1, en uzun ufuklu ortamdır. JOLT+, raporlanan her k değerinde en yüksek pass@k değerine sahiptir: pass@1'de %10,96'dan pass@32'de %34,83'e kadar. JOLT, her k değerinde temel modeli ve her iki damıtma referans yöntemini geride bırakır ancak GRPO'nun gerisinde kalır. OPSD ise her k değerinde temel modelin altında puan alır.

JOLT+ her deneme bütçesinde Terminal-Bench'te öndedir.

Token verimliliği ve ölçeklenme

Performansın eğitim bütçesiyle nasıl ölçeklendiğini de inceliyoruz. GRPO, OPSD ve JOLT'u MATH üzerinde farklı eğitim tokenı bütçelerinde değerlendirip ortaya çıkan öğrenci doğruluklarını karşılaştırıyoruz.

Şekil, her yöntem için doğruluğun eğitim tokenı harcamasıyla nasıl ölçeklendiğini gösteriyor. Maliyeti işlenmiş eğitim tokenları cinsinden ölçüyoruz. Buna dolgusuz her istem, ayrıcalıklı bağlam, optimizasyon geçişi ve öğretmen ile öğrenci arasındaki çapraz puanlama dahildir.

JOLT, GRPO'nun doğruluğuna ulaşmak için daha az tokena ihtiyaç duyar.

Noktalar, çeşitli kontrol noktalarındaki işlenmiş eğitim tokenı sayısını ve doğruluğu gösterir; bıyıklar ise çalıştırmalar arasındaki ±1 standart sapmayı temsil eder. RL hesaplamasının ölçeklenmesine ilişkin önceki çalışmaları izleyerek doğruluk ile log eğitim tokenı bütçesi arasına sigmoidal bir ilişki uyduruyoruz.

JOLT, üç yöntem arasında en yüksek doğruluğa ulaşırken erken aşamada örnek verimliliği sergiler ve %72 civarında dengelenir. OPSD küçük bütçelerde hızla gelişir ancak yaklaşık %62 doğrulukta yerinde sayar. GRPO başlangıçta daha yavaş öğrenir ancak daha uzun süre gelişmeye devam ederek yaklaşık %70'e yükselir. %63,44'lük eşleştirilmiş doğrulukta GRPO'nun gözlemlenen kontrol noktası 8,40 milyon token kullanırken JOLT'un uydurulmuş eğrisi 1,30 milyon token, yani 6,5 kat daha az token verir.

Maliyeti ayrıca tamamlama tokenlarıyla da ölçüyoruz. Bu ölçüt GRPO ve OPSD için öğrenci tamamlamalarını, JOLT için ise hem öğretmen hem de öğrenci tamamlamalarını sayar; ancak istemleri, ayrıcalıklı bağlamı ve ek optimizasyon geçişlerini dışarıda bırakır. İşlenmiş eğitim tokenları yerine tamamlama tokenlarına dayalı karşılaştırma, aynı doğruluk düzeyinde verimlilik farkını yaklaşık 13 kata çıkarır. Bir dizi hedef doğruluk değerinde JOLT, 9,5–14,4 kat daha az tamamlama tokenı ve 4,3–7,4 kat daha az işlenmiş eğitim tokenı kullanır.

JOLT'un token avantajı %55'ten %65'e kadar doğruluk aralığında korunur.

Sonuç

Ayrıcalıklı bilgi, bir öğretmeni bir görevi çözmede daha iyi hâle getirebilir; ancak bu, onu aynı görevi o bilgi olmadan çözmeyi bir öğrenciye öğretmede daha iyi kılmaz. JOLT, öğretmeni öğrencinin mevcut davranışına göre eğiterek bu ayrıma çözüm getirir.

Bu ortak eğitim hem doğruluğu hem de verimliliği artırır. Öğrenci sonuç ödülleriyle JOLT+, GRPO'ya kıyasla GSM8K'de 1,5, MATH'te 4,2, LCBv6'da 3,0, AppWorld'de 9,9 ve Terminal-Bench 2.1 pass@1'de 2,7 yüzde puanlık mutlak kazanım elde eder. MATH'te JOLT, eşleştirilmiş doğrulukta ve doğrudan öğrenci ödülü olmadan GRPO'ya göre 13 kat daha az tamamlama tokenı ve 6,5 kat daha az işlenmiş eğitim tokenı kullanır.

JOLT, öğretmen rehberliğinin öğrenciyle birlikte gelişmesine olanak tanır. Bu durum, öğretmenin yararlı eğitim görevleri üretmeyi de öğrenip öğrenemeyeceğini araştırmaya teşvik ediyor. Gelecekteki çalışmalar için ilginç bir yön, görev üreten bir öğretmen ile problem çözen bir öğrenciyi birlikte eğitmek ve öğrencinin öğrenme ilerlemesini kullanarak üretilen görevleri bir müfredat içinde iyileştirmektir. Bu, sentetik görev üretimini öğrencinin bir sonraki adımda öğrenmeye hazır olduğu şeylere duyarlı hâle getirebilir.

Daha fazla ayrıntı için makalemizin tamamını okuyun. Kodu yakında açık kaynak olarak yayınlayacağız.

Atıf

BibTeX
@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}