Guru yang baik menyesuaikan diri dengan kemampuan siswanya

Pembelajaran penguatan (reinforcement learning, RL) banyak digunakan dalam pascapelatihan model bahasa untuk meningkatkan kemampuannya pada tugas penalaran kompleks dan tugas agentik berhorizon panjang.

Dalam penyiapan yang umum, model melakukan percobaan berulang pada suatu tugas, menerima imbalan hasil untuk setiap percobaan, dan belajar mengutamakan aksi yang diambil dalam percobaan dengan imbalan lebih tinggi. Namun, satu imbalan hasil hanya memberikan sinyal pembelajaran yang jarang dan tidak membedakan aksi perantara mana yang membantu atau merugikan hasil. Kelangkaan sinyal ini membatasi efisiensi sampel, terutama pada tugas agentik yang sulit, yang percobaannya panjang dan jarang berhasil.

Salah satu pendekatan populer untuk mengatasi kelangkaan ini adalah On-Policy Distillation (OPD), yang menggunakan model guru yang lebih kuat untuk memberikan panduan token demi token pada percobaan siswa itu sendiri, sehingga menghasilkan imbalan yang jauh lebih padat. Namun, mengajar adalah keterampilan tersendiri. Model yang pandai menyelesaikan suatu tugas belum tentu pandai mengajarkannya, karena umpan baliknya mungkin melampaui kemampuan siswa saat ini. Hal ini mendorong pelatihan yang tidak hanya melatih siswa untuk meniru guru, tetapi juga melatih guru untuk memberikan panduan yang lebih selaras bagi siswa.

Kami mengusulkan salah satu metode tersebut, Joint On-policy Learning and Teaching (JOLT). Berlandaskan On-Policy Self-Distillation (OPSD), kami menggunakan satu model dalam dua peran: guru yang memiliki akses ke informasi istimewa, seperti solusi terverifikasi, dan siswa tanpa akses tersebut. Kami melatih kedua peran ini secara bersamaan. Siswa mengikuti objektif distilasi standar. Objektif guru mendorong umpan baliknya agar menggerakkan siswa ke arah yang sama dengan RL pada imbalan siswa itu sendiri. Bersama-sama, objektif ini melatih guru untuk menyesuaikan diri dengan tingkat kemampuan siswa dan membantu siswa belajar dari panduan yang masih dalam jangkauannya.

Eksperimen kami menunjukkan peningkatan pada performa model maupun efisiensi pelatihan di berbagai tugas penalaran matematis, pemrograman, dan agentik.

Dalam bentuk paling dasarnya, RL berbasis imbalan hasil menggunakan objektif ekspektasi return:

\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

Di sini, $\tau$ adalah trajektori yang mengikuti kebijakan $\pi_\theta$ , dan $R(\tau)$ adalah return untuk trajektori tersebut. Gradien kebijakan yang bersesuaian adalah:

g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

dengan $s_t$ dan $a_t$ masing-masing menyatakan keadaan dan aksi pada langkah waktu $t$ . Untuk mengurangi varians estimasi berbasis sampel, gradien ini sering dinyatakan sebagai:

g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

dengan advantage $A^{\pi_\theta}(s_t, a_t)$ mengukur ekspektasi kelebihan return dari aksi $a_t$ relatif terhadap kebijakan saat ini pada keadaan $s_t$ . Salah satu pendekatan, Group Relative Policy Optimization (GRPO), mengestimasi advantage dengan membandingkan return setiap trajektori dengan rata-rata return kelompok yang diambil sampelnya untuk prompt yang sama.

Namun, bahkan dengan penyesuaian ini, pembelajaran penguatan berbasis imbalan hasil masih terkendala supervisi yang jarang, terutama pada tugas yang sulit dan berhorizon panjang. Semakin banyak penelitian yang mengatasi hal ini dengan memanfaatkan sumber informasi tambahan untuk menghasilkan sinyal pembelajaran yang lebih padat.

On-Policy Distillation (OPD) adalah salah satu pendekatan tersebut. Alih-alih hanya belajar dari imbalan akhir, OPD mengambil sampel trajektori dari siswa dan mengevaluasi setiap aksi hasil sampel tersebut menggunakan guru yang lebih kuat. Untuk kebijakan guru $\pi_T$ dan snapshot tetap $\bar{\theta}$ dari parameter siswa yang digunakan untuk menghasilkan trajektori, gradien lokal yang dievaluasi pada $\theta = \bar{\theta}$ adalah:

\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

Di sini, $\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)$ adalah objektif distilasi reverse-KL negatif. Kebijakan guru dan prefiks hasil sampel dijaga tetap selama diferensiasi. Rasio log-probabilitas guru-siswa memberikan sinyal pembelajaran yang padat di setiap keadaan yang dikunjungi, menggantikan advantage sebagai bobot tingkat aksi.

On-Policy Self-Distillation (OPSD) lebih jauh lagi menghilangkan kebutuhan akan model guru terpisah. Kebijakan siswa berperan sebagai gurunya sendiri dengan diberi informasi istimewa, seperti solusi terverifikasi, umpan balik, atau jejak referensi. Namun, OPSD hanya melatih siswa untuk meniru guru; tidak ada mekanisme untuk memastikan bahwa guru memberikan sinyal yang berguna bagi siswa.

JOLT memperluas OPSD dengan melatih satu model bersama sebagai guru yang memberikan panduan yang lebih selaras sekaligus sebagai siswa yang belajar darinya. Guru yang memiliki lebih banyak informasi belajar dari imbalan hasil dengan regularisasi KL ke arah siswa, sedangkan siswa tanpa informasi istimewa belajar dari sinyal distilasi padat milik guru. Pembaruan guru menggunakan percobaan yang dihasilkan guru, sedangkan pembaruan siswa menggunakan percobaan yang dihasilkan siswa dan dinilai oleh guru. JOLT+ lebih lanjut melengkapi sinyal distilasi siswa dengan imbalan hasil.

Diagram: Satu kebijakan belajar sebagai guru sekaligus siswa — Satu kebijakan belajar sebagai guru sekaligus siswa.

Performa guru yang lebih baik belum tentu menghasilkan pembaruan yang berguna bagi siswa. Guru dapat menggunakan informasi istimewa untuk memanfaatkan jalan pintas yang tidak tersedia bagi siswa, memberikan probabilitas tinggi pada trajektori yang kecil kemungkinannya bagi siswa, atau memberikan panduan yang tidak andal setelah terjadi kesalahan pada prefiks yang dihasilkan siswa. Karena itu, kualitas guru seharusnya ditentukan oleh sinyal pembelajaran yang diberikan kepada siswa, bukan oleh imbalan tugas milik guru itu sendiri.

Kami menyebut guru konsisten-imbalan jika pembaruan distilasi yang ditimbulkannya pada siswa sesuai dengan gradien kebijakan dari ekspektasi imbalan tugas siswa, hingga faktor skala positif. Secara khusus, guru konsisten-imbalan $\pi_T^\star$ harus memenuhi:

g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

dengan $\beta_T$ adalah skalar positif. Seperti pada bagian sebelumnya, $g_{\mathrm{OPD}}$ adalah gradien lokal OPD, $\bar\theta$ adalah snapshot tetap dari parameter model siswa $\theta$ , dan $g_{\mathrm{RL}}$ adalah gradien kebijakan dari objektif ekspektasi return.

Salah satu guru yang memenuhi kondisi ini adalah:

\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

Di sini, $A^{\pi_{\bar{\theta}}}(s, a)$ menyatakan advantage kelanjutan siswa dan $Z(s)$ adalah konstanta normalisasi untuk memastikan distribusi probabilitas yang valid.

Kami dapat melatih guru menuju target ideal $\pi_T^\star$ dengan meminimalkan divergensi KL-nya terhadap target tersebut. Untuk siswa dan keadaan $s$ yang tetap, diperoleh:

\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

Menyubstitusikan ekspresi untuk $\pi_T^\star$ menghasilkan masalah maksimisasi yang ekuivalen:

\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

Objektif ini mendorong guru untuk memilih aksi dengan advantage siswa yang lebih tinggi sambil tetap dekat dengan distribusi aksi siswa. Parameter $\beta_T$ mengendalikan kekuatan penalti ini: nilai yang lebih besar menjaga guru tetap lebih dekat dengan perilaku siswa saat ini, sedangkan nilai yang lebih kecil memungkinkan guru mengutamakan aksi dengan advantage tinggi secara lebih agresif.

Objektif ini bergantung pada seberapa baik siswa akan melanjutkan setelah setiap aksi, tetapi advantage kelanjutan siswa tersebut umumnya tidak tersedia. Karena itu, kami menggunakan return terpusat dari trajektori guru itu sendiri sebagai pengganti praktis. Suku imbalan mendorong guru untuk menyelesaikan tugas, sedangkan suku KL mencegah penyimpangan dari distribusi aksi siswa saat ini. Meskipun suku KL menjaga guru tetap dekat dengan siswa, substitusi ini tidak eksak, karena return guru belum tentu sama dengan advantage kelanjutan siswa.

\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

Di sini, $\widehat{A}_T(\tau)$ adalah return percobaan guru dikurangi rata-rata return percobaan yang dihasilkan guru dalam kelompoknya. Operator $\operatorname{sg}$ menyatakan stop-gradient: argumennya diperlakukan sebagai nilai tetap selama diferensiasi, begitu pula prefiks hasil sampel dan referensi siswa.

Pembaruan siswa adalah pembaruan OPSD standar. Siswa menghasilkan trajektori dari tugas. Model yang sama kemudian menilai setiap token hasil sampel dengan informasi istimewa dalam konteks. Objektif siswa memberikan penalti pada divergensi reverse KL antara siswa dan guru istimewa ini di setiap keadaan yang dikunjungi siswa:

\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

Dengan demikian, token yang lebih disukai guru akan diperkuat, sedangkan token yang diberi probabilitas lebih rendah oleh guru daripada oleh siswa akan ditekan.

Menggabungkan objektif guru dan siswa menghasilkan objektif pelatihan bersama:

\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

$\beta_S$ adalah skalar yang menentukan seberapa besar bobot loss distilasi siswa dalam pembaruan gabungan.

Hasil konsistensi imbalan mencirikan pembaruan distilasi siswa untuk guru tertentu. JOLT menggunakan prinsip ini untuk memandu pelatihan bersama, dengan menggabungkan objektif guru dan siswa untuk memperbarui parameter yang mereka gunakan bersama.

JOLT+ juga menambahkan imbalan hasil milik siswa sendiri ke dalam pembaruannya. Return terpusat dari setiap trajektori siswa ditambahkan ke sinyal distilasi, sehingga menggabungkan supervisi guru yang padat dengan umpan balik hasil langsung pada trajektori siswa. Objektif guru tidak berubah, sehingga kami dapat menuliskan:

\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

Di sini, $\widehat{A}_S(\tau)$ adalah return trajektori siswa dikurangi rata-rata return kelompoknya, yaitu kelompok trajektori yang dihasilkan siswa.

Dalam kedua varian, setiap peran belajar dari trajektori yang dihasilkan dalam konteksnya sendiri, dan kedua peran memperbarui kebijakan bersama. Pseudokode untuk satu langkah pelatihan ditunjukkan di bawah ini.

Pseudokode JOLT yang menunjukkan generasi oleh guru dengan petunjuk, generasi oleh siswa tanpa petunjuk, penilaian lintas konteks, dan pembaruan kebijakan bersama. JOLT+ menambahkan imbalan hasil untuk percobaan siswa. — Pseudokode untuk satu langkah pelatihan JOLT.

Kami mengevaluasi JOLT dan JOLT+ pada tolok ukur yang mencakup penalaran matematis, pembuatan kode, penggunaan alat, dan tugas terminal berhorizon panjang, dengan menggunakan model dasar yang berbeda dan berbagai bentuk informasi istimewa. Secara khusus, kami menjalankan eksperimen menggunakan konfigurasi tolok ukur, model dasar, dan informasi istimewa berikut:

GSM8K: Kami melatih DeepSeek-V2-Lite pada GSM8K, set data soal matematika tingkat sekolah dasar. Guru menerima jawaban terverifikasi untuk setiap soal.
MATH: Kami melatih Qwen3-0.6B pada MATH. Guru menerima solusi referensi beserta langkah-langkah pengerjaannya.
LCBv6: Kami melatih Qwen3-8B pada 131 soal pemrograman dari LiveCodeBench-V6. Guru menerima solusi yang dihasilkan model yang lolos semua pengujian yang terlihat saat pelatihan, atau umpan balik eksekusi jika tidak ada percobaan yang lolos.
AppWorld: Kami melatih Qwen3-4B-Instruct pada AppWorld. Guru menerima ringkasan percobaan sebelumnya.
Terminal-Bench: Kami melatih Qwen3-30B-A3B-Instruct pada TMax, sekumpulan tugas pelatihan untuk agen terminal, lalu mengevaluasinya pada Terminal-Bench 2.1. Guru menerima informasi pemverifikasi yang bersifat privat.

Kami membandingkan dengan GRPO, OPSD, dan π-Distill, dengan menyetel hiperparameter untuk setiap metode. Seperti JOLT, π-Distill melatih peran guru istimewa dan siswa secara bersamaan dalam satu model bersama; namun, metode ini menggunakan target guru yang berbeda dan pembaruan siswanya tetap off-policy, yakni mengandalkan trajektori yang dihasilkan guru, bukan hasil generasi siswa itu sendiri.

JOLT+ memiliki skor rata-rata tertinggi di setiap pengaturan yang kami evaluasi. Dibandingkan dengan GRPO, metode pembanding terkuat yang diuji, JOLT+ meningkatkan akurasi GSM8K sebesar 1,5 poin persentase (pp), akurasi MATH sebesar 4,2 pp, akurasi LCBv6 sebesar 3,0 pp, dan tingkat kelulusan state-test AppWorld sebesar 9,9 pp.

Diagram titik dan whisker: JOLT+ memiliki skor rata-rata tertinggi pada keempat tolok ukur — JOLT+ memiliki skor rata-rata tertinggi pada keempat tolok ukur.

Tanpa imbalan siswa langsung apa pun, akurasi rata-rata JOLT lebih tinggi daripada GRPO pada GSM8K, MATH, dan LCBv6. Namun, pada AppWorld, akurasinya tetap berada di bawah GRPO maupun π-Distill.

Terminal-Bench 2.1 adalah pengaturan dengan horizon terpanjang. JOLT+ memiliki pass@k tertinggi di setiap k yang dilaporkan, dari 10,96% pada pass@1 hingga 34,83% pada pass@32. JOLT mengungguli model dasar dan kedua metode pembanding distilasi di setiap k, tetapi tetap di bawah GRPO. Skor OPSD berada di bawah model dasar di setiap k.

Diagram garis: JOLT+ unggul di Terminal-Bench pada setiap anggaran percobaan — JOLT+ unggul di Terminal-Bench pada setiap anggaran percobaan.

Kami juga ingin mengetahui bagaimana performa meningkat seiring bertambahnya anggaran pelatihan. Kami mengevaluasi GRPO, OPSD, dan JOLT dengan berbagai anggaran token pelatihan pada MATH dan membandingkan akurasi siswa yang dihasilkan.

Gambar ini menunjukkan bagaimana akurasi meningkat seiring penggunaan token pelatihan untuk setiap metode. Kami mengukur biaya dalam token pelatihan yang diproses. Ini mencakup setiap prompt tanpa padding, konteks istimewa, tahap optimisasi, dan penilaian silang antara guru dan siswa.

Diagram sebar dengan kurva hasil fitting: JOLT membutuhkan lebih sedikit token untuk mencapai akurasi GRPO — JOLT membutuhkan lebih sedikit token untuk mencapai akurasi GRPO.

Titik menunjukkan jumlah token pelatihan yang diproses dan akurasi pada berbagai checkpoint; whisker menyatakan ±1 simpangan baku antar-run pelatihan. Kami mencocokkan hubungan sigmoid antara akurasi dan log anggaran token pelatihan, mengikuti penelitian sebelumnya tentang penskalaan komputasi RL.

JOLT menunjukkan efisiensi sampel sejak awal sekaligus mencapai akurasi tertinggi di antara ketiga metode, lalu mendatar di sekitar 72%. OPSD meningkat cepat pada anggaran kecil, tetapi stagnan pada akurasi sekitar 62%. GRPO belajar lebih lambat pada awalnya, tetapi terus meningkat lebih lama hingga mencapai sekitar 70%. Pada akurasi setara 63,44%, checkpoint GRPO yang teramati menggunakan 8,40 juta token, sedangkan kurva hasil fitting JOLT menunjukkan 1,30 juta, atau 6,5× lebih sedikit token.

Kami juga mengukur biaya menggunakan token penyelesaian, yang menghitung penyelesaian siswa untuk GRPO dan OPSD, serta penyelesaian guru dan siswa untuk JOLT, tetapi tidak menyertakan prompt, konteks istimewa, dan tahap optimisasi tambahan. Perbandingan berdasarkan token penyelesaian, alih-alih token pelatihan yang diproses, memperlebar kesenjangan efisiensi menjadi sekitar 13× pada tingkat akurasi yang sama. Pada rentang akurasi target, JOLT menggunakan token penyelesaian 9,5–14,4× lebih sedikit dan token pelatihan yang diproses 4,3–7,4× lebih sedikit.

Diagram dumbel: Keunggulan token JOLT bertahan dari akurasi 55% hingga 65% — Keunggulan token JOLT bertahan dari akurasi 55% hingga 65%.

Informasi istimewa dapat membuat guru lebih baik dalam menyelesaikan suatu tugas tanpa membuatnya lebih baik dalam mengajari siswa untuk menyelesaikan tugas yang sama tanpa informasi tersebut. JOLT mengatasi perbedaan ini dengan melatih guru secara relatif terhadap perilaku siswa saat ini.

Pelatihan bersama ini meningkatkan akurasi sekaligus efisiensi. Dengan imbalan hasil siswa, JOLT+ mencapai peningkatan absolut dibandingkan GRPO sebesar 1,5 pp pada GSM8K, 4,2 pp pada MATH, 3,0 pp pada LCBv6, 9,9 pp pada AppWorld, dan 2,7 pp pada pass@1 Terminal-Bench 2.1. Pada MATH, JOLT menggunakan token penyelesaian 13× lebih sedikit dan token pelatihan yang diproses 6,5× lebih sedikit dibandingkan GRPO pada akurasi yang setara, tanpa imbalan siswa langsung.

JOLT memungkinkan panduan guru berkembang seiring dengan siswa. Hal ini mendorong eksplorasi apakah guru juga dapat belajar menghasilkan tugas pelatihan yang berguna. Salah satu arah menarik untuk penelitian mendatang adalah melatih secara bersamaan guru yang menghasilkan tugas dan siswa yang memecahkan masalah, dengan memanfaatkan kemajuan belajar siswa untuk menyempurnakan tugas yang dihasilkan dalam sebuah kurikulum. Pendekatan ini dapat membuat pembuatan tugas sintetis responsif terhadap apa yang siap dipelajari siswa berikutnya.

Baca makalah lengkap kami untuk informasi lebih lanjut. Kami akan segera merilis kodenya sebagai sumber terbuka.

BibTeX

@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}

Pendahuluan

Dari imbalan jarang ke umpan balik padat

Pembelajaran dan pengajaran on-policy bersama

Melatih guru

Mendefinisikan apa yang seharusnya dilakukan guru

Dari target ideal ke objektif guru

Objektif pengganti yang praktis

Melatih siswa

Menyatukan semuanya

Eksperimen

Akurasi

Efisiensi token dan penskalaan

Kesimpulan

Sitasi