Giáo viên giỏi bắt đầu từ chính trình độ của học sinh

Một phương pháp tự chưng cất mới, huấn luyện đồng thời giáo viên và học sinh để cải thiện hiệu suất mô hình và hiệu quả huấn luyện trên các tác vụ suy luận phức tạp và tác vụ tác nhân.

Tác giảPerplexity Research & NVIDIA

Giới thiệu

Học tăng cường (Reinforcement Learning – RL) được sử dụng rộng rãi trong giai đoạn hậu huấn luyện mô hình ngôn ngữ nhằm cải thiện năng lực của mô hình trên các tác vụ suy luận phức tạp và tác vụ tác nhân kéo dài nhiều bước.

Trong một thiết lập điển hình, mô hình thực hiện nhiều lần thử đối với một tác vụ, nhận phần thưởng kết quả cho mỗi lần thử và học cách ưu tiên những hành động được thực hiện trong các lần thử có phần thưởng cao hơn. Tuy nhiên, một phần thưởng kết quả duy nhất chỉ mang lại tín hiệu học thưa, không phân biệt được hành động trung gian nào đã giúp ích hay gây hại cho kết quả. Tính thưa này hạn chế hiệu quả sử dụng mẫu, đặc biệt là trên các tác vụ tác nhân khó, nơi các lần thử kéo dài và hiếm khi thành công.

Một cách tiếp cận phổ biến để giải quyết tính thưa này là chưng cất on-policy (On-Policy Distillation – OPD), sử dụng một mô hình giáo viên mạnh hơn để đưa ra hướng dẫn theo từng token cho chính các lần thử của học sinh, qua đó cung cấp phần thưởng dày đặc hơn nhiều. Tuy nhiên, việc dạy tự nó đã là một kỹ năng. Một mô hình giỏi giải quyết tác vụ chưa chắc đã giỏi dạy tác vụ đó, vì phản hồi của nó có thể vượt quá năng lực hiện tại của học sinh. Điều này dẫn đến ý tưởng không chỉ huấn luyện học sinh bắt chước giáo viên mà còn huấn luyện giáo viên đưa ra hướng dẫn phù hợp hơn với học sinh.

Chúng tôi đề xuất một phương pháp như vậy: Joint On-policy Learning and Teaching (JOLT). Dựa trên phương pháp tự chưng cất on-policy (On-Policy Self-Distillation – OPSD), chúng tôi sử dụng một mô hình duy nhất cho hai vai trò: giáo viên được tiếp cận thông tin đặc quyền, chẳng hạn như lời giải đã được xác minh, và học sinh không được tiếp cận thông tin đó. Chúng tôi huấn luyện đồng thời hai vai trò này. Học sinh tuân theo mục tiêu chưng cất tiêu chuẩn. Mục tiêu của giáo viên thúc đẩy phản hồi của nó dịch chuyển học sinh theo cùng hướng với RL dựa trên chính phần thưởng của học sinh. Kết hợp lại, các mục tiêu này huấn luyện giáo viên bắt đầu từ chính trình độ hiện tại của học sinh và giúp học sinh học từ những hướng dẫn nằm trong tầm với của mình.

Các thí nghiệm của chúng tôi cho thấy sự cải thiện cả về hiệu suất mô hình lẫn hiệu quả huấn luyện trên nhiều tác vụ suy luận toán học, lập trình và tác vụ tác nhân.

Từ phần thưởng thưa đến phản hồi dày đặc

Ở dạng cơ bản nhất, RL dựa trên phần thưởng kết quả sử dụng mục tiêu lợi tức kỳ vọng:

JRL(θ)=Eτ∼πθ[R(τ)]\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

Trong đó, τ\tau là một quỹ đạo tuân theo chính sách πθ\pi_\theta, và R(τ)R(\tau) là lợi tức của quỹ đạo đó. Gradient chính sách tương ứng là:

gRL(θ)=∇θJRL(θ)=Eτ∼πθ[∑tR(τ) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

trong đó sts_t và ata_t lần lượt biểu diễn trạng thái và hành động tại bước thời gian tt. Để giảm phương sai của các ước lượng dựa trên mẫu, gradient thường được biểu diễn dưới dạng:

gRL(θ)=Eτ∼πθ[∑tAπθ(st,at) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

trong đó lợi thế Aπθ(st,at)A^{\pi_\theta}(s_t, a_t) đo lợi tức vượt trội kỳ vọng của hành động ata_t so với chính sách hiện tại tại trạng thái sts_t. Một cách tiếp cận là Group Relative Policy Optimization (GRPO), phương pháp ước lượng lợi thế bằng cách so sánh lợi tức của mỗi quỹ đạo với lợi tức trung bình của nhóm quỹ đạo được lấy mẫu cho cùng một lời nhắc.

Tuy nhiên, ngay cả với những điều chỉnh này, học tăng cường dựa trên phần thưởng kết quả vẫn gặp vấn đề giám sát thưa, đặc biệt trên các tác vụ khó và kéo dài nhiều bước. Ngày càng nhiều nghiên cứu giải quyết vấn đề này bằng cách khai thác thêm các nguồn thông tin bổ sung để cung cấp tín hiệu học dày đặc hơn.

On-Policy Distillation (OPD) là một cách tiếp cận như vậy. Thay vì chỉ học từ phần thưởng cuối cùng, OPD lấy mẫu các quỹ đạo từ học sinh và dùng một giáo viên mạnh hơn để đánh giá từng hành động được lấy mẫu. Với chính sách giáo viên πT\pi_T và một bản chụp cố định θˉ\bar{\theta} của các tham số học sinh dùng để sinh quỹ đạo, gradient cục bộ được đánh giá tại θ=θˉ\theta = \bar{\theta} là:

gOPD(θˉ;πT)=∇θJOPD(θ;θˉ,πT)∣θ=θˉ=−∇θEτ∼πθˉ ⁣[∑tKL ⁣(πθ(⋅∣st) ∥ πT(⋅∣st))]∣θ=θˉ=Eτ∼πθˉ[∑t(log⁡πT(at∣st)−log⁡πθˉ(at∣st)) ∇θˉlog⁡πθˉ(at∣st)]\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

Trong đó, JOPD(θ;θˉ,πT)\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T) là mục tiêu chưng cất KL ngược lấy dấu âm. Chính sách giáo viên và các tiền tố được lấy mẫu được giữ cố định trong quá trình lấy đạo hàm. Tỷ lệ log-xác suất giữa giáo viên và học sinh cung cấp tín hiệu học dày đặc tại mọi trạng thái đã đi qua, thay cho lợi thế trong vai trò trọng số ở cấp độ hành động.

On-Policy Self-Distillation (OPSD) tiến thêm một bước, loại bỏ nhu cầu về một mô hình giáo viên riêng biệt. Chính sách học sinh đóng vai trò giáo viên của chính nó khi được cung cấp thông tin đặc quyền, chẳng hạn như lời giải đã được xác minh, phản hồi hoặc một vết suy luận tham chiếu. Tuy nhiên, OPSD chỉ huấn luyện học sinh bắt chước giáo viên; không có cơ chế nào đảm bảo rằng giáo viên cung cấp tín hiệu hữu ích cho học sinh.

Kết hợp học và dạy on-policy

JOLT mở rộng OPSD bằng cách huấn luyện một mô hình dùng chung vừa đóng vai giáo viên đưa ra hướng dẫn phù hợp hơn, vừa đóng vai học sinh học từ hướng dẫn đó. Giáo viên, vốn có nhiều thông tin hơn, học từ phần thưởng kết quả với điều chuẩn KL hướng về học sinh, trong khi học sinh, vốn không có thông tin đặc quyền, học từ tín hiệu chưng cất dày đặc của giáo viên. Bản cập nhật cho giáo viên sử dụng các lần thử do giáo viên tạo ra, còn bản cập nhật cho học sinh sử dụng các lần thử do học sinh tạo ra và được giáo viên chấm điểm. JOLT+ còn bổ sung phần thưởng kết quả vào tín hiệu chưng cất của học sinh.

Một chính sách học với cả hai vai trò giáo viên và học sinh.

Huấn luyện giáo viên

Xác định giáo viên nên làm gì

Giáo viên có hiệu suất tốt hơn không nhất thiết tạo ra những bản cập nhật hữu ích cho học sinh. Giáo viên có thể dùng thông tin đặc quyền để khai thác những lối tắt mà học sinh không có, gán xác suất cao cho những quỹ đạo khó xảy ra dưới chính sách của học sinh, hoặc đưa ra hướng dẫn không đáng tin cậy sau các lỗi trong tiền tố do học sinh tạo ra. Do đó, chất lượng của giáo viên nên được xác định bởi tín hiệu học mà nó cung cấp cho học sinh, thay vì bởi phần thưởng tác vụ của chính giáo viên.

Chúng tôi gọi một giáo viên là nhất quán phần thưởng nếu bản cập nhật chưng cất mà nó tạo ra ở học sinh khớp với gradient chính sách của phần thưởng tác vụ kỳ vọng của học sinh, sai khác một hệ số tỷ lệ dương. Cụ thể, một giáo viên nhất quán phần thưởng πT⋆\pi_T^\star cần thỏa mãn:

gOPD(θˉ;πT⋆)=1βT gRL(θˉ)g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

trong đó βT\beta_T là một số vô hướng dương. Như ở phần trước, gOPDg_{\mathrm{OPD}} là gradient cục bộ của OPD, θˉ\bar\theta là một bản chụp cố định của các tham số mô hình học sinh θ\theta, và gRLg_{\mathrm{RL}} là gradient chính sách của mục tiêu lợi tức kỳ vọng.

Một giáo viên thỏa mãn điều kiện này là:

πT⋆(a∣s,c)=1Z(s) πθˉ(a∣s)exp⁡ ⁣(1βTAπθˉ(s,a))\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

Trong đó, Aπθˉ(s,a)A^{\pi_{\bar{\theta}}}(s, a) biểu diễn lợi thế tiếp diễn của học sinh và Z(s)Z(s) là hằng số chuẩn hóa nhằm đảm bảo một phân phối xác suất hợp lệ.

Từ phân phối đích lý tưởng đến mục tiêu của giáo viên

Ta có thể huấn luyện giáo viên hướng tới đích lý tưởng πT⋆\pi_T^\star bằng cách cực tiểu hóa độ phân kỳ KL của nó so với đích này. Với một học sinh và trạng thái ss cố định, ta có:

min⁡πT KL ⁣(πT(⋅∣s,c) ∥ πT⋆(⋅∣s,c))\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

Thay biểu thức của πT⋆\pi_T^\star vào, ta thu được một bài toán cực đại hóa tương đương:

max⁡πT{Ea∼πT(⋅∣s,c) ⁣[Aπθˉ(s,a)]−βT KL ⁣(πT(⋅∣s,c) ∥ πθˉ(⋅∣s))}\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

Mục tiêu này khuyến khích giáo viên chọn những hành động có lợi thế cao hơn đối với học sinh, đồng thời vẫn bám sát phân phối hành động của học sinh. Tham số βT\beta_T kiểm soát mức độ của khoản phạt này: giá trị lớn hơn giữ giáo viên gần hơn với hành vi hiện tại của học sinh, còn giá trị nhỏ hơn cho phép giáo viên ưu tiên các hành động có lợi thế cao một cách mạnh mẽ hơn.

Một mục tiêu thay thế thực tiễn

Mục tiêu này phụ thuộc vào việc học sinh sẽ tiếp tục tốt đến đâu sau mỗi hành động, nhưng các lợi thế tiếp diễn đó của học sinh thường không có sẵn. Vì vậy, chúng tôi sử dụng lợi tức đã được căn giữa từ chính các quỹ đạo của giáo viên làm đại lượng thay thế thực tiễn. Thành phần phần thưởng khuyến khích giáo viên giải quyết tác vụ, trong khi thành phần KL hạn chế việc đi chệch khỏi phân phối hành động hiện tại của học sinh. Mặc dù thành phần KL giữ giáo viên ở gần học sinh, phép thay thế này không chính xác tuyệt đối, vì lợi tức của giáo viên không nhất thiết khớp với lợi thế tiếp diễn của học sinh.

JT(θ;θˉ)=Eτ∼πθˉ(⋅∣c)[ ∑t(sg⁡[A^T(τ)]log⁡πθ(at∣st,c)−βT KL(πθ(⋅∣st,c) ∥ sg⁡[πθˉ(⋅∣st)]))]\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

Trong đó, A^T(τ)\widehat{A}_T(\tau) là lợi tức của lần thử do giáo viên thực hiện trừ đi lợi tức trung bình của các lần thử do giáo viên tạo ra trong cùng nhóm. Toán tử sg⁡\operatorname{sg} ký hiệu phép ngắt gradient (stop-gradient): đối số của nó được coi là cố định trong quá trình lấy đạo hàm, tương tự như các tiền tố được lấy mẫu và tham chiếu học sinh.

Huấn luyện học sinh

Bản cập nhật cho học sinh là một bản cập nhật OPSD tiêu chuẩn. Học sinh sinh các quỹ đạo từ tác vụ. Sau đó, cùng mô hình đó chấm điểm từng token được lấy mẫu với thông tin đặc quyền trong ngữ cảnh. Mục tiêu của học sinh phạt độ phân kỳ KL ngược giữa học sinh và giáo viên có đặc quyền này tại mọi trạng thái mà học sinh đi qua:

JOPSD(θ;θˉ)=− Eτ∼πθˉ[∑tKL(πθ(⋅∣st) ∥ sg⁡[πθˉ(⋅∣st,c)])]\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

Do đó, những token mà giáo viên ưu tiên được củng cố, còn những token mà giáo viên cho là ít khả năng xảy ra hơn so với đánh giá của học sinh sẽ bị kìm hãm.

Kết hợp tất cả lại

Kết hợp mục tiêu của giáo viên và học sinh, ta thu được mục tiêu huấn luyện kết hợp:

JJOLT(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

βS\beta_S là một số vô hướng xác định mức độ đóng góp của hàm mất mát chưng cất của học sinh trong bản cập nhật kết hợp.

Kết quả về tính nhất quán phần thưởng mô tả đặc trưng của bản cập nhật chưng cất cho học sinh ứng với một giáo viên nhất định. JOLT sử dụng nguyên lý này để định hướng việc huấn luyện kết hợp, gộp mục tiêu của giáo viên và học sinh để cập nhật các tham số dùng chung của cả hai.

JOLT+ còn bổ sung phần thưởng kết quả của chính học sinh vào bản cập nhật của học sinh. Lợi tức đã được căn giữa của mỗi quỹ đạo học sinh được cộng vào tín hiệu chưng cất, kết hợp sự giám sát dày đặc từ giáo viên với phản hồi trực tiếp về kết quả trên các quỹ đạo của học sinh. Mục tiêu của giáo viên không thay đổi, vì vậy ta có thể viết:

JJOLT+(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)+Eτ∼πθˉ ⁣[∑tsg⁡[A^S(τ)] log⁡πθ(at∣st)]\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

Trong đó, A^S(τ)\widehat{A}_S(\tau) là lợi tức của quỹ đạo học sinh trừ đi lợi tức trung bình của nhóm quỹ đạo do học sinh tạo ra mà quỹ đạo đó thuộc về.

Trong cả hai biến thể, mỗi vai trò học từ các quỹ đạo được tạo ra trong ngữ cảnh của chính nó, và cả hai vai trò đều cập nhật chính sách dùng chung. Mã giả cho một bước huấn luyện được trình bày dưới đây.

Mã giả cho một bước huấn luyện JOLT.

Thí nghiệm

Chúng tôi đánh giá JOLT và JOLT+ trên các benchmark bao gồm suy luận toán học, sinh mã, sử dụng công cụ và các tác vụ terminal kéo dài nhiều bước, với các mô hình nền khác nhau và các dạng thông tin đặc quyền khác nhau. Cụ thể, chúng tôi tiến hành thí nghiệm với các cấu hình benchmark, mô hình nền và thông tin đặc quyền sau:

  • GSM8K: Chúng tôi huấn luyện DeepSeek-V2-Lite trên GSM8K, một tập dữ liệu gồm các bài toán cấp tiểu học. Giáo viên nhận được đáp án đã được xác minh cho từng bài toán.
  • MATH: Chúng tôi huấn luyện Qwen3-0.6B trên MATH. Giáo viên nhận được các lời giải tham chiếu chi tiết.
  • LCBv6: Chúng tôi huấn luyện Qwen3-8B trên 131 bài toán lập trình từ LiveCodeBench-V6. Giáo viên nhận được một lời giải do mô hình tạo ra đã vượt qua tất cả các bài kiểm thử hiển thị trong quá trình huấn luyện, hoặc phản hồi thực thi khi không có lần thử nào vượt qua.
  • AppWorld: Chúng tôi huấn luyện Qwen3-4B-Instruct trên AppWorld. Giáo viên nhận được bản tóm tắt các lần thử trước đó.
  • Terminal-Bench: Chúng tôi huấn luyện Qwen3-30B-A3B-Instruct trên TMax, một tập tác vụ huấn luyện dành cho tác nhân terminal, và đánh giá trên Terminal-Bench 2.1. Giáo viên nhận được thông tin riêng từ bộ xác minh.

Chúng tôi so sánh với GRPO, OPSD và π-Distill, đồng thời tinh chỉnh siêu tham số cho từng phương pháp. Giống như JOLT, π-Distill huấn luyện đồng thời vai trò giáo viên có đặc quyền và vai trò học sinh trong một mô hình dùng chung; tuy nhiên, phương pháp này sử dụng một đích giáo viên khác và bản cập nhật cho học sinh vẫn là off-policy, dựa vào các quỹ đạo do giáo viên tạo ra thay vì chính những gì học sinh sinh ra.

Độ chính xác

JOLT+ đạt điểm trung bình cao nhất trong mọi thiết lập mà chúng tôi đánh giá. So với GRPO, phương pháp cơ sở mạnh nhất được thử nghiệm, JOLT+ cải thiện độ chính xác trên GSM8K thêm 1,5 điểm phần trăm (pp), độ chính xác trên MATH thêm 4,2 pp, độ chính xác trên LCBv6 thêm 3,0 pp và tỷ lệ vượt qua kiểm thử trạng thái trên AppWorld thêm 9,9 pp.

JOLT+ có điểm trung bình cao nhất trên cả bốn benchmark.

Dù không có bất kỳ phần thưởng trực tiếp nào cho học sinh, JOLT vẫn đạt độ chính xác trung bình cao hơn GRPO trên GSM8K, MATH và LCBv6. Tuy nhiên, trên AppWorld, JOLT vẫn thấp hơn cả GRPO lẫn π-Distill.

Terminal-Bench 2.1 là thiết lập kéo dài nhiều bước nhất. JOLT+ đạt pass@k cao nhất ở mọi giá trị k được báo cáo, từ 10,96% ở pass@1 đến 34,83% ở pass@32. JOLT cải thiện so với mô hình nền và cả hai phương pháp cơ sở chưng cất ở mọi k, nhưng vẫn thấp hơn GRPO. OPSD đạt điểm thấp hơn mô hình nền ở mọi k.

JOLT+ dẫn đầu Terminal-Bench ở mọi ngân sách lần thử.

Hiệu quả token và khả năng mở rộng

Chúng tôi cũng quan tâm đến cách hiệu suất thay đổi theo ngân sách huấn luyện. Chúng tôi đánh giá GRPO, OPSD và JOLT với các ngân sách token huấn luyện khác nhau trên MATH và so sánh độ chính xác của học sinh thu được.

Biểu đồ cho thấy độ chính xác thay đổi như thế nào theo lượng token huấn luyện tiêu tốn của từng phương pháp. Chúng tôi đo chi phí bằng số token huấn luyện được xử lý. Con số này bao gồm mọi lời nhắc (không tính phần đệm), ngữ cảnh đặc quyền, lượt tối ưu hóa và việc chấm điểm chéo giữa giáo viên và học sinh.

JOLT cần ít token hơn để đạt độ chính xác của GRPO.

Các điểm thể hiện số token huấn luyện được xử lý và độ chính xác tại các checkpoint khác nhau; thanh sai số biểu thị ±1 độ lệch chuẩn giữa các lần chạy. Chúng tôi khớp một mối quan hệ dạng sigmoid giữa độ chính xác và logarit của ngân sách token huấn luyện, theo nghiên cứu trước đây về mở rộng quy mô tính toán RL.

JOLT thể hiện hiệu quả sử dụng mẫu ngay từ sớm, đồng thời đạt độ chính xác cao nhất trong ba phương pháp, ổn định ở mức gần 72%. OPSD cải thiện nhanh ở ngân sách nhỏ nhưng chững lại ở mức độ chính xác khoảng 62%. GRPO học chậm hơn lúc đầu nhưng tiếp tục cải thiện lâu hơn, tăng lên khoảng 70%. Ở cùng mức độ chính xác 63,44%, checkpoint quan sát được của GRPO sử dụng 8,40 triệu token, trong khi đường cong khớp của JOLT cho ra 1,30 triệu, tức ít hơn 6,5 lần.

Chúng tôi cũng đo chi phí bằng token hoàn thành, tức là tính các phần hoàn thành của học sinh đối với GRPO và OPSD, và các phần hoàn thành của cả giáo viên lẫn học sinh đối với JOLT, nhưng bỏ qua lời nhắc, ngữ cảnh đặc quyền và các lượt tối ưu hóa bổ sung. Khi so sánh dựa trên token hoàn thành thay vì token huấn luyện được xử lý, khoảng cách về hiệu quả nới rộng lên khoảng 13 lần ở cùng mức độ chính xác. Trên một dải độ chính xác mục tiêu, JOLT sử dụng ít hơn 9,5–14,4 lần token hoàn thành và ít hơn 4,3–7,4 lần token huấn luyện được xử lý.

Lợi thế về token của JOLT được duy trì từ mức độ chính xác 55% đến 65%.

Kết luận

Thông tin đặc quyền có thể giúp giáo viên giải quyết tác vụ tốt hơn, nhưng không giúp giáo viên dạy học sinh tốt hơn cách giải chính tác vụ đó khi không có thông tin này. JOLT giải quyết sự khác biệt này bằng cách huấn luyện giáo viên dựa trên hành vi hiện tại của học sinh.

Việc huấn luyện kết hợp này cải thiện cả độ chính xác lẫn hiệu quả. Với phần thưởng kết quả cho học sinh, JOLT+ đạt mức tăng tuyệt đối so với GRPO là 1,5 điểm phần trăm trên GSM8K, 4,2 điểm phần trăm trên MATH, 3,0 điểm phần trăm trên LCBv6, 9,9 điểm phần trăm trên AppWorld và 2,7 điểm phần trăm về pass@1 trên Terminal-Bench 2.1. Trên MATH, ở cùng mức độ chính xác, JOLT dùng ít hơn 13 lần số token hoàn thành và ít hơn 6,5 lần số token huấn luyện được xử lý so với GRPO, mà không cần phần thưởng trực tiếp cho học sinh.

JOLT cho phép hướng dẫn của giáo viên phát triển song song với học sinh. Điều này gợi mở hướng khám phá liệu giáo viên có thể học cách tạo ra các tác vụ huấn luyện hữu ích hay không. Một hướng thú vị cho nghiên cứu tương lai là huấn luyện đồng thời một giáo viên tạo tác vụ và một học sinh giải quyết vấn đề, sử dụng tiến độ học tập của học sinh để cải thiện các tác vụ được tạo ra theo một chương trình học. Điều này có thể giúp việc tạo tác vụ tổng hợp đáp ứng đúng những gì học sinh đã sẵn sàng học tiếp theo.

Hãy đọc toàn văn bài nghiên cứu của chúng tôi để biết thêm chi tiết. Chúng tôi sẽ sớm mở mã nguồn.

Trích dẫn

BibTeX
@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}