ครูที่ดีย่อมสอนให้เหมาะกับระดับของนักเรียน

วิธีการกลั่นความรู้ด้วยตนเอง (self-distillation) แบบใหม่ที่ฝึกครูและนักเรียนร่วมกัน เพื่อปรับปรุงสมรรถนะของโมเดลและประสิทธิภาพการฝึกในงานการให้เหตุผลที่ซับซ้อนและงานเชิงเอเจนต์

ผู้เขียนPerplexity Research & NVIDIA

บทนำ

การเรียนรู้แบบเสริมกำลัง (Reinforcement Learning: RL) ถูกนำมาใช้อย่างแพร่หลายในขั้นตอนหลังการฝึก (post-training) ของโมเดลภาษา เพื่อพัฒนาความสามารถในงานการให้เหตุผลที่ซับซ้อนและงานเชิงเอเจนต์ระยะยาว (long-horizon)

ในรูปแบบการฝึกทั่วไป โมเดลจะลองทำงานหนึ่ง ๆ ซ้ำหลายครั้ง ได้รับรางวัลจากผลลัพธ์ในแต่ละครั้ง และเรียนรู้ที่จะเลือกการกระทำที่เกิดขึ้นในความพยายามที่ได้รับรางวัลสูงกว่า อย่างไรก็ตาม รางวัลจากผลลัพธ์เพียงค่าเดียวให้สัญญาณการเรียนรู้ที่เบาบาง (sparse) ซึ่งไม่สามารถแยกแยะได้ว่าการกระทำระหว่างทางใดช่วยหรือส่งผลเสียต่อผลลัพธ์ ความเบาบางนี้จำกัดประสิทธิภาพเชิงตัวอย่าง (sample efficiency) โดยเฉพาะในงานเชิงเอเจนต์ที่ยาก ซึ่งแต่ละความพยายามมีความยาวมากและความสำเร็จเกิดขึ้นได้ยาก

แนวทางหนึ่งที่ได้รับความนิยมในการแก้ปัญหาความเบาบางนี้คือ On-Policy Distillation (OPD) ซึ่งใช้โมเดลครูที่แข็งแกร่งกว่าเพื่อให้คำแนะนำแบบทีละโทเค็นกับความพยายามของนักเรียนเอง จึงให้รางวัลที่หนาแน่นกว่ามาก อย่างไรก็ตาม การสอนถือเป็นทักษะในตัวเอง โมเดลที่เก่งในการแก้งานหนึ่ง ๆ ไม่จำเป็นต้องเก่งในการสอนงานนั้น เนื่องจากฟีดแบ็กของโมเดลอาจเกินขีดความสามารถในปัจจุบันของนักเรียน สิ่งนี้จึงเป็นแรงจูงใจให้ฝึกไม่เพียงแค่นักเรียนให้เลียนแบบครู แต่ยังฝึกครูให้มอบคำแนะนำที่เหมาะสมกับนักเรียนมากขึ้นด้วย

เราขอเสนอวิธีการหนึ่งในแนวทางนี้ คือ Joint On-policy Learning and Teaching (JOLT) โดยต่อยอดจาก On-Policy Self-Distillation (OPSD) เราใช้โมเดลเดียวในสองบทบาท ได้แก่ ครูที่เข้าถึงข้อมูลพิเศษ (privileged information) เช่น คำตอบที่ผ่านการตรวจสอบแล้ว และนักเรียนที่ไม่สามารถเข้าถึงข้อมูลดังกล่าว เราฝึกทั้งสองบทบาทไปพร้อมกัน นักเรียนใช้วัตถุประสงค์การกลั่นความรู้มาตรฐาน ส่วนวัตถุประสงค์ของครูจะผลักดันให้ฟีดแบ็กของครูขับเคลื่อนนักเรียนไปในทิศทางเดียวกับ RL บนรางวัลของนักเรียนเอง เมื่อรวมกัน วัตถุประสงค์เหล่านี้จะฝึกให้ครูสอนให้เหมาะกับระดับของนักเรียน และช่วยให้นักเรียนเรียนรู้จากคำแนะนำที่อยู่ในระดับที่ตนเอื้อมถึง

การทดลองของเราแสดงให้เห็นถึงการปรับปรุงทั้งสมรรถนะของโมเดลและประสิทธิภาพการฝึกในงานหลากหลายประเภท ทั้งการให้เหตุผลทางคณิตศาสตร์ การเขียนโค้ด และงานเชิงเอเจนต์

จากรางวัลแบบเบาบางสู่ฟีดแบ็กแบบหนาแน่น

ในรูปแบบพื้นฐานที่สุด RL แบบรางวัลจากผลลัพธ์ใช้วัตถุประสงค์ผลตอบแทนคาดหวัง (expected return) ดังนี้:

JRL(θ)=Eτ∼πθ[R(τ)]\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

ในที่นี้ τ\tau คือวิถี (trajectory) ที่เป็นไปตามนโยบาย πθ\pi_\theta และ R(τ)R(\tau) คือผลตอบแทนของวิถีนั้น เกรเดียนต์นโยบาย (policy gradient) ที่สอดคล้องกันคือ:

gRL(θ)=∇θJRL(θ)=Eτ∼πθ[∑tR(τ) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

โดยที่ sts_t และ ata_t แทนสถานะและการกระทำตามลำดับ ณ ขั้นเวลา tt เพื่อลดความแปรปรวนของการประมาณค่าจากตัวอย่าง เกรเดียนต์มักถูกเขียนในรูป:

gRL(θ)=Eτ∼πθ[∑tAπθ(st,at) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

โดยที่ค่าความได้เปรียบ (advantage) Aπθ(st,at)A^{\pi_\theta}(s_t, a_t) วัดผลตอบแทนส่วนเกินที่คาดหวังของการกระทำ ata_t เมื่อเทียบกับนโยบายปัจจุบัน ณ สถานะ sts_t แนวทางหนึ่งคือ Group Relative Policy Optimization (GRPO) ซึ่งประมาณค่าความได้เปรียบโดยเปรียบเทียบผลตอบแทนของแต่ละวิถีกับผลตอบแทนเฉลี่ยของกลุ่มที่สุ่มตัวอย่างจากพรอมต์เดียวกัน

อย่างไรก็ตาม แม้จะมีการปรับเหล่านี้แล้ว การเรียนรู้แบบเสริมกำลังที่ใช้รางวัลจากผลลัพธ์ก็ยังประสบปัญหาการกำกับ (supervision) ที่เบาบาง โดยเฉพาะในงานระยะยาวที่ยาก งานวิจัยจำนวนมากขึ้นเรื่อย ๆ จึงแก้ปัญหานี้ด้วยการดึงแหล่งข้อมูลเพิ่มเติมมาใช้เพื่อให้ได้สัญญาณการเรียนรู้ที่หนาแน่นขึ้น

On-Policy Distillation (OPD) เป็นหนึ่งในแนวทางดังกล่าว แทนที่จะเรียนรู้จากรางวัลสุดท้ายเพียงอย่างเดียว OPD จะสุ่มวิถีจากนักเรียนและประเมินแต่ละการกระทำที่สุ่มได้ภายใต้ครูที่แข็งแกร่งกว่า สำหรับนโยบายครู πT\pi_T และสแนปช็อตคงที่ θˉ\bar{\theta} ของพารามิเตอร์นักเรียนที่ใช้สร้างวิถี เกรเดียนต์เฉพาะที่ซึ่งประเมิน ณ θ=θˉ\theta = \bar{\theta} คือ:

gOPD(θˉ;πT)=∇θJOPD(θ;θˉ,πT)∣θ=θˉ=−∇θEτ∼πθˉ ⁣[∑tKL ⁣(πθ(⋅∣st) ∥ πT(⋅∣st))]∣θ=θˉ=Eτ∼πθˉ[∑t(log⁡πT(at∣st)−log⁡πθˉ(at∣st)) ∇θˉlog⁡πθˉ(at∣st)]\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

ในที่นี้ JOPD(θ;θˉ,πT)\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T) คือวัตถุประสงค์การกลั่นความรู้ที่เป็นค่าลบของ reverse KL นโยบายครูและส่วนนำหน้า (prefix) ที่สุ่มได้จะถูกตรึงไว้ระหว่างการหาอนุพันธ์ อัตราส่วนลอการิทึมความน่าจะเป็นระหว่างครูกับนักเรียนให้สัญญาณการเรียนรู้ที่หนาแน่นในทุกสถานะที่ผ่าน และใช้แทนค่าความได้เปรียบในฐานะน้ำหนักระดับการกระทำ

On-Policy Self-Distillation (OPSD) ยังช่วยขจัดความจำเป็นในการใช้โมเดลครูแยกต่างหาก โดยนโยบายนักเรียนจะทำหน้าที่เป็นครูของตัวเองเมื่อได้รับข้อมูลพิเศษ เช่น คำตอบที่ผ่านการตรวจสอบแล้ว ฟีดแบ็ก หรือร่องรอยอ้างอิง (reference trace) อย่างไรก็ตาม OPSD ฝึกเพียงให้นักเรียนเลียนแบบครูเท่านั้น โดยไม่มีกลไกใดที่รับประกันว่าครูจะให้สัญญาณที่เป็นประโยชน์แก่นักเรียน

การเรียนรู้และการสอนแบบ on-policy ร่วมกัน

JOLT ขยาย OPSD โดยฝึกโมเดลที่ใช้ร่วมกันให้เป็นทั้งครูที่ให้คำแนะนำที่เหมาะสมกับนักเรียนมากขึ้น และนักเรียนที่เรียนรู้จากคำแนะนำนั้น ครูซึ่งมีข้อมูลมากกว่าจะเรียนรู้จากรางวัลจากผลลัพธ์ควบคู่กับการทำ KL regularization เข้าหานักเรียน ขณะที่นักเรียนซึ่งไม่มีข้อมูลพิเศษจะเรียนรู้จากสัญญาณการกลั่นความรู้ที่หนาแน่นของครู การอัปเดตครูใช้ความพยายามที่ครูสร้างขึ้น ส่วนการอัปเดตนักเรียนใช้ความพยายามที่นักเรียนสร้างขึ้นและครูเป็นผู้ให้คะแนน นอกจากนี้ JOLT+ ยังเสริมสัญญาณการกลั่นความรู้ของนักเรียนด้วยรางวัลจากผลลัพธ์

นโยบายเดียวเรียนรู้ในฐานะทั้งครูและนักเรียน

การฝึกครู

กำหนดสิ่งที่ครูควรทำ

การที่ครูทำงานได้ดีขึ้นไม่ได้หมายความว่าจะให้การอัปเดตที่เป็นประโยชน์ต่อนักเรียนเสมอไป ครูอาจใช้ข้อมูลพิเศษเพื่ออาศัยทางลัดที่นักเรียนไม่มี กำหนดความน่าจะเป็นสูงให้กับวิถีที่ไม่น่าจะเกิดขึ้นภายใต้นักเรียน หรือให้คำแนะนำที่ไม่น่าเชื่อถือหลังเกิดข้อผิดพลาดในส่วนนำหน้าที่นักเรียนสร้างขึ้น ดังนั้น คุณภาพของครูควรวัดจากสัญญาณการเรียนรู้ที่มอบให้นักเรียน มากกว่าวัดจากรางวัลงานของครูเอง

เราเรียกครูว่ามีความสอดคล้องของรางวัล (reward-consistent) หากการอัปเดตการกลั่นความรู้ที่ครูก่อให้เกิดในนักเรียนตรงกับเกรเดียนต์นโยบายของรางวัลงานที่คาดหวังของนักเรียน โดยอาจต่างกันเพียงการคูณด้วยค่าบวก กล่าวคือ ครูที่มีความสอดคล้องของรางวัล πT⋆\pi_T^\star ควรเป็นไปตาม:

gOPD(θˉ;πT⋆)=1βT gRL(θˉ)g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

โดยที่ βT\beta_T เป็นค่าสเกลาร์บวก เช่นเดียวกับในหัวข้อก่อนหน้า gOPDg_{\mathrm{OPD}} คือเกรเดียนต์เฉพาะที่ของ OPD θˉ\bar\theta คือสแนปช็อตคงที่ของพารามิเตอร์โมเดลนักเรียน θ\theta และ gRLg_{\mathrm{RL}} คือเกรเดียนต์นโยบายของวัตถุประสงค์ผลตอบแทนคาดหวัง

ครูแบบหนึ่งที่เป็นไปตามเงื่อนไขนี้คือ:

πT⋆(a∣s,c)=1Z(s) πθˉ(a∣s)exp⁡ ⁣(1βTAπθˉ(s,a))\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

ในที่นี้ Aπθˉ(s,a)A^{\pi_{\bar{\theta}}}(s, a) แทนค่าความได้เปรียบของการดำเนินต่อของนักเรียน (student continuation advantage) และ Z(s)Z(s) คือค่าคงที่สำหรับการทำให้เป็นมาตรฐาน (normalizing constant) เพื่อให้ได้การแจกแจงความน่าจะเป็นที่ถูกต้อง

จากเป้าหมายในอุดมคติสู่วัตถุประสงค์ของครู

เราสามารถฝึกครูให้เข้าใกล้เป้าหมายในอุดมคติ πT⋆\pi_T^\star ได้โดยลด KL divergence ระหว่างครูกับเป้าหมายนั้นให้น้อยที่สุด สำหรับนักเรียนและสถานะ ss ที่คงที่ จะได้:

min⁡πT KL ⁣(πT(⋅∣s,c) ∥ πT⋆(⋅∣s,c))\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

เมื่อแทนนิพจน์ของ πT⋆\pi_T^\star จะได้ปัญหาการหาค่าสูงสุดที่สมมูลกัน:

max⁡πT{Ea∼πT(⋅∣s,c) ⁣[Aπθˉ(s,a)]−βT KL ⁣(πT(⋅∣s,c) ∥ πθˉ(⋅∣s))}\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

วัตถุประสงค์นี้ส่งเสริมให้ครูเลือกการกระทำที่มีค่าความได้เปรียบของนักเรียนสูงขึ้น ในขณะที่ยังคงอยู่ใกล้กับการแจกแจงการกระทำของนักเรียน พารามิเตอร์ βT\beta_T ควบคุมความเข้มของบทลงโทษนี้ โดยค่าที่มากขึ้นจะทำให้ครูอยู่ใกล้พฤติกรรมปัจจุบันของนักเรียนมากขึ้น ขณะที่ค่าที่น้อยลงจะเปิดโอกาสให้ครูเลือกการกระทำที่มีค่าความได้เปรียบสูงได้อย่างเต็มที่มากขึ้น

วัตถุประสงค์ทดแทนที่ใช้งานได้จริง

วัตถุประสงค์นี้ขึ้นอยู่กับว่านักเรียนจะดำเนินต่อได้ดีเพียงใดหลังจากแต่ละการกระทำ แต่โดยทั่วไปแล้วเราไม่มีค่าความได้เปรียบของการดำเนินต่อของนักเรียนเหล่านั้น เราจึงใช้ผลตอบแทนที่ปรับให้อยู่กึ่งกลาง (centered return) จากวิถีของครูเองเป็นตัวทดแทนในทางปฏิบัติ พจน์รางวัลส่งเสริมให้ครูแก้งานได้สำเร็จ ขณะที่พจน์ KL ป้องกันไม่ให้ครูออกห่างจากการแจกแจงการกระทำปัจจุบันของนักเรียน แม้พจน์ KL จะช่วยให้ครูอยู่ใกล้นักเรียน แต่การแทนที่นี้ก็ไม่ได้ตรงทุกประการ เนื่องจากผลตอบแทนของครูไม่จำเป็นต้องตรงกับค่าความได้เปรียบของการดำเนินต่อของนักเรียน

JT(θ;θˉ)=Eτ∼πθˉ(⋅∣c)[ ∑t(sg⁡[A^T(τ)]log⁡πθ(at∣st,c)−βT KL(πθ(⋅∣st,c) ∥ sg⁡[πθˉ(⋅∣st)]))]\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

ในที่นี้ A^T(τ)\widehat{A}_T(\tau) คือผลตอบแทนของความพยายามของครูลบด้วยผลตอบแทนเฉลี่ยของความพยายามที่ครูสร้างขึ้นในกลุ่มเดียวกัน ตัวดำเนินการ sg⁡\operatorname{sg} หมายถึง stop-gradient กล่าวคือ อาร์กิวเมนต์ของตัวดำเนินการนี้จะถือว่าคงที่ระหว่างการหาอนุพันธ์ เช่นเดียวกับส่วนนำหน้าที่สุ่มได้และค่าอ้างอิงของนักเรียน

การฝึกนักเรียน

การอัปเดตนักเรียนเป็นการอัปเดตแบบ OPSD มาตรฐาน นักเรียนสร้างวิถีจากงาน จากนั้นโมเดลเดียวกันจะให้คะแนนแต่ละโทเค็นที่สุ่มได้โดยมีข้อมูลพิเศษอยู่ในบริบท วัตถุประสงค์ของนักเรียนจะลงโทษ reverse KL divergence ระหว่างนักเรียนกับครูที่มีข้อมูลพิเศษนี้ในทุกสถานะที่นักเรียนผ่าน:

JOPSD(θ;θˉ)=− Eτ∼πθˉ[∑tKL(πθ(⋅∣st) ∥ sg⁡[πθˉ(⋅∣st,c)])]\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

ดังนั้น โทเค็นที่ครูให้น้ำหนักมากกว่าจะได้รับการเสริม ขณะที่โทเค็นที่ครูมองว่ามีความน่าจะเป็นต่ำกว่าที่นักเรียนมองจะถูกลดทอนลง

รวมทุกส่วนเข้าด้วยกัน

เมื่อรวมวัตถุประสงค์ของครูและนักเรียนเข้าด้วยกัน จะได้วัตถุประสงค์การฝึกร่วม:

JJOLT(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

βS\beta_S เป็นค่าสเกลาร์ที่กำหนดว่าค่าสูญเสียการกลั่นความรู้ของนักเรียนมีน้ำหนักมากเพียงใดในการอัปเดตแบบรวม

ผลลัพธ์ด้านความสอดคล้องของรางวัล (reward consistency) อธิบายลักษณะการอัปเดตแบบกลั่นความรู้ (distillation) ของนักเรียนสำหรับครูที่กำหนด JOLT ใช้หลักการนี้เป็นแนวทางในการฝึกร่วม โดยรวมวัตถุประสงค์ของครูและนักเรียนเข้าด้วยกันเพื่ออัปเดตพารามิเตอร์ที่ใช้ร่วมกัน

JOLT+ ยังเพิ่มรางวัลจากผลลัพธ์ของนักเรียนเองเข้าไปในการอัปเดตด้วย โดยผลตอบแทนที่ปรับให้อยู่กึ่งกลางของแต่ละวิถีของนักเรียนจะถูกบวกเข้ากับสัญญาณการกลั่นความรู้ ซึ่งเป็นการรวมการกำกับแบบหนาแน่นจากครูเข้ากับฟีดแบ็กจากผลลัพธ์โดยตรงต่อวิถีของนักเรียน เนื่องจากวัตถุประสงค์ของครูไม่เปลี่ยนแปลง เราจึงเขียนได้ว่า:

JJOLT+(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)+Eτ∼πθˉ ⁣[∑tsg⁡[A^S(τ)] log⁡πθ(at∣st)]\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

ในที่นี้ A^S(τ)\widehat{A}_S(\tau) คือผลตอบแทนของวิถีของนักเรียนลบด้วยผลตอบแทนเฉลี่ยของวิถีที่นักเรียนสร้างขึ้นในกลุ่มเดียวกัน

ในทั้งสองรูปแบบ แต่ละบทบาทจะเรียนรู้จากวิถีที่สร้างขึ้นภายใต้บริบทของตนเอง และทั้งสองบทบาทจะอัปเดตนโยบายที่ใช้ร่วมกัน ซูโดโค้ดสำหรับขั้นตอนการฝึกหนึ่งขั้นแสดงอยู่ด้านล่าง

ซูโดโค้ดสำหรับขั้นตอนการฝึก JOLT หนึ่งขั้นตอน

การทดลอง

เราประเมิน JOLT และ JOLT+ บนเกณฑ์มาตรฐาน (benchmark) ที่ครอบคลุมการให้เหตุผลทางคณิตศาสตร์ การสร้างโค้ด การใช้เครื่องมือ และงานเทอร์มินัลระยะยาว โดยใช้โมเดลฐานที่แตกต่างกันและข้อมูลพิเศษในรูปแบบต่าง ๆ กล่าวคือ เราทำการทดลองโดยใช้เกณฑ์มาตรฐาน โมเดลฐาน และการกำหนดค่าข้อมูลพิเศษดังต่อไปนี้:

  • GSM8K: เราฝึก DeepSeek-V2-Lite บน GSM8K ซึ่งเป็นชุดข้อมูลโจทย์คณิตศาสตร์ระดับประถมศึกษา โดยครูจะได้รับคำตอบที่ผ่านการตรวจสอบแล้วของแต่ละโจทย์
  • MATH: เราฝึก Qwen3-0.6B บน MATH โดยครูจะได้รับเฉลยอ้างอิงที่แสดงวิธีทำอย่างละเอียด
  • LCBv6: เราฝึก Qwen3-8B บนโจทย์การเขียนโค้ด 131 ข้อจาก LiveCodeBench-V6 โดยครูจะได้รับคำตอบที่โมเดลสร้างขึ้นซึ่งผ่านการทดสอบทั้งหมดที่มองเห็นได้ในการฝึก หรือได้รับฟีดแบ็กจากการรันโค้ดเมื่อไม่มีความพยายามใดผ่านการทดสอบเหล่านั้น
  • AppWorld: เราฝึก Qwen3-4B-Instruct บน AppWorld โดยครูจะได้รับสรุปของความพยายามก่อนหน้า
  • Terminal-Bench: เราฝึก Qwen3-30B-A3B-Instruct บน TMax ซึ่งเป็นชุดงานฝึกสำหรับเอเจนต์เทอร์มินัล และประเมินผลบน Terminal-Bench 2.1 โดยครูจะได้รับข้อมูลที่ไม่เปิดเผยของตัวตรวจสอบ (verifier)

เราเปรียบเทียบกับ GRPO, OPSD และ π-Distill โดยปรับไฮเปอร์พารามิเตอร์สำหรับแต่ละวิธี เช่นเดียวกับ JOLT นั้น π-Distill ฝึกบทบาทครูที่มีข้อมูลพิเศษและบทบาทนักเรียนร่วมกันภายในโมเดลที่ใช้ร่วมกัน อย่างไรก็ตาม π-Distill ใช้เป้าหมายของครูที่แตกต่างออกไป และการอัปเดตนักเรียนยังคงเป็นแบบ off-policy โดยอาศัยวิถีที่ครูสร้างขึ้นแทนที่จะเป็นผลลัพธ์ที่นักเรียนสร้างขึ้นเอง

ความแม่นยำ

JOLT+ มีคะแนนเฉลี่ยสูงสุดในทุกการตั้งค่าที่เราประเมิน เมื่อเทียบกับ GRPO ซึ่งเป็นเบสไลน์ที่แข็งแกร่งที่สุดที่ทดสอบ JOLT+ เพิ่มความแม่นยำบน GSM8K ได้ 1.5 จุดเปอร์เซ็นต์ (pp) ความแม่นยำบน MATH ได้ 4.2pp ความแม่นยำบน LCBv6 ได้ 3.0pp และอัตราการผ่าน state test ของ AppWorld ได้ 9.9pp

JOLT+ มีคะแนนเฉลี่ยสูงสุดในเกณฑ์มาตรฐานทั้งสี่รายการ

แม้ไม่มีรางวัลโดยตรงของนักเรียน ความแม่นยำเฉลี่ยของ JOLT ก็ยังสูงกว่าของ GRPO บน GSM8K, MATH และ LCBv6 อย่างไรก็ตาม บน AppWorld นั้น JOLT ยังคงต่ำกว่าทั้ง GRPO และ π-Distill

Terminal-Bench 2.1 เป็นการตั้งค่าที่มีระยะยาวที่สุด JOLT+ มี pass@k สูงสุดในทุกค่า k ที่รายงาน ตั้งแต่ 10.96% ที่ pass@1 ไปจนถึง 34.83% ที่ pass@32 ส่วน JOLT ทำได้ดีกว่าโมเดลฐานและเบสไลน์การกลั่นความรู้ทั้งสองแบบในทุกค่า k แต่ยังคงต่ำกว่า GRPO ขณะที่ OPSD ได้คะแนนต่ำกว่าโมเดลฐานในทุกค่า k

JOLT+ ทำคะแนนนำใน Terminal-Bench ในทุกงบประมาณจำนวนครั้งที่ลอง

ประสิทธิภาพด้านโทเค็นและการปรับขนาด

เรายังสนใจด้วยว่าสมรรถนะเปลี่ยนแปลงไปตามงบประมาณการฝึกอย่างไร เราจึงประเมิน GRPO, OPSD และ JOLT ภายใต้งบประมาณโทเค็นการฝึกที่แตกต่างกันบน MATH และเปรียบเทียบความแม่นยำของนักเรียนที่ได้

แผนภาพแสดงให้เห็นว่าความแม่นยำของแต่ละวิธีเปลี่ยนแปลงไปตามปริมาณโทเค็นการฝึกที่ใช้อย่างไร เราวัดต้นทุนเป็นจำนวนโทเค็นการฝึกที่ประมวลผล ซึ่งรวมถึงพรอมต์ทุกรายการโดยไม่นับ padding บริบทข้อมูลพิเศษ รอบการปรับให้เหมาะสม (optimization pass) ทุกรอบ และการให้คะแนนข้ามกันระหว่างครูและนักเรียน

JOLT ใช้โทเค็นน้อยกว่าเพื่อให้ได้ความแม่นยำเท่ากับ GRPO

จุดแสดงจำนวนโทเค็นการฝึกที่ประมวลผลและความแม่นยำ ณ เช็กพอยต์ต่าง ๆ ส่วนเส้นค่าคลาดเคลื่อนแสดงส่วนเบี่ยงเบนมาตรฐาน ±1 ระหว่างการรันแต่ละครั้ง เราปรับความสัมพันธ์แบบซิกมอยด์ระหว่างความแม่นยำกับลอการิทึมของงบประมาณโทเค็นการฝึก ตามงานวิจัยก่อนหน้าเกี่ยวกับการปรับขนาดการประมวลผลของ RL

JOLT แสดงประสิทธิภาพเชิงตัวอย่างตั้งแต่ช่วงต้น ขณะเดียวกันก็ได้ความแม่นยำสูงสุดในบรรดาทั้งสามวิธี โดยคงตัวอยู่ใกล้ 72% ส่วน OPSD พัฒนาได้เร็วเมื่อใช้งบประมาณน้อย แต่คงตัวอยู่ที่ความแม่นยำประมาณ 62% ขณะที่ GRPO เรียนรู้ช้ากว่าในช่วงแรก แต่พัฒนาต่อเนื่องได้นานกว่า จนไต่ขึ้นไปถึงประมาณ 70% ที่ความแม่นยำเท่ากันที่ 63.44% เช็กพอยต์ที่สังเกตได้ของ GRPO ใช้โทเค็น 8.40 ล้านโทเค็น ขณะที่เส้นโค้งที่ปรับแล้วของ JOLT ให้ค่า 1.30 ล้านโทเค็น ซึ่งน้อยกว่า 6.5 เท่า

เรายังวัดต้นทุนโดยใช้โทเค็นคำตอบ (completion tokens) ซึ่งนับคำตอบของนักเรียนสำหรับ GRPO และ OPSD และนับคำตอบของทั้งครูและนักเรียนสำหรับ JOLT แต่ไม่รวมพรอมต์ บริบทข้อมูลพิเศษ และรอบการปรับให้เหมาะสมเพิ่มเติม การเปรียบเทียบโดยใช้โทเค็นคำตอบแทนโทเค็นการฝึกที่ประมวลผลทำให้ช่องว่างด้านประสิทธิภาพกว้างขึ้นเป็นประมาณ 13 เท่าที่ระดับความแม่นยำเดียวกัน ในช่วงความแม่นยำเป้าหมายต่าง ๆ JOLT ใช้โทเค็นคำตอบน้อยกว่า 9.5–14.4 เท่า และใช้โทเค็นการฝึกที่ประมวลผลน้อยกว่า 4.3–7.4 เท่า

ความได้เปรียบด้านโทเค็นของ JOLT คงอยู่ตั้งแต่ความแม่นยำ 55% ถึง 65%

บทสรุป

ข้อมูลพิเศษอาจทำให้ครูแก้งานได้เก่งขึ้น โดยที่ไม่ได้ทำให้ครูสอนนักเรียนให้แก้งานเดียวกันโดยไม่มีข้อมูลนั้นได้เก่งขึ้น JOLT จัดการกับความแตกต่างนี้ด้วยการฝึกครูโดยอิงกับพฤติกรรมปัจจุบันของนักเรียน

การฝึกร่วมนี้ช่วยปรับปรุงทั้งความแม่นยำและประสิทธิภาพ เมื่อใช้รางวัลจากผลลัพธ์ของนักเรียน JOLT+ ได้ผลดีกว่า GRPO แบบสัมบูรณ์ 1.5pp บน GSM8K, 4.2pp บน MATH, 3.0pp บน LCBv6, 9.9pp บน AppWorld และ 2.7pp บน Terminal-Bench 2.1 pass@1 ส่วนบน MATH ที่ความแม่นยำเท่ากัน JOLT ใช้โทเค็นคำตอบ (completion tokens) น้อยกว่า GRPO 13 เท่า และใช้โทเค็นการฝึกที่ประมวลผลน้อยกว่า 6.5 เท่า โดยไม่ต้องใช้รางวัลโดยตรงของนักเรียน

JOLT ช่วยให้คำแนะนำของครูพัฒนาไปพร้อมกับนักเรียน ซึ่งเป็นแรงจูงใจให้สำรวจต่อว่าครูจะสามารถเรียนรู้ที่จะสร้างงานฝึกที่เป็นประโยชน์ได้ด้วยหรือไม่ ทิศทางที่น่าสนใจสำหรับงานในอนาคตคือการฝึกครูที่สร้างงานและนักเรียนที่แก้ปัญหาไปพร้อมกัน โดยใช้ความก้าวหน้าในการเรียนรู้ของนักเรียนเพื่อปรับปรุงงานที่สร้างขึ้นในรูปแบบหลักสูตร (curriculum) ซึ่งอาจทำให้การสร้างงานสังเคราะห์ตอบสนองต่อสิ่งที่นักเรียนพร้อมจะเรียนรู้ในลำดับถัดไป

อ่านเอกสารวิจัยฉบับเต็มของเราเพื่อดูรายละเอียดเพิ่มเติม เราจะเผยแพร่โค้ดแบบโอเพนซอร์สในเร็วๆ นี้

การอ้างอิง

BibTeX
@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}