चांगला शिक्षक विद्यार्थी जिथे आहे तिथून सुरुवात करतो

क्लिष्ट कारणमीमांसा आणि एजंटिक कार्यांवर मॉडेलची कामगिरी आणि प्रशिक्षण-कार्यक्षमता सुधारण्यासाठी शिक्षक आणि विद्यार्थी यांना संयुक्तपणे प्रशिक्षित करणारी एक नवीन सेल्फ-डिस्टिलेशन पद्धत.

लेखकPerplexity Research & NVIDIA

प्रस्तावना

क्लिष्ट कारणमीमांसा आणि दीर्घ-पल्ल्याच्या एजंटिक कार्यांवरील क्षमता सुधारण्यासाठी भाषा मॉडेल्सच्या पोस्ट-ट्रेनिंगमध्ये प्रबलन शिक्षण (Reinforcement Learning, RL) मोठ्या प्रमाणावर वापरले जाते.

सामान्य रचनेत, मॉडेल एखादे कार्य करण्याचा वारंवार प्रयत्न करते, प्रत्येक प्रयत्नासाठी परिणाम-बक्षीस मिळवते आणि जास्त बक्षीस मिळालेल्या प्रयत्नांमध्ये घेतलेल्या कृतींना प्राधान्य द्यायला शिकते. मात्र, एकच परिणाम-बक्षीस विरळ शिक्षण संकेत देते, ज्यातून कोणत्या मधल्या कृतींमुळे परिणामाला मदत झाली किंवा हानी झाली हे स्पष्ट होत नाही. ही विरळता नमुना-कार्यक्षमता मर्यादित करते, विशेषतः कठीण एजंटिक कार्यांवर, जिथे प्रयत्न दीर्घ असतात आणि यश क्वचितच मिळते.

ही विरळता दूर करण्याचा एक लोकप्रिय दृष्टिकोन म्हणजे ऑन-पॉलिसी डिस्टिलेशन (On-Policy Distillation, OPD). यात अधिक सक्षम शिक्षक मॉडेल विद्यार्थ्याच्या स्वतःच्या प्रयत्नांना टोकन-दर-टोकन मार्गदर्शन देते, ज्यामुळे खूपच सघन बक्षिसे मिळतात. मात्र, शिकवणे हे स्वतःच एक कौशल्य आहे. एखादे कार्य सोडवण्यात चांगले असलेले मॉडेल ते शिकवण्यातही चांगले असेलच असे नाही, कारण त्याचा अभिप्राय विद्यार्थ्याच्या सध्याच्या क्षमतेपलीकडचा असू शकतो. म्हणूनच केवळ विद्यार्थ्याला शिक्षकाचे अनुकरण करायला प्रशिक्षित करणे पुरेसे नाही, तर शिक्षकालाही विद्यार्थ्यासाठी अधिक सुसंगत मार्गदर्शन द्यायला प्रशिक्षित करणे आवश्यक ठरते.

आम्ही अशीच एक पद्धत प्रस्तावित करतो: Joint On-policy Learning and Teaching (JOLT). ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (On-Policy Self-Distillation, OPSD) वर आधारित, आम्ही एकाच मॉडेलचा दोन भूमिकांमध्ये वापर करतो: पडताळलेल्या उकलींसारख्या विशेषाधिकारप्राप्त माहितीपर्यंत प्रवेश असलेला शिक्षक आणि असा प्रवेश नसलेला विद्यार्थी. आम्ही या दोन्ही भूमिकांना संयुक्तपणे प्रशिक्षित करतो. विद्यार्थी मानक डिस्टिलेशन उद्दिष्टाचे अनुसरण करतो. शिक्षकाचे उद्दिष्ट त्याच्या अभिप्रायाला अशी दिशा देते की तो विद्यार्थ्याला त्याच दिशेने पुढे नेईल, ज्या दिशेने विद्यार्थ्याच्या स्वतःच्या बक्षिसावर आधारित RL नेईल. ही उद्दिष्टे मिळून शिक्षकाला विद्यार्थी जिथे आहे तिथून सुरुवात करायला शिकवतात आणि विद्यार्थ्याला त्याच्या आवाक्यातील मार्गदर्शनातून शिकण्यास मदत करतात.

आमचे प्रयोग गणितीय कारणमीमांसा, कोडिंग आणि एजंटिक कार्यांच्या विविध प्रकारांमध्ये मॉडेलची कामगिरी आणि प्रशिक्षण-कार्यक्षमता या दोन्हींमध्ये सुधारणा दर्शवतात.

विरळ बक्षिसांपासून सघन अभिप्रायाकडे

अगदी मूलभूत स्वरूपात, परिणाम-बक्षीस RL अपेक्षित परतावा (expected return) उद्दिष्ट वापरते:

JRL(θ)=Eτ∼πθ[R(τ)]\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

येथे, τ\tau ही πθ\pi_\theta या पॉलिसीचे अनुसरण करणारी ट्रॅजेक्टरी आहे आणि R(τ)R(\tau) हा त्या ट्रॅजेक्टरीचा परतावा आहे. संबंधित पॉलिसी ग्रेडियंट असा आहे:

gRL(θ)=∇θJRL(θ)=Eτ∼πθ[∑tR(τ) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

जिथे sts_t आणि ata_t अनुक्रमे tt या टाइमस्टेपवरील अवस्था (state) आणि कृती (action) दर्शवतात. नमुना-आधारित अंदाजांमधील विचरण (variance) कमी करण्यासाठी, ग्रेडियंट बहुतेकदा असा व्यक्त केला जातो:

gRL(θ)=Eτ∼πθ[∑tAπθ(st,at) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

जिथे ॲडव्हान्टेज Aπθ(st,at)A^{\pi_\theta}(s_t, a_t) हे कृती ata_t चा, अवस्था sts_t वरील सध्याच्या पॉलिसीच्या तुलनेत, अपेक्षित अतिरिक्त परतावा मोजते. Group Relative Policy Optimization (GRPO) हा एक दृष्टिकोन प्रत्येक ट्रॅजेक्टरीच्या परताव्याची तुलना त्याच प्रॉम्प्टसाठी नमुना म्हणून घेतलेल्या गटाच्या सरासरी परताव्याशी करून ॲडव्हान्टेजचा अंदाज लावतो.

मात्र, या समायोजनांनंतरही, परिणाम-बक्षीस प्रबलन शिक्षणाला विरळ पर्यवेक्षणाचा फटका बसतो, विशेषतः कठीण, दीर्घ-पल्ल्याच्या कार्यांवर. अधिक सघन शिक्षण संकेत देण्यासाठी माहितीच्या अतिरिक्त स्रोतांचा आधार घेऊन ही समस्या सोडवणारे संशोधन वाढत आहे.

On-Policy Distillation (OPD) हा असाच एक दृष्टिकोन आहे. केवळ अंतिम बक्षिसातून शिकण्याऐवजी, OPD विद्यार्थ्याकडून ट्रॅजेक्टरीजचे नमुने घेते आणि प्रत्येक नमुना कृतीचे मूल्यमापन अधिक सक्षम शिक्षकाच्या आधारे करते. शिक्षक पॉलिसी πT\pi_T आणि ट्रॅजेक्टरीज तयार करण्यासाठी वापरलेल्या विद्यार्थी पॅरामीटर्सचा स्थिर स्नॅपशॉट θˉ\bar{\theta} यांसाठी, θ=θˉ\theta = \bar{\theta} येथे मूल्यमापन केलेला स्थानिक ग्रेडियंट असा आहे:

gOPD(θˉ;πT)=∇θJOPD(θ;θˉ,πT)∣θ=θˉ=−∇θEτ∼πθˉ ⁣[∑tKL ⁣(πθ(⋅∣st) ∥ πT(⋅∣st))]∣θ=θˉ=Eτ∼πθˉ[∑t(log⁡πT(at∣st)−log⁡πθˉ(at∣st)) ∇θˉlog⁡πθˉ(at∣st)]\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

येथे, JOPD(θ;θˉ,πT)\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T) हे ऋण रिव्हर्स-KL डिस्टिलेशन उद्दिष्ट आहे. अवकलनादरम्यान शिक्षक पॉलिसी आणि नमुना प्रीफिक्स स्थिर ठेवले जातात. शिक्षक-विद्यार्थी लॉग-संभाव्यता गुणोत्तर भेट दिलेल्या प्रत्येक अवस्थेत सघन शिक्षण संकेत देते आणि कृती-स्तरीय भार म्हणून ॲडव्हान्टेजची जागा घेते.

On-Policy Self-Distillation (OPSD) स्वतंत्र शिक्षक मॉडेलची गरजही दूर करते. पडताळलेली उकल, अभिप्राय किंवा संदर्भ ट्रेस यांसारखी विशेषाधिकारप्राप्त माहिती दिल्यावर विद्यार्थी पॉलिसीच स्वतःची शिक्षक म्हणून काम करते. मात्र, OPSD केवळ विद्यार्थ्याला शिक्षकाचे अनुकरण करायला प्रशिक्षित करते; शिक्षक विद्यार्थ्याला उपयुक्त संकेत देईल याची खात्री करणारी कोणतीही यंत्रणा त्यात नाही.

संयुक्त ऑन-पॉलिसी शिक्षण आणि अध्यापन

JOLT हे OPSD चा विस्तार करते: ते एकाच सामायिक मॉडेलला अधिक सुसंगत मार्गदर्शन देणारा शिक्षक आणि त्या मार्गदर्शनातून शिकणारा विद्यार्थी अशा दोन्ही भूमिकांमध्ये प्रशिक्षित करते. अधिक माहिती असलेला शिक्षक विद्यार्थ्याच्या दिशेने KL रेग्युलरायझेशनसह परिणाम-बक्षिसांतून शिकतो, तर विशेषाधिकार नसलेला विद्यार्थी शिक्षकाच्या सघन डिस्टिलेशन संकेतातून शिकतो. शिक्षकाच्या अपडेटसाठी शिक्षकाने केलेले प्रयत्न वापरले जातात, तर विद्यार्थ्याच्या अपडेटसाठी विद्यार्थ्याने केलेले आणि शिक्षकाने गुण दिलेले प्रयत्न वापरले जातात. JOLT+ विद्यार्थ्याच्या डिस्टिलेशन संकेताला परिणाम-बक्षिसांची जोडही देते.

एकच पॉलिसी शिक्षक आणि विद्यार्थी अशा दोन्ही भूमिकांमधून शिकते.

शिक्षकाचे प्रशिक्षण

शिक्षकाने काय करावे हे निश्चित करणे

शिक्षकाची कामगिरी चांगली असली तरी त्यातून विद्यार्थ्यासाठी उपयुक्त अपडेट मिळतीलच असे नाही. शिक्षक विशेषाधिकारप्राप्त माहितीचा वापर करून विद्यार्थ्याला उपलब्ध नसलेले शॉर्टकट वापरू शकतो, विद्यार्थ्याच्या दृष्टीने असंभाव्य असलेल्या ट्रॅजेक्टरीजना उच्च संभाव्यता देऊ शकतो किंवा विद्यार्थ्याने तयार केलेल्या प्रीफिक्समधील चुकांनंतर अविश्वसनीय मार्गदर्शन देऊ शकतो. म्हणूनच शिक्षकाची गुणवत्ता त्याच्या स्वतःच्या कार्य-बक्षिसावरून नव्हे, तर तो विद्यार्थ्याला कोणता शिक्षण संकेत देतो यावरून ठरवली पाहिजे.

शिक्षकामुळे विद्यार्थ्यामध्ये होणारे डिस्टिलेशन अपडेट, धनात्मक स्केलिंग वगळता, विद्यार्थ्याच्या अपेक्षित कार्य-बक्षिसाच्या पॉलिसी ग्रेडियंटशी जुळत असेल, तर आम्ही त्या शिक्षकाला बक्षीस-सुसंगत (reward-consistent) म्हणतो. विशेषतः, बक्षीस-सुसंगत शिक्षक πT⋆\pi_T^\star ने पुढील अट पूर्ण केली पाहिजे:

gOPD(θˉ;πT⋆)=1βT gRL(θˉ)g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

जिथे βT\beta_T हा धनात्मक स्केलर आहे. मागील विभागाप्रमाणे, gOPDg_{\mathrm{OPD}} हा OPD स्थानिक ग्रेडियंट आहे, θˉ\bar\theta हा विद्यार्थी मॉडेल पॅरामीटर्स θ\theta चा स्थिर स्नॅपशॉट आहे आणि gRLg_{\mathrm{RL}} हा अपेक्षित परतावा उद्दिष्टाचा पॉलिसी ग्रेडियंट आहे.

ही अट पूर्ण करणारा एक शिक्षक असा आहे:

πT⋆(a∣s,c)=1Z(s) πθˉ(a∣s)exp⁡ ⁣(1βTAπθˉ(s,a))\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

येथे, Aπθˉ(s,a)A^{\pi_{\bar{\theta}}}(s, a) विद्यार्थी-कंटिन्युएशन ॲडव्हान्टेज दर्शवतात आणि Z(s)Z(s) हा योग्य संभाव्यता वितरण सुनिश्चित करणारा नॉर्मलायझिंग स्थिरांक आहे.

आदर्श लक्ष्यापासून शिक्षक-उद्दिष्टापर्यंत

आदर्श लक्ष्य πT⋆\pi_T^\star पासूनचे KL डायव्हर्जन्स कमी करून आपण शिक्षकाला त्या लक्ष्याच्या दिशेने प्रशिक्षित करू शकतो. स्थिर विद्यार्थी आणि अवस्था ss साठी, यातून पुढील उद्दिष्ट मिळते:

min⁡πT KL ⁣(πT(⋅∣s,c) ∥ πT⋆(⋅∣s,c))\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

πT⋆\pi_T^\star ची राशी प्रतिस्थापित केल्यावर एक समतुल्य कमालीकरण (maximization) समस्या मिळते:

max⁡πT{Ea∼πT(⋅∣s,c) ⁣[Aπθˉ(s,a)]−βT KL ⁣(πT(⋅∣s,c) ∥ πθˉ(⋅∣s))}\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

हे उद्दिष्ट शिक्षकाला विद्यार्थ्याच्या कृती-वितरणाच्या जवळ राहतानाच विद्यार्थ्यासाठी अधिक ॲडव्हान्टेज असलेल्या कृती निवडण्यास प्रोत्साहित करते. पॅरामीटर βT\beta_T या दंडाची तीव्रता नियंत्रित करतो: मोठी मूल्ये शिक्षकाला विद्यार्थ्याच्या सध्याच्या वर्तनाच्या अधिक जवळ ठेवतात, तर लहान मूल्ये त्याला उच्च-ॲडव्हान्टेज कृतींना अधिक आक्रमकपणे प्राधान्य देऊ देतात.

एक व्यावहारिक पर्यायी (surrogate) उद्दिष्ट

हे उद्दिष्ट प्रत्येक कृतीनंतर विद्यार्थी किती चांगल्या प्रकारे पुढे जाईल यावर अवलंबून असते, परंतु विद्यार्थ्याचे असे कंटिन्युएशन ॲडव्हान्टेज सामान्यतः उपलब्ध नसतात. म्हणून आम्ही व्यावहारिक पर्याय म्हणून शिक्षकाच्या स्वतःच्या ट्रॅजेक्टरीजमधील केंद्रित (centered) परतावे वापरतो. बक्षीस-पद शिक्षकाला कार्य सोडवण्यास प्रोत्साहित करते, तर KL-पद विद्यार्थ्याच्या सध्याच्या कृती-वितरणापासून दूर जाण्यास प्रतिबंध करते. KL-पद शिक्षकाला विद्यार्थ्याच्या जवळ ठेवत असले तरी ही प्रतिस्थापना अचूक नाही, कारण शिक्षकाचे परतावे विद्यार्थ्याच्या कंटिन्युएशन ॲडव्हान्टेजशी जुळतीलच असे नाही.

JT(θ;θˉ)=Eτ∼πθˉ(⋅∣c)[ ∑t(sg⁡[A^T(τ)]log⁡πθ(at∣st,c)−βT KL(πθ(⋅∣st,c) ∥ sg⁡[πθˉ(⋅∣st)]))]\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

येथे, A^T(τ)\widehat{A}_T(\tau) म्हणजे शिक्षकाच्या प्रयत्नाचा परतावा वजा त्याच्या गटातील शिक्षकाने केलेल्या प्रयत्नांचा सरासरी परतावा. ऑपरेटर sg⁡\operatorname{sg} stop-gradient दर्शवतो: अवकलनादरम्यान त्याचा आर्ग्युमेंट स्थिर मानला जातो, तसेच नमुना प्रीफिक्स आणि विद्यार्थी संदर्भही स्थिर मानले जातात.

विद्यार्थ्याचे प्रशिक्षण

विद्यार्थ्याचे अपडेट हे मानक OPSD अपडेट आहे. विद्यार्थी कार्यातून ट्रॅजेक्टरीज तयार करतो. त्यानंतर तेच मॉडेल संदर्भात विशेषाधिकारप्राप्त माहिती ठेवून प्रत्येक नमुना टोकनला गुण देते. विद्यार्थी-उद्दिष्ट, विद्यार्थी भेट देत असलेल्या प्रत्येक अवस्थेत, विद्यार्थी आणि हा विशेषाधिकारप्राप्त शिक्षक यांच्यातील रिव्हर्स KL डायव्हर्जन्ससाठी दंड आकारते:

JOPSD(θ;θˉ)=− Eτ∼πθˉ[∑tKL(πθ(⋅∣st) ∥ sg⁡[πθˉ(⋅∣st,c)])]\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

त्यामुळे शिक्षकाला प्राधान्य असलेले टोकन्स बळकट होतात, तर विद्यार्थ्याच्या तुलनेत शिक्षक ज्या टोकन्सना कमी संभाव्य मानतो ते दडपले जातात.

सर्व घटक एकत्रितपणे

शिक्षक आणि विद्यार्थी यांची उद्दिष्टे एकत्र केल्यावर संयुक्त प्रशिक्षण उद्दिष्ट मिळते:

JJOLT(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

βS\beta_S हा एक स्केलर आहे, जो एकत्रित अपडेटमध्ये विद्यार्थ्याच्या डिस्टिलेशन लॉसला किती महत्त्व द्यायचे हे ठरवतो.

बक्षीस-सुसंगततेचा निष्कर्ष दिलेल्या शिक्षकासाठी विद्यार्थ्याच्या डिस्टिलेशन अपडेटचे स्वरूप स्पष्ट करतो. JOLT हे तत्त्व संयुक्त प्रशिक्षणाला दिशा देण्यासाठी वापरते आणि शिक्षक व विद्यार्थी यांची उद्दिष्टे एकत्र करून त्यांचे सामायिक पॅरामीटर्स अपडेट करते.

JOLT+ विद्यार्थ्याचे स्वतःचे परिणाम-बक्षीसही त्याच्या अपडेटमध्ये जोडते. प्रत्येक विद्यार्थी ट्रॅजेक्टरीचा केंद्रित परतावा डिस्टिलेशन संकेतात जोडला जातो, ज्यामुळे शिक्षकाचे सघन पर्यवेक्षण आणि विद्यार्थी ट्रॅजेक्टरीजवरील थेट परिणाम-अभिप्राय एकत्र येतात. शिक्षकाचे उद्दिष्ट बदलत नाही, म्हणून आपण असे लिहू शकतो:

JJOLT+(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)+Eτ∼πθˉ ⁣[∑tsg⁡[A^S(τ)] log⁡πθ(at∣st)]\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

येथे, A^S(τ)\widehat{A}_S(\tau) म्हणजे विद्यार्थी ट्रॅजेक्टरीचा परतावा वजा त्याच्या गटातील, विद्यार्थ्याने तयार केलेल्या ट्रॅजेक्टरीजचा सरासरी परतावा.

दोन्ही प्रकारांमध्ये, प्रत्येक भूमिका स्वतःच्या संदर्भात तयार झालेल्या ट्रॅजेक्टरीजमधून शिकते आणि दोन्ही भूमिका सामायिक पॉलिसी अपडेट करतात. एका प्रशिक्षण टप्प्याचा स्यूडोकोड खाली दिला आहे.

JOLT च्या एका प्रशिक्षण टप्प्याचा स्यूडोकोड.

प्रयोग

आम्ही गणितीय कारणमीमांसा, कोड जनरेशन, टूल वापर आणि दीर्घ-पल्ल्याची टर्मिनल कार्ये यांचा समावेश असलेल्या बेंचमार्क्सवर, वेगवेगळी बेस मॉडेल्स आणि विशेषाधिकारप्राप्त माहितीचे वेगवेगळे प्रकार वापरून JOLT आणि JOLT+ चे मूल्यमापन करतो. विशेषतः, आम्ही पुढील बेंचमार्क्स, बेस मॉडेल्स आणि विशेषाधिकारप्राप्त माहितीच्या संरचना वापरून प्रयोग करतो:

  • GSM8K: आम्ही DeepSeek-V2-Lite ला GSM8K वर प्रशिक्षित करतो, जो शालेय स्तरावरील गणिती प्रश्नांचा डेटासेट आहे. शिक्षकाला प्रत्येक प्रश्नाचे पडताळलेले उत्तर मिळते.
  • MATH: आम्ही Qwen3-0.6B ला MATH वर प्रशिक्षित करतो. शिक्षकाला सविस्तर सोडवलेल्या संदर्भ उकली मिळतात.
  • LCBv6: आम्ही Qwen3-8B ला LiveCodeBench-V6 मधील 131 कोडिंग प्रश्नांवर प्रशिक्षित करतो. शिक्षकाला प्रशिक्षणादरम्यान दिसणाऱ्या सर्व चाचण्या उत्तीर्ण केलेली, मॉडेलने तयार केलेली उकल मिळते; एकाही प्रयत्नाने त्या चाचण्या उत्तीर्ण न केल्यास एक्झिक्युशन अभिप्राय मिळतो.
  • AppWorld: आम्ही Qwen3-4B-Instruct ला AppWorld वर प्रशिक्षित करतो. शिक्षकाला मागील प्रयत्नांचे सारांश मिळतात.
  • Terminal-Bench: आम्ही Qwen3-30B-A3B-Instruct ला टर्मिनल एजंट्ससाठीच्या प्रशिक्षण कार्यांचा संच असलेल्या TMax वर प्रशिक्षित करतो आणि Terminal-Bench 2.1 वर मूल्यमापन करतो. शिक्षकाला खाजगी व्हेरिफायर माहिती मिळते.

आम्ही प्रत्येक पद्धतीसाठी हायपरपॅरामीटर्स ट्यून करून GRPO, OPSD आणि π-Distill यांच्याशी तुलना करतो. JOLT प्रमाणेच π-Distill देखील एका सामायिक मॉडेलमध्ये विशेषाधिकारप्राप्त शिक्षक आणि विद्यार्थी भूमिकांना संयुक्तपणे प्रशिक्षित करते; मात्र, ते वेगळे शिक्षक-लक्ष्य वापरते आणि त्याचे विद्यार्थी-अपडेट ऑफ-पॉलिसी राहते, कारण ते विद्यार्थ्याच्या स्वतःच्या जनरेशन्सऐवजी शिक्षकाने तयार केलेल्या ट्रॅजेक्टरीजवर अवलंबून असते.

अचूकता

आम्ही मूल्यमापन केलेल्या प्रत्येक सेटिंगमध्ये JOLT+ चा सरासरी स्कोअर सर्वाधिक आहे. चाचणी केलेल्या सर्वात सक्षम बेसलाइन GRPO च्या तुलनेत, ते GSM8K अचूकता 1.5 टक्केवारी गुणांनी (percentage points, pp), MATH अचूकता 4.2pp ने, LCBv6 अचूकता 3.0pp ने आणि AppWorld स्टेट-टेस्ट उत्तीर्णता दर 9.9pp ने सुधारते.

चारही बेंचमार्क्सवर JOLT+ चा सरासरी स्कोअर सर्वाधिक आहे.

कोणत्याही थेट विद्यार्थी-बक्षिसाशिवायही, GSM8K, MATH आणि LCBv6 वर JOLT ची सरासरी अचूकता GRPO पेक्षा जास्त आहे. मात्र, AppWorld वर ती GRPO आणि π-Distill या दोन्हींपेक्षा कमी राहते.

Terminal-Bench 2.1 हे सर्वात दीर्घ-पल्ल्याचे सेटिंग आहे. नोंदवलेल्या प्रत्येक k वर JOLT+ चा pass@k सर्वाधिक आहे, pass@1 वर 10.96% पासून pass@32 वर 34.83% पर्यंत. JOLT प्रत्येक k वर बेस मॉडेल आणि दोन्ही डिस्टिलेशन बेसलाइन्सपेक्षा सुधारणा दाखवते, परंतु GRPO पेक्षा कमी राहते. OPSD चा स्कोअर प्रत्येक k वर बेस मॉडेलपेक्षा कमी आहे.

प्रत्येक प्रयत्न-बजेटवर Terminal-Bench मध्ये JOLT+ आघाडीवर आहे.

टोकन कार्यक्षमता आणि स्केलिंग

प्रशिक्षण बजेटनुसार कामगिरी कशी वाढते हे जाणून घेण्यातही आम्हाला रस आहे. आम्ही MATH वर वेगवेगळ्या प्रशिक्षण टोकन बजेटमध्ये GRPO, OPSD आणि JOLT चे मूल्यमापन करतो आणि त्यातून मिळणाऱ्या विद्यार्थ्याच्या अचूकतेची तुलना करतो.

प्रत्येक पद्धतीसाठी प्रशिक्षण टोकन खर्चानुसार अचूकता कशी वाढते हे आकृतीत दाखवले आहे. आम्ही खर्च प्रक्रिया केलेल्या प्रशिक्षण टोकन्समध्ये मोजतो. यात प्रत्येक अनपॅडेड प्रॉम्प्ट, विशेषाधिकारप्राप्त संदर्भ, ऑप्टिमायझेशन पास आणि शिक्षक व विद्यार्थी यांच्यातील क्रॉस-स्कोअरिंगचा समावेश आहे.

GRPO इतकी अचूकता गाठण्यासाठी JOLT ला कमी टोकन्स लागतात.

बिंदू विविध चेकपॉइंट्सवरील प्रक्रिया केलेल्या प्रशिक्षण टोकन्सची संख्या आणि अचूकता दर्शवतात; व्हिस्कर्स रन्समधील ±1 मानक विचलन दर्शवतात. RL कम्प्युटच्या स्केलिंगवरील पूर्वीच्या संशोधनाचे अनुसरण करून, आम्ही अचूकता आणि लॉग प्रशिक्षण टोकन बजेट यांच्यात सिग्मॉइडल संबंध फिट करतो.

JOLT सुरुवातीपासूनच नमुना-कार्यक्षमता दाखवते आणि तिन्ही पद्धतींमध्ये सर्वाधिक अचूकता गाठते, जी सुमारे 72% च्या जवळ स्थिरावते. OPSD लहान बजेटवर वेगाने सुधारते, परंतु सुमारे 62% अचूकतेवर स्थिरावते. GRPO सुरुवातीला अधिक हळू शिकते, परंतु अधिक काळ सुधारत राहते आणि सुमारे 70% पर्यंत पोहोचते. 63.44% च्या समान अचूकतेवर, GRPO च्या निरीक्षित चेकपॉइंटला 8.40 दशलक्ष टोकन्स लागतात, तर JOLT च्या फिट केलेल्या वक्रानुसार 1.30 दशलक्ष, म्हणजेच 6.5× कमी टोकन्स लागतात.

आम्ही कम्प्लीशन टोकन्स वापरूनही खर्च मोजतो. यात GRPO आणि OPSD साठी विद्यार्थ्याचे कम्प्लीशन्स, तर JOLT साठी शिक्षक आणि विद्यार्थी दोघांचे कम्प्लीशन्स मोजले जातात, परंतु प्रॉम्प्ट्स, विशेषाधिकारप्राप्त संदर्भ आणि अतिरिक्त ऑप्टिमायझेशन पास वगळले जातात. प्रक्रिया केलेल्या प्रशिक्षण टोकन्सऐवजी कम्प्लीशन टोकन्सच्या आधारे तुलना केल्यास, समान अचूकता पातळीवर कार्यक्षमतेतील तफावत सुमारे 13× पर्यंत वाढते. लक्ष्य अचूकतेच्या विविध पातळ्यांवर, JOLT 9.5–14.4× कमी कम्प्लीशन टोकन्स आणि 4.3–7.4× कमी प्रक्रिया केलेले प्रशिक्षण टोकन्स वापरते.

55% ते 65% अचूकतेदरम्यान JOLT चा टोकन लाभ कायम राहतो.

निष्कर्ष

विशेषाधिकारप्राप्त माहितीमुळे शिक्षक एखादे कार्य सोडवण्यात अधिक चांगला होऊ शकतो, पण त्यामुळे ती माहिती नसताना तेच कार्य सोडवायला विद्यार्थ्याला शिकवण्यात तो अधिक चांगला होईलच असे नाही. JOLT शिक्षकाला विद्यार्थ्याच्या सध्याच्या वर्तनाच्या सापेक्ष प्रशिक्षित करून हा फरक हाताळते.

या संयुक्त प्रशिक्षणामुळे अचूकता आणि कार्यक्षमता दोन्ही सुधारतात. विद्यार्थ्याच्या परिणाम-बक्षिसांसह, JOLT+ हे GRPO च्या तुलनेत GSM8K वर 1.5pp, MATH वर 4.2pp, LCBv6 वर 3.0pp, AppWorld वर 9.9pp आणि Terminal-Bench 2.1 pass@1 वर 2.7pp इतकी निरपेक्ष वाढ साध्य करते. MATH वर, समान अचूकता असताना आणि थेट विद्यार्थी-बक्षिसाशिवाय, JOLT हे GRPO पेक्षा 13× कमी कम्प्लीशन टोकन्स आणि 6.5× कमी प्रक्रिया केलेले प्रशिक्षण टोकन्स वापरते.

JOLT मुळे शिक्षकाचे मार्गदर्शन विद्यार्थ्यासोबत विकसित होऊ शकते. यामुळे शिक्षक उपयुक्त प्रशिक्षण कार्ये तयार करायलाही शिकू शकतो का, हे तपासण्याची प्रेरणा मिळते. भविष्यातील कामासाठी एक रोचक दिशा म्हणजे कार्ये तयार करणारा शिक्षक आणि प्रश्न सोडवणारा विद्यार्थी यांना संयुक्तपणे प्रशिक्षित करणे आणि विद्यार्थ्याच्या शिकण्यातील प्रगतीचा वापर करून अभ्यासक्रमाच्या (curriculum) स्वरूपात तयार होणारी कार्ये सुधारणे. यामुळे विद्यार्थी पुढे काय शिकण्यास तयार आहे त्यानुसार कृत्रिम (synthetic) कार्यनिर्मिती बदलू शकेल.

अधिक तपशीलांसाठी आमचा संपूर्ण शोधनिबंध वाचा. आम्ही लवकरच कोड ओपन-सोर्स करणार आहोत.

संदर्भ

BibTeX
@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}