एक अच्छा शिक्षक छात्र के स्तर पर आकर सिखाता है

एक नई सेल्फ़-डिस्टिलेशन विधि, जो जटिल रीज़निंग और एजेंटिक कार्यों पर मॉडल के प्रदर्शन और ट्रेनिंग दक्षता को बेहतर बनाने के लिए शिक्षक और छात्र को संयुक्त रूप से ट्रेन करती है।

लेखकPerplexity Research & NVIDIA

परिचय

रीइन्फ़ोर्समेंट लर्निंग (RL) का व्यापक रूप से उपयोग लैंग्वेज मॉडल की पोस्ट-ट्रेनिंग में किया जाता है, ताकि जटिल रीज़निंग और लंबी अवधि वाले एजेंटिक कार्यों पर उनकी क्षमताओं में सुधार हो सके।

एक सामान्य सेटअप में, मॉडल किसी कार्य पर बार-बार प्रयास करता है, हर प्रयास के लिए एक परिणाम रिवॉर्ड प्राप्त करता है, और उन एक्शन को प्राथमिकता देना सीखता है जो अधिक रिवॉर्ड वाले प्रयासों में लिए गए थे। हालाँकि, एक अकेला परिणाम रिवॉर्ड एक विरल लर्निंग सिग्नल देता है, जो यह भेद नहीं करता कि किन मध्यवर्ती एक्शन ने परिणाम में मदद की या उसे नुकसान पहुँचाया। यह विरलता सैंपल दक्षता को सीमित करती है, खासकर कठिन एजेंटिक कार्यों पर, जहाँ प्रयास लंबे होते हैं और सफलताएँ दुर्लभ।

इस विरलता से निपटने का एक लोकप्रिय तरीका On-Policy Distillation (OPD) है, जो छात्र के अपने प्रयासों को टोकन-दर-टोकन मार्गदर्शन देने के लिए एक अधिक सक्षम शिक्षक मॉडल का उपयोग करता है, जिससे कहीं अधिक सघन रिवॉर्ड मिलते हैं। हालाँकि, पढ़ाना अपने आप में एक कौशल है। जो मॉडल किसी कार्य को हल करने में अच्छा है, ज़रूरी नहीं कि वह उसे सिखाने में भी अच्छा हो, क्योंकि उसका फ़ीडबैक छात्र की मौजूदा क्षमताओं से परे हो सकता है। इसी से यह प्रेरणा मिलती है कि केवल छात्र को शिक्षक की नकल करने के लिए ही नहीं, बल्कि शिक्षक को भी छात्र के अनुरूप बेहतर मार्गदर्शन देने के लिए ट्रेन किया जाए।

हम ऐसी ही एक विधि प्रस्तावित करते हैं: Joint On-policy Learning and Teaching (JOLT)। On-Policy Self-Distillation (OPSD) को आधार बनाते हुए, हम एक ही मॉडल को दो भूमिकाओं में इस्तेमाल करते हैं: एक शिक्षक, जिसके पास सत्यापित समाधान जैसी विशेषाधिकार प्राप्त जानकारी तक पहुँच होती है, और एक छात्र, जिसके पास ऐसी पहुँच नहीं होती। हम दोनों भूमिकाओं को संयुक्त रूप से ट्रेन करते हैं। छात्र मानक डिस्टिलेशन ऑब्जेक्टिव का पालन करता है। शिक्षक का ऑब्जेक्टिव उसके फ़ीडबैक को इस तरह प्रेरित करता है कि वह छात्र को उसी दिशा में आगे बढ़ाए, जिस दिशा में छात्र के अपने रिवॉर्ड पर RL उसे ले जाता। ये ऑब्जेक्टिव मिलकर शिक्षक को छात्र के मौजूदा स्तर पर आकर सिखाने के लिए ट्रेन करते हैं, और छात्र को उसकी पहुँच के भीतर के मार्गदर्शन से सीखने में मदद करते हैं।

हमारे प्रयोग गणितीय रीज़निंग, कोडिंग और एजेंटिक कार्यों की एक विस्तृत श्रृंखला में मॉडल के प्रदर्शन और ट्रेनिंग दक्षता, दोनों में सुधार दर्शाते हैं।

विरल रिवॉर्ड से सघन फ़ीडबैक तक

अपने सबसे बुनियादी रूप में, परिणाम-रिवॉर्ड RL अपेक्षित रिटर्न ऑब्जेक्टिव का उपयोग करता है:

JRL(θ)=Eτ∼πθ[R(τ)]\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

यहाँ, τ\tau एक ट्रैजेक्टरी है जो पॉलिसी πθ\pi_\theta का पालन करती है, और R(τ)R(\tau) उस ट्रैजेक्टरी का रिटर्न है। संगत पॉलिसी ग्रेडिएंट है:

gRL(θ)=∇θJRL(θ)=Eτ∼πθ[∑tR(τ) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

जहाँ sts_t और ata_t क्रमशः टाइमस्टेप tt पर स्टेट और एक्शन को दर्शाते हैं। सैंपल-आधारित अनुमानों का वेरिएंस कम करने के लिए, ग्रेडिएंट को अक्सर इस रूप में व्यक्त किया जाता है:

gRL(θ)=Eτ∼πθ[∑tAπθ(st,at) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

जहाँ एडवांटेज Aπθ(st,at)A^{\pi_\theta}(s_t, a_t) एक्शन ata_t के अपेक्षित अतिरिक्त रिटर्न को स्टेट sts_t पर मौजूदा पॉलिसी के सापेक्ष मापता है। एक तरीका, Group Relative Policy Optimization (GRPO), हर ट्रैजेक्टरी के रिटर्न की तुलना उसी प्रॉम्प्ट के लिए सैंपल किए गए समूह के औसत रिटर्न से करके एडवांटेज का अनुमान लगाता है।

हालाँकि, इन समायोजनों के बावजूद, परिणाम-रिवॉर्ड रीइन्फ़ोर्समेंट लर्निंग में विरल सुपरविज़न की समस्या बनी रहती है, खासकर कठिन, लंबी अवधि वाले कार्यों पर। शोध कार्यों का एक बढ़ता हुआ समूह अधिक सघन लर्निंग सिग्नल देने के लिए जानकारी के अतिरिक्त स्रोतों का सहारा लेकर इस समस्या का समाधान करता है।

On-Policy Distillation (OPD) ऐसा ही एक तरीका है। केवल अंतिम रिवॉर्ड से सीखने के बजाय, OPD छात्र से ट्रैजेक्टरी सैंपल करता है और हर सैंपल किए गए एक्शन का मूल्यांकन एक अधिक सक्षम शिक्षक के तहत करता है। शिक्षक पॉलिसी πT\pi_T और ट्रैजेक्टरी जनरेट करने के लिए उपयोग किए गए छात्र पैरामीटर के एक स्थिर स्नैपशॉट θˉ\bar{\theta} के लिए, θ=θˉ\theta = \bar{\theta} पर मूल्यांकित लोकल ग्रेडिएंट है:

gOPD(θˉ;πT)=∇θJOPD(θ;θˉ,πT)∣θ=θˉ=−∇θEτ∼πθˉ ⁣[∑tKL ⁣(πθ(⋅∣st) ∥ πT(⋅∣st))]∣θ=θˉ=Eτ∼πθˉ[∑t(log⁡πT(at∣st)−log⁡πθˉ(at∣st)) ∇θˉlog⁡πθˉ(at∣st)]\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

यहाँ, JOPD(θ;θˉ,πT)\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T) नेगेटिव रिवर्स-KL डिस्टिलेशन ऑब्जेक्टिव है। डिफ़रेंशिएशन के दौरान शिक्षक पॉलिसी और सैंपल किए गए प्रीफ़िक्स स्थिर रखे जाते हैं। शिक्षक-छात्र लॉग-प्रोबेबिलिटी अनुपात हर विज़िट की गई स्टेट पर एक सघन लर्निंग सिग्नल देता है, जो एक्शन-स्तरीय वेट के रूप में एडवांटेज की जगह लेता है।

On-Policy Self-Distillation (OPSD) अलग शिक्षक मॉडल की ज़रूरत को भी खत्म कर देता है। विशेषाधिकार प्राप्त जानकारी, जैसे सत्यापित समाधान, फ़ीडबैक या रेफ़रेंस ट्रेस, मिलने पर छात्र पॉलिसी स्वयं अपने शिक्षक का काम करती है। हालाँकि, OPSD केवल छात्र को शिक्षक की नकल करने के लिए ट्रेन करता है; यह सुनिश्चित करने का कोई तंत्र नहीं है कि शिक्षक छात्र को उपयोगी सिग्नल दे।

संयुक्त ऑन-पॉलिसी सीखना और सिखाना

JOLT, OPSD का विस्तार करता है: यह एक साझा मॉडल को शिक्षक के रूप में भी ट्रेन करता है, जो छात्र के अनुरूप बेहतर मार्गदर्शन देता है, और छात्र के रूप में भी, जो उस मार्गदर्शन से सीखता है। बेहतर जानकारी वाला शिक्षक छात्र की ओर KL रेगुलराइज़ेशन के साथ परिणाम रिवॉर्ड से सीखता है, जबकि विशेषाधिकार-रहित छात्र शिक्षक के सघन डिस्टिलेशन सिग्नल से सीखता है। शिक्षक अपडेट में शिक्षक द्वारा जनरेट किए गए प्रयासों का उपयोग होता है, जबकि छात्र अपडेट में छात्र द्वारा जनरेट किए गए उन प्रयासों का उपयोग होता है जिन्हें शिक्षक ने स्कोर किया है। JOLT+ छात्र के डिस्टिलेशन सिग्नल में परिणाम रिवॉर्ड भी जोड़ता है।

एक ही पॉलिसी शिक्षक और छात्र, दोनों के रूप में सीखती है।

शिक्षक को ट्रेन करना

तय करें कि शिक्षक को क्या करना चाहिए

शिक्षक के बेहतर प्रदर्शन का मतलब यह ज़रूरी नहीं कि छात्र को उपयोगी अपडेट मिलें। शिक्षक विशेषाधिकार प्राप्त जानकारी का उपयोग ऐसे शॉर्टकट अपनाने के लिए कर सकता है जो छात्र के लिए उपलब्ध नहीं हैं, उन ट्रैजेक्टरी को उच्च प्रोबेबिलिटी दे सकता है जिनकी छात्र के तहत संभावना कम है, या छात्र द्वारा जनरेट किए गए प्रीफ़िक्स में त्रुटियों के बाद अविश्वसनीय मार्गदर्शन दे सकता है। इसलिए, शिक्षक की गुणवत्ता का निर्धारण शिक्षक के अपने टास्क रिवॉर्ड से नहीं, बल्कि छात्र को दिए गए लर्निंग सिग्नल से होना चाहिए।

हम किसी शिक्षक को रिवॉर्ड-सुसंगत तब कहते हैं, जब छात्र में उसके द्वारा उत्पन्न डिस्टिलेशन अपडेट, धनात्मक स्केलिंग तक, छात्र के अपेक्षित टास्क रिवॉर्ड के पॉलिसी ग्रेडिएंट से मेल खाता हो। विशेष रूप से, एक रिवॉर्ड-सुसंगत शिक्षक πT⋆\pi_T^\star को यह शर्त पूरी करनी चाहिए:

gOPD(θˉ;πT⋆)=1βT gRL(θˉ)g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

जहाँ βT\beta_T एक धनात्मक स्केलर है। पिछले सेक्शन की तरह, gOPDg_{\mathrm{OPD}} OPD लोकल ग्रेडिएंट है, θˉ\bar\theta छात्र मॉडल पैरामीटर θ\theta का एक स्थिर स्नैपशॉट है, और gRLg_{\mathrm{RL}} अपेक्षित रिटर्न ऑब्जेक्टिव का पॉलिसी ग्रेडिएंट है।

इस शर्त को पूरा करने वाला एक शिक्षक है:

πT⋆(a∣s,c)=1Z(s) πθˉ(a∣s)exp⁡ ⁣(1βTAπθˉ(s,a))\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

यहाँ, Aπθˉ(s,a)A^{\pi_{\bar{\theta}}}(s, a) छात्र के कंटिन्यूएशन एडवांटेज को दर्शाते हैं और Z(s)Z(s) एक नॉर्मलाइज़िंग स्थिरांक है, जो यह सुनिश्चित करता है कि प्रोबेबिलिटी डिस्ट्रिब्यूशन सही हो।

आदर्श लक्ष्य से शिक्षक ऑब्जेक्टिव तक

हम किसी शिक्षक को आदर्श लक्ष्य πT⋆\pi_T^\star से उसका KL डाइवर्जेंस न्यूनतम करके उस लक्ष्य की ओर ट्रेन कर सकते हैं। एक स्थिर छात्र और स्टेट ss के लिए, इससे मिलता है:

min⁡πT KL ⁣(πT(⋅∣s,c) ∥ πT⋆(⋅∣s,c))\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

πT⋆\pi_T^\star का व्यंजक प्रतिस्थापित करने पर एक समतुल्य अधिकतमीकरण समस्या मिलती है:

max⁡πT{Ea∼πT(⋅∣s,c) ⁣[Aπθˉ(s,a)]−βT KL ⁣(πT(⋅∣s,c) ∥ πθˉ(⋅∣s))}\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

यह ऑब्जेक्टिव शिक्षक को छात्र के एक्शन डिस्ट्रिब्यूशन के करीब रहते हुए अधिक छात्र एडवांटेज वाले एक्शन चुनने के लिए प्रोत्साहित करता है। पैरामीटर βT\beta_T इस पेनल्टी की ताकत को नियंत्रित करता है: बड़े मान शिक्षक को छात्र के मौजूदा व्यवहार के करीब रखते हैं, जबकि छोटे मान उसे अधिक एडवांटेज वाले एक्शन को ज़्यादा आक्रामकता से प्राथमिकता देने देते हैं।

एक व्यावहारिक सरोगेट ऑब्जेक्टिव

यह ऑब्जेक्टिव इस बात पर निर्भर करता है कि हर एक्शन के बाद छात्र कितनी अच्छी तरह आगे बढ़ेगा, लेकिन छात्र के ये कंटिन्यूएशन एडवांटेज आम तौर पर उपलब्ध नहीं होते। इसलिए हम व्यावहारिक सरोगेट के रूप में शिक्षक की अपनी ट्रैजेक्टरी से सेंटर्ड रिटर्न का उपयोग करते हैं। रिवॉर्ड टर्म शिक्षक को कार्य हल करने के लिए प्रोत्साहित करता है, जबकि KL टर्म छात्र के मौजूदा एक्शन डिस्ट्रिब्यूशन से विचलन को हतोत्साहित करता है। हालाँकि KL टर्म शिक्षक को छात्र के करीब रखता है, फिर भी यह प्रतिस्थापन सटीक नहीं है, क्योंकि ज़रूरी नहीं कि शिक्षक के रिटर्न छात्र के कंटिन्यूएशन एडवांटेज से मेल खाएँ।

JT(θ;θˉ)=Eτ∼πθˉ(⋅∣c)[ ∑t(sg⁡[A^T(τ)]log⁡πθ(at∣st,c)−βT KL(πθ(⋅∣st,c) ∥ sg⁡[πθˉ(⋅∣st)]))]\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

यहाँ, A^T(τ)\widehat{A}_T(\tau) शिक्षक के प्रयास का रिटर्न है, जिसमें से उसके समूह में शिक्षक द्वारा जनरेट किए गए प्रयासों का औसत रिटर्न घटाया गया है। ऑपरेटर sg⁡\operatorname{sg} स्टॉप-ग्रेडिएंट को दर्शाता है: डिफ़रेंशिएशन के दौरान इसके आर्गुमेंट को स्थिर माना जाता है, ठीक वैसे ही जैसे सैंपल किए गए प्रीफ़िक्स और छात्र रेफ़रेंस को।

छात्र को ट्रेन करना

छात्र अपडेट एक मानक OPSD अपडेट है। छात्र कार्य से ट्रैजेक्टरी जनरेट करता है। फिर वही मॉडल कॉन्टेक्स्ट में विशेषाधिकार प्राप्त जानकारी के साथ हर सैंपल किए गए टोकन को स्कोर करता है। छात्र ऑब्जेक्टिव, छात्र द्वारा विज़िट की गई हर स्टेट पर छात्र और इस विशेषाधिकार प्राप्त शिक्षक के बीच रिवर्स KL डाइवर्जेंस पर पेनल्टी लगाता है:

JOPSD(θ;θˉ)=− Eτ∼πθˉ[∑tKL(πθ(⋅∣st) ∥ sg⁡[πθˉ(⋅∣st,c)])]\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

इसलिए, जिन टोकन को शिक्षक प्राथमिकता देता है, वे सुदृढ़ होते हैं, जबकि जिन टोकन को शिक्षक छात्र की तुलना में कम संभावित मानता है, वे दबा दिए जाते हैं।

सबको एक साथ जोड़ना

शिक्षक और छात्र के ऑब्जेक्टिव को मिलाने पर संयुक्त ट्रेनिंग ऑब्जेक्टिव मिलता है:

JJOLT(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

βS\beta_S एक स्केलर है, जो तय करता है कि संयुक्त अपडेट में छात्र डिस्टिलेशन लॉस का कितना महत्व हो।

रिवॉर्ड-सुसंगतता का परिणाम किसी दिए गए शिक्षक के लिए छात्र के डिस्टिलेशन अपडेट का स्वरूप स्पष्ट करता है। JOLT इस सिद्धांत का उपयोग संयुक्त ट्रेनिंग को दिशा देने के लिए करता है, जिसमें शिक्षक और छात्र के ऑब्जेक्टिव को मिलाकर उनके साझा पैरामीटर अपडेट किए जाते हैं।

JOLT+ छात्र के अपने परिणाम रिवॉर्ड को भी उसके अपडेट में जोड़ता है। हर छात्र ट्रैजेक्टरी का सेंटर्ड रिटर्न डिस्टिलेशन सिग्नल में जोड़ा जाता है, जिससे सघन शिक्षक सुपरविज़न और छात्र ट्रैजेक्टरी पर प्रत्यक्ष परिणाम फ़ीडबैक, दोनों एक साथ मिलते हैं। शिक्षक ऑब्जेक्टिव अपरिवर्तित रहता है, इसलिए हम लिख सकते हैं:

JJOLT+(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)+Eτ∼πθˉ ⁣[∑tsg⁡[A^S(τ)] log⁡πθ(at∣st)]\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

यहाँ, A^S(τ)\widehat{A}_S(\tau) छात्र ट्रैजेक्टरी का रिटर्न है, जिसमें से छात्र द्वारा जनरेट की गई ट्रैजेक्टरी के उसके समूह का औसत रिटर्न घटाया गया है।

दोनों वैरिएंट में, हर भूमिका अपने कॉन्टेक्स्ट के तहत जनरेट की गई ट्रैजेक्टरी से सीखती है, और दोनों भूमिकाएँ साझा पॉलिसी को अपडेट करती हैं। एक ट्रेनिंग स्टेप का स्यूडोकोड नीचे दिखाया गया है।

JOLT के एक ट्रेनिंग स्टेप का स्यूडोकोड।

प्रयोग

हम JOLT और JOLT+ का मूल्यांकन गणितीय रीज़निंग, कोड जनरेशन, टूल उपयोग और लंबी अवधि वाले टर्मिनल कार्यों से जुड़े बेंचमार्क पर करते हैं, जिनमें अलग-अलग बेस मॉडल और विशेषाधिकार प्राप्त जानकारी के अलग-अलग रूपों का उपयोग किया गया है। विशेष रूप से, हम निम्नलिखित बेंचमार्क, बेस मॉडल और विशेषाधिकार प्राप्त जानकारी कॉन्फ़िगरेशन के साथ प्रयोग करते हैं:

  • GSM8K: हम DeepSeek-V2-Lite को GSM8K पर ट्रेन करते हैं, जो प्राथमिक स्कूल स्तर की गणित समस्याओं का एक डेटासेट है। शिक्षक को हर समस्या का सत्यापित उत्तर मिलता है।
  • MATH: हम Qwen3-0.6B को MATH पर ट्रेन करते हैं। शिक्षक को चरण-दर-चरण हल किए गए रेफ़रेंस समाधान मिलते हैं।
  • LCBv6: हम Qwen3-8B को LiveCodeBench-V6 की 131 कोडिंग समस्याओं पर ट्रेन करते हैं। शिक्षक को मॉडल द्वारा जनरेट किया गया ऐसा समाधान मिलता है जिसने ट्रेनिंग में दिखने वाले सभी टेस्ट पास किए हों, या अगर कोई भी प्रयास उन्हें पास नहीं कर पाया, तो एक्ज़िक्यूशन फ़ीडबैक मिलता है।
  • AppWorld: हम Qwen3-4B-Instruct को AppWorld पर ट्रेन करते हैं। शिक्षक को पिछले प्रयासों के सारांश मिलते हैं।
  • Terminal-Bench: हम Qwen3-30B-A3B-Instruct को TMax पर ट्रेन करते हैं, जो टर्मिनल एजेंट के लिए ट्रेनिंग कार्यों का एक सेट है, और Terminal-Bench 2.1 पर मूल्यांकन करते हैं। शिक्षक को निजी वेरिफ़ायर जानकारी मिलती है।

हम GRPO, OPSD और π-Distill से तुलना करते हैं, और हर विधि के लिए हाइपरपैरामीटर ट्यून करते हैं। JOLT की तरह, π-Distill भी एक साझा मॉडल के भीतर विशेषाधिकार प्राप्त शिक्षक और छात्र भूमिकाओं को संयुक्त रूप से ट्रेन करता है; हालाँकि, यह एक अलग शिक्षक लक्ष्य का उपयोग करता है और इसका छात्र अपडेट ऑफ़-पॉलिसी रहता है, जो छात्र के अपने जनरेशन के बजाय शिक्षक द्वारा जनरेट की गई ट्रैजेक्टरी पर निर्भर करता है।

सटीकता

हमारे द्वारा मूल्यांकित हर सेटिंग में JOLT+ का औसत स्कोर सबसे अधिक है। परीक्षण किए गए सबसे मज़बूत बेसलाइन GRPO की तुलना में, यह GSM8K सटीकता में 1.5 प्रतिशत अंक (pp), MATH सटीकता में 4.2pp, LCBv6 सटीकता में 3.0pp, और AppWorld स्टेट-टेस्ट पास दर में 9.9pp का सुधार करता है।

चारों बेंचमार्क पर JOLT+ का औसत स्कोर सबसे अधिक है।

किसी भी प्रत्यक्ष छात्र रिवॉर्ड के बिना, GSM8K, MATH और LCBv6 पर JOLT की औसत सटीकता GRPO से अधिक है। हालाँकि, AppWorld पर यह GRPO और π-Distill, दोनों से नीचे रहता है।

Terminal-Bench 2.1 सबसे लंबी अवधि वाली सेटिंग है। रिपोर्ट किए गए हर k पर JOLT+ का pass@k सबसे अधिक है, pass@1 पर 10.96% से लेकर pass@32 पर 34.83% तक। JOLT हर k पर बेस मॉडल और दोनों डिस्टिलेशन बेसलाइन से बेहतर प्रदर्शन करता है, लेकिन GRPO से नीचे रहता है। OPSD का स्कोर हर k पर बेस मॉडल से कम है।

हर प्रयास बजट पर Terminal-Bench में JOLT+ सबसे आगे है।

टोकन दक्षता और स्केलिंग

हम यह भी जानना चाहते हैं कि ट्रेनिंग बजट के साथ प्रदर्शन कैसे स्केल होता है। हम MATH पर अलग-अलग ट्रेनिंग टोकन बजट में GRPO, OPSD और JOLT का मूल्यांकन करते हैं और उनसे प्राप्त छात्र सटीकता की तुलना करते हैं।

चित्र दिखाता है कि हर विधि के लिए ट्रेनिंग टोकन खर्च के साथ सटीकता कैसे स्केल होती है। हम लागत को प्रोसेस किए गए ट्रेनिंग टोकन में मापते हैं। इसमें हर बिना पैडिंग वाला प्रॉम्प्ट, विशेषाधिकार प्राप्त कॉन्टेक्स्ट, ऑप्टिमाइज़ेशन पास, और शिक्षक व छात्र के बीच क्रॉस-स्कोरिंग शामिल है।

GRPO की सटीकता तक पहुँचने के लिए JOLT को कम टोकन चाहिए।

बिंदु अलग-अलग चेकपॉइंट पर प्रोसेस किए गए ट्रेनिंग टोकन की संख्या और सटीकता दिखाते हैं; व्हिस्कर अलग-अलग रन में ±1 मानक विचलन दर्शाते हैं। RL कंप्यूट की स्केलिंग पर पिछले शोध का अनुसरण करते हुए, हम सटीकता और लॉग ट्रेनिंग टोकन बजट के बीच एक सिग्मॉइडल संबंध फ़िट करते हैं।

JOLT शुरुआती चरण में ही सैंपल दक्षता दिखाता है और साथ ही तीनों विधियों में सबसे अधिक सटीकता हासिल करता है, जो लगभग 72% पर स्थिर हो जाती है। OPSD छोटे बजट पर तेज़ी से सुधरता है, लेकिन लगभग 62% सटीकता पर ठहर जाता है। GRPO शुरुआत में धीरे सीखता है, लेकिन लंबे समय तक सुधरता रहता है और लगभग 70% तक पहुँचता है। 63.44% की समान सटीकता पर, GRPO का देखा गया चेकपॉइंट 8.40 मिलियन टोकन का उपयोग करता है, जबकि JOLT का फ़िट किया गया कर्व 1.30 मिलियन देता है, यानी 6.5× कम टोकन।

हम कंप्लीशन टोकन के आधार पर भी लागत मापते हैं, जिनमें GRPO और OPSD के लिए छात्र कंप्लीशन, और JOLT के लिए शिक्षक व छात्र दोनों के कंप्लीशन गिने जाते हैं, लेकिन प्रॉम्प्ट, विशेषाधिकार प्राप्त कॉन्टेक्स्ट और अतिरिक्त ऑप्टिमाइज़ेशन पास शामिल नहीं किए जाते। प्रोसेस किए गए ट्रेनिंग टोकन के बजाय कंप्लीशन टोकन के आधार पर तुलना करने पर, समान सटीकता स्तर पर दक्षता का अंतर बढ़कर लगभग 13× हो जाता है। लक्ष्य सटीकताओं की एक रेंज में, JOLT 9.5–14.4× कम कंप्लीशन टोकन और 4.3–7.4× कम प्रोसेस किए गए ट्रेनिंग टोकन का उपयोग करता है।

55% से 65% सटीकता तक JOLT की टोकन बढ़त बनी रहती है।

निष्कर्ष

विशेषाधिकार प्राप्त जानकारी किसी शिक्षक को कार्य हल करने में तो बेहतर बना सकती है, लेकिन ज़रूरी नहीं कि वह उसे छात्र को वही कार्य उस जानकारी के बिना हल करना सिखाने में भी बेहतर बनाए। JOLT शिक्षक को छात्र के मौजूदा व्यवहार के सापेक्ष ट्रेन करके इस अंतर का समाधान करता है।

यह संयुक्त ट्रेनिंग सटीकता और दक्षता, दोनों में सुधार करती है। छात्र परिणाम रिवॉर्ड के साथ, JOLT+ GRPO की तुलना में GSM8K पर 1.5pp, MATH पर 4.2pp, LCBv6 पर 3.0pp, AppWorld पर 9.9pp और Terminal-Bench 2.1 pass@1 पर 2.7pp की निरपेक्ष बढ़त हासिल करता है। MATH पर, समान सटीकता पर JOLT, GRPO की तुलना में 13× कम कंप्लीशन टोकन और 6.5× कम प्रोसेस किए गए ट्रेनिंग टोकन का उपयोग करता है, वह भी बिना किसी प्रत्यक्ष छात्र रिवॉर्ड के।

JOLT शिक्षक के मार्गदर्शन को छात्र के साथ-साथ विकसित होने देता है। इससे यह जानने की प्रेरणा मिलती है कि क्या शिक्षक उपयोगी ट्रेनिंग कार्य जनरेट करना भी सीख सकता है। भविष्य के काम के लिए एक दिलचस्प दिशा यह है कि कार्य जनरेट करने वाले शिक्षक और समस्या हल करने वाले छात्र को संयुक्त रूप से ट्रेन किया जाए, और छात्र की सीखने की प्रगति का उपयोग करके एक पाठ्यक्रम में जनरेट किए गए कार्यों को बेहतर बनाया जाए। इससे सिंथेटिक कार्य जनरेशन इस बात के अनुरूप ढल सकता है कि छात्र आगे क्या सीखने के लिए तैयार है।

अधिक जानकारी के लिए हमारा पूरा शोध पत्र पढ़ें। हम जल्द ही कोड को ओपन-सोर्स करेंगे।

उद्धरण

BibTeX
@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}