நல்ல ஆசிரியர் மாணவர் இருக்கும் நிலையிலேயே அவரைச் சந்திக்கிறார்

சிக்கலான பகுத்தறிதல் மற்றும் ஏஜென்ட் பணிகளில் மாதிரி செயல்திறனையும் பயிற்சி வினைத்திறனையும் மேம்படுத்த, ஆசிரியரையும் மாணவரையும் கூட்டாகப் பயிற்றுவிக்கும் புதிய சுய-வடித்தல் முறை.

ஆசிரியர்கள்Perplexity Research & NVIDIA

அறிமுகம்

சிக்கலான பகுத்தறிதல் மற்றும் நீண்ட-வரம்பு ஏஜென்ட் பணிகளில் மொழி மாதிரிகளின் ஆற்றல்களை மேம்படுத்த, அவற்றின் பிந்தைய பயிற்சியில் வலுவூட்டல் கற்றல் (Reinforcement Learning, RL) பரவலாகப் பயன்படுத்தப்படுகிறது.

ஒரு வழக்கமான அமைப்பில், மாதிரி ஒரு பணியைப் பலமுறை முயல்கிறது, ஒவ்வொரு முயற்சிக்கும் ஒரு விளைவு வெகுமதியைப் பெறுகிறது, அதிக வெகுமதி பெற்ற முயற்சிகளில் எடுக்கப்பட்ட செயல்களுக்கு முன்னுரிமை அளிக்கக் கற்றுக்கொள்கிறது. இருப்பினும், ஒற்றை விளைவு வெகுமதி ஒரு செறிவற்ற (sparse) கற்றல் சமிக்ஞையையே வழங்குகிறது; எந்த இடைநிலைச் செயல்கள் விளைவுக்கு உதவின அல்லது பாதித்தன என்பதை அது வேறுபடுத்துவதில்லை. இந்தச் செறிவின்மை சாம்பிள் வினைத்திறனைக் கட்டுப்படுத்துகிறது, குறிப்பாக முயற்சிகள் நீளமாகவும் வெற்றிகள் அரிதாகவும் இருக்கும் கடினமான ஏஜென்ட் பணிகளில்.

இந்தச் செறிவின்மையைச் சமாளிக்கும் ஒரு பிரபலமான அணுகுமுறை ஆன்-பாலிசி வடித்தல் (On-Policy Distillation, OPD) ஆகும். இது வலிமையான ஓர் ஆசிரியர் மாதிரியைப் பயன்படுத்தி, மாணவரின் சொந்த முயற்சிகளுக்கு டோக்கன் வாரியான வழிகாட்டுதலை வழங்கி, மிகவும் செறிவான வெகுமதிகளைத் தருகிறது. இருப்பினும், கற்பித்தல் என்பதே ஒரு தனித் திறமை. ஒரு பணியைத் தீர்ப்பதில் சிறந்த மாதிரி, அதைக் கற்பிப்பதிலும் சிறந்ததாக இருக்க வேண்டிய அவசியமில்லை; ஏனெனில் அதன் பின்னூட்டம் மாணவரின் தற்போதைய ஆற்றல்களுக்கு அப்பாற்பட்டதாக இருக்கலாம். எனவே, மாணவரை ஆசிரியரைப் பின்பற்றப் பயிற்றுவிப்பது மட்டுமல்லாமல், மாணவருக்கு மேலும் பொருத்தமான வழிகாட்டுதலை வழங்க ஆசிரியரையும் பயிற்றுவிக்க வேண்டிய தேவை எழுகிறது.

அத்தகைய ஒரு முறையை நாங்கள் முன்மொழிகிறோம்: Joint On-policy Learning and Teaching (JOLT — கூட்டு ஆன்-பாலிசி கற்றல் மற்றும் கற்பித்தல்). ஆன்-பாலிசி சுய-வடித்தலை (On-Policy Self-Distillation, OPSD) அடிப்படையாகக் கொண்டு, ஒரே மாதிரியை இரண்டு பாத்திரங்களில் பயன்படுத்துகிறோம்: சரிபார்க்கப்பட்ட தீர்வுகள் போன்ற சிறப்புரிமைத் தகவலை அணுகக்கூடிய ஆசிரியர், அத்தகைய அணுகல் இல்லாத மாணவர். இந்த இரு பாத்திரங்களையும் கூட்டாகப் பயிற்றுவிக்கிறோம். மாணவர் நிலையான வடித்தல் நோக்கச் சார்பைப் பின்பற்றுகிறார். மாணவரின் சொந்த வெகுமதியின் மீதான RL நகர்த்தும் அதே திசையில் மாணவரை நகர்த்தும்படி, ஆசிரியரின் நோக்கச் சார்பு அதன் பின்னூட்டத்தை வழிநடத்துகிறது. இந்த நோக்கச் சார்புகள் இணைந்து, மாணவர் இருக்கும் நிலையிலேயே அவரைச் சந்திக்க ஆசிரியரைப் பயிற்றுவிக்கின்றன; மாணவர் தனக்கு எட்டக்கூடிய வழிகாட்டுதலிலிருந்து கற்க உதவுகின்றன.

பல்வேறு கணிதப் பகுத்தறிதல், நிரலாக்கம் மற்றும் ஏஜென்ட் பணிகளில், மாதிரி செயல்திறன் மற்றும் பயிற்சி வினைத்திறன் இரண்டிலும் மேம்பாடுகளை எங்கள் சோதனைகள் காட்டுகின்றன.

செறிவற்ற வெகுமதிகளிலிருந்து செறிவான பின்னூட்டத்திற்கு

அதன் அடிப்படை வடிவில், விளைவு-வெகுமதி RL எதிர்பார்க்கப்படும் வருவாய் (expected return) நோக்கச் சார்பைப் பயன்படுத்துகிறது:

JRL(θ)=Eτ∼πθ[R(τ)]\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

இங்கு, τ\tau என்பது πθ\pi_\theta என்ற கொள்கையைப் பின்பற்றும் ஒரு பாதை (trajectory); R(τ)R(\tau) என்பது அந்தப் பாதைக்கான வருவாய். அதற்கு ஒத்த கொள்கை கிரேடியன்ட்:

gRL(θ)=∇θJRL(θ)=Eτ∼πθ[∑tR(τ) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

இங்கு sts_t, ata_t ஆகியவை முறையே, நேரப்படி tt-இல் உள்ள நிலை மற்றும் செயலைக் குறிக்கின்றன. சாம்பிள் அடிப்படையிலான மதிப்பீடுகளின் மாறுபாட்டைக் (variance) குறைக்க, கிரேடியன்ட் பெரும்பாலும் இவ்வாறு வெளிப்படுத்தப்படுகிறது:

gRL(θ)=Eτ∼πθ[∑tAπθ(st,at) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

இங்கு அனுகூலம் (advantage) Aπθ(st,at)A^{\pi_\theta}(s_t, a_t), செயல் ata_t-இன் எதிர்பார்க்கப்படும் கூடுதல் வருவாயை, நிலை sts_t-இல் உள்ள தற்போதைய கொள்கையுடன் ஒப்பிட்டு அளவிடுகிறது. ஓர் அணுகுமுறையான Group Relative Policy Optimization (GRPO), ஒவ்வொரு பாதையின் வருவாயையும் அதே ப்ராம்ப்ட்டுக்காக சாம்பிள் செய்யப்பட்ட குழுவின் சராசரி வருவாயுடன் ஒப்பிடுவதன் மூலம் அனுகூலத்தை மதிப்பிடுகிறது.

இருப்பினும், இந்தச் சரிசெய்தல்களுக்குப் பிறகும், விளைவு-வெகுமதி வலுவூட்டல் கற்றல் செறிவற்ற மேற்பார்வையால் பாதிக்கப்படுகிறது, குறிப்பாகக் கடினமான, நீண்ட-வரம்பு பணிகளில். கூடுதல் தகவல் மூலங்களைப் பயன்படுத்தி மேலும் செறிவான கற்றல் சமிக்ஞையை வழங்குவதன் மூலம், வளர்ந்து வரும் ஆய்வுப் பணிகள் இதற்குத் தீர்வு காண்கின்றன.

ஆன்-பாலிசி வடித்தல் (On-Policy Distillation, OPD) அத்தகைய ஓர் அணுகுமுறை. இறுதி வெகுமதியிலிருந்து மட்டும் கற்பதற்குப் பதிலாக, OPD மாணவரிடமிருந்து பாதைகளை சாம்பிள் செய்து, சாம்பிள் செய்யப்பட்ட ஒவ்வொரு செயலையும் வலிமையான ஓர் ஆசிரியரின் கீழ் மதிப்பிடுகிறது. ஆசிரியர் கொள்கை πT\pi_T, பாதைகளை உருவாக்கப் பயன்படுத்தப்படும் மாணவர் அளவுருக்களின் நிலையான நகல் (snapshot) θˉ\bar{\theta} ஆகியவற்றுக்கு, θ=θˉ\theta = \bar{\theta}-இல் மதிப்பிடப்படும் உள்ளூர் கிரேடியன்ட்:

gOPD(θˉ;πT)=∇θJOPD(θ;θˉ,πT)∣θ=θˉ=−∇θEτ∼πθˉ ⁣[∑tKL ⁣(πθ(⋅∣st) ∥ πT(⋅∣st))]∣θ=θˉ=Eτ∼πθˉ[∑t(log⁡πT(at∣st)−log⁡πθˉ(at∣st)) ∇θˉlog⁡πθˉ(at∣st)]\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

இங்கு, JOPD(θ;θˉ,πT)\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T) என்பது எதிர்மறை reverse-KL வடித்தல் நோக்கச் சார்பு. வகையிடலின் (differentiation) போது ஆசிரியர் கொள்கையும் சாம்பிள் செய்யப்பட்ட முன்னொட்டுகளும் நிலையாக வைக்கப்படுகின்றன. ஆசிரியர்-மாணவர் log-நிகழ்தகவு விகிதம், பார்வையிடப்படும் ஒவ்வொரு நிலையிலும் செறிவான கற்றல் சமிக்ஞையை வழங்கி, செயல்-நிலை எடையாக அனுகூலத்தின் இடத்தைப் பிடிக்கிறது.

ஆன்-பாலிசி சுய-வடித்தல் (On-Policy Self-Distillation, OPSD) தனி ஆசிரியர் மாதிரியின் தேவையையும் நீக்குகிறது. சரிபார்க்கப்பட்ட தீர்வு, பின்னூட்டம் அல்லது குறிப்புத் தடம் (reference trace) போன்ற சிறப்புரிமைத் தகவல் வழங்கப்படும்போது, மாணவர் கொள்கையே தனக்குத்தானே ஆசிரியராகச் செயல்படுகிறது. இருப்பினும், OPSD மாணவரை ஆசிரியரைப் பின்பற்ற மட்டுமே பயிற்றுவிக்கிறது; ஆசிரியர் மாணவருக்குப் பயனுள்ள சமிக்ஞையை வழங்குவதை உறுதிசெய்ய எந்த வழிமுறையும் இல்லை.

கூட்டு ஆன்-பாலிசி கற்றல் மற்றும் கற்பித்தல்

மேலும் பொருத்தமான வழிகாட்டுதலை வழங்கும் ஆசிரியராகவும், அதிலிருந்து கற்கும் மாணவராகவும் ஒரு பகிரப்பட்ட மாதிரியைப் பயிற்றுவிப்பதன் மூலம் JOLT, OPSD-ஐ விரிவுபடுத்துகிறது. அதிகத் தகவல் பெற்ற ஆசிரியர், மாணவரை நோக்கிய KL முறைப்படுத்தலுடன் (regularization) விளைவு வெகுமதிகளிலிருந்து கற்கிறார்; சிறப்புரிமை இல்லாத மாணவர், ஆசிரியரின் செறிவான வடித்தல் சமிக்ஞையிலிருந்து கற்கிறார். ஆசிரியர் புதுப்பிப்பு ஆசிரியர் உருவாக்கிய முயற்சிகளைப் பயன்படுத்துகிறது; மாணவர் புதுப்பிப்பு, ஆசிரியரால் மதிப்பெண் வழங்கப்பட்ட, மாணவர் உருவாக்கிய முயற்சிகளைப் பயன்படுத்துகிறது. JOLT+ மாணவரின் வடித்தல் சமிக்ஞையை விளைவு வெகுமதிகளுடன் மேலும் வலுப்படுத்துகிறது.

ஒரே கொள்கை ஆசிரியராகவும் மாணவராகவும் கற்கிறது.

ஆசிரியரைப் பயிற்றுவித்தல்

ஆசிரியர் என்ன செய்ய வேண்டும் என்பதை வரையறுத்தல்

ஆசிரியரின் சிறந்த செயல்திறன், மாணவருக்குப் பயனுள்ள புதுப்பிப்புகளாக மாற வேண்டிய அவசியமில்லை. ஓர் ஆசிரியர் சிறப்புரிமைத் தகவலைப் பயன்படுத்தி மாணவருக்குக் கிடைக்காத குறுக்குவழிகளைப் பயன்படுத்திக்கொள்ளலாம், மாணவரின் கீழ் நிகழ வாய்ப்பில்லாத பாதைகளுக்கு அதிக நிகழ்தகவை ஒதுக்கலாம், அல்லது மாணவர் உருவாக்கிய முன்னொட்டுகளில் பிழைகள் ஏற்பட்ட பிறகு நம்பகமற்ற வழிகாட்டுதலை வழங்கலாம். எனவே, ஆசிரியரின் தரம் அதன் சொந்தப் பணி வெகுமதியால் அல்லாமல், மாணவருக்கு அது வழங்கும் கற்றல் சமிக்ஞையால் தீர்மானிக்கப்பட வேண்டும்.

ஓர் ஆசிரியர் மாணவரிடம் தூண்டும் வடித்தல் புதுப்பிப்பு, நேர்மறை அளவீட்டுக் காரணி வரை, மாணவரின் எதிர்பார்க்கப்படும் பணி வெகுமதியின் கொள்கை கிரேடியன்ட்டுடன் பொருந்தினால், அந்த ஆசிரியரை வெகுமதி-நிலைத்தன்மை கொண்டது (reward-consistent) என்கிறோம். குறிப்பாக, வெகுமதி-நிலைத்தன்மை கொண்ட ஆசிரியர் πT⋆\pi_T^\star பின்வருவதை நிறைவு செய்ய வேண்டும்:

gOPD(θˉ;πT⋆)=1βT gRL(θˉ)g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

இங்கு βT\beta_T ஒரு நேர்மறை அளவெண் (scalar). முந்தைய பகுதியில் உள்ளதுபோல, gOPDg_{\mathrm{OPD}} என்பது OPD உள்ளூர் கிரேடியன்ட், θˉ\bar\theta என்பது மாணவர் மாதிரி அளவுருக்கள் θ\theta-இன் நிலையான நகல், gRLg_{\mathrm{RL}} என்பது எதிர்பார்க்கப்படும் வருவாய் நோக்கச் சார்பின் கொள்கை கிரேடியன்ட்.

இந்த நிபந்தனையை நிறைவு செய்யும் ஓர் ஆசிரியர்:

πT⋆(a∣s,c)=1Z(s) πθˉ(a∣s)exp⁡ ⁣(1βTAπθˉ(s,a))\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

இங்கு, Aπθˉ(s,a)A^{\pi_{\bar{\theta}}}(s, a) மாணவர் தொடர்ச்சி அனுகூலங்களைக் குறிக்கிறது; Z(s)Z(s) என்பது முறையான நிகழ்தகவுப் பரவலை உறுதிசெய்வதற்கான இயல்பாக்க மாறிலி.

இலட்சிய இலக்கிலிருந்து ஆசிரியர் நோக்கச் சார்புக்கு

இலட்சிய இலக்கு πT⋆\pi_T^\star-க்கான KL விலகலைக் குறைப்பதன் மூலம், ஓர் ஆசிரியரை அதை நோக்கிப் பயிற்றுவிக்கலாம். நிலையான மாணவர் மற்றும் நிலை ss-க்கு, இது தருவது:

min⁡πT KL ⁣(πT(⋅∣s,c) ∥ πT⋆(⋅∣s,c))\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

πT⋆\pi_T^\star-க்கான கோவையைப் பதிலிட்டால், சமமான ஒரு பெருமமாக்கல் சிக்கல் கிடைக்கிறது:

max⁡πT{Ea∼πT(⋅∣s,c) ⁣[Aπθˉ(s,a)]−βT KL ⁣(πT(⋅∣s,c) ∥ πθˉ(⋅∣s))}\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

இந்த நோக்கச் சார்பு, மாணவரின் செயல் பரவலுக்கு அருகில் இருந்தபடியே, அதிக மாணவர் அனுகூலம் கொண்ட செயல்களைத் தேர்வுசெய்ய ஆசிரியரை ஊக்குவிக்கிறது. அளவுரு βT\beta_T இந்தத் தண்டனையின் வலிமையைக் கட்டுப்படுத்துகிறது: பெரிய மதிப்புகள் ஆசிரியரை மாணவரின் தற்போதைய நடத்தைக்கு அருகில் வைக்கின்றன; சிறிய மதிப்புகள், அதிக-அனுகூலச் செயல்களை மேலும் தீவிரமாக விரும்ப ஆசிரியரை அனுமதிக்கின்றன.

ஒரு நடைமுறை மாற்று (surrogate) நோக்கச் சார்பு

இந்த நோக்கச் சார்பு, ஒவ்வொரு செயலுக்குப் பிறகும் மாணவர் எவ்வளவு சிறப்பாகத் தொடர்வார் என்பதைப் பொறுத்தது; ஆனால் அந்த மாணவர் தொடர்ச்சி அனுகூலங்கள் பொதுவாகக் கிடைப்பதில்லை. எனவே, ஆசிரியரின் சொந்தப் பாதைகளிலிருந்து பெறப்பட்ட மையப்படுத்தப்பட்ட வருவாய்களை நடைமுறை மாற்றாகப் பயன்படுத்துகிறோம். வெகுமதிக் கூறு பணியைத் தீர்க்க ஆசிரியரை ஊக்குவிக்கிறது; KL கூறு மாணவரின் தற்போதைய செயல் பரவலிலிருந்து விலகுவதைத் தடுக்கிறது. KL கூறு ஆசிரியரை மாணவருக்கு அருகில் வைத்திருந்தாலும், இந்தப் பதிலீடு துல்லியமானதல்ல; ஏனெனில் ஆசிரியரின் வருவாய்கள் மாணவரின் தொடர்ச்சி அனுகூலங்களுடன் பொருந்த வேண்டியதில்லை.

JT(θ;θˉ)=Eτ∼πθˉ(⋅∣c)[ ∑t(sg⁡[A^T(τ)]log⁡πθ(at∣st,c)−βT KL(πθ(⋅∣st,c) ∥ sg⁡[πθˉ(⋅∣st)]))]\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

இங்கு, A^T(τ)\widehat{A}_T(\tau) என்பது ஆசிரியர் முயற்சியின் வருவாயிலிருந்து, அதன் குழுவில் உள்ள ஆசிரியர் உருவாக்கிய முயற்சிகளின் சராசரி வருவாயைக் கழித்த மதிப்பு. செயற்குறி sg⁡\operatorname{sg} stop-gradient-ஐக் குறிக்கிறது: சாம்பிள் செய்யப்பட்ட முன்னொட்டுகள் மற்றும் மாணவர் குறிப்பைப் போலவே, அதன் உள்ளீடும் வகையிடலின்போது நிலையானதாகக் கருதப்படுகிறது.

மாணவரைப் பயிற்றுவித்தல்

மாணவர் புதுப்பிப்பு ஒரு நிலையான OPSD புதுப்பிப்பு. மாணவர் பணியிலிருந்து பாதைகளை உருவாக்குகிறார். பின்னர் அதே மாதிரி, சூழலில் உள்ள சிறப்புரிமைத் தகவலுடன், சாம்பிள் செய்யப்பட்ட ஒவ்வொரு டோக்கனுக்கும் மதிப்பெண் வழங்குகிறது. மாணவர் பார்வையிடும் ஒவ்வொரு நிலையிலும், மாணவருக்கும் இந்தச் சிறப்புரிமை பெற்ற ஆசிரியருக்கும் இடையிலான reverse KL விலகலை மாணவர் நோக்கச் சார்பு தண்டிக்கிறது:

JOPSD(θ;θˉ)=− Eτ∼πθˉ[∑tKL(πθ(⋅∣st) ∥ sg⁡[πθˉ(⋅∣st,c)])]\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

எனவே, ஆசிரியர் விரும்பும் டோக்கன்கள் வலுப்படுத்தப்படுகின்றன; மாணவரை விட ஆசிரியர் குறைந்த நிகழ்தகவு கொண்டதாகக் கருதும் டோக்கன்கள் அடக்கப்படுகின்றன.

அனைத்தையும் ஒன்றிணைத்தல்

ஆசிரியர் மற்றும் மாணவர் நோக்கச் சார்புகளை இணைப்பதால் கூட்டுப் பயிற்சி நோக்கச் சார்பு கிடைக்கிறது:

JJOLT(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

βS\beta_S என்பது, ஒருங்கிணைந்த புதுப்பிப்பில் மாணவர் வடித்தல் இழப்பு எவ்வளவு கணக்கில் கொள்ளப்படுகிறது என்பதை அமைக்கும் ஓர் அளவெண்.

வெகுமதி-நிலைத்தன்மை முடிவு, கொடுக்கப்பட்ட ஓர் ஆசிரியருக்கான மாணவரின் வடித்தல் புதுப்பிப்பை வரையறுக்கிறது. JOLT இந்த நெறிமுறையைப் பயன்படுத்தி கூட்டுப் பயிற்சியை வழிநடத்துகிறது; ஆசிரியர் மற்றும் மாணவர் நோக்கச் சார்புகளை இணைத்து, அவற்றின் பகிரப்பட்ட அளவுருக்களைப் புதுப்பிக்கிறது.

JOLT+ மாணவரின் சொந்த விளைவு வெகுமதியையும் அதன் புதுப்பிப்பில் சேர்க்கிறது. ஒவ்வொரு மாணவர் பாதையின் மையப்படுத்தப்பட்ட வருவாய் வடித்தல் சமிக்ஞையுடன் சேர்க்கப்படுகிறது; இது செறிவான ஆசிரியர் மேற்பார்வையை, மாணவர் பாதைகள் மீதான நேரடி விளைவுப் பின்னூட்டத்துடன் இணைக்கிறது. ஆசிரியர் நோக்கச் சார்பு மாறாமல் இருப்பதால், இவ்வாறு எழுதலாம்:

JJOLT+(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)+Eτ∼πθˉ ⁣[∑tsg⁡[A^S(τ)] log⁡πθ(at∣st)]\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

இங்கு, A^S(τ)\widehat{A}_S(\tau) என்பது மாணவர் பாதையின் வருவாயிலிருந்து, மாணவர் உருவாக்கிய பாதைகளைக் கொண்ட அதன் குழுவின் சராசரி வருவாயைக் கழித்த மதிப்பு.

இரண்டு வகைகளிலும், ஒவ்வொரு பாத்திரமும் அதன் சொந்தச் சூழலின் கீழ் உருவாக்கப்பட்ட பாதைகளிலிருந்து கற்கிறது; இரு பாத்திரங்களும் பகிரப்பட்ட கொள்கையைப் புதுப்பிக்கின்றன. ஒரு பயிற்சிப் படிக்கான சூடோகோட் கீழே காட்டப்பட்டுள்ளது.

ஒரு JOLT பயிற்சிப் படிக்கான சூடோகோட்.

சோதனைகள்

வெவ்வேறு அடிப்படை மாதிரிகள் மற்றும் வெவ்வேறு வடிவிலான சிறப்புரிமைத் தகவல்களைப் பயன்படுத்தி, கணிதப் பகுத்தறிதல், குறியீடு உருவாக்கம், கருவிப் பயன்பாடு மற்றும் நீண்ட-வரம்பு டெர்மினல் பணிகளை உள்ளடக்கிய பெஞ்ச்மார்க்குகளில் JOLT, JOLT+ ஆகியவற்றை மதிப்பிடுகிறோம். குறிப்பாக, பின்வரும் பெஞ்ச்மார்க்குகள், அடிப்படை மாதிரிகள் மற்றும் சிறப்புரிமைத் தகவல் உள்ளமைவுகளைப் பயன்படுத்திச் சோதனைகளை நடத்துகிறோம்:

  • GSM8K: DeepSeek-V2-Lite-ஐ, பள்ளி நிலைக் கணிதச் சிக்கல்களின் தரவுத்தொகுப்பான GSM8K-இல் பயிற்றுவிக்கிறோம். ஆசிரியர் ஒவ்வொரு சிக்கலுக்குமான சரிபார்க்கப்பட்ட விடையைப் பெறுகிறார்.
  • MATH: Qwen3-0.6B-ஐ MATH-இல் பயிற்றுவிக்கிறோம். ஆசிரியர் படிப்படியான குறிப்புத் தீர்வுகளைப் பெறுகிறார்.
  • LCBv6: Qwen3-8B-ஐ LiveCodeBench-V6-இலிருந்து எடுக்கப்பட்ட 131 நிரலாக்கச் சிக்கல்களில் பயிற்றுவிக்கிறோம். பயிற்சியில் காணக்கூடிய அனைத்துச் சோதனைகளிலும் தேர்ச்சி பெற்ற, மாதிரியால் உருவாக்கப்பட்ட தீர்வை ஆசிரியர் பெறுகிறார்; எந்த முயற்சியும் அவற்றில் தேர்ச்சி பெறாதபோது, இயக்கப் பின்னூட்டத்தைப் பெறுகிறார்.
  • AppWorld: Qwen3-4B-Instruct-ஐ AppWorld-இல் பயிற்றுவிக்கிறோம். ஆசிரியர் முந்தைய முயற்சிகளின் சுருக்கங்களைப் பெறுகிறார்.
  • Terminal-Bench: Qwen3-30B-A3B-Instruct-ஐ டெர்மினல் ஏஜென்ட்களுக்கான பயிற்சிப் பணிகளின் தொகுப்பான TMax-இல் பயிற்றுவித்து, Terminal-Bench 2.1-இல் மதிப்பிடுகிறோம். ஆசிரியர் தனிப்பட்ட சரிபார்ப்பான் தகவலைப் பெறுகிறார்.

ஒவ்வொரு முறைக்கும் ஹைப்பர்பாராமீட்டர்களைச் சரிசெய்து, GRPO, OPSD மற்றும் π-Distill ஆகியவற்றுடன் ஒப்பிடுகிறோம். JOLT-ஐப் போலவே, π-Distill-உம் ஒரு பகிரப்பட்ட மாதிரிக்குள் சிறப்புரிமை பெற்ற ஆசிரியர் மற்றும் மாணவர் பாத்திரங்களைக் கூட்டாகப் பயிற்றுவிக்கிறது; ஆனால் அது வேறுபட்ட ஆசிரியர் இலக்கைப் பயன்படுத்துகிறது, மேலும் அதன் மாணவர் புதுப்பிப்பு ஆஃப்-பாலிசியாகவே உள்ளது — மாணவரின் சொந்த உருவாக்கங்களுக்குப் பதிலாக ஆசிரியர் உருவாக்கிய பாதைகளைச் சார்ந்துள்ளது.

துல்லியம்

நாங்கள் மதிப்பிடும் ஒவ்வொரு அமைப்பிலும் JOLT+ அதிகபட்ச சராசரி மதிப்பெண்ணைக் கொண்டுள்ளது. சோதிக்கப்பட்டவற்றில் வலிமையான அடிப்படை ஒப்பீட்டு முறையான GRPO-வுடன் ஒப்பிடுகையில், இது GSM8K துல்லியத்தை 1.5 சதவீதப் புள்ளிகள் (pp), MATH துல்லியத்தை 4.2pp, LCBv6 துல்லியத்தை 3.0pp, AppWorld நிலை-சோதனைத் தேர்ச்சி விகிதத்தை 9.9pp என மேம்படுத்துகிறது.

நான்கு பெஞ்ச்மார்க்குகளிலும் JOLT+ அதிகபட்ச சராசரி மதிப்பெண்ணைக் கொண்டுள்ளது.

நேரடி மாணவர் வெகுமதி எதுவும் இல்லாமலேயே, GSM8K, MATH, LCBv6 ஆகியவற்றில் JOLT-இன் சராசரித் துல்லியம் GRPO-வை விட அதிகமாக உள்ளது. இருப்பினும், AppWorld-இல் அது GRPO, π-Distill இரண்டையும் விடக் குறைவாகவே உள்ளது.

Terminal-Bench 2.1 மிக நீண்ட-வரம்பு அமைப்பாகும். அறிக்கையிடப்பட்ட ஒவ்வொரு k-யிலும் JOLT+ அதிகபட்ச pass@k-ஐக் கொண்டுள்ளது: pass@1-இல் 10.96% முதல் pass@32-இல் 34.83% வரை. ஒவ்வொரு k-யிலும் JOLT அடிப்படை மாதிரி மற்றும் இரண்டு வடித்தல் அடிப்படை ஒப்பீட்டு முறைகளையும் விடச் சிறப்பாகச் செயல்படுகிறது, ஆனால் GRPO-வை விடக் குறைவாகவே உள்ளது. ஒவ்வொரு k-யிலும் OPSD அடிப்படை மாதிரியை விடக் குறைவான மதிப்பெண் பெறுகிறது.

ஒவ்வொரு முயற்சி வரம்பிலும் Terminal-Bench-இல் JOLT+ முன்னிலை வகிக்கிறது.

டோக்கன் வினைத்திறனும் அளவிடுதலும்

பயிற்சி வரம்பு அதிகரிக்கும்போது செயல்திறன் எவ்வாறு மாறுகிறது என்பதையும் அறிய ஆர்வமாக உள்ளோம். MATH-இல் வெவ்வேறு பயிற்சி டோக்கன் வரம்புகளில் GRPO, OPSD, JOLT ஆகியவற்றை மதிப்பிட்டு, அதன் விளைவாகக் கிடைக்கும் மாணவர் துல்லியத்தை ஒப்பிடுகிறோம்.

ஒவ்வொரு முறைக்கும், பயிற்சி டோக்கன் செலவினத்துடன் துல்லியம் எவ்வாறு மாறுகிறது என்பதை வரைபடம் காட்டுகிறது. செலவைச் செயலாக்கப்பட்ட பயிற்சி டோக்கன்களில் அளவிடுகிறோம். இதில் padding இல்லாத ஒவ்வொரு ப்ராம்ப்ட், சிறப்புரிமைச் சூழல், உகப்பாக்கச் சுற்று மற்றும் ஆசிரியர்-மாணவர் இடையிலான குறுக்கு மதிப்பெண் வழங்கல் ஆகியவை அடங்கும்.

GRPO-வின் துல்லியத்தை அடைய JOLT-க்குக் குறைவான டோக்கன்களே தேவை.

புள்ளிகள் பல்வேறு செக்பாயின்ட்களில் செயலாக்கப்பட்ட பயிற்சி டோக்கன்களின் எண்ணிக்கையையும் துல்லியத்தையும் காட்டுகின்றன; விஸ்கர்கள் ஓட்டங்களுக்கு இடையிலான ±1 திட்ட விலக்கத்தைக் குறிக்கின்றன. RL கணக்கீட்டை அளவிடுதல் குறித்த முந்தைய ஆய்வைப் பின்பற்றி, துல்லியத்துக்கும் log பயிற்சி டோக்கன் வரம்புக்கும் இடையே ஒரு சிக்மாய்டு உறவைப் பொருத்துகிறோம்.

JOLT ஆரம்பத்திலேயே சாம்பிள் வினைத்திறனைக் காட்டுவதோடு, மூன்று முறைகளிலும் அதிகபட்சத் துல்லியத்தை அடைந்து, சுமார் 72%-இல் நிலைபெறுகிறது. OPSD சிறிய வரம்புகளில் விரைவாக மேம்படுகிறது, ஆனால் சுமார் 62% துல்லியத்தில் தேக்கமடைகிறது. GRPO தொடக்கத்தில் மெதுவாகக் கற்கிறது, ஆனால் நீண்ட காலம் தொடர்ந்து மேம்பட்டு, சுமார் 70%-ஐ எட்டுகிறது. 63.44% என்ற சம துல்லியத்தில், GRPO-வின் கவனிக்கப்பட்ட செக்பாயின்ட் 8.40 மில்லியன் டோக்கன்களைப் பயன்படுத்துகிறது; JOLT-இன் பொருத்தப்பட்ட வளைவு 1.30 மில்லியனைத் தருகிறது — இது 6.5× குறைவான டோக்கன்கள்.

நிறைவு டோக்கன்களைப் பயன்படுத்தியும் செலவை அளவிடுகிறோம்; இவை GRPO மற்றும் OPSD-க்கு மாணவர் நிறைவுகளையும், JOLT-க்கு ஆசிரியர், மாணவர் இருவரின் நிறைவுகளையும் கணக்கிடுகின்றன, ஆனால் ப்ராம்ப்ட்கள், சிறப்புரிமைச் சூழல், கூடுதல் உகப்பாக்கச் சுற்றுகள் ஆகியவற்றைத் தவிர்க்கின்றன. செயலாக்கப்பட்ட பயிற்சி டோக்கன்களுக்குப் பதிலாக நிறைவு டோக்கன்களின் அடிப்படையில் ஒப்பிடும்போது, அதே துல்லிய நிலையில் வினைத்திறன் இடைவெளி சுமார் 13×-ஆக அதிகரிக்கிறது. இலக்குத் துல்லியங்களின் ஒரு வரம்பில், JOLT 9.5–14.4× குறைவான நிறைவு டோக்கன்களையும் 4.3–7.4× குறைவான செயலாக்கப்பட்ட பயிற்சி டோக்கன்களையும் பயன்படுத்துகிறது.

55% முதல் 65% வரையிலான துல்லியத்தில் JOLT-இன் டோக்கன் அனுகூலம் நீடிக்கிறது.

முடிவுரை

சிறப்புரிமைத் தகவல் ஓர் ஆசிரியரை ஒரு பணியைத் தீர்ப்பதில் சிறந்ததாக்கலாம்; ஆனால் அந்தத் தகவல் இல்லாமல் அதே பணியைத் தீர்க்க ஒரு மாணவருக்குக் கற்பிப்பதில் அதைச் சிறந்ததாக்காமல் போகலாம். மாணவரின் தற்போதைய நடத்தையைச் சார்ந்து ஆசிரியரைப் பயிற்றுவிப்பதன் மூலம் JOLT இந்த வேறுபாட்டைக் கையாள்கிறது.

இந்தக் கூட்டுப் பயிற்சி துல்லியம், வினைத்திறன் இரண்டையும் மேம்படுத்துகிறது. மாணவர் விளைவு வெகுமதிகளுடன், JOLT+ ஆனது GRPO-வை விட GSM8K-இல் 1.5pp, MATH-இல் 4.2pp, LCBv6-இல் 3.0pp, AppWorld-இல் 9.9pp, Terminal-Bench 2.1 pass@1-இல் 2.7pp என நேரடி (absolute) ஆதாயங்களை அடைகிறது. MATH-இல், சம துல்லியத்தில், நேரடி மாணவர் வெகுமதி இல்லாமலேயே, JOLT ஆனது GRPO-வை விட 13× குறைவான நிறைவு டோக்கன்களையும் 6.5× குறைவான செயலாக்கப்பட்ட பயிற்சி டோக்கன்களையும் பயன்படுத்துகிறது.

JOLT ஆசிரியரின் வழிகாட்டுதல் மாணவருடன் சேர்ந்து பரிணமிக்க அனுமதிக்கிறது. இது, பயனுள்ள பயிற்சிப் பணிகளை உருவாக்கவும் ஆசிரியரால் கற்றுக்கொள்ள முடியுமா என்பதை ஆராயத் தூண்டுகிறது. பணிகளை உருவாக்கும் ஆசிரியரையும் சிக்கல்களைத் தீர்க்கும் மாணவரையும் கூட்டாகப் பயிற்றுவித்து, மாணவரின் கற்றல் முன்னேற்றத்தைப் பயன்படுத்தி ஒரு பாடத்திட்டத்தில் உருவாக்கப்படும் பணிகளை மேம்படுத்துவது, எதிர்கால ஆய்வுக்கான சுவாரசியமான திசையாகும். இது, மாணவர் அடுத்து எதைக் கற்கத் தயாராக இருக்கிறார் என்பதற்கு ஏற்ப செயற்கைப் பணி உருவாக்கத்தைத் தகவமைக்கக்கூடும்.

மேலும் விவரங்களுக்கு எங்கள் முழு ஆய்வுக் கட்டுரையைப் படிக்கவும். குறியீட்டை விரைவில் ஓப்பன் சோர்ஸாக வெளியிடுவோம்.

மேற்கோள்

BibTeX
@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}