একজন ভালো শিক্ষক শিক্ষার্থীর অবস্থান থেকেই শুরু করেন

একটি নতুন সেলফ-ডিস্টিলেশন পদ্ধতি, যা জটিল রিজনিং ও এজেন্টিক কাজে মডেলের পারফরম্যান্স এবং প্রশিক্ষণ দক্ষতা উন্নত করতে শিক্ষক ও শিক্ষার্থীকে যৌথভাবে প্রশিক্ষণ দেয়।

লেখকগণPerplexity Research & NVIDIA

ভূমিকা

জটিল রিজনিং এবং দীর্ঘ-পরিসরের এজেন্টিক কাজে সক্ষমতা বাড়াতে ল্যাঙ্গুয়েজ মডেলের পোস্ট-ট্রেনিংয়ে রিইনফোর্সমেন্ট লার্নিং (RL) ব্যাপকভাবে ব্যবহৃত হয়।

একটি সাধারণ সেটআপে মডেলটি একটি কাজে বারবার চেষ্টা করে, প্রতিটি প্রচেষ্টার জন্য একটি ফলাফল-ভিত্তিক রিওয়ার্ড পায় এবং বেশি রিওয়ার্ড পাওয়া প্রচেষ্টাগুলোতে নেওয়া অ্যাকশনগুলোকে অগ্রাধিকার দিতে শেখে। তবে একটিমাত্র ফলাফল-ভিত্তিক রিওয়ার্ড কেবল একটি স্পার্স লার্নিং সিগন্যাল দেয়, যা আলাদা করে বোঝাতে পারে না কোন মধ্যবর্তী অ্যাকশনগুলো ফলাফলে সাহায্য করেছে বা ক্ষতি করেছে। এই স্পার্সিটি স্যাম্পল দক্ষতা সীমিত করে, বিশেষ করে কঠিন এজেন্টিক কাজে, যেখানে প্রচেষ্টাগুলো দীর্ঘ এবং সাফল্য কদাচিৎ আসে।

এই স্পার্সিটি মোকাবিলার একটি জনপ্রিয় পদ্ধতি হলো On-Policy Distillation (OPD), যা আরও শক্তিশালী একটি শিক্ষক মডেল ব্যবহার করে শিক্ষার্থীর নিজস্ব প্রচেষ্টাগুলোকে টোকেন ধরে ধরে নির্দেশনা দেয় এবং এভাবে অনেক বেশি ঘন রিওয়ার্ড প্রদান করে। তবে শেখানো নিজেই একটি দক্ষতা। যে মডেল কোনো কাজ সমাধানে দক্ষ, সে যে তা শেখাতেও দক্ষ হবে এমন নয়, কারণ তার ফিডব্যাক শিক্ষার্থীর বর্তমান সক্ষমতার বাইরে থাকতে পারে। এ কারণেই শুধু শিক্ষার্থীকে শিক্ষকের অনুকরণ করতে শেখানো নয়, বরং শিক্ষককেও শিক্ষার্থীর জন্য আরও উপযোগী নির্দেশনা দিতে প্রশিক্ষণ দেওয়ার প্রয়োজনীয়তা দেখা দেয়।

আমরা এমনই একটি পদ্ধতি প্রস্তাব করছি: Joint On-policy Learning and Teaching (JOLT)। On-Policy Self-Distillation (OPSD)-এর ওপর ভিত্তি করে আমরা একটি মডেলকেই দুটি ভূমিকায় ব্যবহার করি: যাচাইকৃত সমাধানের মতো বিশেষাধিকারপ্রাপ্ত তথ্যে প্রবেশাধিকারসহ একজন শিক্ষক, এবং এমন প্রবেশাধিকার ছাড়া একজন শিক্ষার্থী। আমরা দুটি ভূমিকাকে যৌথভাবে প্রশিক্ষণ দিই। শিক্ষার্থী স্ট্যান্ডার্ড ডিস্টিলেশন অবজেক্টিভ অনুসরণ করে। শিক্ষকের অবজেক্টিভ তার ফিডব্যাককে এমনভাবে চালিত করে, যাতে তা শিক্ষার্থীকে সেই দিকেই নিয়ে যায়, যে দিকে শিক্ষার্থীর নিজস্ব রিওয়ার্ডের ওপর RL নিয়ে যেত। একসঙ্গে এই অবজেক্টিভগুলো শিক্ষককে শিক্ষার্থীর বর্তমান অবস্থান থেকে শুরু করতে শেখায় এবং শিক্ষার্থীকে তার নাগালের মধ্যে থাকা নির্দেশনা থেকে শিখতে সাহায্য করে।

আমাদের পরীক্ষাগুলোতে গাণিতিক রিজনিং, কোডিং এবং এজেন্টিক কাজের বিস্তৃত পরিসরে মডেলের পারফরম্যান্স ও প্রশিক্ষণ দক্ষতা—উভয় ক্ষেত্রেই উন্নতি দেখা গেছে।

স্পার্স রিওয়ার্ড থেকে ঘন ফিডব্যাক

সবচেয়ে মৌলিক রূপে, ফলাফল-রিওয়ার্ড RL প্রত্যাশিত রিটার্ন অবজেক্টিভ ব্যবহার করে:

JRL(θ)=Eτ∼πθ[R(τ)]\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

এখানে τ\tau হলো একটি পলিসি πθ\pi_\theta অনুসরণকারী একটি ট্র্যাজেক্টরি, এবং R(τ)R(\tau) হলো সেই ট্র্যাজেক্টরির রিটার্ন। সংশ্লিষ্ট পলিসি গ্রেডিয়েন্টটি হলো:

gRL(θ)=∇θJRL(θ)=Eτ∼πθ[∑tR(τ) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

যেখানে sts_t ও ata_t যথাক্রমে টাইমস্টেপ tt-এ স্টেট ও অ্যাকশন নির্দেশ করে। স্যাম্পল-ভিত্তিক এস্টিমেটের ভ্যারিয়েন্স কমাতে গ্রেডিয়েন্টকে প্রায়ই এভাবে প্রকাশ করা হয়:

gRL(θ)=Eτ∼πθ[∑tAπθ(st,at) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

যেখানে অ্যাডভান্টেজ Aπθ(st,at)A^{\pi_\theta}(s_t, a_t) পরিমাপ করে অ্যাকশন ata_t-এর প্রত্যাশিত অতিরিক্ত রিটার্ন, যা স্টেট sts_t-এ বর্তমান পলিসির সাপেক্ষে হিসাব করা হয়। একটি পদ্ধতি, Group Relative Policy Optimization (GRPO), একই প্রম্পটের জন্য স্যাম্পল করা গ্রুপের গড় রিটার্নের সঙ্গে প্রতিটি ট্র্যাজেক্টরির রিটার্ন তুলনা করে অ্যাডভান্টেজ এস্টিমেট করে।

তবে এসব সমন্বয়ের পরও ফলাফল-রিওয়ার্ড রিইনফোর্সমেন্ট লার্নিং স্পার্স সুপারভিশনের সমস্যায় ভোগে, বিশেষ করে কঠিন, দীর্ঘ-পরিসরের কাজে। ক্রমবর্ধমান সংখ্যক গবেষণা আরও ঘন লার্নিং সিগন্যাল দেওয়ার জন্য অতিরিক্ত তথ্যের উৎস কাজে লাগিয়ে এ সমস্যা মোকাবিলা করছে।

On-Policy Distillation (OPD) এমনই একটি পদ্ধতি। শুধু চূড়ান্ত রিওয়ার্ড থেকে শেখার বদলে OPD শিক্ষার্থীর কাছ থেকে ট্র্যাজেক্টরি স্যাম্পল করে এবং প্রতিটি স্যাম্পল করা অ্যাকশনকে আরও শক্তিশালী একজন শিক্ষকের অধীনে মূল্যায়ন করে। একটি শিক্ষক পলিসি πT\pi_T এবং ট্র্যাজেক্টরি তৈরিতে ব্যবহৃত শিক্ষার্থী প্যারামিটারের একটি নির্দিষ্ট স্ন্যাপশট θˉ\bar{\theta}-এর জন্য, θ=θˉ\theta = \bar{\theta}-এ মূল্যায়িত লোকাল গ্রেডিয়েন্টটি হলো:

gOPD(θˉ;πT)=∇θJOPD(θ;θˉ,πT)∣θ=θˉ=−∇θEτ∼πθˉ ⁣[∑tKL ⁣(πθ(⋅∣st) ∥ πT(⋅∣st))]∣θ=θˉ=Eτ∼πθˉ[∑t(log⁡πT(at∣st)−log⁡πθˉ(at∣st)) ∇θˉlog⁡πθˉ(at∣st)]\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

এখানে JOPD(θ;θˉ,πT)\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T) হলো নেগেটিভ রিভার্স-KL ডিস্টিলেশন অবজেক্টিভ। ডিফারেনশিয়েশনের সময় শিক্ষক পলিসি এবং স্যাম্পল করা প্রিফিক্সগুলো স্থির রাখা হয়। শিক্ষক-শিক্ষার্থী লগ-প্রোবাবিলিটি অনুপাত প্রতিটি ভিজিট করা স্টেটে একটি ঘন লার্নিং সিগন্যাল দেয়, যা অ্যাকশন-স্তরের ওয়েট হিসেবে অ্যাডভান্টেজের জায়গা নেয়।

On-Policy Self-Distillation (OPSD) আলাদা শিক্ষক মডেলের প্রয়োজনীয়তাও দূর করে। যাচাইকৃত সমাধান, ফিডব্যাক বা রেফারেন্স ট্রেসের মতো বিশেষাধিকারপ্রাপ্ত তথ্য পেলে শিক্ষার্থী পলিসি নিজেই নিজের শিক্ষক হিসেবে কাজ করে। তবে OPSD শুধু শিক্ষার্থীকে শিক্ষকের অনুকরণ করতে প্রশিক্ষণ দেয়; শিক্ষক যে শিক্ষার্থীকে কার্যকর সিগন্যাল দিচ্ছে, তা নিশ্চিত করার কোনো ব্যবস্থা এতে নেই।

যৌথ অন-পলিসি শেখা ও শেখানো

JOLT একটি শেয়ার্ড মডেলকে একই সঙ্গে শিক্ষক—যে আরও উপযোগী নির্দেশনা দেয়—এবং শিক্ষার্থী—যে সেই নির্দেশনা থেকে শেখে—উভয় হিসেবে প্রশিক্ষণ দিয়ে OPSD-কে সম্প্রসারিত করে। অধিকতর তথ্যসমৃদ্ধ শিক্ষক শিক্ষার্থীর দিকে KL রেগুলারাইজেশনসহ ফলাফল-ভিত্তিক রিওয়ার্ড থেকে শেখে, আর বিশেষাধিকারহীন শিক্ষার্থী শিক্ষকের ঘন ডিস্টিলেশন সিগন্যাল থেকে শেখে। শিক্ষকের আপডেটে শিক্ষকের তৈরি প্রচেষ্টা ব্যবহৃত হয়, আর শিক্ষার্থীর আপডেটে ব্যবহৃত হয় শিক্ষার্থীর তৈরি এবং শিক্ষকের স্কোর করা প্রচেষ্টা। JOLT+ শিক্ষার্থীর ডিস্টিলেশন সিগন্যালকে ফলাফল-ভিত্তিক রিওয়ার্ড দিয়ে আরও সমৃদ্ধ করে।

একটি পলিসি শিক্ষক ও শিক্ষার্থী—উভয় হিসেবেই শেখে।

শিক্ষককে প্রশিক্ষণ দেওয়া

শিক্ষকের কী করা উচিত, তা নির্ধারণ

শিক্ষকের ভালো পারফরম্যান্স মানেই যে শিক্ষার্থীর জন্য কার্যকর আপডেট, তা নয়। একজন শিক্ষক বিশেষাধিকারপ্রাপ্ত তথ্য ব্যবহার করে এমন শর্টকাট কাজে লাগাতে পারে যা শিক্ষার্থীর কাছে নেই, এমন ট্র্যাজেক্টরিতে উচ্চ সম্ভাবনা দিতে পারে যা শিক্ষার্থীর ক্ষেত্রে অসম্ভাব্য, অথবা শিক্ষার্থীর তৈরি প্রিফিক্সে ভুলের পর অনির্ভরযোগ্য নির্দেশনা দিতে পারে। তাই শিক্ষকের মান নির্ধারিত হওয়া উচিত শিক্ষার্থীকে দেওয়া লার্নিং সিগন্যালের ভিত্তিতে, শিক্ষকের নিজস্ব টাস্ক রিওয়ার্ডের ভিত্তিতে নয়।

আমরা একজন শিক্ষককে রিওয়ার্ড-সামঞ্জস্যপূর্ণ বলি, যদি সে শিক্ষার্থীর মধ্যে যে ডিস্টিলেশন আপডেট তৈরি করে, তা ধনাত্মক স্কেলিং সাপেক্ষে শিক্ষার্থীর প্রত্যাশিত টাস্ক রিওয়ার্ডের পলিসি গ্রেডিয়েন্টের সঙ্গে মিলে যায়। নির্দিষ্টভাবে, একজন রিওয়ার্ড-সামঞ্জস্যপূর্ণ শিক্ষক πT⋆\pi_T^\star-কে নিচের শর্তটি পূরণ করতে হবে:

gOPD(θˉ;πT⋆)=1βT gRL(θˉ)g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

যেখানে βT\beta_T একটি ধনাত্মক স্কেলার। আগের অংশের মতোই, gOPDg_{\mathrm{OPD}} হলো OPD লোকাল গ্রেডিয়েন্ট, θˉ\bar\theta হলো শিক্ষার্থী মডেলের প্যারামিটার θ\theta-এর একটি নির্দিষ্ট স্ন্যাপশট, এবং gRLg_{\mathrm{RL}} হলো প্রত্যাশিত রিটার্ন অবজেক্টিভের পলিসি গ্রেডিয়েন্ট।

এই শর্ত পূরণ করে এমন একজন শিক্ষক হলো:

πT⋆(a∣s,c)=1Z(s) πθˉ(a∣s)exp⁡ ⁣(1βTAπθˉ(s,a))\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

এখানে Aπθˉ(s,a)A^{\pi_{\bar{\theta}}}(s, a) শিক্ষার্থীর কন্টিনিউয়েশন অ্যাডভান্টেজ নির্দেশ করে এবং Z(s)Z(s) একটি নরমালাইজিং ধ্রুবক, যা একটি যথাযথ সম্ভাবনা বণ্টন নিশ্চিত করে।

আদর্শ লক্ষ্য থেকে শিক্ষকের অবজেক্টিভে

আদর্শ লক্ষ্য πT⋆\pi_T^\star-এর সঙ্গে KL ডাইভার্জেন্স মিনিমাইজ করে আমরা শিক্ষককে সেই লক্ষ্যের দিকে প্রশিক্ষণ দিতে পারি। একটি নির্দিষ্ট শিক্ষার্থী ও স্টেট ss-এর জন্য এটি দাঁড়ায়:

min⁡πT KL ⁣(πT(⋅∣s,c) ∥ πT⋆(⋅∣s,c))\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

πT⋆\pi_T^\star-এর রাশিটি প্রতিস্থাপন করলে একটি সমতুল্য ম্যাক্সিমাইজেশন সমস্যা পাওয়া যায়:

max⁡πT{Ea∼πT(⋅∣s,c) ⁣[Aπθˉ(s,a)]−βT KL ⁣(πT(⋅∣s,c) ∥ πθˉ(⋅∣s))}\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

এই অবজেক্টিভ শিক্ষককে শিক্ষার্থীর অ্যাকশন বণ্টনের কাছাকাছি থেকে উচ্চতর শিক্ষার্থী-অ্যাডভান্টেজযুক্ত অ্যাকশন বেছে নিতে উৎসাহিত করে। প্যারামিটার βT\beta_T এই পেনাল্টির শক্তি নিয়ন্ত্রণ করে: বড় মান শিক্ষককে শিক্ষার্থীর বর্তমান আচরণের আরও কাছাকাছি রাখে, আর ছোট মান শিক্ষককে আরও জোরালোভাবে উচ্চ-অ্যাডভান্টেজ অ্যাকশনকে অগ্রাধিকার দেওয়ার সুযোগ দেয়।

একটি ব্যবহারিক সারোগেট অবজেক্টিভ

এই অবজেক্টিভ নির্ভর করে প্রতিটি অ্যাকশনের পর শিক্ষার্থী কতটা ভালোভাবে এগোত তার ওপর, কিন্তু শিক্ষার্থীর এই কন্টিনিউয়েশন অ্যাডভান্টেজগুলো সাধারণত পাওয়া যায় না। তাই আমরা ব্যবহারিক সারোগেট হিসেবে শিক্ষকের নিজস্ব ট্র্যাজেক্টরির সেন্টারড রিটার্ন ব্যবহার করি। রিওয়ার্ড টার্মটি শিক্ষককে কাজটি সমাধানে উৎসাহিত করে, আর KL টার্মটি শিক্ষার্থীর বর্তমান অ্যাকশন বণ্টন থেকে সরে যাওয়াকে নিরুৎসাহিত করে। KL টার্মটি শিক্ষককে শিক্ষার্থীর কাছাকাছি রাখলেও এই প্রতিস্থাপন পুরোপুরি নিখুঁত নয়, কারণ শিক্ষকের রিটার্ন শিক্ষার্থীর কন্টিনিউয়েশন অ্যাডভান্টেজের সঙ্গে মিলবে—এমন কোনো নিশ্চয়তা নেই।

JT(θ;θˉ)=Eτ∼πθˉ(⋅∣c)[ ∑t(sg⁡[A^T(τ)]log⁡πθ(at∣st,c)−βT KL(πθ(⋅∣st,c) ∥ sg⁡[πθˉ(⋅∣st)]))]\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

এখানে A^T(τ)\widehat{A}_T(\tau) হলো শিক্ষকের প্রচেষ্টার রিটার্ন থেকে তার গ্রুপে শিক্ষকের তৈরি প্রচেষ্টাগুলোর গড় রিটার্ন বিয়োগ করে পাওয়া মান। অপারেটর sg⁡\operatorname{sg} স্টপ-গ্রেডিয়েন্ট নির্দেশ করে: ডিফারেনশিয়েশনের সময় এর আর্গুমেন্টকে স্থির হিসেবে ধরা হয়, ঠিক যেমন স্যাম্পল করা প্রিফিক্স এবং শিক্ষার্থী রেফারেন্সকেও ধরা হয়।

শিক্ষার্থীকে প্রশিক্ষণ দেওয়া

শিক্ষার্থীর আপডেট একটি স্ট্যান্ডার্ড OPSD আপডেট। শিক্ষার্থী কাজটি থেকে ট্র্যাজেক্টরি তৈরি করে। এরপর একই মডেল কনটেক্সটে বিশেষাধিকারপ্রাপ্ত তথ্যসহ প্রতিটি স্যাম্পল করা টোকেন স্কোর করে। শিক্ষার্থীর অবজেক্টিভ শিক্ষার্থীর ভিজিট করা প্রতিটি স্টেটে শিক্ষার্থী ও এই বিশেষাধিকারপ্রাপ্ত শিক্ষকের মধ্যকার রিভার্স KL ডাইভার্জেন্সকে পেনালাইজ করে:

JOPSD(θ;θˉ)=− Eτ∼πθˉ[∑tKL(πθ(⋅∣st) ∥ sg⁡[πθˉ(⋅∣st,c)])]\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

ফলে শিক্ষক যেসব টোকেন পছন্দ করে সেগুলো জোরদার হয়, আর যেসব টোকেনকে শিক্ষক শিক্ষার্থীর চেয়ে কম সম্ভাব্য মনে করে, সেগুলো দমিত হয়।

সবকিছু একসঙ্গে

শিক্ষক ও শিক্ষার্থীর অবজেক্টিভ একত্র করলে যৌথ প্রশিক্ষণ অবজেক্টিভ পাওয়া যায়:

JJOLT(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

βS\beta_S একটি স্কেলার, যা নির্ধারণ করে সম্মিলিত আপডেটে শিক্ষার্থীর ডিস্টিলেশন লসের গুরুত্ব কতটা।

রিওয়ার্ড-সামঞ্জস্যের ফলাফলটি নির্দিষ্ট একজন শিক্ষকের ক্ষেত্রে শিক্ষার্থীর ডিস্টিলেশন আপডেটের বৈশিষ্ট্য নির্ধারণ করে। JOLT এই নীতিকে যৌথ প্রশিক্ষণ পরিচালনায় কাজে লাগায়, যেখানে শিক্ষক ও শিক্ষার্থীর অবজেক্টিভ একত্র করে তাদের শেয়ার্ড প্যারামিটার আপডেট করা হয়।

JOLT+ শিক্ষার্থীর আপডেটে তার নিজস্ব ফলাফল-ভিত্তিক রিওয়ার্ডও যোগ করে। প্রতিটি শিক্ষার্থী ট্র্যাজেক্টরির সেন্টারড রিটার্ন ডিস্টিলেশন সিগন্যালে যোগ করা হয়, যা শিক্ষকের ঘন সুপারভিশনকে শিক্ষার্থীর ট্র্যাজেক্টরির ওপর সরাসরি ফলাফল-ভিত্তিক ফিডব্যাকের সঙ্গে একত্র করে। শিক্ষকের অবজেক্টিভ অপরিবর্তিত থাকে, তাই আমরা লিখতে পারি:

JJOLT+(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)+Eτ∼πθˉ ⁣[∑tsg⁡[A^S(τ)] log⁡πθ(at∣st)]\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

এখানে A^S(τ)\widehat{A}_S(\tau) হলো শিক্ষার্থী ট্র্যাজেক্টরির রিটার্ন থেকে শিক্ষার্থীর তৈরি ট্র্যাজেক্টরিগুলোর গ্রুপের গড় রিটার্ন বিয়োগ করে পাওয়া মান।

উভয় ভ্যারিয়েন্টেই প্রতিটি ভূমিকা নিজস্ব কনটেক্সটে তৈরি ট্র্যাজেক্টরি থেকে শেখে, এবং উভয় ভূমিকাই শেয়ার্ড পলিসি আপডেট করে। একটি প্রশিক্ষণ ধাপের সিউডোকোড নিচে দেখানো হলো।

JOLT-এর একটি প্রশিক্ষণ ধাপের সিউডোকোড।

পরীক্ষা

আমরা বিভিন্ন বেস মডেল এবং বিভিন্ন ধরনের বিশেষাধিকারপ্রাপ্ত তথ্য ব্যবহার করে গাণিতিক রিজনিং, কোড জেনারেশন, টুল ব্যবহার এবং দীর্ঘ-পরিসরের টার্মিনাল কাজজুড়ে বিস্তৃত বেঞ্চমার্কে JOLT ও JOLT+ মূল্যায়ন করি। নির্দিষ্টভাবে, আমরা নিচের বেঞ্চমার্ক, বেস মডেল এবং বিশেষাধিকারপ্রাপ্ত তথ্যের কনফিগারেশন ব্যবহার করে পরীক্ষা চালাই:

  • GSM8K: আমরা DeepSeek-V2-Lite-কে GSM8K-এ প্রশিক্ষণ দিই, যা প্রাথমিক স্কুল পর্যায়ের গণিত সমস্যার একটি ডেটাসেট। শিক্ষক প্রতিটি সমস্যার যাচাইকৃত উত্তর পায়।
  • MATH: আমরা Qwen3-0.6B-কে MATH-এ প্রশিক্ষণ দিই। শিক্ষক ধাপে ধাপে ব্যাখ্যাসহ রেফারেন্স সমাধান পায়।
  • LCBv6: আমরা Qwen3-8B-কে LiveCodeBench-V6-এর 131টি কোডিং সমস্যায় প্রশিক্ষণ দিই। শিক্ষক এমন একটি মডেল-জেনারেটেড সমাধান পায়, যা প্রশিক্ষণে দৃশ্যমান সব টেস্টে উত্তীর্ণ হয়েছে; আর কোনো প্রচেষ্টা সেগুলোতে উত্তীর্ণ না হলে এক্সিকিউশন ফিডব্যাক পায়।
  • AppWorld: আমরা Qwen3-4B-Instruct-কে AppWorld-এ প্রশিক্ষণ দিই। শিক্ষক আগের প্রচেষ্টাগুলোর সারসংক্ষেপ পায়।
  • Terminal-Bench: আমরা Qwen3-30B-A3B-Instruct-কে TMax-এ প্রশিক্ষণ দিই, যা টার্মিনাল এজেন্টদের জন্য প্রশিক্ষণ কাজের একটি সেট, এবং Terminal-Bench 2.1-এ মূল্যায়ন করি। শিক্ষক গোপন ভেরিফায়ার তথ্য পায়।

আমরা GRPO, OPSD এবং π-Distill-এর সঙ্গে তুলনা করি এবং প্রতিটি পদ্ধতির জন্য হাইপারপ্যারামিটার টিউন করি। JOLT-এর মতোই π-Distill একটি শেয়ার্ড মডেলের মধ্যে বিশেষাধিকারপ্রাপ্ত শিক্ষক ও শিক্ষার্থী ভূমিকাকে যৌথভাবে প্রশিক্ষণ দেয়; তবে এটি ভিন্ন একটি শিক্ষক-লক্ষ্য ব্যবহার করে এবং এর শিক্ষার্থী আপডেট অফ-পলিসিই থাকে, যা শিক্ষার্থীর নিজস্ব জেনারেশনের বদলে শিক্ষকের তৈরি ট্র্যাজেক্টরির ওপর নির্ভর করে।

নির্ভুলতা

আমরা যে প্রতিটি সেটিং মূল্যায়ন করেছি, তার সবগুলোতেই JOLT+-এর গড় স্কোর সর্বোচ্চ। পরীক্ষিত সবচেয়ে শক্তিশালী বেসলাইন GRPO-এর তুলনায় এটি GSM8K-এর নির্ভুলতা 1.5 শতাংশ পয়েন্ট (pp), MATH-এর নির্ভুলতা 4.2pp, LCBv6-এর নির্ভুলতা 3.0pp এবং AppWorld-এর স্টেট-টেস্ট পাসের হার 9.9pp বাড়ায়।

চারটি বেঞ্চমার্কেই JOLT+-এর গড় স্কোর সর্বোচ্চ।

কোনো সরাসরি শিক্ষার্থী রিওয়ার্ড ছাড়াই GSM8K, MATH এবং LCBv6-এ JOLT-এর গড় নির্ভুলতা GRPO-এর চেয়ে বেশি। তবে AppWorld-এ এটি GRPO ও π-Distill—উভয়ের চেয়েই পিছিয়ে থাকে।

Terminal-Bench 2.1 হলো সবচেয়ে দীর্ঘ-পরিসরের সেটিং। রিপোর্ট করা প্রতিটি k-তে JOLT+-এর pass@k সর্বোচ্চ: pass@1-এ 10.96% থেকে pass@32-এ 34.83% পর্যন্ত। JOLT প্রতিটি k-তে বেস মডেল এবং উভয় ডিস্টিলেশন বেসলাইনের চেয়ে ভালো করে, তবে GRPO-এর চেয়ে পিছিয়ে থাকে। OPSD প্রতিটি k-তে বেস মডেলের চেয়েও কম স্কোর করে।

প্রতিটি প্রচেষ্টা বাজেটে Terminal-Bench-এ JOLT+ এগিয়ে।

টোকেন দক্ষতা ও স্কেলিং

প্রশিক্ষণ বাজেটের সঙ্গে পারফরম্যান্স কীভাবে স্কেল করে, সেটিও আমরা জানতে আগ্রহী। আমরা MATH-এ বিভিন্ন প্রশিক্ষণ টোকেন বাজেটে GRPO, OPSD এবং JOLT মূল্যায়ন করি এবং ফলস্বরূপ শিক্ষার্থীর নির্ভুলতা তুলনা করি।

চিত্রে দেখানো হয়েছে, প্রতিটি পদ্ধতির ক্ষেত্রে প্রশিক্ষণ টোকেন ব্যয়ের সঙ্গে নির্ভুলতা কীভাবে স্কেল করে। আমরা প্রসেসড প্রশিক্ষণ টোকেনে খরচ পরিমাপ করি। এর মধ্যে রয়েছে প্রতিটি আনপ্যাডেড প্রম্পট, বিশেষাধিকারপ্রাপ্ত কনটেক্সট, অপ্টিমাইজেশন পাস এবং শিক্ষক ও শিক্ষার্থীর মধ্যকার ক্রস-স্কোরিং।

GRPO-এর নির্ভুলতায় পৌঁছাতে JOLT-এর কম টোকেন লাগে।

বিন্দুগুলো বিভিন্ন চেকপয়েন্টে প্রসেসড প্রশিক্ষণ টোকেনের সংখ্যা ও নির্ভুলতা দেখায়; হুইস্কারগুলো রানজুড়ে ±1 স্ট্যান্ডার্ড ডেভিয়েশন নির্দেশ করে। RL কম্পিউট স্কেলিং নিয়ে পূর্ববর্তী গবেষণা অনুসরণ করে আমরা নির্ভুলতা ও লগ প্রশিক্ষণ টোকেন বাজেটের মধ্যে একটি সিগময়েডাল সম্পর্ক ফিট করি।

তিনটি পদ্ধতির মধ্যে সর্বোচ্চ নির্ভুলতা অর্জনের পাশাপাশি JOLT শুরু থেকেই স্যাম্পল দক্ষতা দেখায় এবং প্রায় 72%-এ স্থিতিশীল হয়। OPSD ছোট বাজেটে দ্রুত উন্নতি করে, কিন্তু প্রায় 62% নির্ভুলতায় থেমে যায়। GRPO শুরুতে ধীরে শেখে, কিন্তু দীর্ঘ সময় ধরে উন্নতি অব্যাহত রেখে প্রায় 70%-এ পৌঁছায়। একই 63.44% নির্ভুলতায় GRPO-এর পর্যবেক্ষিত চেকপয়েন্ট 8.40 মিলিয়ন টোকেন ব্যবহার করে, যেখানে JOLT-এর ফিটেড কার্ভ অনুযায়ী লাগে 1.30 মিলিয়ন—অর্থাৎ 6.5× কম টোকেন।

আমরা কমপ্লিশন টোকেন দিয়েও খরচ পরিমাপ করি, যেখানে GRPO ও OPSD-এর ক্ষেত্রে শিক্ষার্থীর কমপ্লিশন এবং JOLT-এর ক্ষেত্রে শিক্ষক ও শিক্ষার্থী উভয়ের কমপ্লিশন গণনা করা হয়, তবে প্রম্পট, বিশেষাধিকারপ্রাপ্ত কনটেক্সট এবং অতিরিক্ত অপ্টিমাইজেশন পাস বাদ দেওয়া হয়। প্রসেসড প্রশিক্ষণ টোকেনের বদলে কমপ্লিশন টোকেনের ভিত্তিতে তুলনা করলে একই নির্ভুলতার স্তরে দক্ষতার ব্যবধান বেড়ে প্রায় 13× হয়। বিভিন্ন লক্ষ্য-নির্ভুলতার পরিসরে JOLT 9.5–14.4× কম কমপ্লিশন টোকেন এবং 4.3–7.4× কম প্রসেসড প্রশিক্ষণ টোকেন ব্যবহার করে।

55% থেকে 65% নির্ভুলতা পর্যন্ত JOLT-এর টোকেন-সুবিধা বজায় থাকে।

উপসংহার

বিশেষাধিকারপ্রাপ্ত তথ্য একজন শিক্ষককে কোনো কাজ সমাধানে আরও দক্ষ করে তুলতে পারে, কিন্তু সেই তথ্য ছাড়া একই কাজ সমাধান করতে শিক্ষার্থীকে শেখানোয় তাকে দক্ষ করে তোলে না। JOLT শিক্ষার্থীর বর্তমান আচরণের সাপেক্ষে শিক্ষককে প্রশিক্ষণ দিয়ে এই পার্থক্য মোকাবিলা করে।

এই যৌথ প্রশিক্ষণ নির্ভুলতা ও দক্ষতা—উভয়ই উন্নত করে। শিক্ষার্থীর ফলাফল-ভিত্তিক রিওয়ার্ডসহ JOLT+ GRPO-এর তুলনায় GSM8K-তে 1.5pp, MATH-এ 4.2pp, LCBv6-এ 3.0pp, AppWorld-এ 9.9pp এবং Terminal-Bench 2.1-এর pass@1-এ 2.7pp পরম উন্নতি অর্জন করে। MATH-এ সমান নির্ভুলতায় JOLT সরাসরি শিক্ষার্থী রিওয়ার্ড ছাড়াই GRPO-এর চেয়ে 13× কম কমপ্লিশন টোকেন এবং 6.5× কম প্রসেসড প্রশিক্ষণ টোকেন ব্যবহার করে।

JOLT শিক্ষকের নির্দেশনাকে শিক্ষার্থীর সঙ্গে সঙ্গে বিকশিত হতে দেয়। এ থেকে স্বাভাবিকভাবেই প্রশ্ন জাগে, শিক্ষক কি কার্যকর প্রশিক্ষণ কাজ তৈরি করতেও শিখতে পারে? ভবিষ্যৎ গবেষণার একটি আকর্ষণীয় দিক হলো একটি টাস্ক-তৈরিকারী শিক্ষক এবং একটি সমস্যা-সমাধানকারী শিক্ষার্থীকে যৌথভাবে প্রশিক্ষণ দেওয়া, যেখানে শিক্ষার্থীর শেখার অগ্রগতি ব্যবহার করে একটি কারিকুলামের মধ্যে তৈরি কাজগুলোকে উন্নত করা হবে। এর ফলে শিক্ষার্থী এরপর কী শেখার জন্য প্রস্তুত, সে অনুযায়ী সিনথেটিক টাস্ক জেনারেশন সাড়া দিতে পারবে।

আরও বিস্তারিত জানতে আমাদের সম্পূর্ণ গবেষণাপত্রটি পড়ুন। আমরা শিগগিরই কোডটি ওপেন-সোর্স করব।

উদ্ধৃতি

BibTeX
@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}