Ένας καλός δάσκαλος συναντά τον μαθητή εκεί όπου βρίσκεται

Μια νέα μέθοδος αυτοαπόσταξης που εκπαιδεύει από κοινού δάσκαλο και μαθητή για να βελτιώσει την απόδοση του μοντέλου και την αποδοτικότητα της εκπαίδευσης σε σύνθετες εργασίες συλλογιστικής και πρακτόρων.

ΣυγγραφείςPerplexity Research & NVIDIA

Εισαγωγή

Η ενισχυτική μάθηση (Reinforcement Learning, RL) χρησιμοποιείται ευρέως στη μετεκπαίδευση γλωσσικών μοντέλων για τη βελτίωση των δυνατοτήτων τους σε σύνθετες εργασίες συλλογιστικής και σε εργασίες πρακτόρων μακρού ορίζοντα.

Σε μια τυπική διάταξη, το μοντέλο κάνει επανειλημμένες απόπειρες σε μια εργασία, λαμβάνει μια ανταμοιβή αποτελέσματος για καθεμία και μαθαίνει να ευνοεί τις ενέργειες που έγιναν στις απόπειρες με υψηλότερη ανταμοιβή. Ωστόσο, μια μεμονωμένη ανταμοιβή αποτελέσματος παρέχει ένα αραιό σήμα μάθησης, το οποίο δεν διακρίνει ποιες ενδιάμεσες ενέργειες βοήθησαν ή έβλαψαν το αποτέλεσμα. Αυτή η αραιότητα περιορίζει την αποδοτικότητα δειγμάτων, ειδικά σε δύσκολες εργασίες πρακτόρων, όπου οι απόπειρες είναι μακροσκελείς και οι επιτυχίες σπάνιες.

Μια δημοφιλής προσέγγιση για την αντιμετώπιση αυτής της αραιότητας είναι η απόσταξη εντός πολιτικής (On-Policy Distillation, OPD), η οποία χρησιμοποιεί ένα ισχυρότερο μοντέλο-δάσκαλο για να παρέχει καθοδήγηση token προς token στις απόπειρες του ίδιου του μαθητή, προσφέροντας πολύ πυκνότερες ανταμοιβές. Ωστόσο, η διδασκαλία είναι από μόνη της δεξιότητα. Ένα μοντέλο που είναι καλό στην επίλυση μιας εργασίας δεν είναι απαραίτητα καλό και στη διδασκαλία της, καθώς η ανατροφοδότησή του μπορεί να ξεπερνά τις τρέχουσες δυνατότητες του μαθητή. Αυτό αποτελεί το κίνητρο να εκπαιδεύεται όχι μόνο ο μαθητής ώστε να μιμείται τον δάσκαλο, αλλά και ο δάσκαλος ώστε να παρέχει καθοδήγηση καλύτερα προσαρμοσμένη στον μαθητή.

Προτείνουμε μια τέτοια μέθοδο, την Joint On-policy Learning and Teaching (JOLT, κοινή μάθηση και διδασκαλία εντός πολιτικής). Βασιζόμενοι στην αυτοαπόσταξη εντός πολιτικής (On-Policy Self-Distillation, OPSD), χρησιμοποιούμε ένα ενιαίο μοντέλο σε δύο ρόλους: έναν δάσκαλο με πρόσβαση σε προνομιακή πληροφόρηση, όπως επαληθευμένες λύσεις, και έναν μαθητή χωρίς τέτοια πρόσβαση. Εκπαιδεύουμε τους δύο ρόλους από κοινού. Ο μαθητής ακολουθεί τον τυπικό στόχο απόσταξης. Ο στόχος του δασκάλου ωθεί την ανατροφοδότησή του ώστε να μετακινεί τον μαθητή προς την ίδια κατεύθυνση με την RL βάσει της ανταμοιβής του ίδιου του μαθητή. Μαζί, αυτοί οι στόχοι εκπαιδεύουν τον δάσκαλο να συναντά τον μαθητή εκεί όπου βρίσκεται και βοηθούν τον μαθητή να μαθαίνει από καθοδήγηση που είναι εντός των δυνατοτήτων του.

Τα πειράματά μας καταδεικνύουν βελτιώσεις τόσο στην απόδοση του μοντέλου όσο και στην αποδοτικότητα της εκπαίδευσης σε ένα εύρος εργασιών μαθηματικής συλλογιστικής, προγραμματισμού και πρακτόρων.

Από αραιές ανταμοιβές σε πυκνή ανατροφοδότηση

Στην πιο βασική της μορφή, η RL με ανταμοιβή αποτελέσματος χρησιμοποιεί τον στόχο της αναμενόμενης απολαβής:

JRL(θ)=Eτ∼πθ[R(τ)]\mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[R(\tau)\right]

Εδώ, το τ\tau είναι μια τροχιά που ακολουθεί μια πολιτική πθ\pi_\theta και το R(τ)R(\tau) είναι η απολαβή αυτής της τροχιάς. Η αντίστοιχη κλίση πολιτικής είναι:

gRL(θ)=∇θJRL(θ)=Eτ∼πθ[∑tR(τ) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \nabla_\theta \mathcal{J}_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t R(\tau)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

όπου τα sts_t και ata_t αναπαριστούν την κατάσταση και την ενέργεια, αντίστοιχα, στο χρονικό βήμα tt. Για να μειωθεί η διακύμανση των εκτιμήσεων που βασίζονται σε δείγματα, η κλίση συχνά εκφράζεται ως:

gRL(θ)=Eτ∼πθ[∑tAπθ(st,at) ∇θlog⁡πθ(at∣st)]g_{\mathrm{RL}}(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_t A^{\pi_\theta}(s_t,a_t)\,\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

όπου το πλεονέκτημα Aπθ(st,at)A^{\pi_\theta}(s_t, a_t) μετρά την αναμενόμενη υπερβάλλουσα απολαβή της ενέργειας ata_t σε σχέση με την τρέχουσα πολιτική στην κατάσταση sts_t. Μια προσέγγιση, η Group Relative Policy Optimization (GRPO), εκτιμά το πλεονέκτημα συγκρίνοντας την απολαβή κάθε τροχιάς με τη μέση απολαβή της ομάδας που δειγματοληπτήθηκε για την ίδια προτροπή.

Ωστόσο, ακόμη και με αυτές τις προσαρμογές, η ενισχυτική μάθηση με ανταμοιβή αποτελέσματος πάσχει από αραιή επίβλεψη, ιδιαίτερα σε δύσκολες εργασίες μακρού ορίζοντα. Ένας αυξανόμενος όγκος ερευνητικών εργασιών αντιμετωπίζει αυτό το πρόβλημα αξιοποιώντας πρόσθετες πηγές πληροφορίας για την παροχή πυκνότερου σήματος μάθησης.

Η On-Policy Distillation (OPD) είναι μία τέτοια προσέγγιση. Αντί να μαθαίνει μόνο από μια τελική ανταμοιβή, η OPD δειγματοληπτεί τροχιές από τον μαθητή και αξιολογεί κάθε δειγματοληπτημένη ενέργεια με βάση έναν ισχυρότερο δάσκαλο. Για μια πολιτική δασκάλου πT\pi_T και ένα σταθερό στιγμιότυπο θˉ\bar{\theta} των παραμέτρων του μαθητή που χρησιμοποιείται για τη δημιουργία των τροχιών, η τοπική κλίση που υπολογίζεται στο θ=θˉ\theta = \bar{\theta} είναι:

gOPD(θˉ;πT)=∇θJOPD(θ;θˉ,πT)∣θ=θˉ=−∇θEτ∼πθˉ ⁣[∑tKL ⁣(πθ(⋅∣st) ∥ πT(⋅∣st))]∣θ=θˉ=Eτ∼πθˉ[∑t(log⁡πT(at∣st)−log⁡πθˉ(at∣st)) ∇θˉlog⁡πθˉ(at∣st)]\begin{aligned}g_{\mathrm{OPD}}(\bar\theta;\pi_T) &= \left.\nabla_\theta \mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T)\right|_{\theta=\bar\theta}\\ &= -\left.\nabla_\theta \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \mathrm{KL}\!\left(\pi_\theta(\cdot\mid s_t)\,\middle\|\,\pi_T(\cdot\mid s_t)\right)\right]\right|_{\theta=\bar\theta}\\ &= \mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \bigl(\log\pi_T(a_t\mid s_t)-\log\pi_{\bar\theta}(a_t\mid s_t)\bigr)\,\nabla_{\bar\theta}\log\pi_{\bar\theta}(a_t\mid s_t)\right]\end{aligned}

Εδώ, το JOPD(θ;θˉ,πT)\mathcal{J}_{\mathrm{OPD}}(\theta;\bar\theta,\pi_T) είναι ο αρνητικός στόχος απόσταξης αντίστροφης απόκλισης KL. Η πολιτική του δασκάλου και τα δειγματοληπτημένα προθέματα διατηρούνται σταθερά κατά την παραγώγιση. Ο λόγος των λογαριθμικών πιθανοτήτων δασκάλου-μαθητή παρέχει ένα πυκνό σήμα μάθησης σε κάθε κατάσταση που επισκέπτεται το μοντέλο, αντικαθιστώντας το πλεονέκτημα ως βάρος σε επίπεδο ενέργειας.

Η On-Policy Self-Distillation (OPSD) καταργεί επιπλέον την ανάγκη για ξεχωριστό μοντέλο-δάσκαλο. Η πολιτική του μαθητή λειτουργεί ως ο δικός της δάσκαλος όταν της δίνεται προνομιακή πληροφόρηση, όπως μια επαληθευμένη λύση, ανατροφοδότηση ή ένα ίχνος αναφοράς. Ωστόσο, η OPSD εκπαιδεύει μόνο τον μαθητή να μιμείται τον δάσκαλο· δεν υπάρχει μηχανισμός που να διασφαλίζει ότι ο δάσκαλος παρέχει χρήσιμο σήμα στον μαθητή.

Κοινή μάθηση και διδασκαλία εντός πολιτικής

Η JOLT επεκτείνει την OPSD εκπαιδεύοντας ένα κοινό μοντέλο τόσο ως δάσκαλο που παρέχει καλύτερα προσαρμοσμένη καθοδήγηση όσο και ως μαθητή που μαθαίνει από αυτήν. Ο καλύτερα πληροφορημένος δάσκαλος μαθαίνει από ανταμοιβές αποτελέσματος με ομαλοποίηση KL προς τον μαθητή, ενώ ο μαθητής χωρίς προνομιακή πρόσβαση μαθαίνει από το πυκνό σήμα απόσταξης του δασκάλου. Η ενημέρωση του δασκάλου χρησιμοποιεί απόπειρες που δημιουργεί ο δάσκαλος, ενώ η ενημέρωση του μαθητή χρησιμοποιεί απόπειρες που δημιουργεί ο μαθητής και βαθμολογεί ο δάσκαλος. Η JOLT+ συμπληρώνει επιπλέον το σήμα απόσταξης του μαθητή με ανταμοιβές αποτελέσματος.

Μία πολιτική μαθαίνει τόσο ως δάσκαλος όσο και ως μαθητής.

Εκπαίδευση του δασκάλου

Ορίζοντας τι πρέπει να κάνει ένας δάσκαλος

Η καλύτερη απόδοση του δασκάλου δεν μεταφράζεται απαραίτητα σε χρήσιμες ενημερώσεις για τον μαθητή. Ένας δάσκαλος μπορεί να χρησιμοποιήσει προνομιακή πληροφόρηση για να εκμεταλλευτεί συντομεύσεις που δεν είναι διαθέσιμες στον μαθητή, να αποδώσει υψηλή πιθανότητα σε τροχιές που είναι απίθανες για τον μαθητή ή να παρέχει αναξιόπιστη καθοδήγηση μετά από σφάλματα σε προθέματα που έχει δημιουργήσει ο μαθητής. Επομένως, η ποιότητα του δασκάλου θα πρέπει να καθορίζεται από το σήμα μάθησης που παρέχει στον μαθητή και όχι από τη δική του ανταμοιβή στην εργασία.

Αποκαλούμε έναν δάσκαλο συνεπή ως προς την ανταμοιβή αν η ενημέρωση απόσταξης που επάγει στον μαθητή ταυτίζεται με την κλίση πολιτικής της αναμενόμενης ανταμοιβής εργασίας του μαθητή, με ακρίβεια θετικού συντελεστή κλίμακας. Συγκεκριμένα, ένας δάσκαλος πT⋆\pi_T^\star συνεπής ως προς την ανταμοιβή θα πρέπει να ικανοποιεί:

gOPD(θˉ;πT⋆)=1βT gRL(θˉ)g_{\mathrm{OPD}}(\bar\theta;\pi_T^\star) = \frac{1}{\beta_T}\,g_{\mathrm{RL}}(\bar\theta)

όπου το βT\beta_T είναι ένας θετικός βαθμωτός συντελεστής. Όπως και στην προηγούμενη ενότητα, το gOPDg_{\mathrm{OPD}} είναι η τοπική κλίση της OPD, το θˉ\bar\theta είναι ένα σταθερό στιγμιότυπο των παραμέτρων θ\theta του μοντέλου-μαθητή και το gRLg_{\mathrm{RL}} είναι η κλίση πολιτικής του στόχου της αναμενόμενης απολαβής.

Ένας δάσκαλος που ικανοποιεί αυτή τη συνθήκη είναι ο εξής:

πT⋆(a∣s,c)=1Z(s) πθˉ(a∣s)exp⁡ ⁣(1βTAπθˉ(s,a))\pi_T^\star(a\mid s,c) = \frac{1}{Z(s)}\,\pi_{\bar\theta}(a\mid s)\exp\!\left(\frac{1}{\beta_T}A^{\pi_{\bar\theta}}(s,a)\right)

Εδώ, τα Aπθˉ(s,a)A^{\pi_{\bar{\theta}}}(s, a) αναπαριστούν τα πλεονεκτήματα συνέχισης του μαθητή και το Z(s)Z(s) είναι μια σταθερά κανονικοποίησης που εξασφαλίζει μια έγκυρη κατανομή πιθανότητας.

Από τον ιδανικό στόχο στη συνάρτηση στόχου του δασκάλου

Μπορούμε να εκπαιδεύσουμε έναν δάσκαλο προς τον ιδανικό στόχο πT⋆\pi_T^\star ελαχιστοποιώντας την απόκλιση KL του από αυτόν. Για σταθερό μαθητή και κατάσταση ss, αυτό δίνει:

min⁡πT KL ⁣(πT(⋅∣s,c) ∥ πT⋆(⋅∣s,c))\min_{\pi_T}\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_T^\star(\cdot\mid s,c)\right)

Η αντικατάσταση της έκφρασης για το πT⋆\pi_T^\star δίνει ένα ισοδύναμο πρόβλημα μεγιστοποίησης:

max⁡πT{Ea∼πT(⋅∣s,c) ⁣[Aπθˉ(s,a)]−βT KL ⁣(πT(⋅∣s,c) ∥ πθˉ(⋅∣s))}\max_{\pi_T}\Biggl\{\mathbb{E}_{a\sim\pi_T(\cdot\mid s,c)}\!\left[A^{\pi_{\bar\theta}}(s,a)\right]-\beta_T\,\mathrm{KL}\!\left(\pi_T(\cdot\mid s,c)\,\middle\|\,\pi_{\bar\theta}(\cdot\mid s)\right)\Biggr\}

Αυτός ο στόχος ενθαρρύνει τον δάσκαλο να επιλέγει ενέργειες με υψηλότερο πλεονέκτημα για τον μαθητή, παραμένοντας ταυτόχρονα κοντά στην κατανομή ενεργειών του μαθητή. Η παράμετρος βT\beta_T ελέγχει την ένταση αυτής της ποινής: μεγαλύτερες τιμές κρατούν τον δάσκαλο πιο κοντά στην τρέχουσα συμπεριφορά του μαθητή, ενώ μικρότερες τιμές του επιτρέπουν να ευνοεί πιο επιθετικά ενέργειες υψηλού πλεονεκτήματος.

Ένας πρακτικός υποκατάστατος στόχος

Αυτός ο στόχος εξαρτάται από το πόσο καλά θα συνέχιζε ο μαθητής μετά από κάθε ενέργεια, όμως αυτά τα πλεονεκτήματα συνέχισης του μαθητή γενικά δεν είναι διαθέσιμα. Γι’ αυτό χρησιμοποιούμε ως πρακτικό υποκατάστατο κεντραρισμένες απολαβές από τις δικές τροχιές του δασκάλου. Ο όρος ανταμοιβής ενθαρρύνει τον δάσκαλο να λύσει την εργασία, ενώ ο όρος KL αποθαρρύνει τις αποκλίσεις από την τρέχουσα κατανομή ενεργειών του μαθητή. Παρότι ο όρος KL κρατά τον δάσκαλο κοντά στον μαθητή, αυτή η υποκατάσταση δεν είναι ακριβής, καθώς οι απολαβές του δασκάλου δεν ταυτίζονται απαραίτητα με τα πλεονεκτήματα συνέχισης του μαθητή.

JT(θ;θˉ)=Eτ∼πθˉ(⋅∣c)[ ∑t(sg⁡[A^T(τ)]log⁡πθ(at∣st,c)−βT KL(πθ(⋅∣st,c) ∥ sg⁡[πθˉ(⋅∣st)]))]\begin{aligned}\mathcal{J}_T(\theta;\bar\theta) = \mathbb{E}_{\tau\sim\pi_{\bar\theta}(\cdot\mid c)}\Biggl[\,\sum_t \Bigl(&\operatorname{sg}\bigl[\widehat{A}_T(\tau)\bigr]\log\pi_\theta(a_t\mid s_t,c)\\ &-\beta_T\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t,c)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t)]\bigr)\Bigr)\Biggr]\end{aligned}

Εδώ, το A^T(τ)\widehat{A}_T(\tau) είναι η απολαβή της απόπειρας του δασκάλου μείον τη μέση απολαβή των αποπειρών που δημιούργησε ο δάσκαλος στην ίδια ομάδα. Ο τελεστής sg⁡\operatorname{sg} υποδηλώνει διακοπή της κλίσης (stop-gradient): το όρισμά του αντιμετωπίζεται ως σταθερό κατά την παραγώγιση, όπως και τα δειγματοληπτημένα προθέματα και η αναφορά του μαθητή.

Εκπαίδευση του μαθητή

Η ενημέρωση του μαθητή είναι μια τυπική ενημέρωση OPSD. Ο μαθητής δημιουργεί τροχιές από την εργασία. Στη συνέχεια, το ίδιο μοντέλο βαθμολογεί κάθε δειγματοληπτημένο token έχοντας την προνομιακή πληροφόρηση στο πλαίσιο. Ο στόχος του μαθητή επιβάλλει ποινή στην αντίστροφη απόκλιση KL μεταξύ του μαθητή και αυτού του προνομιούχου δασκάλου σε κάθε κατάσταση που επισκέπτεται ο μαθητής:

JOPSD(θ;θˉ)=− Eτ∼πθˉ[∑tKL(πθ(⋅∣st) ∥ sg⁡[πθˉ(⋅∣st,c)])]\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta) = -\,\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\left[\sum_t \mathrm{KL}\bigl(\pi_\theta(\cdot\mid s_t)\,\big\|\,\operatorname{sg}[\pi_{\bar\theta}(\cdot\mid s_t,c)]\bigr)\right]

Επομένως, τα tokens που προτιμά ο δάσκαλος ενισχύονται, ενώ τα tokens που ο δάσκαλος θεωρεί λιγότερο πιθανά απ’ ό,τι ο μαθητής καταστέλλονται.

Συνδυάζοντας τα όλα

Ο συνδυασμός των στόχων του δασκάλου και του μαθητή δίνει τον στόχο της κοινής εκπαίδευσης:

JJOLT(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)\mathcal{J}_{\mathrm{JOLT}}(\theta;\bar\theta) = \mathcal{J}_T(\theta;\bar\theta) + \beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)

Το βS\beta_S είναι ένας βαθμωτός συντελεστής που καθορίζει πόσο βαραίνει η απώλεια απόσταξης του μαθητή στη συνδυασμένη ενημέρωση.

Το αποτέλεσμα της συνέπειας ως προς την ανταμοιβή χαρακτηρίζει την ενημέρωση απόσταξης του μαθητή για έναν δεδομένο δάσκαλο. Η JOLT αξιοποιεί αυτή την αρχή για να καθοδηγήσει την κοινή εκπαίδευση, συνδυάζοντας τους στόχους του δασκάλου και του μαθητή για να ενημερώσει τις κοινές τους παραμέτρους.

Η JOLT+ προσθέτει επίσης στην ενημέρωση του μαθητή τη δική του ανταμοιβή αποτελέσματος. Η κεντραρισμένη απολαβή κάθε τροχιάς του μαθητή προστίθεται στο σήμα απόσταξης, συνδυάζοντας την πυκνή επίβλεψη από τον δάσκαλο με άμεση ανατροφοδότηση αποτελέσματος στις τροχιές του μαθητή. Ο στόχος του δασκάλου παραμένει αμετάβλητος, οπότε μπορούμε να γράψουμε:

JJOLT+(θ;θˉ)=JT(θ;θˉ)+βS JOPSD(θ;θˉ)+Eτ∼πθˉ ⁣[∑tsg⁡[A^S(τ)] log⁡πθ(at∣st)]\begin{aligned}\mathcal{J}_{\mathrm{JOLT+}}(\theta;\bar\theta) &= \mathcal{J}_T(\theta;\bar\theta)+\beta_S\,\mathcal{J}_{\mathrm{OPSD}}(\theta;\bar\theta)\\ &\quad+\mathbb{E}_{\tau\sim\pi_{\bar\theta}}\!\left[\sum_t \operatorname{sg}[\widehat{A}_S(\tau)]\,\log\pi_\theta(a_t\mid s_t)\right]\end{aligned}

Εδώ, το A^S(τ)\widehat{A}_S(\tau) είναι η απολαβή της τροχιάς του μαθητή μείον τη μέση απολαβή της ομάδας τροχιών του μαθητή στην οποία ανήκει.

Και στις δύο παραλλαγές, κάθε ρόλος μαθαίνει από τροχιές που δημιουργούνται στο δικό του πλαίσιο, και οι δύο ρόλοι ενημερώνουν την κοινή πολιτική. Ο ψευδοκώδικας για ένα βήμα εκπαίδευσης παρουσιάζεται παρακάτω.

Ψευδοκώδικας για ένα βήμα εκπαίδευσης της JOLT.

Πειράματα

Αξιολογούμε τις JOLT και JOLT+ σε benchmarks που καλύπτουν μαθηματική συλλογιστική, δημιουργία κώδικα, χρήση εργαλείων και εργασίες τερματικού μακρού ορίζοντα, χρησιμοποιώντας διαφορετικά βασικά μοντέλα και διαφορετικές μορφές προνομιακής πληροφόρησης. Συγκεκριμένα, εκτελούμε πειράματα με τα ακόλουθα benchmarks, βασικά μοντέλα και διαμορφώσεις προνομιακής πληροφόρησης:

  • GSM8K: Εκπαιδεύουμε το DeepSeek-V2-Lite στο GSM8K, ένα σύνολο δεδομένων με μαθηματικά προβλήματα επιπέδου δημοτικού. Ο δάσκαλος λαμβάνει την επαληθευμένη απάντηση σε κάθε πρόβλημα.
  • MATH: Εκπαιδεύουμε το Qwen3-0.6B στο MATH. Ο δάσκαλος λαμβάνει αναλυτικές λύσεις αναφοράς.
  • LCBv6: Εκπαιδεύουμε το Qwen3-8B σε 131 προβλήματα προγραμματισμού από το LiveCodeBench-V6. Ο δάσκαλος λαμβάνει μια λύση που δημιουργήθηκε από μοντέλο και πέρασε όλα τα τεστ που είναι ορατά κατά την εκπαίδευση, ή ανατροφοδότηση εκτέλεσης όταν καμία απόπειρα δεν τα πέρασε.
  • AppWorld: Εκπαιδεύουμε το Qwen3-4B-Instruct στο AppWorld. Ο δάσκαλος λαμβάνει περιλήψεις προηγούμενων αποπειρών.
  • Terminal-Bench: Εκπαιδεύουμε το Qwen3-30B-A3B-Instruct στο TMax, ένα σύνολο εργασιών εκπαίδευσης για πράκτορες τερματικού, και αξιολογούμε στο Terminal-Bench 2.1. Ο δάσκαλος λαμβάνει ιδιωτικές πληροφορίες του επαληθευτή.

Συγκρίνουμε με τις GRPO, OPSD και π-Distill, ρυθμίζοντας τις υπερπαραμέτρους για κάθε μέθοδο. Όπως η JOLT, η π-Distill εκπαιδεύει από κοινού ρόλους προνομιούχου δασκάλου και μαθητή μέσα σε ένα κοινό μοντέλο· ωστόσο, χρησιμοποιεί διαφορετικό στόχο για τον δάσκαλο και η ενημέρωση του μαθητή παραμένει εκτός πολιτικής (off-policy), καθώς βασίζεται σε τροχιές που δημιουργεί ο δάσκαλος και όχι σε όσα παράγει ο ίδιος ο μαθητής.

Ακρίβεια

Η JOLT+ έχει την υψηλότερη μέση βαθμολογία σε κάθε σενάριο που αξιολογούμε. Σε σύγκριση με την GRPO, την ισχυρότερη μέθοδο αναφοράς που δοκιμάστηκε, βελτιώνει την ακρίβεια στο GSM8K κατά 1,5 ποσοστιαίες μονάδες (π.μ.), την ακρίβεια στο MATH κατά 4,2 π.μ., την ακρίβεια στο LCBv6 κατά 3,0 π.μ. και το ποσοστό επιτυχίας στα τεστ κατάστασης του AppWorld κατά 9,9 π.μ.

Η JOLT+ έχει την υψηλότερη μέση βαθμολογία και στα τέσσερα benchmarks.

Χωρίς καμία άμεση ανταμοιβή για τον μαθητή, η μέση ακρίβεια της JOLT είναι υψηλότερη από εκείνη της GRPO στα GSM8K, MATH και LCBv6. Ωστόσο, στο AppWorld παραμένει χαμηλότερα τόσο από την GRPO όσο και από την π-Distill.

Το Terminal-Bench 2.1 είναι το σενάριο με τον μακρύτερο ορίζοντα. Η JOLT+ έχει το υψηλότερο pass@k για κάθε αναφερόμενο k, από 10,96% στο pass@1 έως 34,83% στο pass@32. Η JOLT ξεπερνά το βασικό μοντέλο και τις δύο μεθόδους αναφοράς απόσταξης για κάθε k, αλλά παραμένει χαμηλότερα από την GRPO. Η OPSD σημειώνει χαμηλότερη βαθμολογία από το βασικό μοντέλο για κάθε k.

Η JOLT+ προηγείται στο Terminal-Bench για κάθε προϋπολογισμό αποπειρών.

Αποδοτικότητα tokens και κλιμάκωση

Μας ενδιαφέρει επίσης πώς κλιμακώνεται η απόδοση σε σχέση με τον προϋπολογισμό εκπαίδευσης. Αξιολογούμε τις GRPO, OPSD και JOLT σε διαφορετικούς προϋπολογισμούς tokens εκπαίδευσης στο MATH και συγκρίνουμε την ακρίβεια του μαθητή που προκύπτει.

Το γράφημα δείχνει πώς κλιμακώνεται η ακρίβεια σε σχέση με τα tokens εκπαίδευσης που δαπανά κάθε μέθοδος. Μετράμε το κόστος σε επεξεργασμένα tokens εκπαίδευσης. Σε αυτά περιλαμβάνονται κάθε προτροπή χωρίς padding, το προνομιακό πλαίσιο, κάθε πέρασμα βελτιστοποίησης και η διασταυρούμενη βαθμολόγηση μεταξύ δασκάλου και μαθητή.

Η JOLT χρειάζεται λιγότερα tokens για να φτάσει την ακρίβεια της GRPO.

Τα σημεία δείχνουν τον αριθμό των επεξεργασμένων tokens εκπαίδευσης και την ακρίβεια σε διάφορα σημεία ελέγχου· οι γραμμές σφάλματος αντιστοιχούν σε ±1 τυπική απόκλιση μεταξύ εκτελέσεων. Προσαρμόζουμε μια σιγμοειδή σχέση μεταξύ της ακρίβειας και του λογαρίθμου του προϋπολογισμού tokens εκπαίδευσης, ακολουθώντας προηγούμενη έρευνα για την κλιμάκωση των υπολογιστικών πόρων της RL.

Η JOLT εμφανίζει αποδοτικότητα δειγμάτων από νωρίς, ενώ επιτυγχάνει την υψηλότερη ακρίβεια από τις τρεις μεθόδους, σταθεροποιούμενη κοντά στο 72%. Η OPSD βελτιώνεται γρήγορα σε μικρούς προϋπολογισμούς, αλλά φτάνει σε πλατό με ακρίβεια περίπου 62%. Η GRPO μαθαίνει πιο αργά αρχικά, αλλά συνεχίζει να βελτιώνεται για περισσότερο, ανεβαίνοντας περίπου στο 70%. Για την ίδια ακρίβεια 63,44%, το παρατηρούμενο σημείο ελέγχου της GRPO χρησιμοποιεί 8,40 εκατομμύρια tokens, ενώ η προσαρμοσμένη καμπύλη της JOLT δίνει 1,30 εκατομμύρια, δηλαδή 6,5× λιγότερα tokens.

Μετράμε επίσης το κόστος με βάση τα tokens ολοκλήρωσης, τα οποία περιλαμβάνουν τις ολοκληρώσεις του μαθητή για τις GRPO και OPSD και τις ολοκληρώσεις τόσο του δασκάλου όσο και του μαθητή για την JOLT, αλλά παραλείπουν τις προτροπές, το προνομιακό πλαίσιο και τα επιπλέον περάσματα βελτιστοποίησης. Η σύγκριση με βάση τα tokens ολοκλήρωσης αντί για τα επεξεργασμένα tokens εκπαίδευσης διευρύνει το χάσμα αποδοτικότητας σε περίπου 13× για το ίδιο επίπεδο ακρίβειας. Σε ένα εύρος ακριβειών-στόχων, η JOLT χρησιμοποιεί 9,5–14,4× λιγότερα tokens ολοκλήρωσης και 4,3–7,4× λιγότερα επεξεργασμένα tokens εκπαίδευσης.

Το πλεονέκτημα της JOLT σε tokens διατηρείται για ακρίβεια από 55% έως 65%.

Συμπέρασμα

Η προνομιακή πληροφόρηση μπορεί να κάνει έναν δάσκαλο καλύτερο στην επίλυση μιας εργασίας χωρίς να τον κάνει καλύτερο στο να διδάσκει έναν μαθητή να λύνει την ίδια εργασία χωρίς αυτή την πληροφόρηση. Η JOLT αντιμετωπίζει αυτή τη διάκριση εκπαιδεύοντας τον δάσκαλο σε σχέση με την τρέχουσα συμπεριφορά του μαθητή.

Αυτή η κοινή εκπαίδευση βελτιώνει τόσο την ακρίβεια όσο και την αποδοτικότητα. Με ανταμοιβές αποτελέσματος για τον μαθητή, η JOLT+ επιτυγχάνει απόλυτες βελτιώσεις έναντι της GRPO κατά 1,5 π.μ. στο GSM8K, 4,2 π.μ. στο MATH, 3,0 π.μ. στο LCBv6, 9,9 π.μ. στο AppWorld και 2,7 π.μ. στο pass@1 του Terminal-Bench 2.1. Στο MATH, η JOLT χρησιμοποιεί 13× λιγότερα tokens ολοκλήρωσης και 6,5× λιγότερα επεξεργασμένα tokens εκπαίδευσης από την GRPO για την ίδια ακρίβεια, χωρίς άμεση ανταμοιβή του μαθητή.

Η JOLT επιτρέπει στην καθοδήγηση του δασκάλου να εξελίσσεται παράλληλα με τον μαθητή. Αυτό δίνει το κίνητρο να διερευνηθεί αν ο δάσκαλος μπορεί επίσης να μάθει να δημιουργεί χρήσιμες εργασίες εκπαίδευσης. Μια ενδιαφέρουσα κατεύθυνση για μελλοντική έρευνα είναι η κοινή εκπαίδευση ενός δασκάλου που δημιουργεί εργασίες και ενός μαθητή που λύνει προβλήματα, χρησιμοποιώντας την πρόοδο μάθησης του μαθητή για τη βελτίωση των παραγόμενων εργασιών στο πλαίσιο ενός προγράμματος σπουδών (curriculum). Αυτό θα μπορούσε να κάνει τη δημιουργία συνθετικών εργασιών να ανταποκρίνεται σε όσα είναι έτοιμος να μάθει στη συνέχεια ο μαθητής.

Διαβάστε την πλήρη ερευνητική εργασία μας για περισσότερες λεπτομέρειες. Σύντομα θα δημοσιεύσουμε τον κώδικα με άδεια ανοιχτού κώδικα.

Παραπομπή

BibTeX
@online{perplexity2026AGoodTeacherMeetsTheStudentWhereTheyAre,
  author = {{Perplexity} and Randy Ardywibowo and Arnav Dalal and Jiantao Jiao and Jarrod Bryan and Claire Beamer and Jeremy Yang and Jerry Ma},
  title = {{A good teacher meets the student where they are}},
  date = {2026-10-21},
  url = {https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are}
}