Μάθηση από την πραγματική εμπειρία

Ο τρόπος με τον οποίο οι χρήστες αλληλεπιδρούν με τα προϊόντα μας στον πραγματικό κόσμο αποτελεί πολύτιμη πηγή για την εκπαίδευση μοντέλων. Τα δεδομένα είναι άφθονα, αντικατοπτρίζουν την πραγματική κατανομή των εργασιών των χρηστών και αποτυπώνουν διορθώσεις χρηστών και αστοχίες εργαλείων που τα συνθετικά περιβάλλοντα μπορεί να χάσουν.

Ένας συνήθης τρόπος μάθησης από δεδομένα πραγματικού κόσμου είναι η fine-tuning δειγματοληψίας απόρριψης: κρίση του αποτελέσματος κάθε συνεδρίας, διατήρηση των επιτυχών και εκπαίδευση του μοντέλου να τις μιμηθεί. Αλλά ένα επιτυχές αποτέλεσμα δεν σημαίνει ότι κάθε βήμα ήταν σωστό, επομένως η μίμηση ολόκληρης της τροχιάς εγκυμονεί τον κίνδυνο ενίσχυσης κακών ενδιάμεσων συμπεριφορών επιπλέον των καλών. Η απόρριψη ανεπιτυχών συνεδριών χάνει επίσης κρίσιμα αποδεικτικά στοιχεία για το πού υστερεί το μοντέλο.

Συνδυάζουμε τη fine-tuning δειγματοληψίας απόρριψης με αυτο-απόσταξη καθοδηγούμενη από υποδείξεις για να μάθουμε τόσο από επιτυχημένες όσο και από ανεπιτυχείς συνεδρίες. Μια υπόδειξη είναι μια σύντομη διορθωτική οδηγία βασισμένη σε πληροφορίες που το μοντέλο διέθετε ήδη όταν έκανε το λάθος. Τα χρήσιμα βήματα από επιτυχημένες συνεδρίες παραμένουν στόχοι μίμησης, ενώ οι θεμελιωμένες υποδείξεις μετατρέπουν τα αποτρέψιμα λάθη σε στόχους διόρθωσης.

Οι διορθώσεις χρηστών και τα σφάλματα εργαλείων προσθέτουν επίβλεψη σχετικά με το τι πήγε στραβά κατά μήκος της διαδρομής, επιπλέον του εάν η εργασία τελικά πέτυχε. Εφαρμόζουμε αυτό το στάδιο μετά την ενισχυτική μάθηση σε συνθετικά περιβάλλοντα για να βοηθήσουμε στη γεφύρωση του χάσματος μεταξύ αυτών των περιβαλλόντων και της χρήσης στον πραγματικό κόσμο.

Σε ζωντανή χρήση, ένα μεταγενέστερο εκπαιδευμένο σημείο ελέγχου GLM-5.2 μείωσε τις αστοχίες κλήσεων εργαλείων κατά 21,2% σε σχέση με ένα προηγουμένως εκπαιδευμένο σημείο ελέγχου. Για το GLM-5.3, η μετα-εκπαίδευση μείωσε τις αστοχίες κλήσεων εργαλείων κατά 33,0% και τη μέση εκτιμώμενη πιθανότητα μέτριας ή υψηλής δυσαρέσκειας του χρήστη κατά 17,2% σε σχέση με το βασικό μοντέλο.

Τα συνθετικά καθήκοντα μας επιτρέπουν να δημιουργήσουμε ελεγχόμενα προβλήματα με αποτελέσματα που είναι εύκολο να επαληθευτούν, αλλά συνήθως περιορίζονται σε ένα μόνο prompt και μπορούν να καλύψουν μόνο τα σενάρια που σχεδιάζουμε ρητά.

Αντίθετα, οι χρήστες σε συνεδρίες πραγματικού κόσμου φέρνουν διαφορετικές οδηγίες, πλαίσιο και συνδυασμούς εργαλείων σε συνεδρίες που εκτυλίσσονται σε πολλαπλούς γύρους αλληλεπίδρασης. Μια τέτοια χρήση στον πραγματικό κόσμο αποφέρει φυσικά δύο πολύτιμα σήματα λαθών: οι διορθώσεις χρηστών αποκαλύπτουν πού ο πράκτορας απέτυχε να παραδώσει αυτό που ήθελαν, και τα σφάλματα εργαλείων δείχνουν πού οι ενέργειές του κατέρρευσαν σε πραγματικά περιβάλλοντα. Ο αγωγός δειγματοληψίας μας σέβεται το απόρρητο και τις επιλογές εκπαίδευσης των χρηστών εξαιρώντας συνεδρίες με προσωπικά αναγνωρίσιμες πληροφορίες (PII) και από χρήστες που έχουν εξαιρεθεί.

Τα δεδομένα πραγματικού κόσμου μας δίνουν επομένως περιπτώσεις αστοχίας που ένα συνθετικό περιβάλλον μπορεί να μην εκθέσει και συχνά έρχονται με το πού συνέβη η αστοχία ήδη ενσωματωμένο.

Κατά την εκπαίδευση σε δεδομένα πραγματικού κόσμου, η τυπική fine-tuning δειγματοληψίας απόρριψης (RFT) επιλέγει επιτυχείς συνεδρίες με βάση τα τελικά τους αποτελέσματα, χωρίς να χρησιμοποιεί ρητά ανατροφοδότηση χρηστών και εργαλείων για να διακρίνει καλές ενδιάμεσες ενέργειες από κακές. Ένας πράκτορας μπορεί να ανακάμψει από μια κακή κλήση εργαλείου ή να διορθώσει ένα λάθος μετά από ανατροφοδότηση χρήστη και να παραδώσει εξακολουθητικά τη σωστή έξοδο στο τέλος.

Η απόρριψη των αποτυχημένων συνεδριών περιορίζει επίσης την αποδοτικότητα του δείγματος. Μια συνεδρία που δεν φτάνει ποτέ σε καλό αποτέλεσμα θα μπορούσε παρ’ όλα αυτά να αποκαλύψει ένα σαφές, αποτρέψιμο λάθος ως χρήσιμα σήματα εκπαίδευσης.

Αντιμετωπίζουμε these περιορισμούς διαχωρίζοντας δύο αποφάσεις: ποιες συνεδρίες περιέχουν συμπεριφορά που αξίζει μίμησης, και ποιοι γύροι περιέχουν λάθη που αξίζουν διόρθωσης. Ο αγωγός δεδομένων λαμβάνει αυτές τις αποφάσεις χωριστά, στη συνέχεια εκχωρεί στους γύρους του μοντέλου μία από τρεις θεραπείες:

Μιμήσου: οι στροφές χωρίς σφάλματα σε επιτυχημένες συνεδρίες λαμβάνουν τη συνηθισμένη απώλεια Διασταυρούμενης Εντροπίας (CE), αυξάνοντας την πιθανότητα των καταγεγραμμένων token.
Σωστό: σε επιτυχείς και ανεπιτυχείς συνεδρίες, οι γύροι σφαλμάτων με έγκυρη υπόδειξη λαμβάνουν μια απώλεια απόκλισης Kullback–Leibler (KL), μετακινώντας το μοντέλο προς τις προβλέψεις επόμενου token που κάνει όταν βλέπει την υπόδειξη.
Διατήρηση ως πλαίσιο: οι γύροι σε ανεπιτυχείς συνεδρίες που στερούνται επικυρωμένης υπόδειξης, και οι επισημασμένοι κακοί γύροι χωρίς επικυρωμένη υπόδειξη σε οποιονδήποτε τύπο συνεδρίας, χρησιμεύουν ως πλαίσιο αλλά δεν λαμβάνουν καμία από τις δύο απώλειες.

Ως αποτέλεσμα, οι επιτυχείς συνεδρίες μπορούν να παρέχουν στόχους τόσο μίμησης όσο και διόρθωσης, ενώ οι ανεπιτυχείς συνεδρίες παρέχουν μόνο στόχους διόρθωσης. Όλοι οι υπόλοιποι γύροι, συμπεριλαμβανομένης της εξόδου συστήματος, χρήστη και εργαλείου, παραμένουν ως πλαίσιο.

Διάγραμμα δρομολόγησης συνεδρίας: οι επιτυχείς συνεδρίες παρέχουν μίμηση CE και επιλέξιμες υποδεδειγμένες διορθώσεις· οι ανεπιτυχείς συνεδρίες παρέχουν μόνο επιλέξιμες διορθώσεις. — Τρέχουσα δρομολόγηση συνεδρίας και μάσκες περιεχομένου βοηθού. Οι επιτυχείς συνεδρίες συνεισφέρουν στόχους μίμησης· τα διατηρημένα αρχεία ανατροφοδότησης μπορούν να συνεισφέρουν υποδεδειγμένες διορθώσεις ακόμη και όταν η συνεδρία είναι ανεπιτυχής. Το υπόλοιπο περιεχόμενο παραμένει ως πλαίσιο. Οι ελλιπείς συνεδρίες εξαιρούνται. Η μη τελική εξαίρεση CE yield/stop-token δεν σχεδιάζεται, και αυτό το διάγραμμα δεν εδραιώνει το μείγμα που χρησιμοποιείται από προηγούμενο σημείο ελέγχου.

Το μέρος μίμησης χρησιμοποιεί το τυπικό RFT. Το διορθωτικό μέρος χρησιμοποιεί On-Policy Self-Distillation (OPSD): το ίδιο μοντέλο ενεργεί ως δάσκαλος και μαθητής, με τον δάσκαλο να λαμβάνει προνομιακές πληροφορίες. Εδώ, αυτές οι προνομιακές πληροφορίες είναι μια σύντομη υπόδειξη που εξηγεί ένα αποφεύξιμο λάθος. Εκπαιδεύουμε τον μαθητή να ταιριάζει τις προβλέψεις επόμενου token του δασκάλου χωρίς να του δίνεται η υπόδειξη.

Και τα δύο μέρη έχουν σημασία. Η εκπαίδευση μόνο με διόρθωση μπορεί να αποκαλύψει ένα shortcut: ο δάσκαλος και ο μαθητής μπορούν να συμφωνήσουν αγνοώντας το πλαίσιο αντί να μαθαίνουν τη διόρθωση. Ο όρος CE αγκυρώνει την εκπαίδευση σε χρήσιμη συμπεριφορά, βοηθώντας να αποθαρρυνθεί η συμφωνία που προκύπτει από την αγνόηση του πλαισίου.

Ο εκπαιδευμένος μετά μαθητής γίνεται στη συνέχεια μια επιλογή μοντέλου στο Computer. Οι νέες συνεδρίες από τη ζωντανή χρήση περνούν από τα ίδια φίλτρα επιλεξιμότητας και απορρήτου πριν εισέλθουν σε έναν άλλο γύρο της αγωγού εκπαίδευσης.

Στη συνέχεια, εξετάζουμε ένα συγκεκριμένο παράδειγμα που περιέχει τόσο μίμηση όσο και διόρθωση.

Εξετάστε μια ενδεχόμενη επιτυχή συνεδρία όπου ο χρήστης ζητά μια σύγκριση αλλαγών asyncio στην Python 3.13 χρησιμοποιώντας επίσημη τεκμηρίωση. Η τεκμηρίωση εργαλείων μας αναφέρει ότι το search.web επιστρέφει μια λίστα επιτυχιών, καθεμία με πεδίο url.

Το μοντέλο εκτελεί πρώτα μια έγκυρη αναζήτηση για μία έκδοση ως μέρος της συλλογής αποδεικτικών στοιχείων για τη σύγκριση, η οποία είναι μια καλή συμπεριφορά προς μίμηση.

Ωστόσο, η επόμενη κλήση εκτέλεσης κώδικα αντιμετωπίζει εσφαλμένα αυτή τη λίστα ως λεξικό. Το εργαλείο κώδικα επιστρέφει TypeError: list indices must be integers or slices, not str. Επειδή ο τύπος επιστροφής τεκμηριώθηκε πριν από την κλήση, είναι ένα λάθος που το μοντέλο θα έπρεπε να μπορούσε να αποφύγει. Μια υπόδειξη με τη σωστή κλήση μπορεί να παραχθεί για να διορθώσει αυτή την ενέργεια.

Επεξηγηματική συνεδρία κωδικοποίησης: η είσοδος συστήματος και χρήστη και τα σφάλματα εργαλείων παραμένουν πλαίσιο· οι χρήσιμες καταγεγραμμένες κλήσεις αναζήτησης και ανάκαμψης λαμβάνουν CE σε μια επιτυχή συνεδρία· μια επισημασμένη εσφαλμένη αναζήτηση λίστας λαμβάνει KL προς έναν δάσκαλο στον οποίο δίνεται εδραιωμένη υπόδειξη. — Μια επεξηγηματική συνεδρία κωδικοποίησης δείχνει τρεις ρόλους εκπαίδευσης: εισόδους μόνο πλαισίου και εξόδους εργαλείων (γκρι), μίμηση CE χρήσιμων καταγεγραμμένων κλήσεων (σκούρο), και διόρθωση KL ενός επισημασμένου λάθους (teal). Εδώ, το μοντέλο αντιμετωπίζει εσφαλμένα μια λίστα αποτελεσμάτων αναζήτησης ως λεξικό· μια υπόδειξη μόνο για δάσκαλο βασισμένη σε προηγούμενη τεκμηρίωση εργαλείων καθοδηγεί τη διόρθωση. Οι στόχοι CE ισχύουν μόνο όταν η ολοκληρωμένη συνεδρία κρίνεται επιτυχής, ενώ μια ανεπιτυχής συνεδρία μπορεί εξακολουθεί να παρέχει έναν επιλέξιμο στόχο διόρθωσης KL.

Ο αγωγός εκπαίδευσης έχει τέσσερα στάδια: επιλογή συνεδριών και κρίση των αποτελεσμάτων τους, εντοπισμός λαθών και δημιουργία υποδείξεων από την ανατροφοδότηση χρηστών και τα σφάλματα εργαλείων, παραγωγή πιθανοτήτων επόμενου token τόσο από τον δάσκαλο όσο και από τον μαθητή, και εκπαίδευση του μοντέλου με συνδυασμένη απώλεια CE και KL.

Η δειγματοληπτική διοχέτευση αντλεί από ένα υποσύνολο πραγματικών συνεδριών Computer που είναι επιλέξιμες για εκπαίδευση και εξυπηρετούνται από το GLM 5.2. Οι εξαιρέσεις από την εκπαίδευση και οι εξαιρέσεις σχετικές με PII της διοχέτευσης εφαρμόζονται πριν από την επιλογή παραδειγμάτων για αυτήν τη ροή εργασίας.

Η αρχική διαδικασία ελέγχου επιλέγει υποψηφίους που αξιολογήθηκαν με 4 ή 5 σε μια κλίμακα δυσκολίας εργασίας πέντε σημείων από έναν κριτή LLM και τους χωρίζει σε 2 ομάδες:

Η ομάδα ανατροφοδότησης χρηστών περιέχει συνεδρίες με γνήσια παρακολούθηση χρήστη ή σημαία μέτριας έως υψηλής δυσαρέσκειας. Θεωρούμε αυτές τις παρακολουθήσεις υψηλής πρόθεσης ιδιαίτερα χρήσιμες για μάθηση: οι χρήστες προσπαθούν ενεργά να ολοκληρώσουν μια εργασία και οι διορθώσεις τους επισημαίνουν ακριβώς τι έχασε το μοντέλο.
Η ομάδα σφαλμάτων εργαλείων περιέχει συνεδρίες με αποτυχημένες κλήσεις που επισημάνθηκαν από ελέγχους βάσει κανόνων, εξαιρώντας αναγνωρισμένες αστοχίες υποδομής και αρνηθείσα εξουσιοδότηση.

Στη συνέχεια, δύο κριτές LLM αξιολογούν την τελική παράδοση σε σχέση με το αίτημα του χρήστη· και οι δύο κριτές πρέπει να επιστρέψουν θετική ετυμηγορία για να χαρακτηριστεί η συνεδρία ως «επιτυχής». Για περιπτώσεις που παραδίδουν αντικείμενα, το στάδιο αποτελέσματος μπορεί να ανα κατασκευάσει και να επιθεωρήσει την παράδοση, επιστρέφοντας σε κρίσεις βασισμένες σε κείμενο εάν αυτό το στάδιο αποτύχει. Οι συνεδρίες που ταξινομούνται ως ελλιπείς, όπως η εργασία που αναμένει τον χρήστη, εξαιρούνται.

Αυτό το βήμα εντοπίζει πιθανές πηγές σημάτων μάθησης· ωστόσο, δεν αποδίδεται κάθε σφάλμα στο μοντέλο, καθώς μερικά προκύπτουν από α σαφείς οδηγίες ή αστοχίες υποδομής. Ο μεταγενέστερος σχολιασμός καθορίζει ποια υποψήφια λάθη είναι πράγματι αποφεύξιμα και κατάλληλα για εκπαίδευση.

Εξετάστε ένα δείγμα συνεδρίας στην ομάδα ανατροφοδότησης χρηστών, όπου ο χρήστης ρωτάει, «How do I find my w3 on paychex». Το μοντέλο αντιμετωπίζει το «w3» ως τυπογραφικό λάθος για το W-2, αναζητά οδηγίες για το W-2 και εξηγεί πώς να βρείτε αυτή τη φόρμα. Η παρακολούθηση του χρήστη, «I meant the W-3 transmittal form», εντοπίζει το λάθος, ακόμη και αν η συνεδρία τελικά πετύχει.

Το παράπονο βοηθά στον εντοπισμό του λάθους, αλλά η ρίζα του προβλήματος είναι η προηγούμενη απόφαση επανερμηνείας του «w3» ως W-2. Το αρχικό αίτημα καθιστά το λάθος αποφεύξιμο: το μοντέλο θα μπορούσε να είχε διατηρήσει το W-3 ή να ζητήσει διευκρίνιση. Αποδεικνύεται ότι ο τελευταίος γύρος βοηθού πριν από το παράπονο είναι η ρίζα του προβλήματος μόνο περίπου τις μισές φορές.

Ο αγωγός σχολιασμού μας χαρτογραφεί συστηματικά την αιτία και το αποτέλεσμα σε κάθε συνεδρία ανατροφοδότησης χρηστών. Ο σχολιαστής ελέγχει πρώτα για μια χαμένη απαίτηση ή μια πρόθεση που υποστηρίζεται από προηγούμενο πλαίσιο. Στη συνέχεια, τρεις κριτές LLM εντοπίζουν τους υπεύθυνους γύρους, απαιτώντας τουλάχιστον δύο να συμφωνήσουν σε έναν δεδομένο γύρο. Μερικές φορές μια προηγούμενη δήλωση καθορίζει ρητά την απαίτηση. Σε άλλες περιπτώσεις, καμία μεμονωμένη προηγούμενη δήλωση δεν το κάνει, αλλά πολλαπλά κομμάτια της προηγούμενης συνομιλίας καθιστούν από κοινού την επιθυμητή συμπεριφορά συμπεράσιμη. Αυτός ο σχεδιασμός τους επιτρέπει να συνδέσουν ένα παράπονο με ένα προηγούμενο ριζικό λάθος αντί να το αποδώσουν αποκλειστικά στην τελευταία απάντηση.

Πριν αποδεχτεί μια υπόδειξη, ο αγωγός ελέγχει επίσης ότι οι διορθωτικές της αξιώσεις προκύπτουν από πληροφορίες διαθέσιμες πριν από τον επισημασμένο γύρο. Αυτοί οι έλεγχοι αποσκοπούν στη μείωση της προκατάληψης εκ των υστέρων, όπου μια νέα προτίμηση που αποκαλύπτεται στο παράπονο αντιμετωπίζεται ως κάτι που το μοντέλο θα έπρεπε ήδη να γνωρίζει.

Σε αυτό το παράδειγμα, η υπόδειξη λέει στο μοντέλο να αναζητήσει τη φόρμα διαβίβασης W-3 στο Paychex αντί για το W-2, ή να ρωτήσει ποια φόρμα εννοεί ο χρήστης εάν το αίτημα είναι αμφίβολο. Η διόρθωση στοχεύει στην προηγούμενη ερμηνεία και απόφαση αναζήτησης, όχι μόνο στην τελική απάντηση. Ο αρχικός γύρος παραμένει αμετάβλητος· ο σχολιασμός προσθέτει is_bad_turn: true και ένα μη κενό hint.

Ένα αίτημα W-3 παρερμηνεύεται ως W-2· ένα μεταγενέστερο παράπονο ανιχνεύεται στην προηγούμενη απόφαση αναζήτησης και ελέγχεται έναντι προηγούμενων αποδεικτικών στοιχείων. — Μια πραγματική συνεδρία που δείχνει πώς ένα παράπονο ανιχνεύεται πίσω σε ένα προηγούμενο λάθος, με τη διαδικασία σχολιασμού να προβάλλεται από πάνω. Ο χρήστης ζήτησε “w3” στο Paychex, αλλά το μοντέλο το αντιμετώπισε ως τυπογραφικό λάθος για το W-2 και αναζήτησε τη λάθος φόρμα. Η συναίνεση των προτείνοντων εντοπίζει τη βασική αιτία, ενώ δύο έλεγχοι γείωσης αξιολογούν αν τα στοιχεία προϋπήρχαν του λάθους και αν οι ισχυρισμοί της υπόδειξης προκύπτουν από τις πληροφορίες που ήταν διαθέσιμες εκείνη τη στιγμή. Οι αποδεκτοί σχολιασμοί διατηρούν το αρχικό κείμενο και προσθέτουν σημάδια και υποδείξεις, αντί για ξαναγραμμένους στόχους.

Εξετάστε μια άλλη συνεδρία στην ομάδα σφαλμάτων εργαλείων με μια κλήση αναζήτησης όπου ο πράκτορας αναζητά με recency_filter: "year", αλλά το εργαλείο την απορρίπτει επειδή οι επιτρεπόμενες τιμές είναι «day», «week» ή «month». Αυτή είναι μια σαφής παραβίαση σχήματος.

Η διαδρομή σφάλματος εργαλείου χρησιμοποιεί ντετερμινιστικούς κανόνες για γνωστά λάθη και κρίση μοντέλου για αμφίβολες περιπτώσεις. Ένα μήνυμα σφάλματος από μόνο του δεν αρκεί επίσης για να κατηγορηθεί το μοντέλο· μια κριθείσα διόρθωση πρέπει να υποδεικνύει κάτι που το μοντέλο θα μπορούσε να γνωρίζει από το σχήμα εργαλείου, τις οδηγίες συστήματος ή την προηγούμενη συνομιλία.

Μια κλήση αναζήτησης χρησιμοποιεί την μη έγκυρη τιμή recency_filter year· μια εδραιωμένη υπόδειξη καθοδηγεί το μοντέλο να χρησιμοποιήσει μια καταχωρισμένη τιμή ή να παραλείψει ένα προαιρετικό πεδίο. — Το μη έγκυρο όρισμα αναζήτησης της αναφοράς απεικονίζει την τρέχουσα διαδικασία σφάλματος εργαλείου. Το σχήμα καθιστά αυτό το λάθος αποφεύξιμο· μια διακοπή λειτουργίας από μόνη της δεν θα το έκανε. Η αρχική κλήση παραμένει στο αρχείο και λαμβάνει μια εδραιωμένη υπόδειξη. Η υπόδειξη επιτρέπει μια καταχωρισμένη τιμή ή παράλειψη εάν το πεδίο είναι προαιρετικό· δεν απαιτεί «month» για κάθε αίτημα.

Εδώ, η υπόδειξη κατονομάζει την αποτυχημένη κλήση, περιλαμβάνει το σφάλμα επικύρωσης και καθοδηγεί το μοντέλο να χρησιμοποιήσει μια επιτρεπόμενη τιμή ή να παραλείψει το πεδίο εάν είναι προαιρετικό.

Μόλις επισημανθεί ένας γύρος, ο εκπαιδευτής εκτελεί το ίδιο σημείο ελέγχου δύο φορές: μία φορά ως δάσκαλος και μία φορά ως μαθητής. Ο δάσκαλος βλέπει την υπόδειξη· ο μαθητής όχι.

Και τα δύο περάσματα χρησιμοποιούν εξαναγκασμό δασκάλου (teacher forcing), όπου τροφοδοτούμε το μοντέλο με την καταγεγραμμένη συνεδρία αντί να το αφήσουμε να επιλέξει νέα tokens. Το διαδοχικό πέρασμα εξακολουθεί να παράγει μια πλήρη κατανομή επόμενου token σε κάθε βήμα, αλλά εξαρτάται πάντα από το σταθερό πρόθεμα από την εγγραφή, όχι από τα tokens rollout.

Για το παράδειγμα αναζήτησης, το ίδιο μοντέλο αποδίδει πολύ υψηλότερη πιθανότητα στο «month» και λιγότερο στο «year» όταν του δίνεται η υπόδειξη. Η εκπαίδευση χρησιμοποιεί αυτή την κατανομή μετατόπισης ως μαλακό στόχο.

Το ίδιο μοντέλο βαθμολογεί έναν καταγεγραμμένο γύρο με και χωρίς υπόδειξη· οι αποσπασμένες πιθανότητες δασκάλου παρέχουν στόχους KL ενώ το CE αγκυροβολεί τη μίμηση. — Δύο περάσματα, ένα σύνολο βαρών. Και τα δύο περάσματα βαθμολογούν την καταγεγραμμένη συνέχεια· μόνο ο δάσκαλος λαμβάνει υποδείξεις. Οι αποσπασμένες πιθανότητες επόμενου token καθοδηγούν τον μαθητή μέσω forward KL. Ξεχωριστοί στόχοι CE αγκυρώνουν την μίμηση. Και οι δύο απώλειες τροφοδοτούν μία ενημέρωση βαρών. Οι προηγούμενες υποδείξεις μπορεί να παραμείνουν στο τρέχον τμήμα του δασκάλου· κανένα από τα δύο περάσματα δεν παράγει μια αντικαταστατική απάντηση εκπαίδευσης.

Οι προβλέψεις του δασκάλου είναι αποσπασμένες ή stop-gradient: παρέχουν έναν στόχο αλλά δεν λαμβάνουν ενημέρωση μέσω του περάσματος του δασκάλου. Μετά το πέρασμα του μαθητή, ένα βήμα βελτιστοποιητή ενημερώνει το κοινό μοντέλο.

Η απώλεια CE αντιμετωπίζει τα καταγεγραμμένα tokens που επιλέχθηκαν για μίμηση ως στόχους ground-truth και τιμωρεί το μοντέλο για την απόδοση χαμηλών πιθανοτήτων σε αυτά. Αυτό δημιουργεί έναν σκληρό στόχο μίμησης.

Στη θέση token $i$ , έστω $p_i(v)$ η πιθανότητα του μαθητή για το token $v$ στο πλήρες λεξιλόγιο $V$ . Το καταγεγραμμένο επόμενο token στην απόκριση ή την κλήση εργαλείου είναι $y_i$ , η κατανομή στόχου one-hot είναι $r_i$ .

r_i(v)=\mathbf{1}[v=y_i]

Η διασταυρούμενη εντροπία μετρά πόσο καλά ο μαθητής προβλέπει εκείνο το καταγεγραμμένο token. Με στόχο one-hot, καταλήγει στην αρνητική λογαριθμική πιθανότητα που αποδίδεται στο $y_i$ .

H(r_i,p_i)=-\sum_{v\in V}r_i(v)\log p_i(v)=-\log p_i(y_i)

Η μάσκα CE $m_i^{\mathrm{CE}}$ είναι $1$ όπου το token πρέπει να μιμηθεί και $0$ διαφορετικά. Η άθροιση στις επιλεγμένες θέσεις δίνει την απώλεια μίμησης.

\mathcal{L}_{\mathrm{CE}}=\sum_i m_i^{\mathrm{CE}}H(r_i,p_i)

Η απώλεια KL αντίθετα χρησιμοποιεί την πλήρη κατανομή πιθανότητας επόμενου token του δασκάλου $q_i$ ως μαλακό στόχο διόρθωσης. Το πλαίσιο του δασκάλου περιλαμβάνει την τρέχουσα υπόδειξη και τυχόν προηγούμενες υποδείξεις που διατηρούνται σε αυτό το τμήμα εκπαίδευσης· το πλαίσιο του μαθητή είναι πάντα χωρίς υποδείξεις.

Η μάσκα KL $m_i^{\mathrm{KL}}$ είναι $1$ όπου το token πρέπει να διορθωθεί και $0$ διαφορετικά· οι μάσκες CE και KL δεν επικαλύπτονται. Σε αυτές τις θέσεις, η πρόοδος KL τιμωρεί τη διαφωνία μεταξύ του δασκάλου και του μαθητή σε ολόκληρο το λεξιλόγιο:

\mathcal{L}_{\mathrm{KL}}=\sum_i m_i^{\mathrm{KL}}D_{\mathrm{KL}}(q_i\Vert p_i)=\sum_i m_i^{\mathrm{KL}}\sum_{v\in V}q_i(v)\log\frac{q_i(v)}{p_i(v)}

Και οι δύο όροι μοιράζονται έναν παρανομαστή αντί να κανονικοποιούνται χωριστά. Αυτός ο παρονομαστής μετρά τα συνολικά tokens που επιλέχθηκαν για μίμηση σε ολόκληρη την παρτίδα εκπαίδευσης. Το βάρος $\lambda$ ελέγχει τη συμβολή της διορθωτικής εκπαίδευσης σε σχέση με τη μίμηση.

Αυτός ο κοινός κανονικοποιητής ταιριάζει στη διεπαφή ενιαίου παρανομαστή της υποδομής εκπαίδευσής μας και ανακτά την τυπική απώλεια SFT όταν $\lambda=0$ , απλοποιώντας τις συγκρίσεις βάσης. Επειδή τα tokens CE είναι πολύ πιο άφθονα από τα tokens KL, η χρήση κοινού παρανομαστή αποτρέπει επίσης την απόδοση δυσανάλογα μεγάλων βαρών σε μεμονωμένα tokens KL σε παρτίδες με λίγα επισημασμένα tokens.

\mathcal{L}=\frac{\mathcal{L}_{\mathrm{CE}}+\lambda\mathcal{L}_{\mathrm{KL}}}{\sum_i m_i^{\mathrm{CE}}}

Εφαρμοσμένο στα προηγούμενα παραδείγματα, οι γύροι που περιέχουν το μπέρδεμα W-3/W-2 και την μη έγκυρη κλήση αναζήτησης λαμβάνουν KL. Άλλο ασημάντος περιεχόμενο βοηθού σε μια επιτυχή συνεδρία λαμβάνει εξακολουθητικά CE. Άλλο περιεχόμενο βοηθού σε μια ανεπιτυχή συνεδρία διατηρείται ως πλαίσιο αλλά δεν λαμβάνει ούτε CE ούτε KL.

Οι αξιολογήσεις μας απαντούν σε δύο ξεχωριστές ερωτήσεις. Πρώτον, βοηθάει πράγματι μια υπόδειξη το μοντέλο να διορθώσει ένα σφάλμα όταν η υπόδειξη είναι παρούσα; Δεύτερον, βοηθάει η εκπαίδευση το μοντέλο να αποφύγει αυτό το σφάλμα αργότερα, χωρίς την υπόδειξη; Η πρώτη εξετάζει εάν οι υποδείξεις παρέχουν χρήσιμα σήματα εκπαίδευσης. Η δεύτερη εξετάζει εάν το μοντέλο μαθαίνει από αυτές.

Δοκιμάζουμε την πρώτη ερώτηση πριν από την εκτέλεση της εκπαίδευσης για να διασφαλίσουμε ότι οι υποδείξεις μπορούν πράγματι να αποτρέψουν το μοντέλο από τα λάθη.

Αναδημιουργήσαμε τους επισημασμένους γύρους ανατροφοδότησης χρηστών με και χωρίς υπόδειξη, χρησιμοποιώντας το ίδιο βασικό μοντέλο GLM-5.2 σε θερμοκρασία μηδέν. Ένας τυφλός κριτής βλέπει το μεταγενέστερο παράπονο, αλλά ούτε την υπόδειξη ούτε ποια συνθήκη παρήγαγε την απάντηση.

Στο παράδειγμα W-3, η υπόδειξη μετατοπίζει την πιθανότητα επόμενου token προς το «3» και μακριά από το «2» μετά το πρόθεμα «W-».

Οι πιθανότητες επόμενου token μετά το W- μετατοπίζονται προς το 3 και όχι προς το 2 όταν το αμετάβλητο βασικό μοντέλο λαμβάνει υπόδειξη. — Μια υπόδειξη διατηρεί τη ζητούμενη φόρμα W-3. Οι ράβδοι δείχνουν τις μέσες πιθανότητες επόμενου token σε οκτώ διαδοχικά περάσματα· τα μουστάκια δείχνουν το παρατηρούμενο εύρος, όχι διάστημα εμπιστοσύνης. Και οι δύο συνθήκες χρησιμοποιούν το αμετάβλητο βασικό μοντέλο.

Σε ένα μεγαλύτερο κρατημένο δείγμα 40 γύρων που υποστηρίζεται από ρητά δηλωμένα προηγούμενα αποδεικτικά στοιχεία, το μερίδιο που κρίθηκε διορθωμένο ή σε πορεία ανεβαίνει από 40,0% χωρίς υπόδειξη σε 75,0% με μία. Σε άλλους 40 γύρους που υποστηρίζονται από συμπερασμένη πρόθεση, ανεβαίνει από 32,5% σε 80,0%.

Επικύρωση υπόδειξης: τα ποσοστά διορθωμένων ή σε πορεία αυξάνονται από 40,0% σε 75,0% για ρητά αποδεικτικά στοιχεία και από 32,5% σε 80,0% για συμπερασμένη πρόθεση. — Επικύρωση υπόδειξης, όχι αξιολόγηση μετά την εκπαίδευση. Οι ίδιοι 40 επισημασμένοι γύροι σε κάθε ομάδα αποδεικτικών στοιχείων αναδημιουργούνται με και χωρίς υπόδειξη χρησιμοποιώντας αμετάβλητο GLM-5.2 σε θερμοκρασία μηδέν. Ο κριτής βλέπει το παράπονο αλλά όχι την υπόδειξη ή τη συνθήκη. Οι μετρήσεις προέρχονται από τα ποσοστά και τα μεγέθη δειγμάτων της αναφοράς· τα διαστήματα εμπιστοσύνης δεν αναφέρονται.

Στο παράδειγμα σφάλματος εργαλείου αναζήτησης, μια υπόδειξη μετατοπίζει πράγματι τη μάζα πιθανότητας από το token year στο token month.

Μια υπόδειξη μετατοπίζει τις πιθανότητες επόμενου token του αμετάβλητου βασικού μοντέλου μακριά από το year και προς την επιτρεπόμενη τιμή month. — Μια υπόδειξη μετατοπίζει την πιθανότητα προς μια επιτρεπόμενη τιμή. Οι ράβδοι δείχνουν τις μέσες πιθανότητες επόμενου token σε οκτώ διαδοχικά περάσματα· τα μουστάκια δείχνουν το παρατηρούμενο εύρος, όχι διάστημα εμπιστοσύνης. Και οι δύο συνθήκες χρησιμοποιούν το ίδιο βασικό μοντέλο· δεν συγκρίνεται εκπαιδευμένο σημείο ελέγχου.

Σε ένα μεγαλύτερο δείγμα 985 κρατημένων γύρων, αναδημιουργούμε κάθε γύρο τέσσερις φορές με και χωρίς υπόδειξη χρησιμοποιώντας το ίδιο βασικό μοντέλο. Ένας τυφλός κριτής αξιολογεί εάν κάθε αναδημιουργία αποφεύγει την αρχική αποτυχία. Οι υποδείξεις αυξάνουν την αποφυγή αποτυχίας από 75,1% σε 93,7%, μια ζευγαρωμένη αύξηση 18,6 ποσοστιαίων μονάδων, και αυξάνουν το μερίδιο που λαμβάνει τη διορθωμένη ενέργεια από 60,6% σε 82,3%. Τα κέρδη είναι μεγαλύτερα σε σφάλματα που η επαναλαμβανόμενη δειγματοληψία από μόνη της δυσκολεύεται να διορθώσει.

Σε 985 κρατημένους επισημασμένους γύρους σφάλματος εργαλείου, οι υποδείξεις αυξάνουν την αποφυγή αποτυχίας από 75,1% σε 93,7% και τα ποσοστά διορθωμένων ενεργειών από 60,6% σε 82,3%. — Επικύρωση υπόδειξης σφάλματος εργαλείου σε 985 κρατημένους επισημασμένους γύρους, με τέσσερις αναδημιουργίες ανά συνθήκη. Οι ράβδοι δείχνουν την αποφυγή αποτυχίας και τα ποσοστά διορθωμένων ενεργειών για το αμετάβλητο βασικό μοντέλο, με και χωρίς υποδείξεις. Η αποφυγή του στοχευμένου λάθους δεν εδραιώνει την επιτυχία κλήσης εργαλείου ή εργασίας.

Στη συνέχεια ελέγχουμε αν το εκπαιδευμένο μοντέλο κάνει λιγότερα λάθη χωρίς να δέχεται υποδείξεις. Αξιολογούμε το stock model και διάφορα checkpoints μετά την εκπαίδευση σε offline εργασίες benchmark και σε ζωντανές συνεδρίες χρηστών, ελέγχοντας για λιγότερες αστοχίες εργαλείων και λιγότερη δυσαρέσκεια των χρηστών.

Η αξιολόγηση εκτός σύνδεσης χρησιμοποιεί τα BrowseComp, Finch, WideSearch, DRACO, DSQA, SpreadsheetBench, HLE, ένα αντιπροσωπευτικό σύνολο εργασιών Computer, και ελέγχει για φόρτωση δεξιοτήτων, αναθεώρηση εγγράφων και ενσωματωμένες παραπομπές. Μετρούμε το μερίδιο των κλήσεων εργαλείων των οποίων τα αποτελέσματα επισημαίνονται ρητά ως σφάλματα σε όλες τις τροχιές αξιολόγησης.

Σε αυτές τις αξιολογήσεις, το καταγεγραμμένο ποσοστό σφαλμάτων εργαλείων ήταν 2,79% για το stock GLM 5.2, 1,35% για το σημείο ελέγχου RFT-only και 0,87% για ένα σημείο ελέγχου RFT-plus-OPSD. Αυτά τα σημεία ελέγχου εκπαιδεύτηκαν σε διαφορετικά δεδομένα, επομένως αυτή δεν είναι μια αφαίρεση ταιριασμένων δεδομένων του OPSD. Τα αποτελέσματα των σημείων αναφοράς σε επίπεδο εργασίας ήταν μικτά, οπότε λιγότερα σφάλματα εργαλείων από μόνα τους δεν μεταφράζονται απαραίτητα σε ευρεία βελτίωση στην επιτυχία εργασιών.

Καταγεγραμμένα ποσοστά σφαλμάτων εργαλείων εκτός σύνδεσης: 2,79% για το stock GLM 5.2, 1,35% για RFT-only και 0,87% για RFT συν OPSD· τα δεδομένα εκπαίδευσης διαφέρουν. — Ποσοστά σφαλμάτων εργαλείων εκτός σύνδεσης για τα σημεία ελέγχου stock GLM-5.2, RFT-only και RFT-plus-OPSD. Τα δεδομένα εκπαίδευσης διαφέρουν μεταξύ των σημείων ελέγχου· αυτή δεν είναι ελεγχόμενη αφαίρεση.

Για το GLM-5.2, τρέξαμε δύο ξεχωριστές δοκιμές A/B με περίπου εκατό χιλιάδες χρήστες σε κάθε συνθήκη. Στην πρώτη, ένα πρώιμο σημείο ελέγχου RFT-plus-OPSD είχε ελαφρώς χαμηλότερο ποσοστό αστοχίας εργαλείων από το βασικό GLM 5.2, 2,82% έναντι 2,94%, αλλά η διαφορά δεν ήταν στατιστικά σημαντική.

Στην επόμενη δοκιμή, συγκρίναμε δύο σημεία ελέγχου RFT-plus-OPSD: ένα παλαιότερο (σημείο ελέγχου ένα) και ένα μεταγενέστερο (σημείο ελέγχου δύο). Οι αστοχίες κλήσεων εργαλείων μειώθηκαν από 2,24% σε 1,77% των κλήσεων με καταγεγραμμένη κατάσταση. Αυτή ήταν μια στατιστικά σημαντική σχετική μείωση 21,2%. Δεν συγκρίναμε άμεσα το σημείο ελέγχου δύο με το stock GLM 5.2 online.

Τα αποτελέσματα των σχολίων των χρηστών ήταν λιγότερο οριστικά. Στο δεύτερο πείραμα GLM-5.2, η μέση πιθανότητα ισχυρής δυσαρέσκειας (μέτριας ή υψηλής) ήταν 2,58% για το πρώτο σημείο ελέγχου και 2,54% για το δεύτερο, χωρίς στατιστικά σημαντική διαφορά.

Δύο ξεχωριστές διαδικτυακές δοκιμές A/B· μόνο η μεταγενέστερη σύγκριση σημείων ελέγχου έχει σημαντική μείωση αστοχίας εργαλείων, χωρίς σημαντική αλλαγή στη δυσαρέσκεια MID+. — Δύο ξεχωριστές ζωντανές δοκιμές A/B του GLM-5.2. Το σημείο ελέγχου 1 συγκρίνεται με το βασικό GLM-5.2· το σημείο ελέγχου 2 συγκρίνεται με το σημείο ελέγχου 1. Μεταξύ αυτών των δύο δοκιμών, μόνο η μεταγενέστερη μείωση αστοχίας εργαλείων είναι στατιστικά σημαντική. Τα ποσοστά MID+ αντιπροσωπεύουν μέσες εκτιμώμενες πιθανότητες μέτριας ή υψηλής δυσαρέσκειας και όχι αριθμούς παραπόνων.

Για το GLM-5.3, συγκρίναμε απευθείας ένα σημείο ελέγχου μετά την εκπαίδευση με το βασικό GLM-5.3. Οι αστοχίες κλήσεων εργαλείων μειώθηκαν από 3,56% σε 2,38% των κλήσεων με καταγεγραμμένη κατάσταση, μια σχετική μείωση 33,04%. Το ποσοστό MID+, η μέση εκτιμώμενη πιθανότητα μέτριας ή υψηλής δυσαρέσκειας, μειώθηκε από 4,12% σε 3,41%, μια σχετική μείωση 17,2%. Και οι δύο μειώσεις ήταν στατιστικά σημαντικές.

Δοκιμή A/B του GLM-5.3: το ποσοστό αστοχίας εργαλείων μειώνεται από 3,56% σε 2,38% και το ποσοστό MID+, η μέση εκτιμώμενη πιθανότητα μέτριας ή υψηλής δυσαρέσκειας, μειώνεται από 4,12% σε 3,41%. Οι σχετικές μειώσεις προσαρμοσμένες κατά CUPED είναι 33,04% και 17,16% αντίστοιχα. Και τα δύο διαδοχικά διαστήματα 95% εξαιρούν το μηδέν· η βασική μέτρηση αφοσίωσης δεν είναι σημαντική. — Μετα-εκπαιδευμένο GLM-5.3 έναντι βασικού GLM-5.3 σε ξεχωριστή διαδικτυακή δοκιμή A/B. Τα ποσοστά αστοχίας εργαλείων και MID+, οι σχετικές αλλαγές και τα διαδοχικά διαστήματα εμπιστοσύνης 95% χρησιμοποιούν προσαρμογή CUPED. Και οι δύο μειώσεις είναι στατιστικά σημαντικές. Τα ποσοστά MID+ είναι μέσες εκτιμώμενες πιθανότητες μέτριας ή υψηλής δυσαρέσκειας σε επιλέξιμα βαθμολογημένα νήματα παρακολούθησης, όχι μετρήσεις παραπόνων. Τα ποσοστά αστοχίας εργαλείων εξαιρούν κλήσεις χωρίς καταγεγραμμένη κατάσταση επιτυχίας ή αποτυχίας.

Η κεντρική ιδέα είναι η μάθηση σε επίπεδο απόφασης, όχι απλώς συνεδρίας.

Ένα επιτυχές αποτέλεσμα μπορεί να κρύψει λάθη, και μια ανεπιτυχής συνεδρία μπορεί ακόμα να αποκαλύψει πώς να βελτιωθεί. Διατηρούμε χρήσιμη συμπεριφορά από επιτυχείς συνεδρίες ως άγκυρα, χρησιμοποιούμε παράπονα και σφάλματα εργαλείων για να εντοπίσουμε αποφεύξιμες αστοχίες και εκπαιδεύουμε το μοντέλο προς τις προβλέψεις που κάνει όταν αυτά τα λάθη και οι διορθώσεις γίνονται ρητά. Η επιτυχία παρέχει συμπεριφορά προς διατήρηση· η αποτυχία παρέχει κατεύθυνση για βελτίωση.

Η χρήση στον πραγματικό κόσμο καθιστά αυτή την προσέγγιση ιδιαίτερα χρήσιμη. Πραγματικοί χρήστες φέρνουν στόχους, περιορισμούς και ροές εργασίας που είναι δύσκολο να προβλεφθούν σε ένα συνθετικό περιβάλλον. Οι διορθώσεις τους αποκαλύπτουν απαιτήσεις που το μοντέλο έχασε, ενώ τα σφάλματα εργαλείων αποκαλύπτουν κενά ανάμεσα σε αυτό που προσπάθησε το μοντέλο και σε αυτό που επιτρέπει το περιβάλλον. Αυτά τα σήματα συμπληρώνουν την εκπαίδευση βάσει αποτελέσματος: αντί να ρωτάμε μόνο αν μια εργασία πέτυχε, μπορούμε να ρωτήσουμε πού πήγε στραβά το μοντέλο και ποιες πληροφορίες θα μπορούσαν να το είχαν βοηθήσει να πάρει μια καλύτερη απόφαση.

Τα όρια είναι εξίσου σημαντικά. Οι κριτές μπορεί να κάνουν λάθος και η διόρθωση ενός γύρου δεν εγγυάται ότι η ολόκληρη εργασία θα πετύχει. Στόχος δεν είναι απλώς ένας Πράκτορας που ανακάμπτει μετά από μια διόρθωση. Είναι ένας Πράκτορας που χρειάζεται διόρθωση λιγότερο συχνά.

BibTeX

@online{perplexity2026LearningFromRealWorldExperience,
  author = {{Perplexity} and Senzeyu Zhang and Chuan Wang and Hang Wu and Hao Zhang and Yuan Liang and Yunfan Zhong and Phi Hoang and Claire Beamer and Jeremy Yang and Andrew Wilson and Denis Yarats},
  title = {{Learning from real-world experience}},
  date = {2026-09-21},
  url = {https://www.perplexity.ai/hub/blog/learning-from-real-world-experience}
}

Από τα συνθετικά στα δεδομένα πραγματικού κόσμου

Μίμηση των καλών βημάτων, διόρθωση των κακών

Ένα παράδειγμα: μία συνεδρία μπορεί να διδάξει και τα δύο μαθήματα

Πώς λειτουργεί η εκπαίδευση

Επιλογή συνεδριών, στη συνέχεια κρίση του αποτελέσματος

Εντοπισμός των λαθών από την ανατροφοδότηση χρηστών

Εντοπισμός των λαθών από σφάλματα εργαλείων

Δύο διαδοχικά περάσματα

Η συνάρτηση απώλειας

Η απώλεια CE

Απώλεια KL

Συνδυασμένη απώλεια

Τι δείχνουν οι αξιολογήσεις

Οι υποδείξεις μπορούν να αποτρέψουν το μοντέλο από τα λάθη

Ανατροφοδότηση χρήστη

Σφάλματα εργαλείων

Αξιοπιστία εργαλείων και σχόλια χρηστών μετά την εκπαίδευση

Αξιολόγηση εκτός σύνδεσης

Διαδικτυακή αξιολόγηση: GLM-5.2

Διαδικτυακή αξιολόγηση: GLM-5.3

Συμπέρασμα

Παραπομπή