Αυτοβελτιούμενες δεξιότητες
Πώς το Perplexity Brain μαθαίνει επαναλαμβανόμενες διαδικασίες από την εμπειρία και τις διατηρεί επικαιροποιημένες.
Εισαγωγή
Οι χρήστες έχουν προτιμήσεις και απαιτήσεις ειδικές για κάθε ροή εργασίας, τις οποίες ένα μοντέλο γενικής χρήσης δεν μπορεί να γνωρίζει εκ των προτέρων. Ένας πράκτορας πρέπει να μαθαίνει αυτές τις λεπτομέρειες για να προσαρμόζει την εργασία του στον χρήστη, αντί να απαιτεί από τον χρήστη να εξηγεί την ίδια διαδικασία ή να κάνει τις ίδιες διορθώσεις σε κάθε συνεδρία. Η συνεχής μάθηση το καθιστά αυτό δυνατό: η εμπειρία από ολοκληρωμένες εργασίες θα πρέπει να καθορίζει τον τρόπο με τον οποίο ο πράκτορας προσεγγίζει τη μελλοντική εργασία.
Το Brain, το εξατομικευμένο σύστημα αυτοβελτίωσης του Computer, επιτρέπει τη μάθηση μέσω της εμπειρίας. Ήδη διατηρεί ένα δομημένο wiki γνώσεων που συνδέει πληροφορίες για τον χρήστη και την εργασία του με τα στοιχεία που τις τεκμηριώνουν. Πράκτορες παρασκηνίου ενημερώνουν το wiki καθώς συσσωρεύονται νέες πληροφορίες, ώστε το σύστημα μνήμης να βελτιώνεται με τον χρόνο.
Οι δεξιότητες πρακτόρων προσφέρουν έναν ακόμη τρόπο καθοδήγησης της συμπεριφοράς των πρακτόρων χωρίς αλλαγή του υποκείμενου μοντέλου. Οι δεξιότητες είναι επαναχρησιμοποιήσιμες οδηγίες που καθοδηγούν έναν πράκτορα σε συγκεκριμένες εργασίες. Καταγράφουν απαιτήσεις και υποστηρικτικούς πόρους για επαναλαμβανόμενες ροές εργασίας, τα οποία διαφορετικά ο πράκτορας θα έπρεπε να συμπεράνει από τη μνήμη ή να λαμβάνει από τον χρήστη κάθε φορά, βελτιώνοντας την απόδοση σε εργασίες εκτός κατανομής. Μπορούν επίσης να περιλαμβάνουν scripts για επαναλαμβανόμενες διαδικασίες ή επεξεργασίες που μπορούν να εκφραστούν αξιόπιστα σε κώδικα, ώστε ο πράκτορας απλώς να εκτελεί αυτά τα scripts όταν ισχύουν. Το harness καθιστά τις διαθέσιμες δεξιότητες ανιχνεύσιμες και φορτώνει τις οδηγίες τους στο πλαίσιο όταν ο πράκτορας τις ζητά. Οι χρήστες μπορούν επίσης να καθορίζουν απευθείας στην προτροπή ποιες δεξιότητες θα χρησιμοποιηθούν.
Επεκτείνουμε το Brain ώστε να δημιουργεί και να ενημερώνει αυτόματα δεξιότητες πρακτόρων. Το Brain αξιοποιεί τη μνήμη και το ιστορικό συνεδριών ενός χρήστη για να γράφει και να βελτιώνει προσωπικές δεξιότητες που αποτυπώνουν διαδικασίες για τις ροές εργασίας του συγκεκριμένου χρήστη. Εφαρμόζουμε παρόμοια προσέγγιση για να ενημερώνουμε τις ενσωματωμένες δεξιότητες, οι οποίες είναι διαθέσιμες σε κάθε χρήστη του Perplexity, με βάση συγκεντρωτικά μοτίβα από όλες τις συνεδρίες.
Αρχικά περιγράφουμε τον μηχανισμό αυτοβελτίωσης που είναι κοινός για όλους τους τύπους δεξιοτήτων και εξηγούμε πώς λειτουργεί για τις προσωπικές και τις ενσωματωμένες δεξιότητες.
Κοινός μηχανισμός αυτοβελτίωσης
Ακόμη και μια χρήσιμη δεξιότητα πρέπει να αλλάζει καθώς προκύπτουν νέες προτιμήσεις ή καθώς η εμπειρία αποκαλύπτει κενά στις οδηγίες της. Το Brain είναι υπεύθυνο να ανακαλύπτει πώς πρέπει να αλλάξει η συμπεριφορά του πράκτορα την επόμενη φορά που το Computer θα συναντήσει μια παρόμοια εργασία και να καθορίζει πώς πρέπει να αλλάξει η δεξιότητα ώστε να επιτυγχάνει καλύτερα το επιθυμητό αποτέλεσμα.
Αυτή η διαδικασία βελτίωσης σχηματίζει έναν βρόχο με τέσσερα στάδια:
- Στοιχεία. Το Brain εντοπίζει προηγούμενες συνεδρίες στις οποίες χρησιμοποιήθηκε η δεξιότητα, ιδίως εκείνες όπου υστέρησε.
- Αναστοχασμός. Ένας πράκτορας βελτίωσης μελετά αυτά τα στοιχεία και προτείνει ενημερώσεις στη δεξιότητα.
- Επαλήθευση. Έλεγχοι επιβεβαιώνουν ότι η πρόταση είναι σωστά διαμορφωμένη και ότι είναι πιθανό να βελτιώσει τα αποτελέσματα.
- Ενεργοποίηση. Η επαληθευμένη αλλαγή εφαρμόζεται. Οι μελλοντικές συνεδρίες χρησιμοποιούν τη νέα εκδοχή, παρέχοντας στοιχεία για τον επόμενο γύρο.
Αυτός ο βρόχος βασίζεται σε πολλές υπάρχουσες δυνατότητες που δημιουργήθηκαν για το Computer και το Brain. Εδώ περιγράφουμε τον κοινό μηχανισμό που καθιστά δυνατή τη συλλογή στοιχείων και τον αναστοχασμό. Οι διαδικασίες επαλήθευσης και ενεργοποίησης εξαρτώνται από το αν μια αλλαγή αφορά έναν χρήστη ή κάθε χρήστη του Perplexity, γι' αυτό τις καλύπτουμε στις επόμενες ενότητες για τους βρόχους βελτίωσης των προσωπικών και των ενσωματωμένων δεξιοτήτων.
Στοιχεία από προηγούμενες συνεδρίες
Ο αναστοχασμός απαιτεί τον εντοπισμό συνεδριών στις οποίες χρησιμοποιήθηκε μια δεξιότητα, ιδίως εκείνων όπου υπάρχει περιθώριο βελτίωσης. Το harness του Computer καταγράφει σήματα που το καθιστούν αυτό δυνατό. Όταν ο πράκτορας φορτώνει μια δεξιότητα, το harness καταγράφει ένα συμβάν φόρτωσης δεξιότητας που συνδέει τη δεξιότητα με τη συνεδρία. Όταν ο πράκτορας διαπιστώνει απογοήτευση του χρήστη, εσφαλμένη συμπεριφορά ή εμφανή αναποτελεσματικότητα, καταχωρίζει ένα σύντομο, δομημένο διαγνωστικό και το harness επισυνάπτει τις δεξιότητες που χρησιμοποιούνται. Αυτά είναι ιδιαίτερα χρήσιμα για τις ενσωματωμένες δεξιότητες, όπου οποιαδήποτε συνεδρία θα μπορούσε δυνητικά να είναι σχετική, οπότε το σύστημα χρειάζεται έναν τρόπο να περιορίζει γρήγορα το σύνολο των στοιχείων.
Οι πράκτορες ωφελούνται από την πρόσβαση στο πλήρες αρχείο, αντί να κρίνουν με βάση το αποτέλεσμα ή μια σύντομη περίληψη. Το Computer αποθηκεύει τις προηγούμενες συνεδρίες με αναπαραστάσεις τροχιών ανεξάρτητες από τον πάροχο, οι οποίες καταγράφουν μηνύματα, κλήσεις εργαλείων, συλλογισμούς και αποτελέσματα. Έχουμε επίσης δημιουργήσει μια σουίτα εργαλείων γραμμής εντολών που μπορούν να χρησιμοποιούν οι πράκτορες για να αποκωδικοποιούν αυτές τις τροχιές και να ανασυνθέτουν πλήρεις συνεδρίες. Έτσι, ο πράκτορας αναστοχασμού μπορεί να εξετάζει συγκεκριμένες φορτώσεις δεξιοτήτων και κλήσεις εργαλείων, εντοπίζοντας τα ακριβή σημεία όπου προέκυψαν προβλήματα ή όπου θα μπορούσαν να γίνουν βελτιώσεις.
# Decode a stored trajectory into structured messages,
# including tool calls, their arguments, and their results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--jsonl -o session.jsonl
# Identify which skills the agent loaded and how often.
python3 list_skills_used.py session.jsonl
# Read one turn in detail, including its tool calls and results.
python3 deserialize_trajectory.py \
--convo-path session/convo.pb.lz4 \
--turn 3 -o turn-3.md
# Recover earlier steps preserved before a context compaction.
python3 deserialize_trajectory.py \
--convo-path session/compactions/001/original_convo.pb.lz4 \
--jsonl -o earlier-history.jsonlΠαράδειγμα χρήσης των εσωτερικών εργαλείων του Computer για την επιθεώρηση τροχιών εκτέλεσης. Οι διαδρομές και τα αναγνωριστικά έχουν απλοποιηθεί για λόγους παρουσίασης· τα ονόματα και τα ορίσματα των εντολών ακολουθούν την υλοποίηση.
Αναστοχασμός με πράκτορες παρασκηνίου
Το Brain χρησιμοποιεί μια ομάδα πρακτόρων παρασκηνίου για να βελτιστοποιεί συνεχώς την εμπειρία κάθε χρήστη. Για παράδειγμα, οι πράκτορες Dream εξετάζουν τη συσσωρευμένη εμπειρία για να ενημερώνουν το wiki γνώσεων. Ομοίως, η βελτίωση των δεξιοτήτων βασίζεται σε πράκτορες βελτίωσης που αναστοχάζονται πάνω σε στοιχεία χρήσης δεξιοτήτων για να προτείνουν ενημερώσεις.
Κάθε πράκτορας εργάζεται στο δικό του Sandbox με ένα μοντέλο αιχμής, τα σχετικά στοιχεία και την τρέχουσα βιβλιοθήκη δεξιοτήτων, καθοδηγούμενος από πρόσθετα και δεξιότητες. Αποφασίζει ποιες συνεδρίες θα διαβάσει, αντλεί ένα συγκεκριμένο δίδαγμα από καθεμία και ομαδοποιεί τα διδάγματα που απαιτούν την ίδια επαναχρησιμοποιήσιμη συμπεριφορά. Επειδή η διόρθωση μιας αποτυχίας μπορεί να έρχεται σε αντίθεση με μια άλλη οδηγία ή να προσθέτει εργασία αλλού, διαβάζει ολόκληρη τη δεξιότητα πριν προτείνει μια τροποποίηση και απέχει όταν τα στοιχεία δεν την τεκμηριώνουν.
Οι πράκτορες βελτίωσης εκτελούνται στο ίδιο harness με το Computer. Κάναμε το harness αρθρωτό, ώστε μια νέα εφαρμογή πράκτορα να μπορεί να επαναχρησιμοποιεί τον μηχανισμό του για συλλογισμό, χρήση εργαλείων και διαχείριση πλαισίου, ενώ ορίζει τις δικές της οδηγίες και δυνατότητες μέσω πρόσθετων. Ένας αποκλειστικός στόλος διεργασιών παρασκηνίου μάς επιτρέπει να κλιμακώνουμε αυτήν την επεξεργασία ανεξάρτητα από τις εργασίες προσκηνίου.
Ο βρόχος βελτίωσης προσωπικών δεξιοτήτων
Αρχικά περιγράφουμε πώς εφαρμόζεται ο κοινός μηχανισμός αυτοβελτίωσης στον βρόχο προσωπικής βελτίωσης, ο οποίος μετατρέπει το ιστορικό εργασιών ενός χρήστη σε νέες ή ενημερωμένες προσωπικές δεξιότητες. Το παρακάτω σχήμα παρακολουθεί ένα παράδειγμα δεξιότητας σε ολόκληρο τον βρόχο, καταλήγοντας στην αναθεωρημένη εκδοχή.
Κατά την ημερήσια εκτέλεση δημιουργίας, ο πράκτορας βελτίωσης εξετάζει τις πρόσφατες συνεδρίες του χρήστη για να καθορίσει ποιες αλλαγές αξίζει να γίνουν. Ένα σύνολο πρόσφατων συνεδριών φορτώνεται εκ των προτέρων στο Sandbox, μαζί με δεδομένα χρήσης δεξιοτήτων· το υπόλοιπο ιστορικό συνεδριών του χρήστη μπορεί να ανακτηθεί όποτε χρειάζεται. Ο πράκτορας βελτίωσης λαμβάνει επίσης τον κατάλογο των υπαρχουσών δεξιοτήτων. Δεν έχει πρόσβαση στο διαδίκτυο ούτε σε άλλους συνδέσμους.
Πρόσθετα και δεξιότητες σχεδιασμένα για τη ροή εργασίας βελτίωσης προσωπικών δεξιοτήτων καθοδηγούν τη διαδικασία αναστοχασμού, αξιοποιώντας τις αρχές μας για το τι συνιστά μια καλή ενημέρωση. Ο πράκτορας αναλύει πρώτα πλήρεις τροχιές για να εντοπίσει ένα συγκεκριμένο δίδαγμα σε κάθε συνεδρία. Στη συνέχεια, συγκρίνει τα διδάγματα με τις υπάρχουσες οδηγίες και αποφασίζει αν θα ενημερώσει μια δεξιότητα, θα δημιουργήσει μια νέα ή δεν θα κάνει καμία αλλαγή. Η δημιουργία μιας δεξιότητας απαιτεί δύο ανεξάρτητες εμφανίσεις της ίδιας επαναχρησιμοποιήσιμης συμπεριφοράς, ενώ μια ενημέρωση σε υπάρχουσα δεξιότητα μπορεί να δικαιολογηθεί με μία μόνο τεκμηριωμένη εμφάνιση.
Ο πράκτορας δεν τροποποιεί απευθείας τη δεξιότητα. Αντίθετα, συντάσσει μια πρόταση, καταγράφοντας τις προβλεπόμενες αλλαγές, καθώς και το σκεπτικό και τα στοιχεία που τις υποστηρίζουν. Οι ενημερώσεις περιορίζονται σε μία αλλαγή ανά δεξιότητα ανά εκτέλεση. Ντετερμινιστικοί έλεγχοι επαληθεύουν ότι οι προτάσεις είναι σωστά διαμορφωμένες και μπορούν να εφαρμοστούν στη δεξιότητα. Επιπλέον, ένας κριτής LLM ελέγχει δείγματα προτάσεων, εξετάζοντας αν τα στοιχεία υποστηρίζουν την αλλαγή και αν η δεξιότητα που προκύπτει παρέχει χρήσιμες οδηγίες.
Η ενεργοποίηση μετατρέπει μια επαληθευμένη πρόταση σε αλλαγή στη βιβλιοθήκη δεξιοτήτων του χρήστη, ώστε η νέα εκδοχή να μπορεί να φορτωθεί και να χρησιμοποιηθεί σε μελλοντικές συνεδρίες. Επειδή το harness φορτώνει ένα ευρετήριο όλων των διαθέσιμων δεξιοτήτων στην αρχή κάθε συνεδρίας, μια μεγάλη βιβλιοθήκη δεξιοτήτων μπορεί να επιβαρύνει το παράθυρο πλαισίου και να δυσκολέψει τον πράκτορα να βρίσκει και να φορτώνει τις σχετικές δεξιότητες. Γι' αυτό, το σύστημα διατηρεί μόνο τις πιο πολύτιμες δεξιότητες, αποσύροντας όσες δεν είναι απαραίτητες, ώστε η βιβλιοθήκη να παραμένει μικρή και επιμελημένη. Συγκεκριμένα, επιβάλλουμε όριο 10 αυτόματα δημιουργημένων δεξιοτήτων ανά χρήστη. Όταν συμπληρωθεί το όριο, ο πράκτορας βελτίωσης μπορεί ακόμη να ενημερώνει ή να αφαιρεί δεξιότητες, αλλά για να προσθέσει μια νέα δεξιότητα πρέπει να αποσύρει μια υπάρχουσα και να αιτιολογήσει γιατί η νέα δεξιότητα είναι πιο χρήσιμη για την εργασία του χρήστη.
Ο βρόχος βελτίωσης ενσωματωμένων δεξιοτήτων
Επεκτείνουμε επίσης το πλαίσιο συνεχούς βελτίωσης δεξιοτήτων του Brain στις ενσωματωμένες δεξιότητες. Αντί να χρησιμοποιεί τη μνήμη και το ιστορικό συνεδριών ενός χρήστη για να βελτιώσει τις προσωπικές δεξιότητες αυτού του χρήστη, ο ενσωματωμένος βρόχος χρησιμοποιεί στοιχεία από πολλούς χρήστες για να βελτιώσει τις δεξιότητες που είναι διαθέσιμες σε κάθε χρήστη του Perplexity. Επειδή οι ενσωματωμένες δεξιότητες μπορούν να χρησιμοποιηθούν από οποιονδήποτε, ο πήχης για τις αλλαγές είναι υψηλός· ενημερώσεις που ακούσια επιδεινώνουν την απόδοση μπορούν να επηρεάσουν χιλιάδες συνεδρίες. Ο πράκτορας βελτίωσης ενσωματωμένων δεξιοτήτων αλλάζει μόνο υποψήφιες εκδοχές των δεξιοτήτων. Για να φτάσουν στην επίσημη εκδοχή της δεξιότητας, αυτές οι ενημερώσεις πρέπει να περάσουν από ζευγοποιημένη επανεκτέλεση και εσωτερικό ανθρώπινο έλεγχο. Για άλλη μια φορά, παρακολουθούμε ολόκληρο τον βρόχο με ένα παράδειγμα δεξιότητας και τα σχετικά στοιχεία.
Ο βρόχος βελτίωσης ενσωματωμένων δεξιοτήτων χρησιμοποιεί εξυγιασμένα στοιχεία από συνεδρίες που είναι επιλέξιμες για χρήση στην εκπαίδευση. Διαγνωστικά και σήματα αποτυχίας χρησιμοποιούνται για την επιλογή σχετικών στοιχείων, μαζί με συνεδρίες ελέγχου στις οποίες η δεξιότητα χρησιμοποιήθηκε χωρίς να ενεργοποιηθεί καμία επισήμανση. Μια διαδικασία εξυγίανσης αφαιρεί διαπιστευτήρια και άλλα μυστικά, καθώς και συνημμένα αρχεία και πολυμέσα.
Ένας πράκτορας δημιουργίας σεναρίων μετατρέπει τα εξυγιασμένα στοιχεία σε συγκεκριμένα σενάρια αποτυχίας. Διατηρεί μόνο το πλαίσιο που είναι απαραίτητο για την κατανόηση της περίπτωσης αποτυχίας και τη βελτίωση της δεξιότητας· το υπόλοιπο μέρος της συνεδρίας ανασυντίθεται συνθετικά, δημιουργώντας μια αυτοτελή δοκιμή για τη διαδικασία επαλήθευσης. Τα σενάρια πρέπει να εκτελούνται χωρίς συνδεδεμένες εφαρμογές ή σύνδεση λογαριασμού· αν η αρχική εργασία εξαρτιόταν από έναν σύνδεσμο, η συγκεκριμένη είσοδος αντικαθίσταται από συνθετικά αρχεία στο σενάριο. Ένας ξεχωριστός έλεγχος επαληθεύει ότι η δεξιότητα αποτυγχάνει στο σενάριο που δημιουργήθηκε.
Ο αναστοχασμός γίνεται μέσω μιας εβδομαδιαίας εργασίας αναθεώρησης που μετατρέπει τις παρατηρούμενες αποτυχίες σε διορθώσεις. Αναζητά αποτυχίες δεξιοτήτων που επαναλαμβάνονται σε πολλές συνεδρίες, ώστε μία μεμονωμένη κακή συνεδρία να μην οδηγεί σε τροποποίηση. Για κάθε επαναλαμβανόμενη αποτυχία εκτελείται ξεχωριστά ένας πράκτορας βελτίωσης. Ο πράκτορας λαμβάνει μια περιγραφή της βασικής αιτίας, μαζί με εξυγιασμένες καταγραφές από επιτυχημένες συνεδρίες. Χρησιμοποιεί αυτά τα στοιχεία για να γράψει μια υποψήφια αναθεώρηση της δεξιότητας. Δεν λαμβάνει τα πλήρη σενάρια αποτυχίας, καθώς αυτά χρησιμοποιούνται στην αξιολόγηση.
Μια ξεχωριστή εργασία επανεκτέλεσης χρησιμοποιεί τα σενάρια που δημιουργήθηκαν για να συγκρίνει την αρχική και την αναθεωρημένη εκδοχή της δεξιότητας. Ένας κριτής LLM αξιολογεί τις απαντήσεις και τις τροχιές ενός πράκτορα με βάση τα κριτήρια αξιολόγησης κάθε σεναρίου. Για να περάσει μια πρόταση, κάθε σενάριο δοκιμής πρέπει να περνά με την αναθεωρημένη δεξιότητα και τουλάχιστον ένα πρέπει να αποτυγχάνει με την αρχική. Επανεκτελούνται επίσης σενάρια που δημιουργήθηκαν από τις συνεδρίες ελέγχου, για να επιβεβαιωθεί ότι τίποτα δεν έπαψε να λειτουργεί. Για τα σενάρια αποτυχίας, ο κριτής ελέγχει επίσης ότι προέκυψε η συγκεκριμένη αποτυχία, αντί να θεωρεί μια ανεπιτυχή εργασία ως ένδειξη του ίδιου προβλήματος.
Η ροή εργασίας συγκεντρώνει τις υποψήφιες αλλαγές και τα αποτελέσματα της αξιολόγησης σε ένα pull request για εσωτερικό ανθρώπινο έλεγχο. Οι αλλαγές τίθενται σε ισχύ μόνο αν ένας μηχανικός εγκρίνει το PR.
Αξιολογήσεις
Η αυτόματη βελτίωση δεξιοτήτων έχει αυξήσει σημαντικά τη δημιουργία και τη χρήση δεξιοτήτων. Το Brain έγραψε πάνω από 80.000 προσωπικές δεξιότητες για περισσότερους από 20.000 χρήστες από την 1η Αυγούστου έως τις 14 Νοεμβρίου. Επιπλέον, εφαρμόστηκαν περισσότερες από 100.000 αυτόματες ενημερώσεις σε πάνω από 30.000 υπάρχουσες προσωπικές δεξιότητες από τις 4 Σεπτεμβρίου έως τις 14 Νοεμβρίου.
Αυτές οι δεξιότητες καλύπτουν ένα ευρύ φάσμα τομέων και εργασιών, από την επαλήθευση λογισμικού και τη συμφωνία μισθοδοσίας έως τον σχεδιασμό γραφημάτων. Κατηγοριοποιήσαμε τις δεξιότητες που δημιούργησε το Brain με βάση τις ροές εργασίας που περιγράφουν. Ακόμη και ο μεγαλύτερος τομέας, η μηχανική λογισμικού, αντιστοιχούσε μόνο στο 11% των δεξιοτήτων· ακολουθούν η έρευνα και τα ενημερωτικά σημειώματα (10,1%), οι πωλήσεις και οι επιχειρησιακές λειτουργίες (9,9%) και τα οικονομικά και οι επενδύσεις (9,9%).
Πραγματοποιήσαμε μια τυχαιοποιημένη δοκιμή οκτώ εβδομάδων σε πραγματική κίνηση παραγωγής, συγκρίνοντας χρήστες με ενεργοποιημένη την αυτόματη βελτίωση προσωπικών δεξιοτήτων με μια ομάδα ελέγχου στην οποία ήταν απενεργοποιημένη. Το 72,9% των ατόμων με ενεργοποιημένη τη βελτίωση δεξιοτήτων απέκτησε τουλάχιστον μία νέα προσωπική δεξιότητα, ενώ μόνο το 6,5% των ατόμων χωρίς αυτήν πρόσθεσε χειροκίνητα μια νέα δεξιότητα. Περισσότεροι από τους μισούς στην ομάδα παρέμβασης (53%) είχαν φορτωμένη μια προσωπική δεξιότητα σε μια συνομιλία που ξεκίνησαν, σε σύγκριση με το 13% στην ομάδα ελέγχου· στους γύρους τους φορτωνόταν προσωπική δεξιότητα περίπου 3,6 φορές συχνότερα. Από τους πελάτες που απέκτησαν μια δεξιότητα γραμμένη από το Brain, το 63% χρησιμοποίησε ξανά μία σε μεταγενέστερη συνομιλία εντός τεσσάρων εβδομάδων.
Οι αξιολογήσεις μας επιδιώκουν να προσδιορίσουν πώς αυτές οι νέες και ενημερωμένες δεξιότητες επηρεάζουν την εκτέλεση των εργασιών και τη συνολική απόδοση.
Τα αποτελέσματα του ίδιου τυχαιοποιημένου πειράματος δείχνουν μείωση των αποτυχιών κλήσεων εργαλείων και της δυσαρέσκειας των χρηστών. Για τους χρήστες με αυτόματη βελτίωση δεξιοτήτων, το ποσοστό αποτυχίας κλήσεων εργαλείων μειώθηκε κατά 11% σε όλη τη δραστηριότητα του Computer. Εξαιρώντας τις εκτελέσεις παρασκηνίου του ίδιου του συστήματος, οι κλήσεις εργαλείων εξακολουθούσαν να αποτυγχάνουν περίπου 7% λιγότερο συχνά, γεγονός που υποδηλώνει ότι η αξιοπιστία βελτιώθηκε στην εργασία του χρήστη. Η δυσαρέσκεια των χρηστών, μετρούμενη ως τα νήματα μέτριας/υψηλής δυσαρέσκειας ανά χρήστη, μειώθηκε κατά 7,6%. Δεν παρατηρήσαμε μετρήσιμη μεταβολή στο κόστος ή στον χρόνο απόκρισης. Αυτές οι πρώτες δοκιμές δείχνουν ενθαρρυντικά αποτελέσματα και αναμένουμε ότι οι βελτιώσεις θα αυξηθούν με τον χρόνο, καθώς βελτιώνουμε το σύστημα και διαθέτουμε τις αυτοβελτιούμενες δεξιότητες σε περισσότερους χρήστες.
Πειράματα εκτός σύνδεσης έχουν επίσης καταγράψει βελτιώσεις σε πιο περιορισμένα πλαίσια. Σε ένα πείραμα με το SkillLearnBench, το Computer χρησιμοποίησε τροχιές προηγούμενων εργασιών για να δημιουργήσει μία προσωπική δεξιότητα για καθεμία από εννέα οικογένειες εργασιών. Σε 16 ζευγοποιημένες περιπτώσεις αξιολόγησης, η επιτυχία των εργασιών αυξήθηκε από 43,8% χωρίς δεξιότητες σε 62,5% με δεξιότητες που δημιουργήθηκαν, γεγονός που αποτελεί ένδειξη ότι οι δεξιότητες που προέρχονται από προηγούμενη εμπειρία μπορούν να βελτιώσουν την απόδοση σε επαναλαμβανόμενες εργασίες. Σε μια μελέτη περίπτωσης ενσωματωμένης δεξιότητας, οι τροποποιήσεις σε μια δεξιότητα ηλεκτρονικού εμπορίου οδήγησαν σε αύξηση της ποιότητας κατά 6% με 32% χαμηλότερο κόστος, με την ποιότητα να μετράται από έναν αυτοματοποιημένο κριτή.
Συμπέρασμα
Οι αυτοβελτιούμενες δεξιότητες δίνουν στο Computer έναν ακόμη τρόπο να μαθαίνει από την εργασία που κάνει. Επεκτείνουν το Brain ώστε να δημιουργεί και να διατηρεί διαδικαστική μνήμη, βελτιώνοντας την απόδοση σε σύνθετες ροές εργασίας. Η αυτόματη βελτίωση δεξιοτήτων έχει ήδη αυξήσει τη χρήση δεξιοτήτων, έχει μειώσει τα ποσοστά αποτυχίας εργαλείων και έχει περιορίσει τη δυσαρέσκεια των χρηστών.
Η βελτίωση προσωπικών δεξιοτήτων είναι πλέον διαθέσιμη σε όλους τους συνδρομητές Max στις ΗΠΑ. Είναι ενεργοποιημένη από προεπιλογή για τους επιλέξιμους χρήστες, αλλά μπορεί να απενεργοποιηθεί. Η καρτέλα «Πρόσθετα» εμφανίζει τις διαθέσιμες δεξιότητες, επισημαίνει όσες έχουν δημιουργηθεί από το Brain και επιτρέπει στους χρήστες να επιλέγουν ποιες δεξιότητες είναι ενεργοποιημένες.
Στη συνέχεια, θα επεκτείνουμε τη βελτίωση σε περισσότερες κατηγορίες δεξιοτήτων, συμπεριλαμβανομένων των δεξιοτήτων που δημιουργούν οι χρήστες, των δεξιοτήτων που μοιράζονται εντός έργων και των δεξιοτήτων οργανισμού. Θα συνεχίσουμε να βελτιώνουμε τη διαδικασία βελτίωσης και τις αξιολογήσεις της, ώστε οι αναθεωρήσεις να οδηγούν σε πιο αξιόπιστες διαδικασίες και καλύτερα αποτελέσματα.
Παραπομπή
@online{perplexity2026SelfImprovingSkills,
author = {{Perplexity} and Nicholas Bien and Se Won Jang and Kate Jung and Nikila Venkat and Jarrod Bryan and Claire Beamer and Jeremy Yang},
title = {{Self-improving skills}},
date = {2026-11-18},
url = {https://www.perplexity.ai/hub/blog/self-improving-skills}
}