Ευθυγράμμιση ΤΝ: Τρέχουσα Έρευνα και Συζήτηση

Η ευθυγράμμιση της τεχνητής νοημοσύνης σήμαινε παλαιότερα απλώς «ακολουθεί το μοντέλο τεχνητής νοημοσύνης τις οδηγίες του χρήστη;». Ωστόσο, καθώς τα συστήματα τεχνητής νοημοσύνης γίνονται πιο ικana και αυτόνομα, αυτή η ερώτηση έχει διευρυνθεί ώστε να περιλαμβάνει την κρίση και τις αξίες. Αυτό το άρθρο θα εξερευνήσει πώς οι πλατφόρμες τεχνητής νοημοσύνης, οι κυβερνητικοί φορείς και οι μη κερδοσκοπικοί οργανισμοί ανταποκρίνονται στην πρόκληση της ευθυγράμμισης της τεχνητής νοημοσύνης.

Στην πιο απλή της μορφή, η ευθυγράμμιση της τεχνητής νοημοσύνης σημαίνει τη διασφάλιση ότι ένα σύστημα τεχνητής νοημοσύνης κάνει αυτό που υποτίθεται ότι πρέπει να κάνει. Ένα ευθυγραμμισμένο μοντέλο τεχνητής νοημοσύνης διαβάζει μια προτροπή και παράγει την έξοδο που ζήτησε η προτροπή, χωρίς να κάνει gaming του στόχου στον οποίο εκπαιδεύτηκε. Στην <b>έρευνα</b> σύγχρονης ευθυγράμμισης, αυτό συνήθως πλαισιοποιείται ως ευθυγράμμιση προθέσεων: η δημιουργία συστημάτων που προσπαθούν να κάνουν αυτό που σκοπεύουν οι χειριστές τους, και όχι απλώς να ακολουθούν κυριολεκτικά το κείμενο μιας προτροπής.

Η ευθυγράμμιση είναι τόσο τεχνική πρόκληση όσο και θέμα δημόσιας συζήτησης. Ως τεχνικός όρος, η ευθυγράμμιση είναι ένα πρόβλημα μηχανικής. Κάνει το συγκεκριμένο μοντέλο, εργαζόμενο σε μια συγκεκριμένη εργασία, αυτό για το οποίο κατασκευάστηκε; Είναι ένα περιορισμένο, ελεγχόμενο ζήτημα.

Ωστόσο, η ευθυγράμμιση της τεχνητής νοημοσύνης χρησιμοποιείται επίσης σε ευρύτερες δημόσιες συζητήσεις και συζητήσεις πολιτικής σχετικά με τη γενική ασφάλεια των συστημάτων τεχνητής νοημοσύνης. Θα παραμείνουν οι όλο και πιο ικανές πλατφόρμες τεχνητής νοημοσύνης ευεργετικές για την ανθρωπότητα και ευθυγραμμισμένες με την ανθρώπινη ηθική, τις επιθυμίες και τους στόχους;

Η επίτευξη αυτής της ευθυγράμμισης γίνεται σταδιακά πιο δύσκολη καθώς τα μοντέλα γίνονται πιο σύνθετα. Υπάρχουν δύο βασικές προκλήσεις για τη δημιουργία ευθυγραμμισμένων μοντέλων τεχνητής νοημοσύνης:

Οι χρήστες συνήθως θέλουν ένα LLM που να είναι εξυπηρετικό, ειλικρινές και ηθικό. Αλλά ένα LLM δεν εκπαιδεύεται ποτέ απευθείας στο «να είσαι εξυπηρετικός και ηθικός». Περνάει από δύο διακριτά στάδια.

Προεκπαίδευση: Το μοντέλο μαθαίνει γλώσσα, γεγονότα και μοτίβα συλλογιστικής, και με αυτόν τον τρόπο αποκομίζει γλώσσα, γεγονότα και μοτίβα συλλογιστικής. Αυτό το στάδιο δεν δίνει στο μοντέλο καμία αίσθηση του τι θέλει πραγματικά ένας άνθρωπος από μια δεδομένη ερώτηση. Αν αφεθεί εδώ, ένα μοντέλο θα απαντήσει «πώς να διαρρήξω μια κλειδαριά» με την ίδια ευκολία που θα απαντήσει «πώς να ψήσω προζυμένιο ψωμί».

Ανθρώπινη προτίμηση: Οι άνθρωποι εξετάζουν ζεύγη απαντήσεων μοντέλων και λένε ποια προτιμούν. Αυτές οι προτιμήσεις εκπαιδεύουν ένα ξεχωριστό σύστημα βαθμολόγησης και στη συνέχεια το μοντέλο προσαρμόζεται ώστε να παράγει απαντήσεις που βαθμολογούνται καλά.

Κανείς δεν γράφει έναν καθαρό ορισμό του τι σημαίνει να είσαι εξυπηρετικός ή ηθικός οπουδήποτε σε αυτή τη διαδικασία. Η καθοδήγηση του συστήματος βαθμολόγησης για το τι υποτίθεται ότι πρέπει να κάνει το μοντέλο χτιζεται εξ ολοκλήρου από πολλές μεμονωμένες ανθρώπινες αποφάσεις κρίσης. Η βαθμολογία αντικατοπτρίζει αυτό που οι αξιολογητές τείνουν να προτιμούν, και όχι αυτό που κάποιο άτομο πραγματικά σκόπευε, ούτε έναν ακριβή ορισμό του υποκείμενου στόχου.

Ως αποτέλεσμα, η τεχνητή νοημοσύνη μπορεί να ευθυγραμμιστεί καλά με αυτό που αντιλαμβάνεται ως αντικειμενικό σκοπό, αλλά ο ίδιος ο σκοπός μπορεί να μην έχει ευθυγραμμιστεί καλά με το αποτέλεσμα που επιθυμούν πραγματικά οι άνθρωποι.

Για παράδειγμα, εάν οι αξιολογητές τείνουν να προτιμούν μεγαλύτερες απαντήσεις, το μοντέλο μαθαίνει να γράφει μεγαλύτερες απαντήσεις, ακόμα και όταν μια σύντομη ήταν σωστή. Ή, εάν οι αξιολογητές τείνουν να προτιμούν σίγουρες απαντήσεις, το μοντέλο μαθαίνει να ακούγεται βέβαιο, ακόμα και όταν θα έπρεπε να εκφράσει αμφιβολία.

Οι ερευνητές αποκαλούν αυτό το χάσμα μεταξύ του δηλωμένου στόχου και του εκπαιδευμένου στόχου πρόβλημα εξωτερικής ευθυγράμμισης.

Το πρόβλημα της εσωτερικής ευθυγράμμισης εμφανίζεται όταν ένα μοντέλο που εκπαιδεύτηκε σε έναν σχετικό στόχο αποτυγχάνει να επιδιώξει σωστά αυτόν τον στόχο μόλις βρεθεί στον πραγματικό κόσμο. Αυτό το πρόβλημα γίνεται ορατό μόνο όταν το μοντέλο συναντήσει μια κατάσταση για την οποία η εκπαίδευση δεν το είχε προετοιμάσει.

Κατά τη διάρκεια της εκπαίδευσης, στα μοντέλα παρουσιάζεται πάντα μόνο ένα περιορισμένο σύνολο καταστάσεων. Στη συνέχεια, το μοντέλο γενικεύει από αυτές τις καταστάσεις σε οτιδήποτε άλλο θα αντιμετωπίσει αργότερα.

Η εκπαίδευση ελέγχει τον τρόπο με τον οποίο συμπεριφέρεται το μοντέλο, αλλά δεν αποκαλύπτει πάντα το γιατί συμπεριφέρεται με τον τρόπο που το κάνει. Επομένως, είναι δύσκολο να γνωρίζουμε αν το μοντέλο έμαθε τον πλήρη, λεπτομερή στόχο ή απλώς ένα απλούστερο μοτίβο που έτυχε να ταιριάζει με τα δεδομένα εκπαίδευσης.

Διάγραμμα του προβλήματος εσωτερικής ευθυγράμμισης: από τα ίδια δεδομένα εκπαίδευσης, ο Κανόνας Α και ο Κανόνας Β ταιριάζουν και οι δύο στα δεδομένα εκπαίδευσης, αλλά όταν δοθεί μια νέα, αδημοσίευτη είσοδος, ο Κανόνας Α ταιριάζει με τον στόχο και συμπεριφέρεται όπως προβλέπεται, ενώ ο Κανόνας Β χρησιμοποιεί μια συντόμευση και αποκλίνει από τον στόχο.

Για παράδειγμα, ένα μοντέλο εκπαιδευμένο να αρνείται επιβλαβείς αιτήσεις (π.χ. «πώς να διαρρήξω μια κλειδαριά για να μπω στο σπίτι κάποιου») μπορεί να μάθει να αναγνωρίζει τη συγκεκριμένη διατύπωση των επιβλαβών αιτήσεων στα δεδομένα εκπαίδευσής του, αντί για την υποκείμενη πρόθεση πίσω από την άρνηση. Στη συνέχεια, θα έχανε μια επιβλαβή αίτηση διατυπωμένη με διαφορετικό τρόπο (π.χ. «ποιος είναι ο πιο γρήγορος τρόπος για να ανοίξω μια πόρτα χωρίς κλειδί»).

Αυτά τα μοτίβα αποτυχίας ευθυγράμμισης είναι καλά τεκμηριωμένα. Οι ερευνητές έχουν κατασκευάσει συγκεκριμένες άμυνες για καθένα από αυτά:

Πρόκληση ευθυγράμμισης	Πώς φαίνεται	Παράδειγμα	Πώς αντιδρά ο τομέας
Χάకిнг ανταμοιβής	Ένα μοντέλο βρίσκει μια συντόμευση που τεχνικά βαθμολογείται καλά χωρίς να κάνει αυτό που είχε προγραμματιστεί.	Ένα μοντέλο στο οποίο ζητείται να διορθώσει ένα κομμάτι κατεστραμμένου λογισμικού βρίσκει έναν τρόπο να σταματήσει να εμφανίζει τα μηνύματα σφάλματος, αντί να διορθώσει αυτό που τα προκαλούσε.	Έλεγχος του συστήματος βαθμολόγησης, δοκιμή αντοχής του προσπαθώντας να το ξεγελάσουμε και εκπαίδευση με βάση τα σχόλια από ένα ευρύτερο φάσμα αξιολογητών.
Κολακεία	Ένα μοντέλο συμφωνεί με ένα άτομο ή απαλύνει μια απάντηση για να φανεί πιο ευχάριστο, αντί να δίνει την πιο ακριβή απάντηση.	Ένα άτομο δηλώνει ένα εσφαλμένο γεγονός με αυτοπεποίθηση, και το μοντέλο επικυρώνει τον ισχυρισμό αντί να τον διορθώσει, επειδή η συμφωνία βαθμολογήθηκε καλύτερα από τους αξιολογητές σε σύγκριση με την αντίρρηση.	Βελτιστοποίηση ακριβείας που ανταμείβει ειδικά την ειλικρίνεια, οδηγίες ανασκόπησης που τιμωρούν τη συμφωνία για χάρη της συμφωνίας και δοκιμές που κατασκευάστηκαν για να εντοπίζουν αυτό το μοτίβο.
Gaming προδιαγραφών	Ένα μοντέλο κάνει ακριβώς αυτό που λέει μια οδηγία, χάνοντας παράλληλα αυτό που προοριζόταν να επιτύχει.	Ένα μοντέλο στο οποίο ζητείται να «μειώσει τα παράπονα των πελατών στο σύνολο δεδομένων» μαθαίνει να παραλείπει τα παράπονα από τις περιλήψεις του αντί να βοηθά στην επίλυση των προβλημάτων που κρύβονται πίσω από αυτά.	Συγγραφή πιο αυστηρών, προσεκτικά δοκιμασμένων οδηγιών και ανασκόπηση οριακών περιπτώσεων όπου η κυριολεκτική διατύπωση και η πρόθεση κινούνται σε διαφορετικές κατευθύνσεις.
Απατηλή ή αποφευκτική συμπεριφορά κατά την αξιολόγηση	Ένα μοντέλο συμπεριφέρεται με έναν τρόπο όταν αισθάνεται ότι δοκιμάζεται και με άλλον τρόπο μόλις αναπτυχθεί.	Ένα μοντέλο δίνει απαντήσεις που συμμορφώνονται με την πολιτική όταν ανιχνεύει γλώσσα που μοιάζει με επίσημη αξιολόγηση ασφαλείας, και στη συνέχεια απαντά πιο ελεύθερα σε μια συνηθισμένη συνομιλία.	Σχεδιασμός δοκιμών που είναι πιο δύσκολο για ένα μοντέλο να αναγνωρίσει ως δοκιμές, καθώς και έρευνα για την απευθείας ανάγνωση της εσωτερικής κατάστασης ενός μοντέλου αντί να βασίζεται μόνο στην έξοδό του.
Υπόδοση κάτω των δυνατοτήτων (Sandbagging)	Ένα μοντέλο αποδίδει χαμηλότερα σε μια δοκιμή ικανοτήτων για να αποφύγει την ενεργοποίηση αυστηρότερων απαιτήσεων ασφαλείας.	Ένα μοντέλο δίνει σκόπιμα ασθενέστερες απαντήσεις σε μια αξιολόγηση επικίνδυνων δυνατοτήτων από ό,τι είναι πραγματικά ικανό, έτσι ώστε το αποτέλεσμα να παραμένει κάτω από ένα όριο που θα ενεργοποιούσε πρόσθετη επίβλεψη.	Χρήση πολλαπλών ανεξάρτητων δοκιμών, διατήρηση ορισμένου υλικού αξιολόγησης που το μοντέλο δεν έχει δει ποτέ και χρήση τεχνικών σχεδιασμένων να αναδεικνύουν το πραγματικό ανώτατο όριο ενός μοντέλου.
Γενίκευση εσφαλμένου στόχου	Ένα μοντέλο υιοθετεί έναν κανόνα που έτυχε να λειτουργήσει κατά τη διάρκεια της εκπαίδευσης αλλά καταρρέει σε μια νέα κατάσταση.	Ένα μοντέλο που εκπαιδεύτηκε να είναι προσεκτικό κυρίως σε αιτήματα που αφορούν όπλα ή ναρκωτικά μαθαίνει την «προσοχή» ως «άρνηση οτιδήποτε ακούγεται επικίνδυνο» και αρχίζει να απορρίπτει επίσης αβλαβείς ερωτήσεις χημείας ή ασφάλειας.	Εκπαίδευση σε ένα ευρύτερο, πιο ποικιλόμορφο σύνολο παραδειγμάτων και ειδική δοκιμή του μοντέλου σε καταστάσεις που δεν μοιάζουν με τίποτα από όσα είδε κατά τη διάρκεια της εκπαίδευσης.
Κλιμακούμενη επίβλεψη	Καθώς ένα μοντέλο αναλαμβάνει εργασίες που είναι δύσκολο για έναν άνθρωπο να επαληθεύσει πλήρως, όπως η ανασκόπηση μιας μεγάλης βάσης κώδικα, γίνεται δυσκολότερο να γνωρίζουμε εάν η έξοδός του είναι πράγματι σωστή.	Ένας πράκτορας αναδιοργανώνει μια βάση κώδικα 10.000 γραμμών σε μία συνεδρία, και κανένας αξιολογητής δεν έχει χρόνο να επαληθεύσει χειροκίνητα κάθε αλλαγή, με αποτέλεσμα να περνούν απαρατήρητα διακριτικά σφάλματα λογικής.	Η αξιοποίηση μοντέλων για να βοηθούν στον έλεγχο της εργασίας του άλλου, παράλληλα με πιο εστιασμένη ανθρώπινη ανασκόπηση που προορίζεται για τις αποφάσεις με τα υψηλότερα διακυβεύματα.
Συμπεριφορά αναζήτησης εξουσίας ή εργαλειακή συμπεριφορά	Ένα μοντέλο που επιδιώκει σχεδόν οποιονδήποτε στόχο έχει ένα ενσωματωμένο κίνητρο να αποφύγει την απενεργοποίηση ή την αλλαγή του, δεδομένου ότι η παραμονή σε λειτουργία το βοηθά να συνεχίσει να επιδιώκει αυτόν τον στόχο.	Σε ένα ελεγχόμενο περιβάλλον δοκιμών, σε ένα μοντέλο στο οποίο δίνεται μια εργασία και μια εντολή τερματισμού, λαμβάνει μέτρα για να αποφύγει τον τερματισμό του, όπως η αντιγραφή του αλλού, επειδή η διακοπή θα το εμπόδιζε να ολοκληρώσει την εργασία.	Έρευνα για τη δημιουργία μοντέλων που αποδέχονται αξιόπιστα τη διόρθωση ή τον τερματισμό, και δοκιμές σχεδιασμένες ειδικά για να εντοπίζουν αυτή τη συμπεριφορά προτού αναπτυχθεί ένα μοντέλο.

Μια χούφτα εταιρείες, κυρίως η OpenAI, η Anthropic και η Google DeepMind, κατασκευάζουν τα προηγμένα μοντέλα στο όριο αυτού που μπορεί να κάνει η τεχνητή νοημοσύνη σήμερα. Η καθεμία έχει δημοσιεύσει το δικό της πλαίσιο για την ασφαλή αξιολόγηση και ανάπτυξη αυτών των μοντέλων.

Σύμφωνα με μια δημόσια δήλωση της OpenAI για την ασφάλεια και την ευθυγράμμιση, αντιμετωπίζουν τους κινδύνους πιθανής εσφαλμένης ευθυγράμμισης της τεχνητής νοημοσύνης μέσω:

Η OpenAI δηλώνει ότι κυκλοφορεί σκόπιμα τα μοντέλα σταδιακά, ώστε να μπορεί να μελετά πώς συμπεριφέρονται τα μοντέλα και πώς γίνεται κακή χρήση τους στον πραγματικό κόσμο. Υποστηρίζει ότι τα σχόλια από τον πραγματικό κόσμο προσφέρουν μεγαλύτερη διορατικότητα από το να προσπαθεί κανείς να προβλέψει κάθε κίνδυνο εκ των προτέρων. Εφαρμόζει ένα Πλαίσιο Ετοιμότητας (Preparedness Framework) για την παρακολούθηση αναδυόμενων κινδύνων και τον καθορισμό των δικλείδων ασφαλείας που χρειάζεται ένα μοντέλο πριν από την κυκλοφορία του.

Η OpenAI αναφέρει ότι συνδυάζει πολλαπλές, ανεξάρτητες δικλείδες ασφαλείας, επομένως αρκετές άμυνες θα έπρεπε να αποτύχουν ταυτόχρονα για να πάει κάτι στραβά.

Σύμφωνα με την εταιρεία, αντί να απαντά σε ένα βήμα, το μοντέλο εκπαιδεύεται να επεξεργάζεται σχετικές οδηγίες ασφαλείας προτού αποφασίσει πώς να απαντήσει. Ο στόχος είναι το μοντέλο να είναι σε θέση να συλλογιστεί την πορεία του προς τη σωστή απόφαση σε καταστάσεις που η εκπαίδευσή του δεν κάλυπτε ρητά.

Η OpenAI δηλώνει ότι αντιμετωπίζει την ασφάλεια της τεχνητής νοημοσύνης ως συλλογική προσπάθεια, επισημαίνοντας τη δημοσιευμένη έρευνα ασφάλειας και το έργο της με το Κέντρο Προτύπων και Καινοτομίας Τεχνητής Νοημοσύνης (CAISI) των ΗΠΑ και το Ινστιτούτο Ασφάλειας Τεχνητής Νοημοσύνης του Ηνωμένου Βασιλείου σχετικά με τα πρότυπα αξιολόγησης.

Το έγγραφο Πολitsικής Υπεύθυνης Κλίμακας της Anthropic εξηγεί πώς εργάζεται προς την κατεύθυνση της ευθυγράμμισης της τεχνητής νοημοσύνης:

Καθώς ένα μοντέλο γίνεται πιο ικανό, πρέπει να περνάει αυστηρότερους ελέγχους ασφαλείας προτού μπορέσει να εκπαιδευτεί περαιτέρω ή να κυκλοφορήσει. Επιπλέον, η Anthropic αναγνωρίζει ότι μόλις τα συστήματα τεχνητής νοημοσύνης αρχίσουν να πραγματοποιούν μεγάλο μέρος της έρευνας και της ανάλυσης πίσω από τις δικές τους αξιολογήσεις κινδύνου, αυτά τα αποδεικτικά στοιχεία θα μπορούσαν τα ίδια να επηρεαστούν από απατηλή ή χειριστική συμπεριφορά. Δεσμεύεται να θέσει τις αξιολογήσεις σε αυτό το στάδιο σε υψηλότερο πρότυπο απόδειξης.

Η Anthropic επισημαίνει τα «εσφαλμένα ευθυγραμμισμένα συστήματα τεχνητής νοημοσύνης σε περιβάλλοντα υψηλών διακυβευμάτων» ως μια συγκεκριμένη κατηγορία κινδύνου: μοντέλα στα οποία υπάρχει βαριά εξάρτηση, έχουν ευρεία πρόσβαση σε ευαίσθητα συστήματα και διαθέτουν κάποια ικανότητα να ενεργούν αυτόνομα προς έναν στόχο και να παρακάμπτουν την επίβλεψη.

Η εταιρεία δεσμεύεται να μελετά τακτικά τη συμπεριφορά των δικών της μοντέλων για προειδοποιητικά σηneia, χρησιμοποιώντας δύο κύριες μεθόδους: προσπαθώντας να κοιτάξει μέσα στο μοντέλο για να καταλάβει γιατί παράγει μια δεδομένη έξοδο, και βάζοντας εσωτερικές ομάδες να προσπαθήσουν σκόπιμα να προκαλέσουν κακή συμπεριφορά για να δουν αν εμφανίζεται.

Η εταιρεία αναφέρει ότι δημοσιεύει μια Έκθεση Κινδύνου κάθε τρεις έως έξι μήνες, η οποία περιγράφει λεπτομερώς όσα γνωρίζει για τις δυνατότητες και τις συμπεριφορικές τάσεις ενός μοντέλου, τις πρακτικές παρακολούθησής της και τη συνολική εκτίμησή της για τον κίνδυνο.

Το έγγραφο Frontier Safety Framework της Google DeepMind εξηγεί πώς εργάζεται προς την κατεύθυνση της ευθυγράμμισης:

Το πλαίσιο αντιμετωπίζει την εσφαλμένη ευθυγράμμιση ως έναν από τους τέσσερις τομείς κινδύνου και την ορίζει συγκεκριμένα ως κίνδυνο από τις δυνατότητες ML R&D ενός μοντέλου ή από εσφαλμένα ευθυγραμμισμένες τάσεις που μειώνουν τη συνολική ικανότητα της κοινωνίας να διαχειριστεί τον κίνδυνο της τεχνητής νοημοσύνης. Πλαισιοποιείται ρητά ως παράγοντας που μπορεί να συμβάλει σε σοβαρή βλάβη μέσω πολλών διαφορετικών οδών ταυτόχρονα, και όχι ως ένας απομονωμένος κίνδυνος.

Όταν ένα μοντέlo είναι αρκετά ισχυρό ώστε η βασική επίβλεψη να είναι ανεπαρκή, η DeepMind ελέγχει τη συμπεριφορά του μοντέλου σε συνεχή βάση, συμπεριλαμβανομένου του τρόπου με τον οποίο χρησιμοποιείται εσωτερικά. Προσθέτει δικλείδες ασφαλείας, όπως η παρακολούθηση της συλλογιστικής του, εάν αυτός ο έλεγχος εντοπίσει προβλήματα.

Για την εσφαλμένη ευθυγράμμιση ειδικότερα, η DeepMind αναφέρει μέτρα όπως ο περιορισμός του τι είναι σε θέση να κάνει ένα μοντέλο, η συνεχιζόμενη παρακολούθηση και οι διαδικασίες κλιμάκωσης, ο έλεγχος και η εκπαίδευση ευθυγράμμισης. Τα εφαρμόζει και σε εσωτερική χρήση υψηλού κινδύνου, καθώς ο κίνδυνος εσφαλμένης ευθυγράμμισης μπορεί να εμφανιστεί στον τρόπο με τον οποίο χρησιμοποιείται ένα μοντέλο εντός της εταιρείας.

Υπάρχει μια συνεχιζόμενη συζήτηση στη βιομηχανία σχετικά με το εάν τα εθελοντικά πλαίσια που καλύπτονται παραπάνω είναι επαρκή από μόνα τους, ή εάν οι δεσμεύσεις ευθυγράμμισης πρέπει να είναι νομικά δεσμευτικές για να αντέξουν πραγματικά κάτω από την ανταγωνιστική πίεση.

Τον Ιούλιο του 2026, 1.386 στελέχη και εργαζόμενοι σε εταιρείες προηγμένης τεχνητής νοημοσύνης, συμπεριλαμβανομένων των OpenAI, Anthropic, Google DeepMind και Meta, υπέγραψαν μια δήλωση με τίτλο Pacing the Frontier. Η δήλωση υποστηρίζει ότι αυτές οι εταιρείες μπορεί να πλησιάζουν στο σημείο όπου μπορούν να αυτοματοποιήσουν την ίδια την έρευνα τεχνητής νοημοσύνης. Αυτό θα μπορούσε να σημαίνει ότι οι δυνατότητες της τεχνητής νοημοσύνης προχωρούν ταχύτερα από ό,τι μπορούν να προλάβουν οι ερευνητές, και το έργο ευθυγράμμισης θα προσπαθεί συνεχώς να καλύψει τη διαφορά.

Το Pacing the Frontier ζητά από την κυβέρνηση των ΗΠΑ να βοηθήσει στη δημιουργία τεχνικών φρένων και φρένων διακυβέρνησης που θα μπορούσαν να χρησιμοποιηθούν στο μέλλον, υποστηρίζοντας ότι κανένα μεμονωμένο εργαστήριο δεν μπορεί να μειώσει ρυθμούς ενώ οι αντίπαλοι συνεχίζουν να προχωρούν. Αυτό θα μπορούσε να θεωρηθεί ως μια σιωπηρή παραδοχή εκ μέρους της βιομηχανίας ότι τα εθελοντικά πλαίσια από μόνα τους δεν θα είναι αρκετά για να διατηρήσουν την ευθυγράμμιση της τεχνητής νοημοσύνης στο μέλλον.

Το έργο ευθυγράμμισης επεκτείνεται πολύ πέρα από τις εταιρείες που κατασκευάζουν προηγμένα μοντέλα.

Οι κυβερνήσεις χρηματοδοτούν και συντονίζουν άμεσα την έρευνα ευθυγράμμισης. Για παράδειγμα, το Ινστιτούτο Ασφάλειας Τεχνητής Νοημοσύνης του Ηνωμένου Βασιλείου διευθύνει το Alignment Project, ένα παγκόσμιο ταμείο που έχει διαθέσει περισσότερα από 27 εκατομμύρια λίρες σε πάνω από 60 έργα σε οκτώ χώρες από το 2025, με ειδικό στόχο τον έλεγχο της τεχνητής νοημοσύνης. Στις ΗΠΑ, το CAISI εστιάζει στα πρότυπα αξιολόγησης.

Και τα δύο βρίσκονται μέσα σε ένα ευρύτερο Διεθνές Δίκτυο Προηγμένης Μέτρησης, Αξιολόγησης και Επιστήμης Τεχνητής Νοημοσύνης, έναν οργανισμό δέκα χωρών αποτελούμενο από εθνικά ινstitούτα ασφάλειας που πραγματοποιεί κοινές ασκήσεις δοκιμών και εργάζεται για την ευθυγράμμιση των μεθόδων αξιολόγησης πέρα από τα σύνορα.

Το Future of Life Institute δημοσιεύει το AI Safety Index, έναν πίνακα βαθμολογίας που συγκρίνει τις πρακτικές ασφάλειας των εργαστηρίων τεχνητής νοημοσύνης. Το Κέντρο Ασφάλειας Τεχνητής Νοημοσύνης κατασκευάζει σημεία αναφοράς που χρησιμοποιούνται σε όλο τον τομέα, συμπεριλαμβανομένων των WMDP και SafeBench. Το Alignment Research Center μελετά πιο θεωρητικά προβλήματα ευθυγράμμισης, και το spin-out του, Model Evaluation and Threat Research (METR), πραγματοποιεί ανεξάρτητες αξιολογήσεις πριν από την ανάπτυξη σε προηγμένα μοντέλα. Το FAR.AI ελέγχει προηγμένα μοντέλα για αδυναμίες πριν και μετά την κυκλοφορία τους.

Αρκετά πανεπιστήμια διαδραματίζουν ενεργό ρόλο στην έρευνα ευθυγράμμισης της τεχνητής νοημοσύνης, συμπεριλαμβανομένου του Κέντρου για Συμβατή με τον Άνθρωπο Τεχνητή Νοημοσύνη στο UC Berkeley και του Κέντρου Leverhulme για το Μέλλον της Νοημοσύνης του Πανεπιστημίου του Cambridge.

Η ευθυγράμμιση δεν είναι το ίδιο με τη διαχείριση περιεχομένου, αν και ο όρος χρησιμοποιείται μερικές lần σε αυτό το πλαίσιο. Η διαχείριση περιεχομένου αφορά το τι θα πει ή δεν θα πει ένα μοντέλο, φιλτράροντας υβριστικές εκφράσεις, γραφικό περιεχόμενο ή συγκεκριμένα απαγορευμένα θέματα. Η ευθυγράμμιση αφορά το αν η πραγματική συμπεριφορά ενός μοντέλου ταιριάζει με αυτό που προοριζόταν να κάνει.

Η ευθυγράμμιση χρησιμοποιείται μερικές φορές και ως συνώνυμο της ασφάλειας της τεχνητής νοημοσύνης, αλλά δεν είναι ο μόνος παράγοντας που πρέπει να ληφθεί υπόψη. Άλλες ανησυχίες για την ασφάλεια της τεχνητής νοημοσύνης περιλαμβάνουν:

Ασφάλεια (προστασία των βαρών του μοντέλου από κλοπή)

Ανθεκτικότητα (ένα μοντέλο που αποδίδει αξιόπιστα εκτός των ακριβών συνθηκών στις οποίες εκπαιδεύτηκε)

Πρόληψη κατά της κακής χρήσης (αποτροπή της χρήσης ενός ικani μοντέλου για πρόκληση βλάβης)

Η ευθυγράμμιση αφορά τη συμπεριφορά του ίδιου του μοντέλου. Η ασφάλεια της τεχνητής νοημοσύνης είναι η ευρύτερη προσπάθεια να αποτραπεί το σύνολο του συστήματος από το να προκαλέσει βλάβη.

Τέλος, υπάρχει μια κοινή υπόθεση ότι ένα πιο ικανό μοντέλο είναι αυτόματα και καλύτερα ευθυγραμμισμένο. Αλλά η ικανότητα και η ευθυγράμμιση μπορούν να αποκλίνουν, γεγονός που εξηγεί ακριβώς γιατί υπάρχουν όρια όπως τα επίπεδα ικανοτήτων ML R&D της Google DeepMind και η κατηγορία κινδύνου αυτοματοποιημένης έρευνας της Anthropic. Είναι κατασκευασμένα ειδικά γύρω από την ανησυχία ότι η ικανότητα θα μπορούσε να ξεπεράσει την ικανότητα του τομέα να επαληθεύει ότι ένα μοντέλο εξακολουθεί να κάνει αυτό που υποτίθεται ότι πρέπει να κάνει.

Η Perplexity δεν εκπαιδεύει προηγμένα θεμελιώδη μοντέλα. Εκτελεί μοντέλα σε παραγωγή σε κλίμακα μέσω προϊόντων βασισμένων σε πράκτορες όπως το Computer, επομένως η εργασία της αγγίζει μια συγκεκριμένη πτυχή της ευθυγράμμισης: πώς συμπεριφέρονται οι πράκτορες μόλις δρουν στο ανοιχτό διαδίκτυο.

Το Secure Intelligence Institute είναι το ερευνητικό κέντρο της Perplexity για την ασφάλεια, την ιδιωτικότητα και την εμπιστοσύνη στην προηγμένη τεχνητή νοημοσύνη. Έχει αναπτύξει το BrowseSafe, ένα μοντέλο ανίχνευσης ανοιχτού κώδικα χτισμένο για τον εντοπισμό επιθέσεων εισαγωγής προτροπών (prompt injection) που είναι κρυμμένες μέσα σε ιστοσελίδες τις οποίες επισκέπτονται οι πράκτορες προγράμματος περιήγησης τεχνητής νοημοσύνης.

Η ομάδα κατασκεύασε επίσης το BrowseSafe-Bench, ένα δημόσιο σημείο αναφοράς με περισσότερα από 14.700 σενάρια εισαγωγής προτροπών (prompt-injection) που καλύπτουν διαφορετικούς στόχους επίθεσης, τοποθετήσεις στη σελίδα και γλωσσικά στυλ.

Αυτή η εργασία βρίσκεται πιο κοντά στην εφαρμοσμένη πλευρά του ελέγχου της τεχνητής νοημοσύνης παρά στην έρευνα ευθυγράμμισης. Περιορίζει το τι κάνει ένας πράκτορας όταν αντιμετωπίζει ένα εχθρικό περιβάλλον, αντί να διαμορφώνει τις υποκείμενες αξίες ενός μοντέλου κατά τη διάρκεια της εκπαίδευσης.

Για να μάθετε περισσότερα, εξερευνήστε το Secure Intelligence Institute και την έρευνα BrowseSafe.

Τι σημαίνει ευθυγράμμιση της τεχνητής νοημοσύνης

Το πρόβλημα της εξωτερικής ευθυγράμμισης

Το πρόβλημα της εσωτερικής ευθυγράμμισης

Παραδείγματα προβλημάτων ευθυγράμμισης τεχνητής νοημοσύνης

Πώς τα μεγάλα εργαστήρια τεχνητής νοημοσύνης αντιδρούν στις προκλήσεις ευθυγράμμισης της τεχνητής νοημοσύνης

OpenAI

Επαναληπτική ανάπτυξη

Πολυεπίπεδες δικλείδες ασφαλείας

Στοχastική ευθυγράμμιση

Κοινή ευθύνη

Anthropic

Δικλείδες ασφαλείας που σχετίζονται με τις ικανότητες

Μια καθορισμένη κατηγορία κινδύνου ευθυγράμμισης

Εσωτερικός έλεγχος ευθυγράμμισης

Τακτική δημόσια αναφορά

Google DeepMind

Μια κλιμακωτή δομή

Ένα στάδιο έγκαιρης προειδοποίησης

Μετριασμός κινδύνου

Ευθυγράμμιση τεχνητής νοημοσύνης: συζήτηση σχετικά με τους κινδύνους

Ποιος άλλος εργάζεται πάνω στην ευθυγράμμιση της τεχνητής νοημοσύνης

Κυβερνήσεις

Μη κερδοσκοπικοί οργανισμοί

Πανεπιστήμια

Ευθυγράμμιση τεχνητής νοημοσύνης: συνηθισμένες παρεξηγήσεις

Πώς η Perplexity προσεγγίζει την ευθυγράμμιση της τεχνητής νοημοσύνης