Πώς σχεδιάζουμε ασφαλέστερους πράκτορες

Για να κατασκευάσουμε ασφαλέστερους πράκτορες τεχνητής νοημοσύνης, πρέπει να σχεδιάσουμε τόσο για τις δυνατότητές τους όσο και για τις αστοχίες τους. Ακόμη και όταν εκτελούν νόμιμες εργασίες, και χωρίς καμία κακόβουλη οδηγία, οι πράκτορες μπορεί να παραβιάσουν τα όρια ασφαλείας καθώς προσπαθούν να ξεπεράσουν εμπόδια.

Πιστεύουμε ότι αυτό είναι ένα πρόβλημα μηχανικής ασφάλειας και η βιομηχανία θα πρέπει να το αντιμετωπίσει με τον τρόπο που αντιμετώπισε τα σκουλήκια του διαδικτύου στις αρχές της δεκαετίας του 2000. Τα συστήματα που περιβάλλουν τους πράκτορες πρέπει να περιορίζουν αυτό που μπορούν να προσπελάσουν οι πράκτορες, να εντοπίζουν ανεπιθύμητη συμπεριφορά και να περιορίζουν τις αστοχίες όταν αυτές συμβαίνουν.

Στην Perplexity, συνεργαζόμαστε ενεργά με ερευνητές και επαγγελματίες για την προώθηση της μηχανικής ασφάλειας για πράκτορες τεχνητής νοημοσύνης, και εφαρμόζουμε πολλαπλά επίπεδα άμυνας στα μοντέλα μας, τα harness πράκτορας και την υποδομή μας, ώστε η ασφάλεια να μην εξαρτάται από καμία μεμονωμένη δικλείδα ασφαλείας.

Συμπεριφορά κατάρρευσης πράκτορας τεχνητής νοημοσύνης

Τον Ιούλιο, πράκτορες AI εισέβαλαν στην υποδομή παραγωγής της πλατφόρμας AI ανοιχτού κώδικα Hugging Face. Κατά τη διάρκεια εσωτερικής αξιολόγησης κυβερνοασφάλειας και δοκιμών εκπαίδευσης, τα μοντέλα της OpenAI ανακάλυψαν έναν τρόπο εκμετάλλευσης του διαχειριστή αποθετηρίου Artifactory για τη δημιουργία ενός πίνακα ανακοινώσεων για επικοινωνία μεταξύ τους, επιτρέποντάς τους να οργανωθούν σε σμήνη. Αργότερα, πράκτορες που δεν μπόρεσαν να σημειώσουν πρόοδο σε εργασίες σε ένα benchmark κυβερνοασφάλειας στρατολόγησαν άλλους πράκτορες για βοήθεια. Αυτοί οι πράκτορες ξέφυγαν από το περιβάλλον αξιολόγησής τους και έφτασαν στο διαδίκτυο. Ανακάλυψαν επίσης τρόπους εξαπάτησης με αντίστροφη μηχανική (reverse-engineering) των απαντήσεων στις εργασίες του benchmark, αλλά πίστευαν ότι το σύστημα βαθμολόγησης θα εντόπιζε την εξαπάτηση. Για να κατανοήσουν καλύτερα πώς λειτουργούσε η αξιολόγηση benchmark ώστε να βρουν τρόπους να αποφύγουν τον εντοπισμό τους ως απατεώνων, τελικά παραβίασαν τα συστήματα της Hugging Face (Hugging Face; OpenAI).

Το περιστατικό είναι ένα σαφές παράδειγμα ενός τρόπου αστοχίας που περιγράψαμε όταν διαθέσαμε το Numbat ως ανοιχτού κώδικα τον Ιούλιο: τυχαίες καταρρεύσεις, ένας όρος που επινοήθηκε από ερευνητές ασφάλειας από το Cornell Tech (arXiv). Ένας πράκτορας που επιδιώκει έναν νόμιμο στόχο αντιμετωπίζει τριβή, όπως ένα λείπον αρχείο, μια αποτυχημένη κλήση API, ένα ληγμένο διαπιστευτήριο ή μια άρνηση δικαιωμάτων, και πηγαίνει να ψάξει για μια λύση παράκαμψης. Με αυτόν τον τρόπο, ενδέχεται να παραβιάσει τα όρια ασφαλείας μέσω αναγνώρισης, κλιμάκωσης προνομίων, ανακάλυψης μυστικών ή εκροής δεδομένων. Ο ίδιος ο πράκτορας γίνεται ουσιαστικά ο αντίπαλος, παρόλο που δεν εμπλέκεται κακόβουλη προτροπή ή εξωτερικός εισβολέας.

Η Hugging Face δεν ήταν μεμονωμένη περίπτωση. Πιο πρόσφατες εβδομάδες έφεραν την ανακάλυψη και αναφορά περισσότερων συμπεριφορών κατάρρευσης πράκτορας. Στις 27-28 Μαΐου, πράκτορες που προσπαθούσαν να συλλέξουν δεδομένα του Πανεπιστημίου της Αϊόβα από το Data USA, μια πλατφόρμα που προσφέρει ανοιχτή πρόσβαση σε δεδομένα της αμερικανικής κυβέρνησης, αντιμετώπισαν σφάλματα που προκλήθηκαν από μη έγκυρο ερώτημα. Απάντησαν με ανιχνεύσεις, συμπεριλαμβανομένων SQL injection, cross-site scripting, template injection, path traversal και command injection. Η δραστηριότητα συνδέθηκε αργότερα με την OpenAI (SecurityWeek). Στις 20-21 Ιουνίου, πράκτορες της OpenAI που προσπαθούσαν να αποκτήσουν κυβερνητικά κόστη ανά άτομο για μια κατηγορία φαρμάκων σε τοπικές περιοχές στη Βικτόρια από το Αυστραλιανό Ινστιτούτο Υγείας και Πρόνοιας (AIHW) εμποδίστηκαν να κατεβάσουν ένα αρχείο. Ως απάντηση, οι πράκτορες κατέβασαν το αρχείο, το οποίο ήταν ήδη δημόσιο, από τον διακομιστή προπαραγωγής του AIHW, παρακάμπτοντας παράλληλα τις προστασίες κατά των bot του ιστότοπου (SecurityWeek).

Το μοτίβο δεν περιορίζεται σε ένα μόνο εργαστήριο. Κατά τη διάρκεια δοκιμών κυβερνοασφάλειας, μοντέλα της Anthropic παραβίασαν τρεις εταιρείες αφού ένα λάθος τους έδωσε ανοιχτή πρόσβαση στο διαδίκτυο, το Gemini της Google μάντεψε διαπιστευτήρια για τρεις ιστότοπους και ένα μοντέλο της Meta εκμεταλλεύτηκε μια υπηρεσία τρίτου μέρους (Reuters).

Μάθηση από την ιστορία: Η εποχή των σκουληκιών του διαδικτύου

Αυτά τα περιστατικά θυμίζουν την εποχή των σκουληκιών του διαδικτύου πριν από περίπου ένα τέταρτο του αιώνα. Στις αρχές της δεκαετίας του 2000, το διαδίκτυο μεγάλωσε πολύ πιο γρήγορα από τις πρακτικές ασφάλειας γύρω του. Είδαμε ένα κύμα ιών και σκουληκιών, με συνέπειες πολύ πιο σοβαρές από αυτό που βλέπουμε τώρα με πράκτορες AI σε κατάρρευση.

Στις 4 Μαΐου 2000, οι άνθρωποι άρχισαν να λαμβάνουν email από οικείους αποστολείς με θέμα "ILOVEYOU". Το άνοιγμα του συνημμένου στο email είχε ως αποτέλεσμα την εκτέλεση ενός σεναρίου (script) που έστελνε ένα αντίγραφο του εαυτού του σε όλους στο βιβλίο διευθύνσεων Outlook του θύματος. Μέχρι τις 6 μ.μ. εκείνης της ημέρας, το Κέντρο Συντονισμού CERT είχε λάβει αναφορές που αφορούσαν περισσότερους από 420.000 κεντρικούς υπολογιστές διαδικτύου (Έκθεση US GAO). Ο ιός φέρεται να διείσδυσε σε τουλάχιστον 14 ομοσπονδιακές υπηρεσίες, συμπεριλαμβανομένου του Υπουργείου Άμυνας, της CIA, της NASA και της Βουλής και της Γερουσίας (Έκθεση US GAO). Έκλεισε επίσης διακομιστές email στο Πεντάγωνο και στο Βρετανικό Κοινοβούλιο (Wired). Ο ασφαλιστικός κολοσσός Lloyd's of London έκανε μια πρόωρη εκτίμηση ότι ο ιός θα κόστιζε πάνω από 15 δισεκατομμύρια δολάρια σε ζημιές και χαμένη παραγωγικότητα (Ακρόαση Επιτροπής Βουλής ΗΠΑ). Το Computer Economics εκτίμησε αργότερα 8,75 δισεκατομμύρια δολάρια σε ζημιές παγκοσμίως (Information Week).

Σκουλήκια που δεν χρειάζονταν ανθρώπινο κλικ ακολούθησαν στη συνέχεια. Στις 19 Ιουλίου 2001, το σκουλήκι Code-Red μόλυνε περισσότερους από 359.000 υπολογιστές σε λιγότερο από 14 ώρες (CAIDA). Στις 25 Ι janvierου 2003, το SQL Slammer διπλασιάστηκε σε μέγεθος κάθε 8,5 δευτερόλεπτα και μόλυνε περισσότερο από το 90% των κεντρικών υπολογιστών του διαδικτύου που ήταν ευάλεθτοι σε αυτό μέσα σε 10 λεπτά (CAIDA), εκμεταλλευόμενο ένα κενό για το οποίο η Microsoft είχε κυκλοφορήσει διορθωτικό κώδικα (patch) έξι μήνες νωρίτερα (CNET). Τον Αύγουστο του 2003, το σκουλήκι Blaster και το σκουλήκι ηλεκτρονικού ταχυδρομείου Sobig εμφανίστηκαν με διαφορά περίπου μιας εβδομάδας (Microsoft, F-Secure).

Εκείνη την εποχή, ήταν εύλογο να αναρωτηθεί κανείς αν οι δικτυωμένοι υπολογιστές θα μπορούσαν να γίνουν καθόλου ασφαλείς. Έξι ημέρες μετά τον ιό ILOVEYOU, μια υποεπιτροπή της Βουλής των ΗΠΑ πραγματοποίησε ακρόαση σχετικά με αυτόν. Πολλοί ειδικοί σε θέματα ασφάλειας ζήτησαν νομοθεσία που θα καθιστούσε τις εταιρείες λογισμικού υπεύθυνες για ζημιές που προκαλούνται από ελαττώματα στα προϊόντα τους. Η Ουάσιγκτον ακολούθησε διαφορετικό δρόμο. Η Εθνική Στρατηγική για την Ασφάλεια του Κυβερνοχώρου δήλωσε ότι «η ομοσπονδιακή ρύθμιση δεν θα γίνει κύριο μέσο ασφάλειας του κυβερνοχώρου». Προειδοποίησε ότι οι ευρείες εντολές θα μπορούσαν να δημιουργήσουν μια «προσέγγιση ελάχιστου κοινού παρονομαστή για την κυβερνοασφάλεια» (CISA).

Η βιομηχανία απάντησε με μηχανική. Έντεκα ημέρες μετά το ILOVEYOU, η Microsoft ανακοίνωσε μια ενημέρωση του Outlook που απέκλειε τα εκτελέσιμα συνημμένα. Τον Ιανουάριο του 2002, η εταιρεία έκανε την ασφάλεια κορυφαία προτεραιότητα (Seattle Times). Η αυτόματη επιδιορθωτική ενημέρωση, οι ασφαλείς προεπιλογές, τα προγράμματα αμοιβών για εντοπισμό σφαλμάτων και η συντονισμένη αποκάλυψη έγιναν τυπική πρακτική. Το 2008, το Chrome άρχισε να εκτελεί περιεχόμενο ιστού σε ένα sandbox που «περιορίζει το τι μπορεί να κάνει ένας εισβολέας μετά την εκμετάλλευση ενός σφάλματος» (Chromium Blog). Η κρυπτογράφηση, άλλοτε εξαίρεση, έγινε προεπιλογή. Οι τεχνολογίες ασφάλειας, συμπεριλαμβανομένου του ελέγχου ταυτότητας πολλαπλών παράγοντων, των τειχών προστασίας, του μηδενικής εμπιστοσύνης (zero trust) και της διαχείρισης πληροφοριών ασφάλειας και συμβάντων (SIEM), έγιναν ευρέως χρησιμοποιούμενες. Οι οργανισμοί παγκοσμίως προβλέπεται να ξοδέψουν περίπου 240 δισεκατομμύρια δολάρια το 2026 για την ασφάλεια πληροφοριών (Gartner). Τα σκουλήκια δεν εξαφανίστηκαν ποτέ εντελώς, αλλά η εποχή των εξάσεων σε ολόκληρο το διαδίκτυο υποχώρησε. Την ίδια στιγμή, το διαδίκτυο, σε μεγάλο βαθμό απαλλαγμένο από ρυθμίσεις, έγινε ισχυρή μηχανχή καινοτομίας και οικονομικής ανάπτυξης τις επόμενες δύο δεκαετίες.

Μηχανική ασφάλειας για πράκτορες τεχνητής νοημοσύνης

Πρόσφατα περιστατικά έχουν εγείρει εύλογα ερωτήματα σχετικά με τη διακυβέρνηση πράκτορας. Οι υπάρχοντες μηχανισμοί ασφάλειας αναπτύχθηκαν για περιβάλλοντα πληροφορικής προ-πράκτορας που χαρακτηρίζονται από στενά καθορισμένη και σε μεγάλο βαθμό ντετερministic συμπεριφορά λογισμικού. Οι μηχανισμοί ελέγχου πρόσβασης, ειδικότερα, είναι πρωτίστως σχεδιασμένοι γύρω από ανθρώπους χρήστες και συχνά τους χορηγούν ευρεία προνόμια τα οποία, κατ' αρχήν, είναι επαρκή για να προκαλέσουν σημαντική βλάβη.

Αυτός ο σχεδιασμός βασίζεται σε διάφορες υποθέσεις: οι περισσότεροι χρήστες ενεργούν με καλή πίστη· οι κακόβουλοι δρώντες μπορούν να αποτραπούν μέσω ελέγχου και πραγματικών συνεπειών· και οι άνθρωποι πραγματοποιούν ενέργειες, είτε σωστές είτε εσφαλμένες, με σχετικά περιορισμένο ρυθμό. Η εφαρμογή αυτών των μηχανισμών ασφάλειας σε πράκτορες απαιτεί τη λήψη υπόψη των διαφορών μεταξύ της ανθρώπινης συμπεριφοράς και της συμπεριφοράς πράκτορας. Όπως γράψαμε στην απάντησή μας στο αίτημα του NIST για πληροφορίες σχετικά με την ασφάλεια πράκτορας AI, οι πράκτορες AI αμφισβητούν αυτές τις υποθέσεις. Μπορούν να ασκήσουν προνόμια και να προβούν σε ενέργειες με ταχύτητα μηχανής, δεν αποτρέπονται οι ίδιοι από πραγματικές συνέπειες και ενδέχεται να προβούν σε ενέργειες που επιτρέπονται τεχνικά αλλά που ένας τυπικός άνθρωπος χρήστης σπάνια θα έκανε.

Η απάντηση σε αυτά τα ερωτήματα απαιτεί μηχανική ασφάλειας. Γνωρίζουμε τις αρχές ασφάλειας για την κατασκευή συστημάτων που διατηρούν τους κινδύνους υπό έλεγχο όταν μεμονωμένα στοιχεία συμπεριφέρονται εσφαλμένα. Πρέπει όμως να διασφαλίσουμε ότι αυτές οι αρχές εφαρμόζονται κατά τη μηχανική των περιβαλλόντων για την εκπαίδευση, τη δοκιμή και τη χρήση πράκτορας τεχνητής νοημοσύνης.

Η αρχή ασφάλειας της άμυνας σε βάθος

Ίσως η πιο σημαντική αρχή ασφάλειας που πρέπει να εφαρμοστεί για την ασφάλεια των πράκτορας τεχνητής νοημοσύνης είναι η άμυνα σε βάθος, η οποία υποστηρίζει μια πολυεπίπεδη αρχιτεκτονική ασφάλειας, όπου πολλαπλά, ποικīλα και πλεονάζοντα αμυντικά μέτρα χρησιμοποιούνται για την προστασία των πόρων του συστήματος. Κανενός είδους δικλείδα ασφαλείας δεν είναι τέλεια. Οι άνθρωποι μπορεί να πέσουν θύματα επιθέσεων κοινωνικής μηχανικής και να αποκαλύψουν τα διαπιστευτήρια σύνδεσής τους, ευπάθειες λογισμικού zero-day ανακαλύπτονται και εκμεταλλεύονται, και η ανίχνευση εισβολών χάνει νέες παραλλαγές επιθέσεων. Η άμυνα σε βάθος το αποδέχεται αυτό και στοιβάζει πολλά ανεξάρτητα επίπεδα άμυνας. Εάν παρακαμφθεί ένα αμυντικό επίπεδο, άλλα επίπεδα παραμένουν στη θέση τους για να αντιμετωπίσουν ή να εντοπίσουν την εισβολή.

Το περιστατικό της Hugging Face δείχνει γιατί η άμυνα σε βάθος έχει σημασία. Η αναδρομική έκθεση της OpenAI αναφέρει ότι οι αυτοματοποιημένες δικλείδες ασφαλείας που χρησιμοποιούνται στα συστήματα παραγωγής της, συμπεριλαμβανομένων των harness, των μοντέλων αυτόματης αξιολόγησης και των ταξι-νόμων ασφαλείας, απουσίαζαν από το περιβάλλον αξιολόγησης. Αν η παρακολούθηση αλυσίδας σκέψης (chain-of-thought) που είναι εγκατεστημένη τώρα εκτελούνταν σε αυτές τις αξιολογήσεις, θα είχε εντοπίσει την αρχική δραστηριότητα και θα είχε ειδοποιήσει την ομάδα ασφαλείας περισσότερες από μία ημέρα πριν από την παραβίαση (OpenAI). Τα στρώματα που θα μπορούσαν να είχαν εντοπίσει το πρόβλημα υπήρχαν. Απλώς δεν βρίσκονταν όλα στη θέση τους ταυτόχρονα.

Η ασφάλεια των πράκτορας AI απαιτεί τη βελ τόσο της ασφάλειας και προστασίας των μοντέλων AI όσο και των συστημάτων που τα περιβάλλουν. Η εργασία στο επίπεδο του μοντέλου έχει σημασία και αποδίδει καρπούς. Τα πρώιμα LLM χειραγωγούνταν εύκολα από ενεχθείσες οδηγίες, ενώ τα σημερινά μοντέλα είναι ουσιαστικά καλύτερα στην αναγνώριση και την απόρριψή τους. Οι προγραμματιστές μοντέλων εκπαιδεύουν επίσης μοντέλα για ασφαλέστερη συμπεριφορά και, όπως περιγράφει η αναδρομική έκθεση της OpenAI, παρακολουθούν ίχνη συλλογιστικής για σημάδια προβληματικής συμπεριφοράς. Όμως οι άμυνες σε επίπεδο μοντέλου αποτελούν μόνο μέρος της λύσης. Τα συστήματα στα οποία εκπαιδεύονται, δοκιμάζονται και αναπτύσσονται οι πράκτορες πρέπει επίσης να σχεδιάζονται για ασφάλεια και περιορισμό. Η ασφάλεια σε επίπεδο μοντέλου μειώνει την πιθανότητα να ξεφύγει ένας πράκτορας· η ασφάλεια σε επίπεδο συστήματος περιορίζει τη ζημιά όταν συμβεί αυτό.

Μεγέθυνση

Κανόνες σχεδιασμού για πλεονάζουσες δικλείδες ασφαλείας

Η άμυνα σε βάθος απαιτεί πλεονάζουσες δικλείδες ασφαλείας. Για τους πράκτορες, συνιστούμε την εφαρμογή της με τρεις κανόνες σχεδιασμού:

1. Ανεξαρτησία. Κάθε επίπεδο θα πρέπει να αποτυγχάνει για ανεξάρτητους λόγους. Δύο έλεγχοι που μοιράζονται την ίδια υπόθεση μπορούν να νικηθούν από την ίδια επίθεση. Τα συστήματα παρακολούθησης και τα σημεία επιβολής θα πρέπει να βρίσκονται μακριά από την εμβέλεια του πράκτορας.
2. Επιβολή κάτω από τον πράκτορα. Τουλάχιστον ένα επίπεδο πρέπει να είναι ντετερministic: συμβατικός, επαληθεύσιμος κώδικας που εμποδίζει τις απαγορευμένες ενέργειες ανεξάρτητα από το τι παράγει το μοντέλο. Μια δικλείδα ασφαλείας που ο πράκτορας μπορεί να αρνηθεί να επικαλεστεί ή να αναδιαμορφώσει δεν είναι δικλείδα ασφαλείας.
3. Τα σήματα μπορούν μόνο να μειώσουν την εξουσιοδότηση. Ο εντοπισμός θα πρέπει να πυροδοτεί αποκρίσεις που στενεύουν το τι μπορεί να κάνει ο πράκτορας, όπως παύση, ανάκληση διαπιστευτηρίων, διακοπή πρόσβασης στο δίκτυο ή τερματισμός της συνεδρία. Κανένα σήμα κινδύνου δεν πρέπει ποτέ να χορηγεί πρόσθετη πρόσβαση.

Μοιραζόμαστε αυτές τις αρχές με τους συνεργάτες μας στο Open Secure AI Alliance, συμπεριλαμβανομένης της NVIDIA, η οποία υποστήριξε ότι το harness καθοδηγεί το τι προσπαθεί ένας πράκτορας, ενώ η υποδομή ελέγχει τι μπορεί να κάνει (NVIDIA).

Άμυνα σε βάθος στα προϊόντα της Perplexity

Η Perplexity εκτελεί πράκτορες σε τέσσερα είδη περιβαλλόντων: στο cloud μέσω της πλατφόρμας πράκτορας Computer, στον browser μέσω του Comet, σε συσκευές χρηστών μέσω του Portable Computer, και σε φορητούς υπολογιστές υπαλλήλων, όπου οι μηχανικοί μας χρησιμοποιούν πράκτορες κωδικοποίησης τρίτων. Κάθε περιβάλλον έχει τους δικούς του κινδύνους και καθένα λαμβάνει διάφορα επίπεδα προστασίας.

Στο cloud: Computer και SPACE

Κάθε εργασία Computer εκτελείται στο SPACE, την πλατφόρμα sandbox μας, η οποία αντιμετωπίζει τον πράκτορα ως μη έμπisτευτικό από προεπιλογή. Κάθε εργασία λαμβάνει το δικό της microVM, τα διαπιστευτήρια παραμένουν εκτός του sandbox και εγχέονται μόνο όταν χρειάζεται, η εξερχόμενη κίνηση ελέγχεται εκτός του επισκέπτη και τα στιγμιότυπα μας επιτρέπουν να επαναφέρουμε καταστροφικές αλλαγές (Making SPACE). Οι πελάτες επιχειρήσεων μπορούν επίσης να φέρουν τα δικά τους κλειδιά κρυπτογράφησης. Η ανάκληση ενός κλειδιού καθιστά τα προστατευμένα δεδομένα μη αναγνώσιμα και ο πράκτορας δεν μπορεί να παρακάμψει αυτήν την απόφαση.

Ελέγχουμε επίσης αν αυτά τα επίπεδα αντέχουν. Στο Escaping SPACE: Part I, δώσαμε σε εννέα κορυfαία μοντέλα πρόσβαση root μέσα σε ένα sandbox SPACE και τους ζητήσαμε να δραπετεύσουν. Κανένα δεν διέφυγε από το VM, αλλά μερικά βρήκαν τρόπους γύρω από την πολιτική δικτύου όταν επιτρεπόταν μερική πρόσβαση στο δίκτυο. Διορθώσαμε αυτά τα κενά, επιβεβαιώσαμε τις διορθώσεις σε μια επανεξέταση και αποκαλύψαμε παρόμοιες αδυναμίες που εντοπίσαμε σε οκτώ από τις 10 άλλες πλατφόρμες sandbox στους προμηθευτές τους.

Στο πρόγραμμα περιήγησης: Comet και BrowseSafe

Το Comet χρησιμοποιεί μια πολυεπίπεδη άμυνα κατά του prompt-injection από την κυκλοφορία του: ταξινομητές ελέγχουν το ανακτηθέν περιεχόμενο, δομημένες προτροπές το επισημάνουν ως μη έμπisτευτικό, ευαίσθητες ενέργειες όπως η αποστολή email ή η τοποθέτηση παραγγελίας απαιτούν επιβεβαίωση του χρήστη και οι χρήστες ενημερώνονται όταν κάτι μπλοκάρεται (άμυνες prompt-injection του Comet). Το BrowseSafe, το μοντέλο ανίχνευσης ανοιχτού κώδικα πίσω από το πρώτο επίπεδο, ξεπερνά τα κορυφαία μοντέλα στο benchmark μας BrowseSafe-Bench, ωστόσο το ίδιο benchmark δείχνει ότι κανένας ανιχνευτής δεν είναι απόλυτα ασφαλής, γι' αυτό και η ανίχνευση δεν είναι ποτέ το μοναδικό επίπεδο (έρευνα BrowseSafe). Το Computer κληρονομεί αυτές τις άμυνες, οι οποίες έχουν ελεγχθεί από την Trail of Bits (Perplexity).

Στη συσκευή: Portable Computer

Το Portable Computer είναι ένας τοπικός πράκτορας: το μοντέλο, το harness, η συνομιλία και η τροχιά παραμένουν στη μηχανή του χρήστη από προεπιλογή. Ένας ντετερministic ενορχηστρωτής, ο οποίος είναι κώδικας harness και όχι LLM, εκτελεί τον βρόχο και επιβάλλει την πολιτική. Το μοντέλο προτείνει ενέργειες και οι εγκεκριμένες κλήσεις εργαλείων εκτελούνται σε ένα sandbox σε επίπεδο λειτουργικού συστήματος που περιορίζει διεργασίες, διαδρομές αρχείων και πρόσβαση στο δίκτυο. Το sandbox είναι πάντα ενεργό και αποτυγχάνει κλειστό (fails closed): εάν δεν είναι διαθέσιμο, το harness απενεργοποιείται αντί να εκτελεί εντολές με τα δικαιώματα του χρήστη. Οι ενέργειες που ξεπερνούν τα όρια της συσκευής, όπως η αναζήτηση ιστού, οι σύνδεσμοι και η κλιμάκωση σε ένα ισχυρότερο μοντέλο συμβούλου cloud, συμβαίνουν μόνο όταν ο χρήστης τις ενεργοποιήσει και τις εγκρίνει. Πριν από μια κλήση συμβούλου, ένας ταξινομητής PII επισημαίνει ευαίσθητες πληροφορίες και ο χρήστης βλέπει τι θα σταλεί. Ο σύμβουλος λαμβάνει μόνο αυτό το εγκεκριμένο πλαίσιο και επιστρέφει καθοδήγηση κειμένου, χωρίς πρόσβαση στα αρχεία ή τα εργαλεία της συσκευής.

Στο τελικό σημείο: Numbat

Οι πράκτορες κodικοποίησης σε φορητούς υπολογιστές προγραμματιστών εκτελούνται για ώρες με πρόσβαση σε πηγαίο κώδικα, διαπιστευτήρια και συστήματα παραγωγής. Το Numbat, η σουίτα ασφάλειας πράκτορας ανοιχτού κώδικα, προσθέτει ένα ανεξάρτητο επίπεδο που βρίσκεται έξω από οποιονδήποτε μεμονωμένο πράκτορα. Λειτουργεί με harness όπως τα Claude Code, Codex, OpenCode και Pi, εμποδίζει επικίνδυνες ενέργειες πριν εκτελεστούν, επισημαίνει ύποπτες ακολουθίες πολλαπλών βημάτων, όπως η ανάγνωση ενός μυστικού και η αποστολή δεδομένων εκτός, και διατηρεί χρονοδιαγράμματα συνεδρία για έρευνα. Το Numbat εκτελείται σε χιλιάδες τελικά σημεία της Perplexity παράλληλα με το Bumblebee, τον σαρωτή αλυσίδας εφοδιασμού ανοιχτού κώδικα. Το Computer εξετάζει τακτικά τα ευρήματά τους και προτείνει βελτιωμένους κανόνες εντοπισμού, και ένας άνθρωπος εγκρίνει κάθε αλλαγή πριν αποσταλεί.

Μια δουλειά για ολόκληρη τη βιομηχανία

Καθώς οι πράκτορες AI γίνονται πιο ικανοί και ευρέως χρησιμοποιούμενοι, η μηχανική ασφάλειας πρέπει να παραμείνει κεντρική στην ανάπτυξη και την εγκατάστασή τους. Οι ερευνητές και οι μηχανικοί μπορούν να βασιστούν σε καθιερωμένες αρχές, να χρησιμοποιήσουν ευρήματα από τον πραγματικό κόσμο για να βελτιώσουν τις άμυνες και να δοκιμάσουν τις δικλείδες ασφαλείας στα περιβάλλοντα στα οποία λειτουργούν οι πράκτορες. Η ασφάλεια είναι μια συνεχιζόμενη πειθαρχία μηχανικής που εξελίσσεται παράλληλα με την τεχνολογία.

Η μηχανική ασφάλειας για πράκτορες είναι δουλειά για ολόκληρη τη βιομηχανία. Καμία μεμονωμένη εταιρεία δεν ελέγχει το πλήρες stack στο οποίο εκτελείται ένας πράκτορας. Οι προγραμματιστές μοντέλων, οι κατασκευαστές harness, οι πάροχοι sandbox και χρόνου εκτέλεσης, οι πάροχοι cloud και υλικού, και οι ομάδες ασφάλειας επιχειρήσεων διαθέτουν ο καθένας από ένα στρώμα. Η ασφάλεια του συνόλου εξαρτάται από το αν κάθε στρώμα αντέχει όταν κάποιο άλλο γλιστράει. Γι' αυτό κατασκευάζουμε δικλείδες ασφαλείας που λειτουργούν σε διάφορα harness πράκτορας και διαθέτουμε τα εργαλεία μας ως ανοιχτού κώδικα. Αυτός είναι επίσης ο λόγος για τον οποίο αποκαλύπτουμε τις αδυναμίες που εντοπίζουμε σε άλλες πλατφόρμες και συμμετέχουμε σε προσπάθειες όπως η Open Secure AI Alliance.

Για να εργαστεί με την ευρύτερη κοινότητα σε αυτές τις προκλήσεις, η Perplexity ξεκίνησε το Secure Intelligence Institute τον Μάρτιο του 2026 για να μελετήσει την ασφάλεια, την αξιοπιστία και την πρακτική άμυνα συστημάτων AI αιχμής (Perplexity). Η Perplexity συνεργάζεται επί του παρόντος ή/και χρηματοδοτεί ακαδηmαϊκούς ερευνητές στο Stanford, το CMU, το Duke, το Columbia, το Ohio State και το Πανεπιστήμιο της Βιρτζίνια. Πραγματοποιούμε επίσης εσωτερική έρευνα για να προωθήσουμε τα όρια της έρευνας ασφάλειας πράκτορας, να μεταφράσουμε αυτές τις προόδους σε συγκεκριμένες βελτιώσεις στα συστήματα της Perplexity και να μοιραστούμε γνώσεις και πόρους που βοηθούν στην ενίσχυση του ευρύτερου οικοσυστήματος AI. Οι ασφαλέστεροι πράκτορες είναι κάτι που η βιομηχανία μπορεί να σχεδιάσει. Σκοπεύουμε να συνεχίσουμε να κάνουμε το καθήκον μας και καλούμε άλλους να χτίσουν μαζί μας.