Ασφαλή sandbox για πράκτορες

Οι πράκτορες τεχνητής νοημοσύνης εκτελούν πραγματική εργασία για λογαριασμό μας: επεξεργάζονται αρχεία, εκτελούν κώδικα και διεκπεραιώνουν εργασίες πολλαπλών βημάτων για ώρες ή μέρες. Αυτό συχνά απαιτεί πρόσβαση σε ιδιωτικές πληροφορίες, γεγονός που κάνει το πού εκτελείται ένας πράκτορας πιο σημαντικό από το πόσο έξυπνο είναι το μοντέλο.

Τα sandbox διατηρούν τους πράκτορες ασφαλείς, επιτρέποντάς τους να έχουν πρόσβαση στα εργαλεία και τα αρχεία που χρειάζονται για να ολοκληρώσουν αυτές τις εργασίες, διατηρώντας παράλληλα προστατευμένες τις ευαίσθητες πληροφορίες.

Κατά την κατασκευή της πλατφόρμας πράκτορα Computer, εξερευνήσαμε έτοιμες επιλογές sandbox. Κάθε επιλογή μάς ανάγκασε να εξετάσουμε συμβιβασμούς μεταξύ λειτουργικότητας, αποδοτικότητας και ασφάλειας. Το Perplexity Computer χρειαζόταν και τα τρία, οπότε κατασκευάσαμε έναν εντελώς νέο τύπο sandbox.

Σήμερα, παρουσιάζουμε το SPACE, μια πλατφόρμα sandbox σχεδιασμένη να απελευθερώνει την πλήρη ισχύ του Computer, παρέχοντας παράλληλα το υψηλότερο επίπεδο ασφάλειας για προηγμένα συστήματα πρακτόρων.

Επανεφησύχαση της αρχιτεκτονικής sandbox

Το SPACE δημιουργεί εφήμερα sandbox που ζουν μόνο για όσο διάστημα χρειάζονται για την εκτέλεση κώδικα, την αλληλεπίδραση με αρχεία ή άλλες εργασίες. Όταν η εργασία ολοκληρώνεται, το sandbox και ό,τι βρίσκεται μέσα σε αυτό καταστρέφονται.

Για εργασία μεγάλης διάρκειας που πρέπει να επιβιώσει από επανεκκινήσεις, το SPACE περικλείει κάθε sandbox σε μια συνεδρία που μπορεί να τεθεί σε παύση, να συνεχιστεί ή να διακλαδιστεί σε πολλαπλά sandbox. Η τεχνολογία στιγμιότυπων κύλισης του SPACE επιτρέπει στο περιβάλλον εργασίας να ταξιδεύει μαζί με την εργασία, παρόλο που κανένα μεμονωμένο sandbox δεν το κάνει.

Εξάλειψη προηγούμενων συμβιβασμών

Οι περισσότερες πλατφόρμες sandbox επιλύουν μόνο δύο από τις τρεις μεταβλητές: λειτουργικότητα, αποδοτικότητα ή ασφάλεια. Η βελτιστοποίηση για τη μία τείνει να γίνεται εις βάρος μιας άλλης. Ορισμένες λύσεις διαθέτουν ισχυρά πρωτότυπα απομόνωσης, αλλά αφήνουν τα διαπιστευτήρια εκτεθειμένα μέσα στο περιβάλλον. Άλλες εκτελούν εργασίες μικρής διάρκειας καλά, αλλά χάνουν την κατάσταση και αποτυγχάνουν όταν μια συνεδρία πρέπει να διαρκέσει ώρες.

Το SPACE επιλύει και τα τρία διαχωρίζοντας τις ανησυχίες σε αποκλειστικές υπηρεσίες. Η πύλη δικτύου (Network Gateway), ο δαίμονας Space (Space Daemon) και η υπηρεσία αρχείων (File Service) ασφαλίζουν το καθένα ένα διαφορετικό μέρος της στοίβας. Παραδίδουν επίσης διαπιστευτήρια εκτός του sandbox μόνο τη στιγμή που χρειάζονται.

Με αυτόν τον σχεδιασμό, ένας παραβιασμένος πράκτορας δεν έχει καμία διαδρομή προς τα διαπιστευτήρια που διαχειρίζεται η πλατφόρμα από προεπιλογή. Και δεν έχει πρόσβαση πέρα από την εργασία που του δόθηκε, ανεξάρτητα από τη διάρκεια της συνεδρίας ή το backend.

Δημιουργία τριών επιπέδων ασφάλειας

Το SPACE αποτελείται από τρία βασικά επίπεδα, καθένα από τα οποία διαθέτει ενσωματωμένα ισχυρά μέτρα ασφάλειας:

Control Plane: Το πρώτο επίπεδο της αρχιτεκτονικής του SPACE, το Control Plane είναι υπεύθυνο για την ερχόνστρωση του κύκλου ζωής του sandbox. Λαμβάνει κάθε αίτημα μέσω ενός ενιαίου API, παρακολουθεί την κατάσταση του sandbox και αποφασίζει σε πραγματικό χρόνο σε ποιο backend θα γίνει η δρομολόγηση. Προσδιορίζει πότε μια εργασία χρειάζεται ένα νέο sandbox. Αποφασίζει επίσης πότε μια εργασία ολοκληρώνεται και το αντίστοιχο sandbox μπορεί να καταστραφεί. Επειδή το Control Plane είναι ακατάστατο (stateless) και φιλοξενείται κεντρικά, η ίδια κλήση API λειτουργεί σε οποιαδήποτε υπάρχουσα υποδομή, συμπεριλαμβανομένου ενός τοπικού μηχανήματος.

Node-level Services: Στο SPACE, οι υπηρεσίες σε επίπεδο κόμβου είναι το σημείο όπου η στάση ασφαλείας του Perplexity ξεχωρίζει. Με το SPACE, τα διαπιστευτήρια δεν περνούν ποτέ μέσα στο sandbox. Αντίθετα, μεταβιβάζονται από το εξωτερικό του sandbox μόνο την ακριβή στιγμή που χρειάζονται. Όταν ένας πράκτορας χρειάζεται προσωρινή πρόσβαση για να συνδεθεί σε έναν λογαριασμό Google, το SPACE μπορεί να διαχειριστεί τη ροή σύνδεσης χωρίς να εκθέσει τα διαπιστευτήρια εντός του sandbox. Η εξερχόμενη κίνηση δικτύου ελέγχεται επίσης σε επίπεδο κόμβου. Ένας παραβιασμένος πράκτορας δεν μπορεί να φτάσει σε τίποτα εκτός του επιτρεπόμενου πεδίου εφαρμογής του.

In-sandbox: Το επίπεδο εντός του sandbox είναι η τελευταία γραμμή άμυνας του SPACE. Με το SPACE, κάθε εργασία εκτελείται μέσα σε ένα microVM Firecracker, ένα πλήρως απομονωμένο περιβάλλον με το δικό του λειτουργικό σύστημα. Αυτό σημαίνει ότι τίποτα μέσα δεν μπορεί να επηρεάσει τον κεντρικό υπολογιστή ή οποιοδήποτε άλλο sandbox που εκτελείται παράλληλα. Ο δαίμονας Space (Space Daemon) είναι η μόνη διεργασία που επικοινωνεί με το control plane του Perplexity. Μεταφέρει λειτουργικά σήματα όπως εντολές έναρξης, παύσης και στιγμιότυπου. Αυτό είναι που καθιστά το κανάλι επικοινωνίας ελέγξιμο και ελεγχόμενο.

Προσφορά ενός πλήρους συνόλου στοιχείων ελέγχου

Το SPACE είναι μοναδικό μεταξύ των παρόχων όσον αφορά την προσφορά ενός πλήρους συνόλου στοιχείων ελέγχου. Το SPACE συνδυάζει παύση και συνέχιση, διακλάδωση συνεδρίας, απομόνωση διαπιστευτηρίων ανά συνεδρία, προώθηση πρωτοκόλλου και ερχόνστρωση πολλαπλών backend σε μία μόνο πλατφόρμα.

Το SPACE λαμβάνει στιγμιότυπα κύλισης ολόκληρης της κατάστασης της συνεδρίας, αποτυπώνοντας ζωντανή μνήμη μαζί με αρχεία συχνά έως και κάθε λεπτό. Μπορεί να γυρίσει πίσω στον χρόνο μια εβδομάδα. Είναι ουσιαστικά μια ενσωματωμένη μηχανίδα του χρόνου: Οποιοσδήποτε μπορεί να απομακρυνθεί στα μέσα μιας εργασίας, να επιστρέψει μια εβδομάδα αργότερα και ο πράκτορας να συνεχίσει ακριβώς από εκεί που σταμάτησε.

Το SPACE αντιμετωπίζει το sandbox ως αναξιόπιστο από προεπιλογή και το περιβάλλει με στοιχεία ελέγχου δικτύου, στοιχεία ελέγχου διαπιστευτηρίων, διαχωρισμό μισθωτών και κρυπτογραφημένο αποθηκευτικό χώρο. Εάν ένα επίπεδο παραβιαστεί, τα άλλα θα προστατεύσουν προσωπικές πληροφορίες.

Με το SPACE, οι επιχειρηματικοί πελάτες μπορούν επίσης να φέρουν τα δικά τους κλειδιά κρυπτογράφησης. Εάν ένας πελάτης ανακαλέσει το κλειδί του, τα νέα sandbox δεν μπορούν να εκκινηθούν και τα υπάρχοντα δεδομένα που είναι κρυπτογραφημένα από τον πελάτη δεν μπορούν πλέον να αποκρυπτογραφηθούν.

Για όσους εργάζονται με ιδιαίτερα ευαίσθητα δεδομένα, το SPACE έχει σχεδιαστεί για να λειτουργεί τόσο on-prem όσο και πλήρως εκτός σύνδεσης. Αυτό το επίπεδο ελέγχου διασφαλίζει ότι τα δεδομένα δεν χρειάζεται ποτέ να εγκαταλείψουν ένα ασφαλές περιβάλλον.

Ενίσχυση του Perplexity

Οι μηχανικοί του Perplexity μετέφεραν το SPACE από την ιδέα στο προϊόν σε 10 εβδομάδες. Χρησιμοποιούμε το SPACE εσωτερικά τους τελευταίους δύο μήνες. Την τελευταία εβδομάδα, έχει υποστηρίξει εκατομμύρια δημιουργίες sandbox και δεκάδες εκατομμύρια επανασυνδέσεις sandbox. Είναι ζωντανό στο Computer για όλους τους χρήστες σήμερα.

Το SPACE κατασκευάστηκε για να εκτελείται οπουδήποτε. Σε μια πρώιμη δοκιμή σε CPU NVIDIA Vera, οι πραγματικές ροές εργασίας τύπου Computer εκτελέστηκαν περίπου 1,5x πιο γρήγορα από την τρέχουσα αναφορά παραγωγής μας και ξεκίνησαν ταυτόχρονα sandbox έως και 1,9x πιο γρήγορα. Αυτό το πρώιμο σήμα αποδεικνύει ότι η Vera θα προσφέρει εξαιρετική αξία για τα sandbox πρακτόρων και επικυρώνει την αγνωστικισμό backend πίσω από το SPACE.

Επένδυση σε ασφαλή περιβάλλοντα

Πιστεύουμε ότι δεν πρέπει να υπάρχει συμβιβασμός μεταξύ λειτουργικότητας, αποδοτικότητας και ασφάλειας. Οι πράκτορες θα πρέπει να εργάζονται στα ίδια δεδομένα με εμάς, με την ίδια εμπιστοσύνη που θα δίναμε σε οποιονδήποτε συμπαίκτη.

Το SPACE είναι απλώς η πρώτη επανάληψη αυτού του ασφαλούς περιβάλλοντος. Καθώς η τεχνητή νοημοσύνη συνεχίζει να εξελίσσεται, το ίδιο θα κάνουν και τα συστήματα ασφάλειας και υποδομής μας.

Δείτε το Making SPACE: Secure and Efficient Runtimes for Long-Running Agents για περισσότερες λεπτομέρειες.