Sandbox API: Απομονωμένη εκτέλεση κώδικα για πράκτορες AI

Οι ροές εργασίας με πράκτορες συχνά απαιτούν ντετερμινιστική εκτέλεση. Όταν ένας πράκτορας χρειάζεται να εκτελέσει μια στατιστική ανάλυση, να δημιουργήσει ένα γράφημα, να επικahυρώσει έναν υπολογισμό ή να μετασχηματίσει ένα σύνολο δεδομένων, χρειάζεται ντετερμινιστική εκτέλεση με ακριβή αποτελέσματα. Ο πράκτορας συλλογίζεται σχετικά με το τι πρέπει να υπολογιστεί. Το Sandbox το υπολογίζει.

Κατασκευασμένο για το Perplexity, τώρα διαθέσιμο ως υπηρεσία

Κατασκευάσαμε το Sandbox για να υποστηρίξουμε αυτό το πρότυπο εσωτερικά. Το Perplexity Computer, ο Finance Agent και η Εις βάθος έρευνα εκτελούν κώδικα εντός απομονωμένων περιβαλλόντων. Το Computer εκτελεί χιλιάδες συνεδρίες ανά λεπτό. Ο Finance Agent χρησιμοποιεί το Sandbox για υπολογισμούς ζωντανών δεδομένων αγοράς. Η Εις βάθος έρευνα το χρησιμοποιεί για τη δημιουργία αρχείων, την επεξεργασία δεδομένων και τη μετατροπή μορφών ενوسط της ροής εργασίας. Το Sandbox API καθιστά το ίδιο περιβάλλον εκτέλεσης διαθέσιμο ως αυτόνομη υπηρεσία.

Συνεδρίες κατάστασης με συστήματα αρχείων επιμονής

Κάθε συνεδρία εκτελείται στο δικό της απομονωμένο pod Kubernetes. Ο προγραμματιστής δεν διαχειρίζεται καμία από τις υποκείμενες υποδομές: εμείς χειριζόμαστε την εκχώρηση, τη δικτύωση και τον καθαρισμό. Οι υποστηριζόμενες γλώσσες είναι Python, JavaScript και SQL, με δυνατότητα εγκατάστασης πακέτων χρόνου εκτέλεσης ανά συνεδρία.

Οι συνεδρίες διατηρούν κατάσταση. Ένα σύστημα αρχείων επιμονής προσαρτάται μέσω FUSE. Ο δαίμονας FUSE αναχαιτίζει τις λειτουργίες αρχείων και τις μεταφράζει για τον πράκτορα: ανάγνωση, εγγραφή, λίστα αρχείων και παρακολούθηση τροποποιήσεων από τη δημιουργία της συνεδρίας. Τα αρχεία που δημιουργούνται σε ένα βήμα είναι διαθέσιμα στα επόμενα βήματα. Οι ροές εργασίας μεγάλης διάρκειας μπορούν να τεθούν σε παύση, να συνεχιστούν ώρες αργότερα και να συνεχίσουν με πλήρη κατάσταση ανέπαφη. Κάθε συνεδρία υποστηρίζει έως και πέντε διεργασίες παρασκηνίου.

Μηδενική εμπιστοσύνη από προεπιλογή

Η αρχιτεκτονική ασφαλείας προϋποθέτει μη εμπisτευτικό κώδικα από προεπιλογή. Τα Sandbox δεν έχουν άμεση πρόσβαση στο δικτύο. Όταν απαιτείται εξερχόμενη συνδεσιμότητα, η κυκλοφορία δρομολογείται μέσω ενός διακομιστή μεσολάβησης εξόδου που εκτελείται εκτός του sandbox. Ο διακομιστής μεσολάβησης ταιριάζει τα εξερχόμενα αιτήματα ανά τομέα προορισμού και εισάγει τα κατάλληλα διαπιστευτήρια. Ο κώδικας που εκτελείται εντός του sandbox δεν έχει ποτέ πρόσβαση σε ακατέργαστα κλειδιά API ή μυστικά. Ενσωματωμένα χρονικά όρια και όρια πόρων επιβάλλουν τα όρια εκτέλεσης.

Agent API ως το επίπεδο ενορχήστρωσης

Το Sandbox API θα είναι διαθέσιμο ως εργαλείο εντός του Agent API, επιτρέποντας στον χρόνο εκτέλεσης ενορχήστρωσης να αναθέτει σε ντετερμινιστική εκτέλεση κώδικα μεσούσης της ροής εργασίας. Ο πράκτορας αποφασίζει τι να υπολογίσει, αποστέλλει στο Sandbox, παρατηρεί την έξοδο και συνεχίζει τον βρόχο συλλογισμού του. Ίδιο κλειδί API, ίδιο σύνολο πιστώσεων.

Το Sandbox API έρχεται σύντομα. Θα ανοίξουμε μια ιδιωτική beta σύντομα, με τεκμηρίωση στη διεύθυνση docs.perplexity.ai