API Kotak Pasir: Eksekusi kode terisolasi untuk agen AI

Alur kerja agen sering kali memerlukan eksekusi yang deterministik. Ketika agen perlu menjalankan analisis statistik, membuat diagram, memvalidasi perhitungan, atau mengubah kumpulan data, agen tersebut memerlukan eksekusi deterministik dengan hasil yang tepat. Agen melakukan penalaran tentang apa yang harus dihitung. Kotak pasir yang menghitungnya.

Dibuat untuk Perplexity, kini tersedia sebagai layanan

Kami membangun kotak pasir untuk mendukung pola ini secara internal. Perplexity Computer, Agen Keuangan kami, dan Penelitian mendalam semuanya menjalankan kode di dalam lingkungan kotak pasir. Computer menjalankan ribuan sesi per menit. Agen Keuangan menggunakan kotak pasir untuk perhitungan data pasar langsung. Penelitian mendalam menggunakannya untuk pembuatan file, pemrosesan data, dan konversi format di tengah alur kerja. API kotak pasir menyediakan lingkungan eksekusi yang sama sebagai layanan mandiri.

Sesi stateful dengan sistem file persisten

Setiap sesi berjalan di pod Kubernetes-nya sendiri. Pengembang tidak mengelola infrastruktur yang mendasarinya sama sekali: kami menangani penyediaan, jaringan, dan pembersihan. Bahasa yang didukung adalah Python, JavaScript, dan SQL, dengan instalasi paket waktu proses yang tersedia per sesi.

Sesi bersifat stateful. Sistem file persisten dipasang melalui FUSE. Daemon FUSE mencegat operasi file dan menerjemahkannya untuk agen: membaca, menulis, mencantumkan file, dan melacak modifikasi sejak pembuatan sesi. File yang dibuat dalam satu langkah tersedia pada langkah berikutnya. Alur kerja yang berjalan lama dapat dijeda, dilanjutkan beberapa jam kemudian, dan dilanjutkan dengan status penuh yang utuh. Setiap sesi mendukung hingga lima proses latar belakang.

Zero-trust secara default

Arsitektur keamanan mengasumsikan kode yang tidak tepercaya secara default. Kotak pasir tidak memiliki akses jaringan langsung. Saat konektivitas keluar diperlukan, lalu lintas merute melalui proksi keluar yang berjalan di luar kotak pasir. Proksi mencocokkan permintaan keluar berdasarkan domain tujuan dan menyuntikkan kredensial yang sesuai. Kode yang dieksekusi di dalam kotak pasir tidak pernah memiliki akses ke kunci API mentah atau rahasia. Batas waktu dan batas sumber daya bawaan memberlakukan batasan eksekusi.

API Agen sebagai lapisan orkestrasi

API kotak pasir akan tersedia sebagai alat dalam API Agen, yang memungkinkan waktu proses orkestrasi untuk didelegasikan ke eksekusi kode deterministik di tengah alur kerja. Agen memutuskan apa yang akan dihitung, mengirimkannya ke kotak pasir, mengamati hasilnya, dan melanjutkan perulangan penalaran. Kunci API yang sama, kumpulan kredit yang sama.

API kotak pasir akan segera hadir. Kami akan membuka beta privat sebentar lagi, dengan dokumentasi di docs.perplexity.ai