Sandbox API: Thực thi mã cách ly cho tác nhân AI

Các quy trình làm việc của tác nhân thường yêu cầu thực thi tất định. Khi một tác nhân cần chạy phân tích thống kê, tạo biểu đồ, xác thực phép tính hoặc chuyển đổi tập dữ liệu, nó cần thực thi tất định với các đầu ra chính xác. Tác nhân lập luận về những gì cần tính toán. Sandbox thực hiện việc tính toán đó.

Được xây dựng cho Perplexity, hiện đã có sẵn dưới dạng dịch vụ

Chúng tôi đã xây dựng Sandbox để hỗ trợ mô hình này ở nội bộ. Perplexity Computer, Tác nhân Tài chính (Finance Agent) và Nghiên cứu chuyên sâu (Deep Research) đều thực thi mã bên trong các môi trường được cách ly trong sandbox. Computer chạy hàng nghìn phiên mỗi phút. Tác nhân Tài chính sử dụng Sandbox để tính toán dữ liệu thị trường trực tiếp. Nghiên cứu chuyên sâu sử dụng Sandbox để tạo tệp, xử lý dữ liệu và chuyển đổi định dạng ở giữa quy trình làm việc. Sandbox API cung cấp cùng môi trường thực thi dưới dạng một dịch vụ độc lập.

Các phiên có trạng thái với hệ thống tệp bền vững

Mỗi phiên chạy trong pod Kubernetes được cách ly của riêng nó. Nhà phát triển không quản lý cơ sở hạ tầng cơ sở nào: chúng tôi xử lý việc cung cấp, mạng và dọn dẹp. Các ngôn ngữ được hỗ trợ là Python, JavaScript và SQL, với tính năng cài đặt gói thời gian chạy có sẵn cho mỗi phiên.

Các phiên có trạng thái. Hệ thống tệp bền vững được gắn kết thông qua FUSE. Trình nền FUSE chặn các thao tác tệp và dịch chúng cho tác nhân: đọc, ghi, liệt kê tệp và theo dõi các sửa đổi kể từ khi tạo phiên. Các tệp được tạo trong một bước sẽ có sẵn trong các bước tiếp theo. Các quy trình làm việc chạy lâu có thể tạm dừng, tiếp tục sau vài giờ và tiếp nhận lại với trạng thái đầy đủ được giữ nguyên. Mỗi phiên hỗ trợ tối đa năm tiến trình nền.

Bảo mật toàn diện theo mặc định

Kiến trúc bảo mật giả định mã không đáng tin cậy theo mặc định. Các sandbox không có quyền truy cập mạng trực tiếp. Khi cần kết nối ra ngoài, lưu lượng truy cập sẽ định tuyến qua một proxy đường ra chạy bên ngoài sandbox. Proxy khớp các yêu cầu đi theo tên miền đích và tiêm các thông tin đăng nhập thích hợp. Mã thực thi bên trong sandbox không bao giờ có quyền truy cập vào các khóa API thô hoặc thông tin mật. Thời gian chờ tích hợp và giới hạn tài nguyên thực thi các ranh giới thực thi.

Agent API là lớp điều phối

Sandbox API sẽ có sẵn như một công cụ trong Agent API, cho phép thời gian chạy điều phối ủy quyền cho việc thực thi mã tất định ở giữa quy trình làm việc. Tác nhân quyết định những gì cần tính toán, gửi đến Sandbox, quan sát đầu ra và tiếp tục vòng lặp lập luận của mình. Cùng khóa API, cùng một tập hợp tín dụng.

Sandbox API sắp ra mắt. Chúng tôi sẽ sớm mở bản thử nghiệm riêng tư, với tài liệu tại docs.perplexity.ai