API песочницы: изолированное выполнение кода для ИИ-агентов

Агентные рабочие процессы часто требуют детерминированного выполнения. Когда агенту необходимо провести статистический анализ, создать график, проверить расчет или преобразовать набор данных, ему требуется детерминированное выполнение с точными результатами. Агент обдумывает, что необходимо вычислить. Песочница выполняет это вычисление.

Создано для Perplexity, теперь доступно как сервис

Мы создали песочницу для поддержки этого шаблона внутри компании. Perplexity Computer, наш финансовый агент (Finance Agent) и Глубокое исследование (Deep Research) выполняют код в изолированных средах. Computer выполняет тысячи сеансов в минуту. Финансовый агент использует песочницу для расчетов с использованием рыночных данных в реальном времени. Глубокое исследование использует ее для создания файлов, обработки данных и преобразования форматов в процессе выполнения рабочего процесса. API песочницы делает ту же среду выполнения доступной в качестве автономного сервиса.

Сеансы с сохранением состояния и постоянными файловыми системами

Каждый сеанс выполняется в собственном изолированном поде Kubernetes. Разработчик не управляет базовой инфраструктурой: мы берем на себя подготовку, сетевое взаимодействие и очистку. Поддерживаются языки Python, JavaScript и SQL, с возможностью установки пакетов среды выполнения для каждого сеанса.

Сеансы являются сеансами с сохранением состояния. Постоянная файловая система монтируется через FUSE. Демон FUSE перехватывает файловые операции и преобразует их для агента: чтение, запись, вывод списка файлов и отслеживание изменений с момента создания сеанса. Файлы, созданные на одном этапе, доступны на последующих этапах. Длительные рабочие процессы могут приостанавливаться, возобновляться через несколько часов и продолжаться с полностью сохраненным состоянием. Каждый сеанс поддерживает до пяти фоновых процессов.

Нулевое доверие по умолчанию

Архитектура безопасности по умолчанию предполагает работу с недоверенным кодом. Песочницы не имеют прямого доступа к сети. Когда требуется исходящее соединение, трафик направляется через прокси-сервер исходящего трафика, работающий вне песочницы. Прокси-сервер сопоставляет исходящие запросы по целевому домену и внедряет соответствующие учетные данные. Код, выполняемый внутри песочницы, никогда не имеет доступа к необработанным ключам API или секретам. Встроенные тайм-ауты и ограничения ресурсов обеспечивают границы выполнения.

Agent API как уровень оркестрации

API песочницы будет доступен в качестве инструмента в рамках Agent API, что позволит среде выполнения оркестрации делегировать задачи детерминированному выполнению кода в процессе рабочего процесса. Агент решает, что нужно вычислить, передает задачу в песочницу, наблюдает за результатом и продолжает цикл рассуждений. Тот же ключ API, тот же набор кредитов.

API песочницы скоро появится. Вскоре мы откроем частную бета-версию, документация доступна по адресу docs.perplexity.ai