Sandbox API: ізольоване виконання коду для AI-агентів

Робочі процеси агентів часто потребують детермінованого виконання. Коли агенту потрібно виконати статистичний аналіз, згенерувати діаграму, перевірити обчислення або перетворити набір даних, йому потрібне детерміноване виконання з точними результатами. Агент розмірковує про те, що саме слід обчислити. Пісочниця це обчислює.

Створено для Perplexity, тепер доступно як послуга

Ми створили пісочницю, щоб підтримувати цей шаблон внутрішньо. Perplexity Computer, наш фінансовий агент і Глибоке дослідження — усі вони виконують код у середовищах пісочниці. Computer виконує тисячі сеансів на хвилину. Фінансовий агент використовує пісочницю для обчислень ринкових даних у реальному часі. Глибоке дослідження використовує її для генерації файлів, обробки даних і перетворення форматів посеред робочого процесу. Sandbox API робить таке ж середовище виконання доступним як автономну послугу.

Сеанси зі збереженням стану та постійною файловою системою

Кожен сеанс запускається у власному ізольованому поді Kubernetes. Розробник не керує жодною базовою інфраструктурою: ми дбаємо про забезпечення, мережі та очищення. Підтримувані мови — Python, JavaScript і SQL, з можливістю встановлення пакетів під час виконання для кожного сеансу.

Сеанси зберігають стан. Постійна файлова система монтується за допомогою FUSE. Демон FUSE перехоплює файлові операції та перекладає їх для агента: читання, запис, перелік файлів і відстеження змін із моменту створення сеансу. Файли, створені на одному кроці, доступні на наступних кроках. Довготривалі робочі процеси можуть призупинятися, відновлюватися за кілька годин і продовжуватися з повністю збереженим станом. Кожен сеанс підтримує до п’яти фонових процесів.

Нульова довіра за замовчуванням

Архітектура безпеки за замовчуванням передбачає ненадійний код. Пісочниці не мають прямого доступу до мережі. Коли потрібне вихідне підключення, трафик спрямовується через вихідний проксі-сервер, що працює поза пісочницею. Проксі зіставляє вихідні запити за домом призначення та підставляє відповідні облікові дані. Код, що виконується всередині пісочниці, ніколи не має доступу до вихідних ключів API або секретів. Вбудовані тайм-аути та ліміти ресурсів забезпечують дотримання меж виконання.

Agent API як шар оркестрації

Sandbox API буде доступний як інструмент у межах Agent API, що дозволить середовищу виконання оркестрації делегувати виконання детермінованого коду посеред робочого процесу. Агент вирішує, що обчислити, надсилає завдання в пісочницю, спостерігає за результатами та продовжує цикл міркувань. Той самий ключ API, той самий набір кредитів.

Sandbox API з’явиться незабаром. Невдовзі ми відкриємо приватну бета-версію з документацією на docs.perplexity.ai