Sandbox API: Izolovano izvršavanje koda za AI agente

Агентски токови рада често захтевају детерминистичко извршавање. Када агенат треба да покрене статистичку анализу, генерише графикон, валидира прорачун или трансформише скуп података, потребно му је детерминистичко извршавање са тачним излазима. Агенат доноси закључке о томе шта треба израчунати. Sandbox то израчунава.

Направљено за Perplexity, сада доступно као сервис

Направили смо Sandbox да интерно подржимо овај образац. Perplexity Computer, наш финансијски агенат и Дубински истраживање извршавају код унутар окружења са омогућеним sandbox-ом. Computer покреће хиљаде сесија у минуту. Финансијски агенат користи Sandbox за прорачуне података са тржишта у реалном времену. Дубински истраживање га користи за генерисање датотека, обраду података и конверзију формата током тока рада. Sandbox API чини исто окружење за извршавање доступним као самостални сервис.

Сесије са стањем и перзистентним систем датотека

Свака сесија се покреће у сопственом изолованом Kubernetes pod-у. Програмер не управља ниједном од основних инфраструктура: ми управљамо провизионирањем, умрежавањем и чишћењем. Подржани језици су Python, JavaScript и SQL, уз могућност инсталације пакета током извршавања по сесији.

Сесије имају стање. Перзистентни систем датотека је монтиран преко FUSE-а. FUSE демон пресреће операције са датотекама и преводи их за агенат: читање, писање, листу датотека и праћење модификација од креирања сесије. Датотеке креиране у једном кораку доступне су у наредним корацима. Дуготрајни токови рада могу паузирати, наставити са радом сатима касније и наставити са потпуно очуваним стањем. Свака сесија подржава до пет позадинских процеса.

Нуlto-повјерење по дефиницији

Безбедносна архитектура подразумева код коме се не верује по дефиницији. Sandbox-ови немају директан приступ мрежи. Када је потребна одлазна веза, саобраћај пролази кроз излазни прокси који се извршава ван sandbox-а. Прокси подудара одлазне захтеве по одредишној домени и уноси одговарајуће акредитиве. Код који се извршава унутар sandbox-а никада нема приступ сировим API кључевима или тајнама. Уграђена времена истека и ограничења ресурса намећу границе извршавања.

Agent API као слој оркестрације

Sandbox API ће бити доступан као алатка у оквиру Agent API-ја, омогућавајући окружењу за извршавање оркестрације да делегира задатке детерминистичком извршавању кода усред тока рада. Агенат одлучује шта ће израчунати, прослеђује у Sandbox, посматра излаз и наставља своју петљу закључивања. Исти API кључ, исти сет кредита.

Sandbox API стиже ускоро. Ускоро ћемо отворити приватну бета верзију, са документацијом на docs.perplexity.ai