Sandbox API: Isolert kodeutførelse for KI-agenter

Agentbaserte arbeidsflyter krever ofte deterministisk utførelse. Når en agent må kjøre en statistisk analyse, generere et diagram, validere en beregning eller transformere et datasett, trenger den deterministisk utførelse med nøyaktige resultater. Agenten resonnerer om hva som skal beregnes. Sandboxen beregner det.

Bygget for Perplexity, nå tilgjengelig som en tjeneste

Vi bygget sandboxen for å støtte dette mønsteret internt. Perplexity Computer, vår finansagent og Dypgående forskning utfører alle kode i sandboksbaserte miljøer. Computer kjører tusenvis av økter i minuttet. Finansagenten bruker sandbox til live markedsdataberegninger. Dypgående forskning bruker den til filgenerering, databehandling og formatkonvertering midt i arbeidsflyten. Sandbox API gjør det samme utførelsesmiljøet tilgjengelig som en frittstående tjeneste.

Tilstandsorienterte økter med vedvarende filsystemer

Hver økt kjører i sin egen isolerte Kubernetes-pod. Utvikleren administrerer ingen av den underliggende infrastrukturen: vi håndterer klargjøring, nettverk og opprydding. Støttede språk er Python, JavaScript og SQL, med installasjon av kjøretidspakker tilgjengelig per økt.

Økter er tilstandsorienterte. Et vedvarende filsystem er montert via FUSE. FUSE-nissen avskjærer filoperasjoner og oversetter dem for agenten: les, skriv, list filer og spor endringer siden opprettelsen av økten. Filer som opprettes i ett trinn, er tilgjengelige i påfølgende trinn. Langtidssektorens arbeidsflyter kan pause, gjenoppta timer senere og fortsette med full tilstand intakt. Hver økt støtter opptil fem bakgrunnsprosesser.

Null-tillit som standard

Sikkerhetsarkitekturen forutsetter utrygg kode som standard. Sandboxer har ingen direkte nettverkstilgang. Når utgående tilkobling er nødvendig, rutes trafikk gjennom en utgående proxy som kjører utenfor sandboxen. Proxyen samsvarer utgående forespørsler etter destinasjonsdomene og injiserer de aktuelle legitimasjonene. Kode som utføres inne i sandboxen, har aldri tilgang til rå API-nøkler eller hemmeligheter. Innebygde tidsavbrudd og ressursgrenser håndhever utførelsesgrenser.

Agent API som orchestreringslag

Sandbox API vil være tilgjengelig som et verktøy i Agent API, slik at orkestreringskjøretiden kan delegere til deterministisk kodeutførelse midt i arbeidsflyten. Agenten bestemmer hva som skal beregnes, sender videre til sandbox, observerer resultatet og fortsetter sin resonneringsløkke. Samme API-nøkkel, samme sett med kreditter.

Sandbox API kommer snart. Vi vil åpne en privat beta snart, med dokumentasjon på docs.perplexity.ai