Sandbox API: Izolirano izvršavanje koda za AI agente

Agentski tijekovi rada često zahtijevaju determinističko izvršavanje. Kada agent treba pokrenuti statističku analizu, generirati grafikon, provjeriti izračun ili transformirati skup podataka, potrebna mu je deterministička izvedba s točnim rezultatima. Agent razmišlja o tome što treba izračunati. Sandbox to izračunava.

Izgrađeno za Perplexity, sada dostupno kao usluga

Sandbox smo izgradili kako bismo interno podržali ovaj obrazac. Perplexity Computer, naš financijski agent i Dubinsko istraživanje izvršavaju kôd unutar izoliranih okruženja. Computer pokreće tisuće sesija u minuti. Financijski agent koristi Sandbox za izračune podataka s tržišta uživo. Dubinsko istraživanje koristi ga za generiranje datoteka, obradu podataka i pretvorbu formata usred tijeka rada. Sandbox API čini isto okruženje za izvršavanje dostupnim kao samostalnu uslugu.

Sesije sa stanjem i trajnim datotečnim sustavima

Svaka sesija se izvodi u vlastitom izoliranom Kubernetes podu. Developer ne upravlja nikakvom temeljnom infrastrukturom: mi se brinemo za dodjeljivanje resursa, umrežavanje i čišćenje. Podržani jezici su Python, JavaScript i SQL, uz mogućnost instalacije paketa za vrijeme izvođenja po sesiji.

Sesije imaju stanje. Trajni datotečni sustav montiran je putem FUSE-a. FUSE demon presreće operacije nad datotekama i prevodi ih za agenta: čitanje, pisanje, popis datoteka i praćenje izmjena od stvaranja sesije. Datoteke stvorene u jednom koraku dostupne su u kasnijim koracima. Dugotrajni tijekovi rada mogu se pauzirati, nastaviti nekoliko sati kasnije i nastaviti s potpuno očuvanim stanjem. Svaka sesija podržava do pet pozadinskih procesa.

Nula povjerenja prema zadanim postavkama

Sigurnosna arhitektura prema zadanim postavkama pretpostavlja kôd kojem se ne vjeruje. Sandboxi nemaju izravan pristup mrežnoj vezi. Kada je potrebna izlazna povezanost, promet prolazi kroz izlazni proxy (egress proxy) koji se izvodi izvan sandboxa. Proxy usklađuje odlazne zahtjeve prema odredišnoj domeni i ubacuje odgovarajuće vjerodajnice. Kôd koji se izvodi unutar sandboxa nikada nema pristup sirovim API ključevima ili tajnama. Ugrađena vremenska ograničenja i ograničenja resursa nameću granice izvršavanja.

Agent API kao sloj orkestracije

Sandbox API bit će dostupan kao alat unutar Agent API-ja, što omogućuje orkestracijskom okruženju za izvršavanje da delegira determinističko izvršavanje koda usred tijeka rada. Agent odlučuje što će izračunati, šalje podatke u Sandbox, promatra rezultat i nastavlja svoju petlju zaključivanja. Isti API ključ, isti skup kredita.

Sandbox API stiže uskoro. Ubrzo ćemo otvoriti privatnu beta verziju, s dokumentacijom na docs.perplexity.ai