Sandbox API: Izolovano izvršavanje koda za AI agente

Agentski radni procesi često zahtevaju determinističko izvršavanje. Kada agent treba da pokrene statističku analizu, generiše grafikon, potvrdi izračunavanje ili transformiše skup podataka, potrebno mu je determinističko izvršavanje sa tačnim izlaznim podacima. Agent razmišlja o tome šta treba da izračuna. Sandbox to izračunava.

Kreirano za Perplexity, sada dostupno kao usluga

Kreirali smo Sandbox da bismo interno podržali ovaj obrazac. Perplexity Computer, naš finansijski agent i Deep Research izvršavaju kôd unutar okruženja sa peskom (sandbox). Computer pokreće hiljade sesija u minutu. Finansijski agent koristi Sandbox za izračunavanje podataka sa tržišta uživo. Deep Research ga koristi za generisanje datoteka, obradu podataka i konverziju formata usred radnog procesa. Sandbox API čini isto okruženje za izvršavanje dostupnim kao samostalnu uslugu.

Sesije sa stanjem i trajnim sistemima datoteka

Svaka sesija se izvršava u sopstvenom izolovanom Kubernetes pod-u. Programer ne upravlja nijednim delom osnovne infrastrukture: mi upravljamo obezbeđivanjem resursa, umrežavanjem i čišćenjem. Podržani jezici su Python, JavaScript i SQL, uz instalaciju paketa u toku izvršavanja koja je dostupna po sesiji.

Sesije imaju stanje. Trajni sistem datoteka je montiran preko FUSE-a. FUSE demon presreće operacije nad datotekama i prevodi ih za agenta: čitanje, pisanje, izlistavanje datoteka i praćenje izmena od kreiranja sesije. Datoteke kreirane u jednom koraku dostupne su u narednim koracima. Radni procesi koji dugo traju mogu da pauziraju, nastave se nekoliko sati kasnije i nastave sa potpuno netaknutim stanjem. Svaka sesija podržava do pet pozadinskih procesa.

Nulto poverenje po podrazumevanoj vrednosti

Bezbednosna arhitektura podrazumevano pretpostavlja da je kôd nepouzdan. Sandbox-ovi nemaju direktan pristup mrežnim resursima. Kada je potrebna odlazna veza, saobraćaj se usmerava kroz izlazni proksi (egress proxy) koji se izvršava van Sandbox-a. Proksi uparuje odlazne zahteve sa odredišnim domenom i ubacuje odgovarajuće akreditive. Kôd koji se izvršava unutar Sandbox-a nikada nema pristup sirovim API ključevima ili tajnama. Ugrađena vremenska ograničenja i ograničenja resursa nameću granice izvršavanja.

Agent API kao sloj orkestracije

Sandbox API će biti dostupan kao alat unutar Agent API-ja, što omogućava okruženju za izvršavanje orkestracije da delegira zadatke determinističkom izvršavanju koda usred radnog procesa. Agent odlučuje šta će izračunati, prosleđuje zadatak u Sandbox, posmatra izlazne podatke i nastavlja svoju petlju zaključivanja. Isti API ključ, isti set kredita.

Sandbox API uskoro stiže. Uskoro ćemo otvoriti privatnu beta verziju, sa dokumentacijom na docs.perplexity.ai