Smilšu kastes API: izolēta koda izpilde AI aģentiem

Aģentu darbplūsmām bieži ir nepieciešama deterministiska izpilde. Kad aģentam ir jāveic statistiskā analīze, jāģenerē diagramma, jāvalidē aprēķins vai jātransformē datu kopums, tam ir nepieciešama deterministiska izpilde ar precīziem rezultātiem. Aģents veic spriedumus par to, kas jāaprēķina. Smilšu kaste to aprēķina.

Izstrādāts Perplexity vajadzībām, tagad pieejams kā pakalpojums

Mēs izveidojām smilšu kasti, lai iekšēji atbalstītu šo modeli. Perplexity Computer, mūsu finanšu aģents un Padziļināta izpēte – visi šie rīki izpilda kodu izolētās vidēs. Computer izpilda tūkstošiem sesiju minūtē. Finanšu aģents izmanto smilšu kasti reāllaika tirgus datu aprēķiniem. Padziļināta izpēte to izmanto failu ģenerēšanai, datu apstrādei un formātu konvertēšanai darbplūsmas laikā. Smilšu kastes API nodrošina to pašu izpildes vidi kā patstāvīgu pakalpojumu.

Stāvokļizstādes sesijas ar pastāvīgām failu sistēmām

Katra sesija darbojas savā izolētā Kubernetes podā. Izstrādātājs nepārvalda nevienu no apakšējā līmeņa infrastruktūrām: mēs nodrošinām resursu piešķiršanu, tīklošanu un tīrīšanu. Atbalstītās valodas ir Python, JavaScript un SQL, un katrai sesijai ir pieejama izpildlaika pakešu instalēšana.

Sesijām ir saglabāts stāvoklis. Pastāvīga failu sistēma tiek montēta, izmantojot FUSE. FUSE dēmons pārtver failu darbības un tulko tās aģentam: lasīšanu, rakstīšanu, failu saraksta veidošanu un izmaiņu izsekošanu kopš sesijas izveides. Vienā solī izveidotie faili ir pieejami nākamajos soļos. Ilgstošas darbplūsmas var pauzēt, stundas vēlāk atsākt un turpināt darbu ar pilnībā saglabātu stāvokli. Katra sesija atbalsta līdz pat pieciem fona procesiem.

Nenorādīta uzticēšanās pēc noklusējuma

Drošības arhitektūra pēc noklusējuma pieņem, ka kods nav uzticams. Smilšu kastēm nav tiešas piekļuves tīklam. Ja ir nepieciešama izejošā savienojamība, datplūsma tiek maršrutēta caur izejas starpniekserveri, kas darbojas ārpus smilšu kastes. Starpniekserveris saskaņo izejošos pieprasījumus pēc galamērķa domēna un ievada atbilstošos akreditācijas datus. Kodam, kas izpildās smilšu kastē, nekad nav piekļuves neapstrādātām API atslēgām vai noslēpumiem. Iebūvētie noildzes un resursu limiti nosaka izpildes robežas.

Aģenta API kā orķestrēšanas slānis

Smilšu kastes API būs pieejama kā rīks Aģenta API ietvaros, ļaujot orķestrēšanas izpildlaikam deleģēt uzdevumus deterministiskai koda izpildei darbplūsmas laikā. Aģents izlemj, ko aprēķināt, nosūta uzdevumu smilšu kastei, novēro izvadi un turpina spriedumu ciklu. Tāda pati API atslēga, tāds pats kredītu apjoms.

Smilšu kastes API būs pieejama drīzumā. Mēs drīz atvērsim privāto beta versiju, un dokumentācija būs pieejama vietnē docs.perplexity.ai