Sandbox API: Izolált kódvégrehajtás MI-ügynökök számára

Az ügynökalapú munkafolyamatok gyakran igényelnek determinisztikus végrehajtást. Amikor egy ügynöknek statisztikai elemzést kell végeznie, diagramot kell generálnia, érvényesítenie kell egy számítást vagy át kell alakítania egy adatkészletet, determinisztikus végrehajtásra van szüksége pontos kimenetekkel. Az ügynök átgondolja, hogy mit kell kiszámítani. A sandbox kiszámítja.

A Perplexity számára készült, mostantól szolgáltatásként is elérhető

A Sandboxot azért hoztuk létre, hogy ezt a mintát belsőleg támogassuk. A Perplexity Computer, a Pénzügyi ügynökünk és a Mélyreható kutatás mind sandbox környezetben hajtják végre a kódot. A Computer percenként több ezer munkamenetet futtat. A Pénzügyi ügynök a Sandboxot használja az élő piaci adatok számításaihoz. A Mélyreható kutatás fájlgeneráláshoz, adatfeldolgozáshoz és formátumkonverzióhoz használja a munkafolyamat közepén. A Sandbox API ugyanezt a végrehajtási környezetet önálló szolgáltatásként teszi elérhetővé.

Állapottal rendelkező munkamenetek perzisztens fájlrendszerekkel

Minden munkamenet a saját izolált Kubernetes podjában fut. A fejlesztő semmilyen mögöttes infrastruktúrát nem kezel: mi gondoskodunk a kiépítésről, a hálózatépítésről és a takarításról. A támogatott nyelvek a Python, a JavaScript és az SQL, és a futtatókörnyezetben munkamenetenként telepíthetők csomagok.

A munkamenetek állapottal rendelkeznek. Egy perzisztens fájlrendszer FUSE-on keresztül van csatolva. A FUSE démon elfogja a fájlműveleteket, és lefordítja azokat az ügynök számára: olvasás, írás, fájlok listázása és a munkamenet létrehozása óta történt módosítások nyomon követése. Az egyik lépésben létrehozott fájlok elérhetők a subsequent lépésekben. A hosszú ideig futó munkafolyamatok szüneteltethetők, órákkal később folytathatók, és az állapot teljes megőrzésével folytathatók. Minden munkamenet legfeljebb öt háttérfolyamatot támogat.

Alapértelmezés szerint zero-trust

A biztonsági architektúra alapértelmezés szerint megbízhatatlannak tekinti a kódot. A sandboxok nem rendelkeznek közvetlen hálózati hozzáféréssel. Ha kimenő kapcsolatra van szükség, a forgalom a sandboxon kívül futó egress proxyn keresztül irányítódik. A proxy a célútvonal-tartomány alapján egyezteti a kimenő kéréseket, és beilleszti a megfelelő hitelesítő adatokat. A sandboxon belül végrehajtott kód soha nem fér hozzá nyers API-kulcsokhoz vagy titkokhoz. A beépített időtúllépések és erőforrás-korlátok kényszerítik ki a végrehajtási határokat.

Agent API mint vezénylési réteg

A Sandbox API eszközként lesz elérhető az Agent API-n belül, lehetővé téve, hogy a vezénylési futtatókörnyezet delegáljon a determinisztikus kódvégrehajtásra a munkafolyamat közepén. Az ügynök eldönti, hogy mit számítson ki, elküldi a Sandboxnak, megfigyeli a kimenetet, és folytatja az indoklási hurkot. Ugyanaz az API-kulcs, ugyanaz a kreditsorozat.

A Sandbox API hamarosan érkezik. Rövidesen megnyitunk egy zárt bétát, amelynek dokumentációja a docs.perplexity.ai címen érhető el