Sandbox API: Izolované spouštění kódu pro AI agenty

Pracovní postupy s agenty často vyžadují deterministické provádění. Když agent potřebuje provést statistickou analýzu, vygenerovat graf, ověřit výpočet nebo transformovat datovou sadu, vyžaduje deterministické provádění s přesnými výstupy. Agent přemýšlí o tom, co se má vypočítat. Sandbox to vypočítá.

Vytvořeno pro Perplexity, nyní k dispozici jako služba

Sandbox jsme vytvořili, abychom tento vzor podpořili interně. Perplexity Computer, náš finanční agent a Hloubkový výzkum – ti všichni spouštějí kód v prostředí sandboxu. Computer provádí tisíce relací za minutu. Finanční agent používá sandbox pro výpočty dat z živého trhu. Hloubkový výzkum jej používá pro generování souborů, zpracování dat a konverzi formátů uprostřed pracovního postupu. Sandbox API zpřístupňuje stejné prostředí pro provádění jako samostatnou službu.

Stavové relace s trvalými souborovými systémy

Každá relace běží ve vlastním izolovaném podu Kubernetes. Vývojář nespravuje žádnou ze základních infrastruktur: zajišťujeme zřizování, síťové propojení a čištění. Podporované jazyky jsou Python, JavaScript a SQL, přičemž instalace balíčků za běhu je k dispozici pro každou relaci.

Relace jsou stavové. Trvalý souborový systém je připojen přes FUSE. Émon FUSE zachycuje operace se soubory a překládá je pro agenta: čtení, zápis, výpis souborů a sledování úprav od vytvoření relace. Soubory vytvořené v jednom kroku jsou k dispozici v následujících krocích. Dlouhodobě běžíci pracovní postupy se mohou pozastavit, o několik hodin později pokračovat a navázat s plně zachovaným stavem. Každá relace podporuje až pět procesů na pozadí.

Zero-trust ve výchozím nastavení

Bezpečnostní architektura předpokládá nedůvěryhodný kód ve výchozím nastavení. Sandboxy nemají přímý přístup k síti. Pokud je vyžadována odchozí konektivita, provoz prochází přes výstupní proxy server běžící mimo sandbox. Proxy server porovnává odchozí požadavky podle cílové domény a vkládá příslušná pověření. Kód spuštěný uvnitř sandboxu nemá nikdy přístup k nezpracovaným klíčům API ani tajným klíčům. Vestavěné časové limity a limity zdrojů vynucují hranice provádění.

Agent API jako orchestrační vrstva

Sandbox API bude k dispozici jako nástroj v rámci Agent API, což umožní orchestračnímu běhovému prostředí delegovat deterministické provádění kódu uprostřed pracovního postupu. Agent rozhodne, co se má vypočítat, odešle požadavek do sandboxu, sleduje výstup a pokračuje ve své smyčce uvažování. Stejný klíč API, stejná sada kreditů.

Sandbox API již brzy. Brzy otevřeme soukromou beta verzi s dokumentací na adrese docs.perplexity.ai