Entorn de proves API: Execució de codi aïllat per a IA

Els fluxos de treball basats en agents sovint requereixen una execució determinista. Quan un agent necessita executar una anàlisi estadística, generar un gràfic, validar un càlcul o transformar un conjunt de dades, requereix una execució determinista amb resultats exactes. L'agent raona sobre què cal calcular. L'entorn de proves ho calcula.

Hem creat l'entorn de proves per donar suport a aquest patró internament. Perplexity Computer, el nostre agent financer i Deep Research executen codi dins d'entorns aïllats. Computer executa milers de sessions per minut. L'agent financer utilitza l'entorn de proves per a càlculs de dades de mercat en directe. Deep Research l'utilitza per a la generació de fitxers, el processament de dades i la conversió de formats a mig flux de treball. L'API de l'entorn de proves posa el mateix entorn d'execució a disposició com a servei independent.

Cada sessió s'executa en el seu propi pod aïllat de Kubernetes. El desenvolupador no gestiona cap de les infraestructures subjacents: nosaltres ens encarreguem del proveïment, la xarxa i la neteja. Les llengües admeses són Python, JavaScript i SQL, amb instal·lació de paquets de temps d'execució disponible per sessió.

Les sessions tenen estat. Es munta un sistema de fitxers persistent mitjançant FUSE. El dimoni FUSE intercepta les operacions de fitxers i les tradueix per a l'agent: llegir, escriure, llistar fitxers i fer un seguiment de les modificacions des de la creació de la sessió. Els fitxers creats en un pas estan disponibles en els passos següents. Els fluxos de treball de llarga durada es poden posar en pausa, reprendre hores més tarde i continuar amb tot l'estat intacte. Cada sessió admet fins a cinc processos en segon pla.

L'arquitectura de seguretat assumeix codi no confiat per defecte. Els entorns de proves no tenen accés directe a la xarxa. Quan cal connectivitat sortint, el tràfic s'enrutat a través d'un servidor intermediari de sortida que s'executa fora de l'entorn de proves. El servidor intermediari coincideix amb les sol·licituds sortints per domini de destinació i injecta les credencials adequades. El codi que s'executa dins de l'entorn de proves mai té accés a claus d'API en brut o secrets. Els límits de temps i de recursos integrats fan complir els límits d'execució.

L'API de l'entorn de proves estarà disponible com a eina dins de l'API d'agent, permetent que el temps d'execució d'orquestració delegue a l'execució de codi determinista a mig flux de treball. L'agent decideix què calcular, ho envia a l'entorn de proves, observa el resultat i continua el seu bucle de raonament. Mateixa clau d'API, mateix conjunt de crèdits.

L'API de l'entorn de proves arribarà aviat. Obrirem una versió beta privada pròximament, amb documentació a docs.perplexity.ai

Creat per a Perplexity, ara disponible com a servei

Sessions amb estat amb sistemes de fitxers persistents

Zero-trust per defecte

L'API d'agent com a capa d'orquestració