Sandbox API: Einangruð kóðaframkvæmd fyrir gervigreindarumboðsmenn

Agentísk verkflæði krefjast oft á tíðum ákveðinnar framkvæmdar. Þegar umboðsmaður þarf að keyra tölfræðigreiningu, búa til línurit, sannreyna útreikning eða umbreyta gagnasetti, þarf hann ákveðna framkvæmd með nákvæmum úttaksviðmiðum. Umboðsmaðurinn rökstyður hvað eigi að reikna út. Sandkassinn reiknar það út.

Hannað fyrir Perplexity, nú fáanlegt sem þjónusta

Við bjuggum til sandkassann til að styðja þetta mynstur innanhúss. Perplexity Computer, fjármálaumboðsmaðurinn okkar og ítarleg rannsókn keyra öll kóða innan sandkassaðra umhverfa. Computer keyrir þúsundir lota á mínútu. Fjármálaumboðsmaðurinn notar sandkassann fyrir útreikninga á markaðsgögnum í beinni. Ítarleg rannsókn notar hann til gagnaframleiðslu, vinnslu gagna og sniðbreytinga mitt í verkflæði. Sandbox API gerir sama keyrsluumhverfi aðgengilegt sem sjálfstæða þjónustu.

Ríkisbundnar lotur með viðvarandi skráarkerfum

Hver lota keyrir í sínu eigin einangruðu Kubernetes-hylki. Hönnuðurinn stjórnar engu af undirliggjandi innviðum: við sjáum um úthlutun, netkerfi og hreinsun. Studd tungumál eru Python, JavaScript og SQL, með uppsetningu á keyrslutímapakkum í boði fyrir hverja lotu.

Lotur eru ríkisbundnar. Viðvarandi skráarkerfi er sett upp í gegnum FUSE. FUSE-púlinn grípur skráaraðgerðir og þýðir þær fyrir umboðsmanninn: lesa, skrifa, skrá skrár og fylgjast með breytingum frá stofnun lotunnar. Skrár sem búnar til í einu skrefi eru fáanlegar í síðari skrefum. Langvinn verkflæði geta gert hlé, haldið áfram klukkustundum síðar og tekið upp með fullu ástandi óskertu. Hver lota styður allt að fimm bakgrunnsferla.

Köllum á fullkomið traust sjálfgefið

Öryggisarkitektúrinn gerir ráð fyrir ótreystum kóða sjálfgefið. Sandkassar hafa engan beinan netaðgang. Þegar útgátutenging er nauðsynleg beinist umferð í gegnum útgangsumboðsþjón sem keyrir utan sandkassans. Umboðsþjónninn passar við útleiðarbeiðnir eftir áfangastaðarléni og sprautar viðeigandi skilríkjum. Kóði sem keyrir innan sandkassans hefur aldrei aðgang að hráum API-lyklum eða leyndarmálum. Innbyggðir tímamörk og auðlindatakmörk framfylgja keyrslumörkum.

Agent API sem skipulagslag

Sandbox API verður fáanlegt sem tól innan Agent API, sem gerir skipulagskeyrslutímanum kleift að framselja til ákveðinnar kóðaframkvæmdar mitt í verkflæði. Umboðsmaðurinn ákveður hvað á að reikna út, sendir til sandkassans, fylgist með úttakinu og heldur áfram röksemdafærslulykkju sinni. Sami API-lykill, sami inneignarlisti.

Sandbox API er væntanlegt. Við opnum einkaprófun stuttu síðar, með skjölum á docs.perplexity.ai