Sandbox API: Isolated code execution for AI agents

תהליכי עבודה של סוכנים דורשים לעתים קרובות ביצוע דטרמיניסטי. כאשר סוכן צריך להריץ ניתוח סטטיסטי, ליצור תרחיש, לאמת חישוב או לבצע המרה של מערך נתונים, הוא זקוק לביצוע דטרמיניסטי עם פלט מדויק. הסוכן מסיק מה לחשב. ארגז החול מבצע את החישוב.

נבנה עבור Perplexity, זמין כעת כשירות

בנינו את ארגז החול כדי לתמוך בתבנית זו באופן פנימי. Perplexity Computer, סוכן הפיננסים שלנו, ומחקר מעמיק מריצים כולם קוד בתוך סביבות מבודדות בארגז חול. Computer מריץ אלפי הפעלוֹת בדקה. סוכן הפיננסים משתמש בארגז החול לחישוב נתוני שוק חיים. מחקר מעמיק משתמש בו ליצור קבצים, לעבד נתונים ולהמיר פורמטים באמצע תהליך העבודה. ממשק ה-API של ארגז החול הופך את אותה סביבת ביצוע לזמינה כשירות עצמאי.

הפעלות בעלות מצב (Stateful) עם מערכות קבצים מתמידות

כל הפעלה רצה בפוד Kubernetes מבודד משלה. המפתח אינו מנהל אף אחת מהתשתיות הבסיסיות: אנו מטפלים בהקצאה, ברשתות ובניקוי. השפות הנתמכות הן Python, ‏JavaScript ו-SQL, עם אפשרות להתקנת חבילות בסביבת הריצה עבור כל הפעלה.

ההפעלות שומרות מצב. מערכת קבצים מתמדת מעוגנת באמצעות FUSE. סוכן ה-FUSE מיירט פעולות קבצים ומתרגם אותן עבור הסוכן: קריאה, כתיבה, הצגת רשימת קבצים ומעקב אחר שינויים מאז יצירת ההפעה. קבצים שנוצרו בשלב אחד זמינים בשלבים הבאים. תהליכי עבודה ארוכי טווח יכולים להשהות, להתחדש שעות לאחר מכן ולהמשיך כאשר המלא בתוך מצב שלם. כל הפעלה תומכת בעד חמישה תהליכי רקע.

אפס אמון כברירת מחדל

ארכיטקטורת האבטחה מניחה קוד שאינו מהימן כברירת מחדל. לארגזי החול אין גישה ישירה לרשת. כאשר נדרשת קישוריות יוצאת, התנועה מנותבת דרך פרוקסי יציאה הפועל מחוץ לארגז החול. הפרוקסי מתאים בקשות יוצאות לפי דומיין היעד ומזריק את אישורי ההתחברות המתאימים. קוד המבוצע בתוך ארגז החול לעולם אינו מקבל גישה למפתחות API גולמיים או לסודות. פסקי זמן מובנים ומגבלות משאבים אוכפים את גבולות הביצוע.

ממשק API של סוכנים כשכבת התזמור

ממשק ה-API של ארגז החול יהיה זמין ככלי בתוך ממשק ה-API של הסוכנים, מה שיאפשר לסביבת הריצה של התזמור להאציל לביצוע קוד דטרמיניסטי באמצע תהליך העבודה. הסוכן מחליט מה לחשב, שולח לארגז החול, צופה בפלט וממשיך بلולקת ההיסק שלו. אותו מפתח API, אותו סט קרדיטים.

ממשק ה-API של ארגז החול יושק בקרוב. נפתח גרסת בטא פרטית בקרוב, עם תיעוד בכתובת docs.perplexity.ai