הכירו את Orchestrator: API אחד למודלי חזית ולמודלים בעלי משקלים פתוחים
Perplexity Orchestrator מספק גישה למודלי חזית ולמודלים בעלי משקלים פתוחים, עם חיוב מאוחד ומעבר אוטומטי בעת כשל, והכול ב-API אחד.

Perplexity היא רב־מודלית בבסיסה ומעניקה לאנשים את החופש לבחור את מודלי החזית ואת המודלים בעלי המשקלים הפתוחים העדכניים ביותר לעבודה שלהם. הגישה הרב־מודלית הזו נשענת על החוזקות של כל מודל ויכולה להוזיל עלויות כשמשימה לא דורשת את המודל העוצמתי ביותר. מאחורי הקלעים, טכנולוגיית התזמור שלנו יכולה להשתמש בכמה מודלים כדי להשלים משימה אחת.
עסקים נוקטים גישה דומה כדי לאזן בין ביצועים, עלות וגמישות. כל השקה של מודל חדש היא הזדמנות להוזיל עלויות או לשפר את האיכות. רק השנה, מעבדות כמו Anthropic ו-OpenAI השיקו יותר מתריסר מודלים חדשים. בנוסף, יצאו יותר מ-100 מודלים בעלי משקלים פתוחים. אמנם הדבר מעניק לצוותים יותר אפשרויות לכל עומס עבודה, אבל הוא גם מוסיף להם עוד ספקים, חוזים וחשבוניות לנהל.
היום אנחנו משיקים את Perplexity Orchestrator API, ומנגישים את הטכנולוגיה שלנו, שאינה תלויה במודל מסוים, למפתחים ולצוותים שבונים אפליקציות AI. באמצעות API אחד, צוותים יכולים להריץ משימות פשוטות בנפח גבוה על מודלים זולים יותר ולשמור את המודלים החזקים יותר לעבודה תובענית יותר.
עם Orchestrator, צוותים יכולים להפחית את ההוצאות על AI ולרכז אותן, ולאמץ מודלים חדשים מיד עם השקתם, בלי להתפשר על ביצועים או על זמינות. צוותים יכולים לבחור איזה מודל יטפל בכל עומס עבודה, ו-Perplexity מטפלת בניתוב בין הספקים ובמעבר אוטומטי בעת כשל כדי להבטיח הסקה אמינה.
מבוסס על שכבת המודלים של Perplexity בסביבת הייצור
Perplexity מריצה מדי יום מודלים בעלי משקלים פתוחים ומודלי חזית בסביבת ייצור. שכבת המודלים שלנו מנתבת מאות מיליוני בקשות בין יותר מ-85 מודלים ויותר מתריסר ספקים.
קל יותר לבחור מודל מאשר לשמור על כל בקשה מהירה ומשתלמת כשספקים מאטים, נתקלים במחסור בקיבולת או משנים מחירים. הורדנו את עלויות ההגשה של עצמנו על ידי העברת עומסי עבודה למודלים המתאימים ביותר לכל משימה.
Orchestrator מעניק למפתחים גישה לתשתית המשותפת שמאחורי הגישה הזו.
Orchestrator מנגיש את שכבת ההסקה הזו דרך API אחד. הוא כולל מודלים של OpenAI, Anthropic, Google ו-xAI, לצד מודלים בעלי משקלים פתוחים כמו GLM, Kimi ו-DeepSeek. מודלים בעלי משקלים פתוחים מופעלים על ידי Perplexity או באמצעות שותפי הסקה.
Orchestrator תומך בפורמטים OpenAI Chat Completions, OpenAI Responses ו-Anthropic Messages. צוותים יכולים להמשיך להשתמש בערכות פיתוח תוכנה (SDK) מוכרות. עבור רוב הצוותים, תחילת העבודה כרוכה בעדכון מפתח ה-API וכתובת ה-URL הבסיסית, ובבחירת מודל זמין.
חיוב מאוחד ללא עמלת פלטפורמה נוספת
הרצת מודלים מכמה מעבדות וספקי הסקה עשויה לדרוש חשבונות, מפתחות API, חוזים, בדיקות אבטחה וחשבוניות נפרדים. היא עשויה גם לחייב התחייבויות שנתיות נפרדות על סמך תמהיל מודלים שעלול להשתנות בתוך שבועות.
Orchestrator מרכז את המודלים הנתמכים תחת ספק אחד וחשבונית אחת, כך שצוותים יכולים לשנות את תמהיל המודלים שלהם בלי לנהל משא ומתן על התחייבות נפרדת מול כל ספק. אין עמלת פלטפורמה נוספת מעבר לקרדיטים.
צוותים יכולים גם לעקוב אחר השימוש ולנהל את ההוצאות דרך API Console:
- דיווח שימוש: פירוט ההוצאות לפי מודל, פרויקט, מפתח API ותאריך
- מפתחות API: מפתחות API נפרדים למעקב אחר השימוש לפי פרויקט או צוות
- בקרות ניהול: רשימות היתרים של מודלים ברמת הארגון, הגבלות משתמשים, תקרות הוצאה ובקשות קיבולת
בקשות אמינות יותר על פני ספקים שונים
מודלים הזמינים דרך כמה ספקים מעניקים לצוותים יותר מדרך אחת לטפל בבקשה.
Orchestrator עוקב אחר התקינות, הקיבולת וזמן ההשהיה של כל ספק כדי לפזר את התעבורה בין הספקים בעלי הביצועים הטובים ביותר. אם בקשה נכשלת, הוא יכול לנסות שוב בפריסה אחרת של אותו מודל, ובכך לטפל במעבר בעת כשל בלי שהצוותים יצטרכו לבנות את הלוגיקה בעצמם.
עבור צוותים שמריצים מיליוני בקשות ביום, אפילו הבדל קטן בשיעורי ההצלחה של בקשות, כמו הפער בין 99.0% ל-99.99%, יכול להשפיע על אלפי תגובות. עם Orchestrator, צוותים לא צריכים לבנות או לתחזק בעצמם קוד למעבר בעת כשל.
בחודש אחד של תעבורת ייצור ב-Orchestrator, לבקשות ל-Claude ול-GPT דרך Perplexity היו שיעורי הצלחה גבוהים יותר מאשר לכל ספק בודד שנמדד, וכן פחות תנודתיות יומית בזמן תקלות אצל ספקים.
בתצוגה מקדימה: Routes ו-Auto effort
Routes מאפשר לצוותים לתאר בשפה פשוטה באילו בקשות כל מודל צריך לטפל, ולהגדיר מודל ברירת מחדל. צוותים יכולים להתחיל מפרופיל מובנה: Lower cost, Balanced או Higher quality. לחלופין, הם יכולים לבנות פרופיל מותאם אישית. אם צוותים לא מספקים תיאור או לא מגדירים מטרה, מודל ברירת המחדל משרת את הבקשה.
גם Auto effort זמין בתצוגה מקדימה: הוא מתאים את מידת ההנמקה שמודל נתמך משתמש בה בסבב הבא שלו, בהתאם למדיניות שהמפתח מגדיר. סוכן יכול להשקיע יותר מאמץ בהתאוששות משגיאת כלי בלי להחליף מודל.
התחילו לעבוד עם תזמור מודלים חכם
Orchestrator הוא הצעד הראשון בפלטפורמת ה-API של Perplexity לתזמור מודלים חכם. למדו איך בנינו והערכנו את Routes, כולל הסיבות לכך שקשה לבצע ניתוב מודלים כראוי.
כדי להתחיל, צרו מפתח API ב-API Console, הפנו SDK קיים של OpenAI או של Anthropic לכתובת ה-URL הבסיסית של Orchestrator, ובחרו מתוך קטלוג המודלים.
מדריך ההתחלה המהירה מסביר איך לשלוח בקשה ראשונה תוך דקות. צוותים עם עומסי עבודה גדולים או בהיקף מחויב יכולים לשלוח אימייל לכתובת api@perplexity.ai לקבלת מידע נוסף על תמחור לפי נפח ועל קיבולת.
צרו מפתח API עוד היום.