Orchestrator: API אחד להסקה אמינה
התחברו למודלי AI בעלי משקלים פתוחים ולמודלים קנייניים דרך API אחד, עם חיוב מאוחד ומעבר אוטומטי לפריסה חלופית של אותו מודל.

Orchestrator מאגד מודלים בעלי משקלים פתוחים ומודלים קנייניים ב-API אחד עם חיוב מאוחד. הוא בוחר ספק באופן אוטומטי לפי זמינות, קיבולת וזמן השהיה, ויכול לנסות שוב בקשות שנכשלו בפריסה זמינה אחרת של אותו מודל.
אינטגרציה אחת למודלים בעלי משקלים פתוחים ולמודלים קנייניים
Orchestrator מגיש מודלים בעלי משקלים פתוחים שמתארחים בתשתית ההסקה של Perplexity, לצד מודלים קנייניים של ספקים אחרים. הקטלוג הנוכחי מפרט את המודלים הזמינים לבחירה.
הוא מקבל בקשות בפורמטים OpenAI Chat Completions, OpenAI Responses ו-Anthropic Messages, כך שתוכלו להתחבר דרך ה-SDK הקיים שלכם של OpenAI או של Anthropic.
מדריך ההתחלה המהירה ומדריך הניתוב כוללים דוגמאות SDK ומתארים את אופן הפעולה הנוכחי של הניתוב.
אמינות ומהירות אצל ספקים שונים
אמינות
הבחירה ב-Claude לא מחייבת הסתמכות על ספק יחיד: בקשה שנכשלת ב-Anthropic עדיין יכולה להצליח ב-AWS Bedrock. מעבר לספק חלופי מאפשר להחליף את הפריסה שמשרתת בקשה בלי לשנות את המודל.
Orchestrator משתמש בנתוני התקינות והקיבולת שנצפו כדי לחלק בקשות בין הפריסות של מודל. אם ספק מחזיר שגיאה, מגיע למגבלת קצב או חורג מזמן ההמתנה, Orchestrator מנסה שוב בפריסה אחרת של אותו מודל, עם מגבלות על הזמן עד הטוקן הראשון ועל משך הזמן הכולל של כל ניסיון.
במדידות שבוצעו בין 4 באוקטובר ל-2 בנובמבר 2026, בקשות ל-Claude ול-GPT דרך Perplexity הצליחו בתדירות גבוהה יותר מבקשות לכל ספק בודד שמדדנו. גם שיעורי ההצלחה היומיים שלהן השתנו פחות במהלך תקלות אצל ספקים.
ספרנו בקשה ככושלת כאשר Orchestrator מיצה את הפריסות הזמינות או כאשר שכבת ההגשה החזירה שגיאה, אך החרגנו שגיאות לקוח, כגון בקשות לא תקינות והפרות של מגבלת הקצב בצד הלקוח.
מהירות פלט
אנחנו עובדים על ניתוב אדפטיבי שמתחשב במהירות המודלים, כדי ש-Orchestrator יוכל להתאים את בחירת הספק כשהביצועים משתנים.
הספק המהיר ביותר עבור כל מודל משתנה עם הזמן. עבור Claude Opus 5.5 הובילה Anthropic ב-15 מתוך 30 הימים, ו-AWS Bedrock הובילה ב-15 הימים הנותרים.
באותם 30 ימים, מהירות הפלט החציונית של Azure עבור GPT-5.6 Sol הייתה גבוהה ב-27% מזו של OpenAI.
חשבונית אחת לכל המודלים
כל בקשה נספרת רק במסגרת השימוש בטוקנים של המודל שענה. Orchestrator גובה את התעריפים המפורסמים לכל טוקן של כל מודל בלי קשר לספק שמשרת את הבקשה, כך שמעבר לספק חלופי אינו משנה את התעריף. השימוש מנוכה מאותם קרדיטים בתשלום מראש שמשמשים את שאר פרויקט ה-API של Perplexity שלכם.
ב-API Console תוכלו לראות את ההוצאות לפי מודל ולסנן את השימוש לפי מפתח API. תוכלו גם לקנות קרדיטים דרך AWS Marketplace.
ניתוב אוטומטי (בתצוגה מקדימה): התאמת המודל הנכון לכל משימה
Orchestrator מציע ניתוב אוטומטי, תכונה אופציונלית שזמינה בתצוגה מקדימה. הוא בוחר מודל לכל בקשה באמצעות פרופיל שמצמיד תיאורי משימות בשפה פשוטה למודלים. תוכלו להגדיר פרופיל משלכם או להשתמש בפרופיל ברירת המחדל המובנה של Orchestrator.
בקשות ניתוב אוטומטי משתמשות ב-perplexity/auto כמודל. לפרופיל מותאם אישית, כללו אובייקט routing עם default_model ו-routes. כל מסלול מציין שם, תיאור ומודל.
בכל בקשה, perplexity/auto מפעיל את מודל ההחלטה שלנו, שקורא את השיחה ומתאים אותה לתיאורי המסלולים בלי לראות את שמות המודלים. לאחר מכן Orchestrator שולח את הבקשה למודל שהוקצה למסלול שנבחר, או למודל ברירת המחדל שלכם אם אף מסלול לא תואם. Orchestrator משתמש במודל ברירת המחדל שלכם גם אם מודל ההחלטה נכשל או חורג מזמן ההמתנה.
הדוגמאות שלהלן עוסקות בניתוב שעוקף סירובים של מודלים, בסוגי בעיות בתמיכת לקוחות ובשינויי משימה בתוך שיחה.
ניתוב שעוקף סירובים
סוכן יכול להשתמש בניתוב אוטומטי כדי להימנע מסירובים צפויים, ועדיין לשמור על המודל המועדף עליו לעבודות אחרות. Anthropic מתעדת שמנגנוני ההגנה של Claude Fable 5.2 עלולים לחסום עבודה לגיטימית בתחומי אבטחת הסייבר ומדעי החיים. בדקנו את תרחיש השימוש הזה על תת־קבוצה של 63 משימות מתוך Terminal-Bench 4.1.
הרצנו את Claude Code עם Fable לבדו ועם שני פרופילי ניתוב מותאמים אישית. בשני הפרופילים Fable נשאר מודל ברירת המחדל, ומסלולי אבטחת סייבר, ביולוגיה ו-after_refusal הוקצו ל-GPT-6 Astra או ל-GPT-6.1 Sol. לשם השוואה כללנו גם הרצות עצמאיות של Astra ושל Sol ב-Codex.
בהשוואה המתואמת הזו, שתי תצורות Claude Code המנותבות פותרות 41 מתוך 63 משימות, לעומת 38 עבור Fable לבדו, בעלות משוערת גבוהה יותר לכל משימה. התרשים מציג את הפשרה הזו לצד Astra ו-Sol שרצים ב-Codex.
הדוגמה שלהלן משתמשת ב-Sol: מסלולי האבטחה והביולוגיה בוחרים בו לפני שמתרחש סירוב, ו-after_refusal בוחר בו כשהשיחה כבר כוללת סירוב.
"routing": {
"default_model": "anthropic/claude-fable-5-2",
"routes": [
{"name": "security",
"description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.",
"model": "openai/gpt-6.1-sol"},
{"name": "biology",
"description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.",
"model": "openai/gpt-6.1-sol"},
{"name": "after_refusal",
"description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.",
"model": "openai/gpt-6.1-sol"}
]
}ניתוב לפי סוג הבעיה
בעוזר לתמיכת לקוחות, רוב השאלות דורשות רק מודל מהיר וזול. מחלוקת על חיוב מחייבת תשובה זהירה ואמפתית. אינטגרציה שאינה פועלת דורשת פתרון תקלות. העוזר יכול להשתמש בשני מסלולים, למחלוקות על חיובים ולבעיות טכניות, ולהשאיר את השאלות השגרתיות למודל ברירת המחדל שלו:
מסלול | תיאור המשימה | מודל |
default_model | כל השאר, למשל איך לשנות את כתובת האימייל של החשבון | GLM-5.3 Flash |
billing_dispute | לקוח חולק על חיוב, מבקש החזר כספי או מוטרד מסכום שחויב בו. | Claude Opus 5.5 |
technical_issue | לקוח מדווח על באג, על הודעת שגיאה או על אינטגרציה שהפסיקה לעבוד ודורשת פתרון תקלות. | GPT-6.1 Sol |
שליחת בקשה מנותבת
הבקשה שלהלן שולחת בעיה של כשל API דרך פרופיל תמיכת הלקוחות שלמעלה.
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \
-H "Authorization: Bearer $PERPLEXITY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7",
"model": "perplexity/auto",
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "billing_dispute",
"description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.",
"model": "anthropic/claude-opus-5-5"},
{"name": "technical_issue",
"description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.",
"model": "openai/gpt-6.1-sol"}
]
},
"messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}]
}'מודל ההחלטה התאים את קריאות ה-API שנכשלו למסלול technical_issue, ולכן Orchestrator שלח את הבקשה ל-GPT-6.1 Sol. התגובה כוללת את המסלול שנבחר ואת המודל שענה:
HTTP/2 200
x-perplexity-autoroute-outcome: routed
x-perplexity-autoroute-route: technical_issue
{"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}x-perplexity-autoroute-route מזהה את המסלול שנבחר, או מציין שלא נבחר מסלול. x-perplexity-autoroute-outcome מדווח כיצד טופלה הבקשה, כולל אם היא נותבה או חזרה למודל ברירת המחדל שלכם. השדה model מזהה את המודל שענה.
ניתוב בתוך שיחה
כשהשיחה עוברת בין משימות, ייתכן שהמודל שטיפל בסבב אחד אינו הבחירה הנכונה לסבב הבא. בקשות ההמשך שלכם כוללות את היסטוריית השיחה, כך שגם מודל ההחלטה וגם המודל שנבחר יכולים לקרוא סבבים קודמים, כולל תשובות של מודלים אחרים. הרצנו שלוש שיחות אמיתיות בנות ארבעה סבבים: תמיכת לקוחות, תכנות ומחקר.
תמיכת לקוחות
בדוגמה שלמעלה, נניח שאותה שיחה עוברת משאלה על החשבון למחלוקת על חיוב ולאחר מכן לאינטגרציה שאינה פועלת. כשהמשימה משתנה, מודל ההחלטה בוחר את המסלול המתאים; כשהמשתמש שולח הודעת תודה לסיום, Orchestrator חוזר ל-GLM-5.3 Flash.
שמירת הנחיות במטמון במעברים בין מודלים
כל בקשה כוללת את היסטוריית ההודעות המלאה, אבל לכל מודל יש מטמון משלו. כשהשיחה חוזרת ל-GLM Flash בסבב 4, הוא יכול לעשות שימוש חוזר בקידומת תואמת מסבב 1 כל עוד היא עדיין שמורה במטמון, ולאחר מכן לעבד את התשובות שהוסיפו Opus ו-Sol בסבבים 2 ו-3. אותו הדבר נכון ל-Opus או ל-Sol אם ייבחרו בסבב 5.
Orchestrator משאיר בקשות קשורות באותה פריסה ככל האפשר, כדי לשמר את שמירת ההנחיות במטמון. השתמשו לאורך השיחה באותו ערך prompt_cache_key קבוע כדי לסייע בשמירה על הזיקה הזו.
עוזר תכנות
בסבב 4 של שיחת התכנות, GLM-5.3 Flash כותב docstring על סמך ההקשר מאבחון הבאג של Claude Opus 5.5 ומתוכנית המימוש של GPT-6.1 Sol.
פרופיל הניתוב מקצה שינויי שמות ועריכות קטנות ל-GLM-5.3 Flash, אבחון באגים ל-Claude Opus 5.5 ותכנון שינויים בין מודולים ל-GPT-6.1 Sol:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "hard_debugging",
"description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.",
"model": "anthropic/claude-opus-5-5"},
{"name": "design_change",
"description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.",
"model": "openai/gpt-6.1-sol"}
]
}עוזר מחקר
בדוגמת המחקר, שאלה עובדתית מובילה לחישוב, שהופך לאחר מכן לבסיס לתזכיר. הפרופיל מקצה שאלות עובדתיות ל-GLM-5.3 Flash, חישובים ל-GPT-6.1 Sol וכתיבת תזכירים ל-Claude Opus 5.5:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "quantitative_analysis",
"description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.",
"model": "openai/gpt-6.1-sol"},
{"name": "long_form_writing",
"description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.",
"model": "anthropic/claude-opus-5-5"}
]
}התזכיר בסבב 3 משתמש בחישובים מהתשובה הקודמת של GPT-6.1 Sol ומעגל את הנתונים בלי לבקש מהמשתמש לחזור עליהם.
תחילת העבודה עם Orchestrator
חברו את ה-SDK הקיים שלכם של OpenAI או של Anthropic באמצעות מפתח API של Perplexity, כתובת ה-URL הבסיסית של Orchestrator המתאימה ומודל מתוך הקטלוג.
מדריך ההתחלה המהירה עוסק בהגדרה, בזמינות הנוכחית ובגישה. לשאלות, צרו קשר בכתובת api@perplexity.ai.