Orchestrator:可靠推理的單一 API
透過單一 API 連接開放權重和專有 AI 模型,享有統一計費及自動同模型故障轉移。

Orchestrator 將開放權重模型和專有模型整合至單一 API,並提供統一計費。它會根據可用性、容量和延遲自動選擇供應商,並可在同一模型的另一個可用部署上重試失敗的請求。
開放權重與專有模型,一次整合
Orchestrator 提供託管於 Perplexity 推理基礎設施上的開放權重模型,以及來自其他供應商的專有模型。目前的目錄列出可供選擇的模型。
它接受 OpenAI Chat Completions、OpenAI Responses 和 Anthropic Messages 請求,因此你可以透過現有的 OpenAI 或 Anthropic SDK 連接。
跨供應商的可靠性與速度
可靠性
選擇 Claude 不一定代表要依賴單一供應商:在 Anthropic 上失敗的請求,仍可在 AWS Bedrock 上成功。供應商故障轉移讓你無需更換模型,就能切換處理請求的部署。
Orchestrator 會根據觀察到的健康狀況和容量,在模型的各個部署之間分配請求。如供應商傳回錯誤、達到速率限制或逾時,Orchestrator 會在該模型的另一個部署上重試,並為每次嘗試設定首個 Token 時間及總時長的限制。
根據 2026 年 10 月 4 日至 11 月 2 日的測量數據,透過 Perplexity 發出的 Claude 和 GPT 請求,成功率高於我們測量的任何單一供應商。在供應商發生事故期間,其每日成功率的波動亦較小。
當 Orchestrator 用盡所有可用部署,或服務層傳回錯誤時,我們會將該請求計為失敗,但不包括無效請求和違反客戶端速率限制等客戶端錯誤。
輸出速度
我們正在開發會考慮模型速度的自適應路由,讓 Orchestrator 能隨效能變化調整供應商選擇。
任何模型的最快供應商都會隨時間改變。就 Claude Opus 5.5 而言,Anthropic 在 30 天中有 15 天領先,而 AWS Bedrock 則在另外 15 天領先。
在同樣的 30 天內,Azure 上 GPT-5.6 Sol 的輸出速度中位數比 OpenAI 高 27%。
所有模型,一張帳單
每個請求只會計入作出回答的模型的 Token 用量。無論由哪個供應商處理請求,Orchestrator 都會按各模型公佈的每 Token 費率收費,因此供應商故障轉移不會改變該費率。用量會從與你 Perplexity API 專案其餘部分相同的預付點數中扣除。
在 API Console 中,你可以按模型查看支出,並按 API 金鑰篩選用量。你亦可以透過 AWS Marketplace 購買點數。
自動路由(預覽):為每項任務配對合適的模型
Orchestrator 提供自動路由,這是一項在預覽階段提供的選用功能。它會使用一個將淺白語言任務描述與模型配對的設定檔,為每個請求選擇模型。你可以定義自己的設定檔,或使用 Orchestrator 的內建預設設定檔。
自動路由請求使用 perplexity/auto 作為模型。如使用自訂設定檔,請加入包含 default_model 和 routes 的 routing 物件。每條路由都會指定名稱、描述和模型。
對於每個請求,perplexity/auto 會呼叫我們的決策模型來讀取對話,並在看不到模型名稱的情況下,將對話與各路由描述進行配對。然後,Orchestrator 會將請求傳送至所選路由指定的模型;如沒有相符的路由,則傳送至你的預設模型。如決策模型失敗或逾時,Orchestrator 亦會使用你的預設模型。
以下例子涵蓋繞過模型拒絕回應的路由、客戶支援問題類型,以及對話中的任務轉換。
繞過拒絕回應的路由
AI 代理程式可以使用自動路由,避免可預見的拒絕回應,同時在其他工作上保留其偏好的模型。Anthropic 的文件指出,Claude Fable 5.2 的安全防護措施可能會阻擋無害的網絡安全和生命科學工作。我們在 Terminal-Bench 4.1 的 63 項任務子集上測試了這個使用情境。
我們在 Claude Code 中分別單獨使用 Fable,以及搭配兩個自訂路由設定檔進行測試。兩個設定檔都保留 Fable 作為預設模型,並將網絡安全、生物學和 after_refusal 路由指派給 GPT-6 Astra 或 GPT-6.1 Sol。我們亦加入了在 Codex 中單獨運行 Astra 和 Sol 的結果作比較。
在這項經調整的比較中,兩個經路由的 Claude Code 設定均解決了 63 項任務中的 41 項,而單獨使用 Fable 則解決了 38 項,但每項任務的估計成本較高。圖表展示了這項取捨,並同時列出在 Codex 中運行的 Astra 和 Sol。
以下例子使用 Sol:安全和生物學路由會在出現拒絕回應之前選擇它,而 after_refusal 則會在對話已包含拒絕回應時選擇它。
"routing": {
"default_model": "anthropic/claude-fable-5-2",
"routes": [
{"name": "security",
"description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.",
"model": "openai/gpt-6.1-sol"},
{"name": "biology",
"description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.",
"model": "openai/gpt-6.1-sol"},
{"name": "after_refusal",
"description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.",
"model": "openai/gpt-6.1-sol"}
]
}按問題類型路由
對於客戶支援助理而言,大部分問題只需要快速、低成本的模型。帳單爭議需要謹慎且具同理心的回覆。整合故障則需要疑難排解。助理可以為帳單爭議和技術問題使用兩條路由,並將例行問題交給其預設模型處理:
路由 | 任務描述 | 模型 |
default_model | 其他所有情況,例如如何更改帳戶電郵 | GLM-5.3 Flash |
billing_dispute | 客戶對某筆收費提出爭議、要求退款,或對被收取的款項感到不滿。 | Claude Opus 5.5 |
technical_issue | 客戶回報程式錯誤、錯誤訊息,或某項整合停止運作而需要疑難排解。 | GPT-6.1 Sol |
傳送經路由的請求
以下請求會透過上述客戶支援設定檔,傳送一個 API 故障問題。
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \
-H "Authorization: Bearer $PERPLEXITY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7",
"model": "perplexity/auto",
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "billing_dispute",
"description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.",
"model": "anthropic/claude-opus-5-5"},
{"name": "technical_issue",
"description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.",
"model": "openai/gpt-6.1-sol"}
]
},
"messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}]
}'決策模型將失敗的 API 呼叫配對至 technical_issue,因此 Orchestrator 將請求傳送至 GPT-6.1 Sol。回應包含所選路由及作出回答的模型:
HTTP/2 200
x-perplexity-autoroute-outcome: routed
x-perplexity-autoroute-route: technical_issue
{"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}x-perplexity-autoroute-route 標示所選的路由,或標示為無。x-perplexity-autoroute-outcome 報告請求的處理方式,包括請求是否已被路由,或已退回至你的預設模型。model 欄位標示作出回答的模型。
對話中的路由
當對話在不同任務之間轉換時,處理某一輪的模型未必是下一輪的合適選擇。你的後續請求會包含對話記錄,因此決策模型和所選模型都能讀取先前的對話輪次,包括其他模型的回覆。我們進行了三段真實的四輪對話:客戶支援、編程和研究。
客戶支援
在上述例子中,假設同一段對話由帳戶問題轉到帳單爭議,然後再轉到整合故障。隨著任務改變,決策模型會選擇相符的路由;當用戶最後發送道謝訊息時,Orchestrator 會切換回 GLM-5.3 Flash。
跨模型交接的提示快取
每個請求都會攜帶完整的訊息記錄,但每個模型都會維護自己的快取。當對話在第 4 輪回到 GLM Flash 時,只要第 1 輪的相符前綴仍在快取中,它便可重用該前綴,然後處理 Opus 和 Sol 在第 2 和第 3 輪加入的回應。如 Opus 或 Sol 在第 5 輪被選中,情況亦相同。
Orchestrator 會盡可能將相關請求保留在同一部署上,以維持提示快取。請為對話重複使用穩定的 prompt_cache_key,有助維持這種親和性。
編程助理
在編程對話的第 4 輪中,GLM-5.3 Flash 利用 Claude Opus 5.5 的錯誤診斷和 GPT-6.1 Sol 的實作計劃作為上下文,撰寫一段 docstring。
路由設定檔將重新命名和小型編輯指派給 GLM-5.3 Flash、錯誤診斷指派給 Claude Opus 5.5,並將跨模組的變更規劃指派給 GPT-6.1 Sol:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "hard_debugging",
"description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.",
"model": "anthropic/claude-opus-5-5"},
{"name": "design_change",
"description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.",
"model": "openai/gpt-6.1-sol"}
]
}研究助理
在研究例子中,一個事實性問題引出一項計算,而該計算其後成為一份備忘錄的基礎。設定檔將事實性問題指派給 GLM-5.3 Flash、計算指派給 GPT-6.1 Sol,並將備忘錄撰寫指派給 Claude Opus 5.5:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "quantitative_analysis",
"description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.",
"model": "openai/gpt-6.1-sol"},
{"name": "long_form_writing",
"description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.",
"model": "anthropic/claude-opus-5-5"}
]
}第 3 輪的備忘錄使用了 GPT-6.1 Sol 上一個回覆中的計算結果,並將數字四捨五入,無需用戶重複提供。
開始使用 Orchestrator
使用 Perplexity API 金鑰、適當的 Orchestrator 基礎 URL,以及目錄中的模型,即可連接你現有的 OpenAI 或 Anthropic SDK。
快速入門涵蓋設定、目前的供應情況和存取權限。如有疑問,請聯絡 api@perplexity.ai。