Orchestrator:一個 API,實現可靠推論
透過單一 API 連接開放權重與專有 AI 模型,享有統一計費和自動同模型容錯移轉。

Orchestrator 將開放權重模型與專有模型整合至單一 API,並提供統一計費。它會根據可用性、容量和延遲自動選擇供應商,並可在同一模型的另一個可用部署上重試失敗的請求。
單一整合,涵蓋開放權重與專有模型
Orchestrator 提供託管於 Perplexity 推論基礎架構上的開放權重模型,以及來自其他供應商的專有模型。目前的目錄列出了可用的模型選項。
它接受 OpenAI Chat Completions、OpenAI Responses 和 Anthropic Messages 請求,因此您可以透過現有的 OpenAI 或 Anthropic SDK 進行連接。
跨供應商的可靠性與速度
可靠性
選擇 Claude 不代表必須依賴單一供應商:在 Anthropic 上失敗的請求,仍可在 AWS Bedrock 上成功。供應商容錯移轉可在不變更模型的情況下,切換處理請求的部署。
Orchestrator 會根據觀測到的健康狀態與容量,在模型的各個部署之間分配請求。若供應商傳回錯誤、觸及速率限制或逾時,Orchestrator 會在該模型的另一個部署上重試,並對每次嘗試的首個 token 產生時間與總時長設有限制。
根據 2026 年 10 月 4 日至 11 月 2 日的測量結果,透過 Perplexity 發出的 Claude 和 GPT 請求,成功率高於我們測量的任何單一供應商。在供應商發生事故期間,其每日成功率的波動也較小。
當 Orchestrator 用盡所有可用部署,或服務層傳回錯誤時,我們便將該請求計為失敗,但排除了無效請求和用戶端超出速率限制等用戶端錯誤。
輸出速度
我們正在開發考量模型速度的自適應路由,讓 Orchestrator 能隨效能變化調整供應商選擇。
任何模型的最快供應商都會隨時間改變。以 Claude Opus 5.5 為例,Anthropic 在 30 天中有 15 天領先,AWS Bedrock 則在另外 15 天領先。
在同樣的 30 天內,Azure 上 GPT-5.6 Sol 的輸出速度中位數比 OpenAI 高出 27%。
所有模型,一份帳單
每個請求只會計入作答模型的 token 用量。無論由哪個供應商處理請求,Orchestrator 都會依照各模型公布的每 token 費率收費,因此供應商容錯移轉不會改變該費率。用量會從與您 Perplexity API 專案其他部分相同的預付點數中扣除。
在 API Console 中,您可以依模型檢視支出,並依 API 金鑰篩選用量。您也可以透過 AWS Marketplace 購買點數。
自動路由(預覽版):為每項任務配對合適的模型
Orchestrator 提供自動路由,這是一項處於預覽階段的選用功能。它會使用一個將白話任務描述與模型配對的設定檔,為每個請求選擇模型。您可以定義自己的設定檔,或使用 Orchestrator 內建的預設設定檔。
自動路由請求使用 perplexity/auto 作為模型。若要使用自訂設定檔,請加入包含 default_model 和 routes 的路由物件。每條路由都會指定名稱、描述和模型。
對於每個請求,perplexity/auto 會呼叫我們的決策模型來讀取對話,並將其與各路由描述進行比對,過程中不會看到模型名稱。接著,Orchestrator 會將請求傳送至所選路由指派的模型;若沒有相符的路由,則傳送至您的預設模型。若決策模型失敗或逾時,Orchestrator 也會使用您的預設模型。
以下範例涵蓋繞過模型拒絕的路由、客戶支援問題類型,以及對話中的任務變化。
繞過拒絕的路由
AI 代理程式可以使用自動路由來避免可預期的拒絕回應,同時在其他工作上保留其偏好的模型。Anthropic 的文件指出,Claude Fable 5.2 的安全防護機制可能會阻擋無害的網路安全與生命科學工作。我們在 Terminal-Bench 4.1 的 63 項任務子集上測試了這個使用案例。
我們分別以單獨使用 Fable 以及兩個自訂路由設定檔的方式執行 Claude Code。兩個設定檔都保留 Fable 作為預設模型,並將網路安全、生物學及 after_refusal 路由指派給 GPT-6 Astra 或 GPT-6.1 Sol。我們也納入在 Codex 中單獨執行 Astra 和 Sol 的結果作為比較。
在這項調整後的比較中,兩種經路由的 Claude Code 設定都解決了 63 項任務中的 41 項,而單獨使用 Fable 則解決了 38 項,但每項任務的預估成本較高。圖表同時呈現了這項取捨,以及在 Codex 中執行的 Astra 和 Sol。
以下範例使用 Sol:安全與生物學路由會在拒絕發生之前選擇它,而當對話中已包含拒絕回應時,after_refusal 會選擇它。
"routing": {
"default_model": "anthropic/claude-fable-5-2",
"routes": [
{"name": "security",
"description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.",
"model": "openai/gpt-6.1-sol"},
{"name": "biology",
"description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.",
"model": "openai/gpt-6.1-sol"},
{"name": "after_refusal",
"description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.",
"model": "openai/gpt-6.1-sol"}
]
}依問題類型路由
對客戶支援助理而言,大多數問題只需要快速、低成本的模型。帳單爭議需要謹慎且具同理心的回覆。整合故障則需要疑難排解。此助理可針對帳單爭議和技術問題使用兩條路由,並將例行問題交給其預設模型處理:
路由 | 任務描述 | 模型 |
default_model | 其他所有問題,例如如何變更帳戶電子郵件 | GLM-5.3 Flash |
billing_dispute | 客戶對某筆費用提出爭議、要求退款,或對被收取的金額感到不滿。 | Claude Opus 5.5 |
technical_issue | 客戶回報程式錯誤、錯誤訊息,或某項整合停止運作而需要疑難排解。 | GPT-6.1 Sol |
傳送經路由的請求
以下請求會透過上方的客服設定檔,傳送一個 API 失敗問題。
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \
-H "Authorization: Bearer $PERPLEXITY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7",
"model": "perplexity/auto",
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "billing_dispute",
"description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.",
"model": "anthropic/claude-opus-5-5"},
{"name": "technical_issue",
"description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.",
"model": "openai/gpt-6.1-sol"}
]
},
"messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}]
}'決策模型將失敗的 API 呼叫比對至 technical_issue,因此 Orchestrator 將請求傳送至 GPT-6.1 Sol。回應中包含所選的路由以及作答的模型:
HTTP/2 200
x-perplexity-autoroute-outcome: routed
x-perplexity-autoroute-route: technical_issue
{"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}x-perplexity-autoroute-route 會標示所選的路由,或標示沒有路由。x-perplexity-autoroute-outcome 會回報請求的處理方式,包括請求是否經過路由,或是退回使用您的預設模型。model 欄位則標示作答的模型。
對話內的路由
當對話在不同任務之間切換時,處理某一輪的模型未必是下一輪的合適選擇。您的後續請求會包含對話紀錄,因此決策模型和所選模型都能讀取先前的輪次,包括其他模型的回覆。我們實際執行了三段各四輪的對話:客戶支援、程式設計和研究。
客戶支援
在上述範例中,假設同一段對話從帳戶問題轉為帳單爭議,接著又變成整合故障。隨著任務改變,決策模型會選擇相符的路由;當使用者最後發送致謝訊息時,Orchestrator 會回到 GLM-5.3 Flash。
跨模型交接的提示快取
每個請求都帶有完整的訊息紀錄,但每個模型各自維護自己的快取。當對話在第 4 輪回到 GLM Flash 時,只要第 1 輪的相符前綴仍在快取中,它就能重複使用,接著再處理 Opus 和 Sol 在第 2 輪和第 3 輪新增的回應。若 Opus 或 Sol 在第 5 輪被選中,情況也是如此。
Orchestrator 會盡可能將相關請求保留在同一個部署上,以維持提示快取。請為對話重複使用穩定的 prompt_cache_key,以協助維持這種親和性。
程式設計助理
在程式設計對話的第 4 輪中,GLM-5.3 Flash 根據 Claude Opus 5.5 的錯誤診斷與 GPT-6.1 Sol 的實作計畫所提供的脈絡,撰寫了一段 docstring。
此路由設定檔將重新命名與小幅編輯指派給 GLM-5.3 Flash、錯誤診斷指派給 Claude Opus 5.5,跨模組的變更規劃則指派給 GPT-6.1 Sol:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "hard_debugging",
"description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.",
"model": "anthropic/claude-opus-5-5"},
{"name": "design_change",
"description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.",
"model": "openai/gpt-6.1-sol"}
]
}研究助理
在研究範例中,一個事實性問題引出一項計算,而該計算又成為一份備忘錄的基礎。此設定檔將事實性問題指派給 GLM-5.3 Flash、計算指派給 GPT-6.1 Sol,備忘錄撰寫則指派給 Claude Opus 5.5:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "quantitative_analysis",
"description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.",
"model": "openai/gpt-6.1-sol"},
{"name": "long_form_writing",
"description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.",
"model": "anthropic/claude-opus-5-5"}
]
}第 3 輪的備忘錄使用了 GPT-6.1 Sol 上一則回覆中的計算結果,並將數字四捨五入,無需使用者重複提供。
開始使用 Orchestrator
使用 Perplexity API 金鑰、適當的 Orchestrator 基礎 URL,以及目錄中的一個模型,即可連接您現有的 OpenAI 或 Anthropic SDK。
快速入門涵蓋設定、目前的可用性與存取權限。如有任何問題,請聯絡 api@perplexity.ai。