Orchestrator:一個 API,實現可靠推論

透過單一 API 連接開放權重與專有 AI 模型,享有統一計費和自動同模型容錯移轉。

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator 將開放權重模型與專有模型整合至單一 API,並提供統一計費。它會根據可用性、容量和延遲自動選擇供應商,並可在同一模型的另一個可用部署上重試失敗的請求。

單一整合,涵蓋開放權重與專有模型

Orchestrator 提供託管於 Perplexity 推論基礎架構上的開放權重模型,以及來自其他供應商的專有模型。目前的目錄列出了可用的模型選項。

它接受 OpenAI Chat Completions、OpenAI Responses 和 Anthropic Messages 請求,因此您可以透過現有的 OpenAI 或 Anthropic SDK 進行連接。

快速入門與路由指南涵蓋 SDK 範例及目前的路由行為。

跨供應商的可靠性與速度

可靠性

選擇 Claude 不代表必須依賴單一供應商:在 Anthropic 上失敗的請求,仍可在 AWS Bedrock 上成功。供應商容錯移轉可在不變更模型的情況下,切換處理請求的部署。

Orchestrator 會根據觀測到的健康狀態與容量,在模型的各個部署之間分配請求。若供應商傳回錯誤、觸及速率限制或逾時,Orchestrator 會在該模型的另一個部署上重試,並對每次嘗試的首個 token 產生時間與總時長設有限制。

根據 2026 年 10 月 4 日至 11 月 2 日的測量結果,透過 Perplexity 發出的 Claude 和 GPT 請求,成功率高於我們測量的任何單一供應商。在供應商發生事故期間,其每日成功率的波動也較小。

請求成功率,2026 年 10 月 4 日至 11 月 2 日:左側為 Claude;右側為可同時透過 OpenAI 和 Azure 使用的 GPT 模型。
同一期間的每日請求成功率:左側為 Claude,右側為 GPT。

當 Orchestrator 用盡所有可用部署,或服務層傳回錯誤時,我們便將該請求計為失敗,但排除了無效請求和用戶端超出速率限制等用戶端錯誤。

輸出速度

我們正在開發考量模型速度的自適應路由,讓 Orchestrator 能隨效能變化調整供應商選擇。

任何模型的最快供應商都會隨時間改變。以 Claude Opus 5.5 為例,Anthropic 在 30 天中有 15 天領先,AWS Bedrock 則在另外 15 天領先。

Claude Opus 5.5 依供應商與日期劃分的輸出速度中位數,2026 年 10 月 4 日至 11 月 2 日。醒目標示的線條追蹤每天較快的供應商,說明了即時速度感知路由的目標。

在同樣的 30 天內,Azure 上 GPT-5.6 Sol 的輸出速度中位數比 OpenAI 高出 27%。

GPT-5.6 Sol 在首個 token 之後的輸出速度中位數,2026 年 10 月 4 日至 11 月 2 日。

所有模型,一份帳單

每個請求只會計入作答模型的 token 用量。無論由哪個供應商處理請求,Orchestrator 都會依照各模型公布的每 token 費率收費,因此供應商容錯移轉不會改變該費率。用量會從與您 Perplexity API 專案其他部分相同的預付點數中扣除。

在 API Console 中,您可以依模型檢視支出,並依 API 金鑰篩選用量。您也可以透過 AWS Marketplace 購買點數。

自動路由(預覽版):為每項任務配對合適的模型

Orchestrator 提供自動路由,這是一項處於預覽階段的選用功能。它會使用一個將白話任務描述與模型配對的設定檔,為每個請求選擇模型。您可以定義自己的設定檔,或使用 Orchestrator 內建的預設設定檔。

自動路由請求使用 perplexity/auto 作為模型。若要使用自訂設定檔,請加入包含 default_model 和 routes 的路由物件。每條路由都會指定名稱、描述和模型。

對於每個請求,perplexity/auto 會呼叫我們的決策模型來讀取對話,並將其與各路由描述進行比對,過程中不會看到模型名稱。接著,Orchestrator 會將請求傳送至所選路由指派的模型;若沒有相符的路由,則傳送至您的預設模型。若決策模型失敗或逾時,Orchestrator 也會使用您的預設模型。

以下範例涵蓋繞過模型拒絕的路由、客戶支援問題類型,以及對話中的任務變化。

繞過拒絕的路由

AI 代理程式可以使用自動路由來避免可預期的拒絕回應,同時在其他工作上保留其偏好的模型。Anthropic 的文件指出,Claude Fable 5.2 的安全防護機制可能會阻擋無害的網路安全與生命科學工作。我們在 Terminal-Bench 4.1 的 63 項任務子集上測試了這個使用案例。

我們分別以單獨使用 Fable 以及兩個自訂路由設定檔的方式執行 Claude Code。兩個設定檔都保留 Fable 作為預設模型,並將網路安全、生物學及 after_refusal 路由指派給 GPT-6 Astra 或 GPT-6.1 Sol。我們也納入在 Codex 中單獨執行 Astra 和 Sol 的結果作為比較。

在這項調整後的比較中,兩種經路由的 Claude Code 設定都解決了 63 項任務中的 41 項,而單獨使用 Fable 則解決了 38 項,但每項任務的預估成本較高。圖表同時呈現了這項取捨,以及在 Codex 中執行的 Astra 和 Sol。

Terminal-Bench 4.1,63 項任務的調整後比較。Astra Codex 包含一次假定通過;成本為估計值。

以下範例使用 Sol:安全與生物學路由會在拒絕發生之前選擇它,而當對話中已包含拒絕回應時,after_refusal 會選擇它。

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

依問題類型路由

對客戶支援助理而言,大多數問題只需要快速、低成本的模型。帳單爭議需要謹慎且具同理心的回覆。整合故障則需要疑難排解。此助理可針對帳單爭議和技術問題使用兩條路由,並將例行問題交給其預設模型處理:

路由

任務描述

模型

default_model

其他所有問題,例如如何變更帳戶電子郵件

GLM-5.3 Flash

billing_dispute

客戶對某筆費用提出爭議、要求退款,或對被收取的金額感到不滿。

Claude Opus 5.5

technical_issue

客戶回報程式錯誤、錯誤訊息,或某項整合停止運作而需要疑難排解。

GPT-6.1 Sol

傳送經路由的請求

perplexity/auto 如何處理請求:決策模型會選擇一條路由或傳回無相符結果,接著 Orchestrator 會呼叫所選模型或您的預設模型。回應標頭會回報路由結果。

以下請求會透過上方的客服設定檔,傳送一個 API 失敗問題。

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

決策模型將失敗的 API 呼叫比對至 technical_issue,因此 Orchestrator 將請求傳送至 GPT-6.1 Sol。回應中包含所選的路由以及作答的模型:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route 會標示所選的路由,或標示沒有路由。x-perplexity-autoroute-outcome 會回報請求的處理方式,包括請求是否經過路由,或是退回使用您的預設模型。model 欄位則標示作答的模型。

對話內的路由

當對話在不同任務之間切換時,處理某一輪的模型未必是下一輪的合適選擇。您的後續請求會包含對話紀錄,因此決策模型和所選模型都能讀取先前的輪次,包括其他模型的回覆。我們實際執行了三段各四輪的對話:客戶支援、程式設計和研究。

客戶支援

在上述範例中,假設同一段對話從帳戶問題轉為帳單爭議,接著又變成整合故障。隨著任務改變,決策模型會選擇相符的路由;當使用者最後發送致謝訊息時,Orchestrator 會回到 GLM-5.3 Flash。

支援對話:每一輪的路由與模型。

跨模型交接的提示快取

每個請求都帶有完整的訊息紀錄,但每個模型各自維護自己的快取。當對話在第 4 輪回到 GLM Flash 時,只要第 1 輪的相符前綴仍在快取中,它就能重複使用,接著再處理 Opus 和 Sol 在第 2 輪和第 3 輪新增的回應。若 Opus 或 Sol 在第 5 輪被選中,情況也是如此。

Orchestrator 會盡可能將相關請求保留在同一個部署上,以維持提示快取。請為對話重複使用穩定的 prompt_cache_key,以協助維持這種親和性。

跨模型交接的提示快取:GLM Flash 可以重複使用其先前的前綴,同時將中間的對話作為新輸入處理。

程式設計助理

在程式設計對話的第 4 輪中,GLM-5.3 Flash 根據 Claude Opus 5.5 的錯誤診斷與 GPT-6.1 Sol 的實作計畫所提供的脈絡,撰寫了一段 docstring。

此路由設定檔將重新命名與小幅編輯指派給 GLM-5.3 Flash、錯誤診斷指派給 Claude Opus 5.5,跨模組的變更規劃則指派給 GPT-6.1 Sol:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
程式設計對話:每一輪的路由與模型。

研究助理

在研究範例中,一個事實性問題引出一項計算,而該計算又成為一份備忘錄的基礎。此設定檔將事實性問題指派給 GLM-5.3 Flash、計算指派給 GPT-6.1 Sol,備忘錄撰寫則指派給 Claude Opus 5.5:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

第 3 輪的備忘錄使用了 GPT-6.1 Sol 上一則回覆中的計算結果,並將數字四捨五入,無需使用者重複提供。

研究對話:每一輪的路由與模型。

開始使用 Orchestrator

使用 Perplexity API 金鑰、適當的 Orchestrator 基礎 URL,以及目錄中的一個模型,即可連接您現有的 OpenAI 或 Anthropic SDK。

快速入門涵蓋設定、目前的可用性與存取權限。如有任何問題,請聯絡 api@perplexity.ai。