隆重推出 Orchestrator:前沿及開放權重模型的單一 API
Perplexity Orchestrator 透過單一 API 提供前沿模型及開放權重模型的存取,並具備統一計費和故障轉移功能。

Perplexity 的核心是多模型,讓用戶可以自由選擇最新的前沿模型和開放權重模型來完成工作。這種多模型方法善用每個模型的優勢,並可在任務不需要最強大模型時降低成本。在幕後,我們的編排技術可以使用多個模型來完成單一工作。
企業亦採取類似方法,以平衡效能、成本與靈活性。每次推出新模型,都是降低成本或提升品質的機會。單在今年,Anthropic 和 OpenAI 等實驗室已推出十多個新模型,另有超過 100 個開放權重模型亦已發布。雖然這讓團隊在每項工作負載上有更多選擇,但同時亦意味著要管理更多供應商、合約和發票。
今天,我們推出 Perplexity Orchestrator API,將我們不受單一模型限制的技術開放給建構 AI 應用程式的開發人員及團隊。透過單一 API,團隊可以使用成本較低的模型執行簡單而大量的任務,並將更強大的模型留待處理要求更高的工作。
有了 Orchestrator,團隊可以降低並集中管理 AI 開支,並在新模型推出時隨即採用,同時無損效能或正常運作時間。團隊可以選擇由哪個模型處理每項工作負載,而 Perplexity 則負責供應商路由及故障轉移,確保推理穩定可靠。
建基於 Perplexity 的生產環境模型層
Perplexity 每天都在生產環境中運行開放權重模型和前沿模型。我們的模型層將數以億計的請求,路由至超過 85 個模型和十多個供應商。
選擇模型容易,但要在供應商速度變慢、容量不足或價格變動時,仍確保每個請求既快速又實惠,就困難得多。我們將工作負載轉移至最適合每項任務的模型,從而降低了自身的服務成本。
Orchestrator 讓開發人員能夠使用支撐這種方法的共用基礎設施。
Orchestrator 透過單一 API 提供這個推理層,涵蓋 OpenAI、Anthropic、Google 及 xAI 的模型,以及 GLM、Kimi 和 DeepSeek 等開放權重模型。開放權重模型由 Perplexity 或推理合作夥伴提供服務。
Orchestrator 支援 OpenAI Chat Completions、OpenAI Responses 和 Anthropic Messages 格式。團隊可以繼續使用熟悉的軟件開發套件(SDK)。對大多數團隊而言,開始使用的步驟包括更新 API 金鑰和基礎 URL,以及選擇可用的模型。
統一計費,不另收平台費用
運行來自多個實驗室和推理供應商的模型,可能需要獨立的帳戶、API 金鑰、合約、安全審查和發票。這亦可能意味著要根據一個可能在數星期內改變的模型組合,分別作出年度承諾。
Orchestrator 將受支援的模型整合於同一供應商及同一份賬單之下,讓團隊無需逐一與各供應商另行洽談承諾用量,即可調整模型組合。除點數外,不另收任何平台費用。
團隊亦可透過 API Console 追蹤用量及管理支出:
- 用量報告:按模型、專案、API 密鑰及日期細分的開支
- API 金鑰:使用獨立的 API 金鑰,按專案或團隊追蹤用量
- 管理控制項:組織模型允許清單、用戶限制、支出上限及容量請求
跨供應商的請求更可靠
透過多個供應商提供的模型,團隊處理請求時便不止一種途徑。
Orchestrator 會追蹤每個供應商的健康狀況、容量及延遲,將流量分配至表現最佳的供應商。如請求失敗,它可在同一模型的另一個部署上重試,處理故障轉移,團隊無需自行建立相關邏輯。
對每日處理數以百萬計請求的團隊而言,即使請求成功率只有些微差距(例如 99.0% 與 99.99% 之間的差異),亦可能影響數以千計的回應。有了 Orchestrator,團隊無需自行建立或維護故障轉移程式碼。
在 Orchestrator 一個月的生產流量中,經 Perplexity 發出的 Claude 及 GPT 請求,成功率高於所測量的任何單一供應商,而且在供應商發生事故期間,每日波動亦較少。
預覽中:Routes 和 Auto effort
Routes 讓團隊以淺白的語言描述每個模型應處理哪些請求,並設定預設模型。團隊可以從內建的「Lower cost」、「Balanced」或「Higher quality」設定檔開始,亦可以建立自訂設定檔。如團隊沒有提供描述或指定目標,則由預設模型處理請求。
同樣處於預覽階段的 Auto effort,會根據開發人員定義的政策,調整受支援模型在下一輪中使用的推理量。AI 代理程式可以投入更多推理來從工具錯誤中恢復,而無需切換模型。
開始使用智能模型編排
Orchestrator 是 Perplexity API 平台邁向智能模型編排的第一步。了解我們如何建構和評估 Routes,包括為何模型路由難以做得好。
如要開始使用,請在 API 控制台建立 API 密鑰,將現有的 OpenAI 或 Anthropic SDK 指向 Orchestrator 的基礎 URL,然後從模型目錄中選擇模型。
快速入門指南助你在幾分鐘內完成首個請求。如團隊的工作負載龐大或有承諾用量,可發送電郵至 api@perplexity.ai,了解更多有關批量定價及容量的資訊。
立即建立 API 密鑰。