隆重推出 Orchestrator:前沿與開放權重模型的單一 API

Perplexity Orchestrator 透過單一 API 提供前沿模型與開放權重模型的存取,並具備統一計費與容錯移轉功能。

An orchestra conductor surrounded by sweeping trails of light against a dark background.

Perplexity 的核心是多模型,讓人們可以自由選擇最新的前沿模型與開放權重模型來完成工作。這種多模型做法能發揮每個模型的長處,並在任務不需要最強大的模型時降低成本。在幕後,我們的協調技術可以運用多個模型來完成單一工作。

企業也採取類似的做法,在效能、成本與彈性之間取得平衡。每次推出新模型,都是降低成本或提升品質的機會。光是今年,Anthropic 和 OpenAI 等實驗室就已發布十多款新模型,另有超過 100 款開放權重模型問世。這雖然讓團隊在每項工作負載上有更多選擇,但也意味著需要管理更多供應商、合約與發票。

今天,我們推出 Perplexity Orchestrator API,將我們不受限於特定模型的技術,提供給開發 AI 應用程式的開發人員與團隊。透過單一 API,團隊可以使用成本較低的模型執行簡單的大量任務,並將效能更強大的模型保留給要求更高的工作。

透過 Orchestrator,團隊可以降低並集中管理 AI 支出,在新模型推出時即時採用,同時不犧牲效能或正常運作時間。團隊可以選擇由哪個模型處理各項工作負載,Perplexity 則負責供應商路由與容錯移轉,確保推論穩定可靠。

建構於 Perplexity 的正式環境模型層之上

Perplexity 每天都在正式環境中執行開放權重模型與前沿模型。我們的模型層會將數億個請求路由至 85 個以上的模型與十多個供應商。

選擇模型並不難,難的是在供應商速度變慢、容量不足或調整價格時,仍讓每個請求保持快速且經濟實惠。我們已將工作負載移轉至最適合各項任務的模型,藉此降低了自身的服務成本。

Orchestrator 讓開發人員能夠使用支撐這種做法的共用基礎架構。

Orchestrator 透過單一 API 提供這個推論層,涵蓋 OpenAI、Anthropic、Google 和 xAI 的模型,以及 GLM、Kimi 和 DeepSeek 等開放權重模型。開放權重模型由 Perplexity 或推論合作夥伴提供服務。

Orchestrator 支援 OpenAI Chat Completions、OpenAI Responses 和 Anthropic Messages 格式。團隊可以繼續使用熟悉的軟體開發套件(SDK)。對大多數團隊來說,開始使用只需更新 API 金鑰和基礎 URL,並選擇一個可用的模型。

統一計費,不另收平台費用

執行來自多個實驗室與推論供應商的模型,可能需要分別處理帳戶、API 金鑰、合約、安全審查和發票。這也可能意味著必須根據可能在數週內就改變的模型組合,分別簽訂年度承諾。

Orchestrator 將支援的模型整合至單一廠商與單一帳單,讓團隊無需與各家供應商分別協商承諾用量,即可調整模型組合。點數之外不另收任何平台費用。

團隊也可以透過 API Console 追蹤用量並管理支出:

  • 用量報告:依模型、專案、API 金鑰和日期細分的支出
  • API 金鑰:使用個別的 API 金鑰,依專案或團隊追蹤用量
  • 管理控制:組織模型允許清單、使用者限制、支出上限及容量請求

跨供應商提供更可靠的請求

可透過多家供應商使用的模型,讓團隊有不只一種方式處理請求。

Orchestrator 會追蹤每家供應商的健康狀態、容量與延遲,將流量分配至效能最佳的供應商。若請求失敗,它可以在同一模型的另一個部署上重試,自動處理容錯移轉,團隊無需自行建置相關邏輯。

對於每天執行數百萬個請求的團隊而言,即使請求成功率只有些微差異(例如 99.0% 與 99.99% 之間的差距),也可能影響數千個回應。有了 Orchestrator,團隊無需自行建置或維護容錯移轉程式碼。

根據 Orchestrator 一個月的正式環境流量,透過 Perplexity 發送的 Claude 與 GPT 請求,成功率高於所測得的任何單一供應商,且在供應商發生事故期間,每日波動也較小。

預覽中:Routes 與 Auto effort

Routes 讓團隊能以白話描述每個模型應處理哪些請求,並設定預設模型。團隊可以從內建的「較低成本」、「平衡」或「較高品質」設定檔開始,也可以自行建立自訂設定檔。如果團隊未提供描述或指定目標,則由預設模型處理請求。

同樣處於預覽階段的 Auto effort,會根據開發人員定義的政策,調整受支援模型在下一輪中使用的推理量。AI 代理程式可以投入更多心力從工具錯誤中復原,而無需切換模型。

開始使用智慧模型編排

Orchestrator 是 Perplexity API 平台邁向智慧模型協調的第一步。了解我們如何建構並評估 Routes,包括為何模型路由很難做好。

若要開始使用,請在 API 主控台建立 API 金鑰,將現有的 OpenAI 或 Anthropic SDK 指向 Orchestrator 的基礎 URL,然後從模型目錄中選擇模型。

快速入門指南說明如何在幾分鐘內送出第一個請求。工作負載龐大或有承諾用量的團隊,可寄信至 api@perplexity.ai,進一步了解大量使用定價與容量。

立即建立 API 金鑰。