Orchestrator:信頼性の高い推論のための1つのAPI

請求の一元化と同一モデルでの自動フェイルオーバーを備えた1つのAPIで、オープンウェイトおよびプロプライエタリのAIモデルに接続できます。

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestratorは、オープンウェイトモデルとプロプライエタリモデルを、請求を一元化した1つのAPIにまとめます。可用性、キャパシティ、レイテンシに基づいてプロバイダーを自動的に選択し、失敗したリクエストを同じモデルの別の利用可能なデプロイメントで再試行できます。

オープンウェイトモデルとプロプライエタリモデルを1つの統合で

Orchestratorは、Perplexityの推論インフラストラクチャでホストされているオープンウェイトモデルを、他のプロバイダーのプロプライエタリモデルとあわせて提供します。利用可能なモデルは現在のカタログに掲載されています。

OpenAI Chat Completions、OpenAI Responses、Anthropic Messagesのリクエストに対応しているため、既存のOpenAIまたはAnthropic SDKから接続できます。

クイックスタートとルーティングガイドでは、SDKの例と現在のルーティング動作を紹介しています。

プロバイダーをまたいだ信頼性と速度

信頼性

Claudeを選ぶことは、単一のプロバイダーに依存することを意味するわけではありません。Anthropicで失敗したリクエストでも、AWS Bedrockで成功する可能性があります。プロバイダーのフェイルオーバーにより、モデルを変更することなく、リクエストを処理するデプロイメントを切り替えることができます。

Orchestratorは、観測されたヘルス状態とキャパシティに基づいて、モデルの各デプロイメントにリクエストを分散します。プロバイダーがエラーを返した場合、レート制限に達した場合、またはタイムアウトした場合、Orchestratorはそのモデルの別のデプロイメントで再試行します。各試行には、最初のトークンまでの時間と合計所要時間の上限が設けられています。

2026年10月4日~11月2日の測定では、Perplexity経由のClaudeおよびGPTのリクエストは、私たちが測定したどの個別プロバイダーへのリクエストよりも高い頻度で成功しました。また、プロバイダーでインシデントが発生している間も、日次の成功率の変動が小さく抑えられていました。

2026年10月4日~11月2日のリクエスト成功率:左はClaude、右はOpenAIとAzureの両方で利用できるGPTモデル。
同期間における日次のリクエスト成功率:左はClaude、右はGPT。

Orchestratorが利用可能なデプロイメントを使い切った場合、またはサービング層がエラーを返した場合にリクエストを失敗としてカウントしました。ただし、無効なリクエストやクライアント側のレート制限違反などのクライアントエラーは除外しています。

出力速度

私たちは、パフォーマンスの変化に応じてOrchestratorがプロバイダーの選択を調整できるよう、モデルの速度を考慮したアダプティブルーティングに取り組んでいます。

どのモデルでも、最速のプロバイダーは時間とともに変わります。Claude Opus 5.5では、30日のうち15日はAnthropicが、残りの15日はAWS Bedrockが最速でした。

2026年10月4日~11月2日における、プロバイダー別・日別のClaude Opus 5.5の出力速度の中央値。強調表示された線は各日でより高速だったプロバイダーをたどっており、リアルタイムの速度を考慮したルーティングの目標を示しています。

同じ30日間で、GPT-5.6 SolのAzureにおける出力速度の中央値は、OpenAIより27%高くなりました。

2026年10月4日~11月2日における、最初のトークン以降のGPT-5.6 Solの出力速度の中央値。

すべてのモデルの請求を1つに

各リクエストは、回答したモデルのトークン使用量にのみカウントされます。Orchestratorは、どのプロバイダーがリクエストを処理したかにかかわらず各モデルの公開されているトークン単価を請求するため、プロバイダーのフェイルオーバーによって料金が変わることはありません。使用量は、Perplexity APIプロジェクトの他の利用分と同じプリペイドクレジットから差し引かれます。

API Consoleでは、モデル別の支出を確認したり、APIキー別に使用量を絞り込んだりできます。AWS Marketplaceからクレジットを購入することもできます。

自動ルーティング(プレビュー):各タスクを最適なモデルに割り当てる

Orchestratorには、プレビュー版として提供されるオプション機能「自動ルーティング」があります。平易な言葉で書かれたタスクの説明とモデルを組み合わせたプロファイルを使って、リクエストごとにモデルを選択します。独自のプロファイルを定義することも、Orchestratorの組み込みデフォルトを使うこともできます。

自動ルーティングのリクエストでは、モデルとしてperplexity/autoを使用します。カスタムプロファイルの場合は、default_modelとroutesを含むroutingオブジェクトを指定します。各ルートには、名前、説明、モデルを指定します。

perplexity/autoはリクエストごとに決定モデルを呼び出し、モデル名を見ることなく会話を読み取ってルートの説明と照合します。その後Orchestratorは、選択されたルートに割り当てられたモデルにリクエストを送信します。どのルートにも一致しない場合は、デフォルトモデルに送信します。決定モデルが失敗した場合やタイムアウトした場合も、Orchestratorはデフォルトモデルを使用します。

以下の例では、モデルの拒否を回避するルーティング、カスタマーサポートの問い合わせの種類、会話内でのタスクの変化を取り上げます。

拒否を回避するルーティング

エージェントは自動ルーティングを使うことで、予測可能な拒否を回避しつつ、その他の作業では優先モデルを使い続けることができます。Anthropicは、Claude Fable 5.2のセーフガードが無害なサイバーセキュリティやライフサイエンスの作業をブロックする場合があることを公表しています。私たちはこのユースケースを、Terminal-Bench 4.1の63タスクのサブセットでテストしました。

私たちは、Fable単体の場合と、2つのカスタムルーティングプロファイルを使った場合でClaude Codeを実行しました。どちらのプロファイルもFableをデフォルトとし、サイバーセキュリティ、生物学、after_refusalのルートをGPT-6 AstraまたはGPT-6.1 Solに割り当てました。比較のため、CodexでAstraとSolを単体で実行した結果も含めています。

この調整済みの比較では、ルーティングを適用した2つのClaude Code構成はいずれも63タスク中41タスクを解決し、Fable単体の38タスクを上回りましたが、タスクあたりの推定コストは高くなりました。グラフでは、このトレードオフを、Codexで実行したAstraおよびSolの結果とあわせて示しています。

Terminal-Bench 4.1、63タスクでの調整済み比較。Astra Codexには合格とみなした1件が含まれます。コストは推定値です。

以下の例ではSolを使用します。セキュリティと生物学のルートは拒否が発生する前にSolを選択し、after_refusalは会話にすでに拒否が含まれている場合にSolを選択します。

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

問い合わせの種類によるルーティング

カスタマーサポートアシスタントの場合、ほとんどの質問には高速で低コストなモデルで十分です。請求に関する異議申し立てには、慎重で共感的な返信が求められます。連携の不具合にはトラブルシューティングが必要です。アシスタントは、請求に関する異議申し立てと技術的な問題に2つのルートを使い、通常の質問はデフォルトモデルに任せることができます:

ルート

タスクの説明

モデル

default_model

アカウントのメールアドレスの変更方法など、その他すべて

GLM-5.3 Flash

billing_dispute

顧客が請求に異議を申し立てる、返金を求める、または請求された金額に不満を抱いている。

Claude Opus 5.5

technical_issue

顧客がバグ、エラーメッセージ、または動作しなくなった連携を報告し、トラブルシューティングが必要である。

GPT-6.1 Sol

ルーティングされたリクエストの送信

perplexity/autoがリクエストを処理する仕組み:決定モデルがルートを選択するか一致なしを返し、Orchestratorが選択されたモデルまたはデフォルトモデルを呼び出します。ルーティングの結果はレスポンスヘッダーで報告されます。

以下のリクエストは、API障害に関する問い合わせを、上記のカスタマーサポート用プロファイル経由で送信します。

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

決定モデルは失敗したAPI呼び出しをtechnical_issueに一致させたため、OrchestratorはリクエストをGPT-6.1 Solに送信しました。レスポンスには、選択されたルートと回答したモデルが含まれます:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-routeは、選択されたルート(またはnone)を示します。x-perplexity-autoroute-outcomeは、ルーティングされたか、デフォルトモデルにフォールバックしたかを含め、リクエストがどのように処理されたかを報告します。modelフィールドは回答したモデルを示します。

会話内でのルーティング

会話の中でタスクが移り変わると、あるターンを処理したモデルが次のターンにも最適とは限りません。フォローアップのリクエストには会話履歴が含まれるため、決定モデルと選択されたモデルの両方が、他のモデルからの返信を含む過去のターンを読み取れます。私たちは、カスタマーサポート、コーディング、リサーチという3種類の実際の会話(各4ターン)を実行しました。

カスタマーサポート

上記の例で、同じ会話がアカウントに関する質問から請求に関する異議申し立て、さらに連携の不具合へと移ると仮定します。タスクが変わるたびに決定モデルは該当するルートを選択し、ユーザーが最後にお礼を送ると、OrchestratorはGLM-5.3 Flashに戻ります。

サポートの会話:各ターンのルートとモデル。

モデルの切り替えをまたいだプロンプトキャッシュ

各リクエストにはメッセージ履歴全体が含まれますが、キャッシュはモデルごとに保持されます。ターン4で会話がGLM Flashに戻ると、ターン1の一致するプレフィックスがまだキャッシュされていればそれを再利用し、ターン2と3でOpusとSolが追加した応答を処理できます。ターン5でOpusやSolが選択された場合も同様です。

Orchestratorは、プロンプトキャッシュを維持するため、関連するリクエストを可能な限り同じデプロイメントで処理します。このアフィニティを維持しやすくするには、会話に対して安定した prompt_cache_keyを再利用してください。

モデルの切り替えをまたいだプロンプトキャッシュ:GLM Flashは、間の会話を新しい入力として処理しながら、以前のプレフィックスを再利用できます。

コーディングアシスタント

コーディングの会話のターン4では、GLM-5.3 Flashが、Claude Opus 5.5によるバグ診断とGPT-6.1 Solによる実装計画のコンテキストを使ってdocstringを作成します。

ルーティングプロファイルは、名前の変更や小さな編集をGLM-5.3 Flashに、バグ診断をClaude Opus 5.5に、モジュールをまたぐ変更の計画をGPT-6.1 Solに割り当てます:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
コーディングの会話:各ターンのルートとモデル。

リサーチアシスタント

リサーチの例では、事実に関する質問から計算へと進み、その計算がメモの土台になります。プロファイルは、事実に関する質問をGLM-5.3 Flashに、計算をGPT-6.1 Solに、メモの作成をClaude Opus 5.5に割り当てます:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

ターン3のメモでは、GPT-6.1 Solの前回の返信に含まれる計算結果を使用し、ユーザーに再入力を求めることなく数値を丸めています。

リサーチの会話:各ターンのルートとモデル。

Orchestratorを使い始める

既存のOpenAIまたはAnthropic SDKに、Perplexity APIキー、適切なOrchestratorのベースURL、カタログのモデルを設定して接続します。

クイックスタートでは、セットアップ、現在の提供状況、アクセス方法を説明しています。ご質問は api@perplexity.ai までお問い合わせください。