Orchestrator:一个 API,实现可靠推理

通过一个 API 连接开放权重和专有 AI 模型,享受统一计费和同模型自动故障转移。

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator 将开放权重模型和专有模型整合到一个 API 中,并提供统一计费。它会根据可用性、容量和延迟自动选择提供商,并可在同一模型的另一个可用部署上重试失败的请求。

一次集成,接入开放权重模型和专有模型

Orchestrator 既提供托管在 Perplexity 推理基础设施上的开放权重模型,也提供来自其他提供商的专有模型。当前目录列出了可供选择的模型。

它接受 OpenAI Chat Completions、OpenAI Responses 和 Anthropic Messages 请求,因此您可以通过现有的 OpenAI 或 Anthropic SDK 进行连接。

快速入门和路由指南涵盖了 SDK 示例和当前的路由行为。

跨提供商的可靠性与速度

可靠性

选择 Claude 并不意味着必须依赖单一提供商:在 Anthropic 上失败的请求仍可在 AWS Bedrock 上成功。提供商故障转移可以在不更换模型的情况下,切换处理请求的部署。

Orchestrator 根据观测到的健康状况和容量,在模型的各个部署之间分配请求。如果某个提供商返回错误、触发速率限制或超时,Orchestrator 会在该模型的另一个部署上重试,并对每次尝试的首个 token 时间和总时长设定限制。

根据 2026 年 10 月 4 日至 11 月 2 日的测量结果,通过 Perplexity 发出的 Claude 和 GPT 请求的成功率高于我们测量的任何单一提供商。在提供商发生故障期间,其每日成功率的波动也更小。

2026 年 10 月 4 日至 11 月 2 日的请求成功率:左侧为 Claude;右侧为可同时通过 OpenAI 和 Azure 使用的 GPT 模型。
同期每日请求成功率:左侧为 Claude,右侧为 GPT。

当 Orchestrator 用尽所有可用部署或服务层返回错误时,我们将该请求计为失败,但排除了无效请求和超出客户端速率限制等客户端错误。

输出速度

我们正在开发考虑模型速度的自适应路由,使 Orchestrator 能够随着性能变化调整提供商选择。

任何模型最快的提供商都会随时间变化。就 Claude Opus 5.5 而言,Anthropic 在 30 天中有 15 天领先,AWS Bedrock 则在另外 15 天领先。

2026 年 10 月 4 日至 11 月 2 日,Claude Opus 5.5 按提供商和日期划分的输出速度中位数。高亮线条跟踪每天速度更快的提供商,展示了实时速度感知路由的目标。

在同样的 30 天内,Azure 上 GPT-5.6 Sol 的输出速度中位数比 OpenAI 高 27%。

2026 年 10 月 4 日至 11 月 2 日,GPT-5.6 Sol 在首个 token 之后的输出速度中位数。

所有模型,一张账单

每个请求只计入作答模型的 token 用量。无论由哪个提供商处理请求,Orchestrator 都按各模型公布的每 token 费率收费,因此提供商故障转移不会改变该费率。用量从与您的 Perplexity API 项目其余部分相同的预付积分中扣除。

在 API Console 中,您可以按模型查看支出,并按 API 密钥筛选用量。您还可以通过 AWS Marketplace 购买积分。

自动路由(预览版):为每项任务匹配合适的模型

Orchestrator 提供自动路由,这是一项处于预览阶段的可选功能。它使用一个将自然语言任务描述与模型配对的配置文件,为每个请求选择模型。您可以定义自己的配置文件,也可以使用 Orchestrator 的内置默认配置文件。

自动路由请求使用 perplexity/auto 作为模型。对于自定义配置文件,请包含一个带有 default_model 和 routes 的 routing 对象。每条路由都指定名称、描述和模型。

对于每个请求,perplexity/auto 会调用我们的决策模型来读取对话,并将其与各路由描述进行匹配,而不会看到模型名称。随后,Orchestrator 会将请求发送给所选路由对应的模型;如果没有匹配的路由,则发送给您的默认模型。如果决策模型出错或超时,Orchestrator 也会使用您的默认模型。

以下示例涵盖绕开模型拒绝的路由、客户支持问题类型,以及对话内的任务变化。

绕开拒绝的路由

智能体可以使用自动路由来避免可预见的拒绝,同时在其他工作中继续使用其首选模型。Anthropic 在文档中指出,Claude Fable 5.2 的安全防护措施可能会拦截无害的网络安全和生命科学工作。我们在 Terminal-Bench 4.1 中一个包含 63 项任务的子集上测试了这一用例。

我们分别在单独使用 Fable 以及使用两个自定义路由配置文件的情况下运行了 Claude Code。两个配置文件都保留 Fable 作为默认模型,并将网络安全、生物学和 after_refusal 路由分配给 GPT-6 Astra 或 GPT-6.1 Sol。为便于比较,我们还纳入了在 Codex 中单独运行 Astra 和 Sol 的结果。

在这项调整后的对比中,两种经过路由的 Claude Code 配置均解决了 63 项任务中的 41 项,而单独使用 Fable 时解决了 38 项,但每项任务的估算成本更高。图表将这一权衡与在 Codex 中运行的 Astra 和 Sol 一并展示。

Terminal-Bench 4.1,63 项任务的调整后对比。Astra Codex 包含一次假定通过;成本为估算值。

以下示例使用 Sol:安全和生物学路由会在拒绝发生之前选择它,而当对话中已包含拒绝时,after_refusal 会选择它。

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

按问题类型路由

对于客户支持助手而言,大多数问题只需要一个快速、低成本的模型。账单争议需要谨慎且富有同理心的回复。集成故障则需要进行故障排查。该助手可以为账单争议和技术问题设置两条路由,将常规问题交给其默认模型处理:

路由

任务描述

模型

default_model

其他所有问题,例如如何更改账户邮箱

GLM-5.3 Flash

billing_dispute

客户对某笔扣费有异议、要求退款,或对被收取的费用感到不满。

Claude Opus 5.5

technical_issue

客户报告了程序错误、错误消息,或某项集成停止工作,需要进行故障排查。

GPT-6.1 Sol

发送经路由的请求

perplexity/auto 如何处理请求:决策模型选择一条路由或返回无匹配结果,Orchestrator 随后调用所选模型或您的默认模型。响应标头会报告路由结果。

以下请求通过上述客户支持配置文件发送一个 API 故障问题。

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

决策模型将失败的 API 调用匹配到 technical_issue,因此 Orchestrator 将请求发送给了 GPT-6.1 Sol。响应中包含所选路由以及作答的模型:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route 标识所选路由,或表明未选择任何路由。x-perplexity-autoroute-outcome 报告请求的处理方式,包括请求是被路由还是回退到了您的默认模型。model 字段标识作答的模型。

对话内路由

随着对话在不同任务之间切换,处理某一轮的模型未必适合下一轮。您的后续请求会包含对话历史,因此决策模型和所选模型都能读取之前的轮次,包括其他模型的回复。我们运行了三个真实的四轮对话:客户支持、编程和研究。

客户支持

在上面的示例中,假设同一对话从账户问题转向账单争议,然后又转向集成故障。随着任务变化,决策模型会选择相匹配的路由;当用户最后发送致谢时,Orchestrator 会切换回 GLM-5.3 Flash。

客服对话:每一轮对话所用的路由和模型。

跨模型交接的提示词缓存

每个请求都携带完整的消息历史,但每个模型都维护各自的缓存。当对话在第 4 轮回到 GLM Flash 时,只要第 1 轮的匹配前缀仍在缓存中,它就可以复用该前缀,然后处理 Opus 和 Sol 在第 2 轮和第 3 轮中添加的回复。如果 Opus 或 Sol 在第 5 轮被选中,情况也是如此。

Orchestrator 会尽可能将相关请求保留在同一部署上,以保持提示词缓存。请为对话复用一个稳定的 prompt_cache_key,以帮助维持这种亲和性。

跨模型交接的提示词缓存:GLM Flash 可以复用其先前的前缀,同时将中间的对话作为新输入进行处理。

编程助手

在编程对话的第 4 轮中,GLM-5.3 Flash 利用 Claude Opus 5.5 的错误诊断和 GPT-6.1 Sol 的实现计划所提供的上下文,编写了一段文档字符串。

该路由配置文件将重命名和小幅编辑分配给 GLM-5.3 Flash,将错误诊断分配给 Claude Opus 5.5,将跨模块变更的规划分配给 GPT-6.1 Sol:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
编程对话:每一轮的路由和模型。

研究助手

在研究示例中,一个事实性问题引出了一项计算,而这项计算又成为一份备忘录的基础。该配置文件将事实性问题分配给 GLM-5.3 Flash,将计算分配给 GPT-6.1 Sol,将备忘录撰写分配给 Claude Opus 5.5:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

第 3 轮中的备忘录使用了 GPT-6.1 Sol 上一条回复中的计算结果,并对数字进行了取整,无需用户重复提供。

研究对话:每一轮的路由和模型。

开始使用 Orchestrator

使用 Perplexity API 密钥、相应的 Orchestrator 基础 URL 以及目录中的模型,连接您现有的 OpenAI 或 Anthropic SDK。

快速入门涵盖设置、当前可用性和访问权限。如有疑问,请联系 api@perplexity.ai。