Orchestrator: Uma API para inferência fiável
Ligue-se a modelos de IA de pesos abertos e proprietários através de uma única API, com faturação unificada e failover automático para o mesmo modelo.

O Orchestrator reúne modelos de pesos abertos e proprietários numa única API com faturação unificada. Escolhe automaticamente um fornecedor com base na disponibilidade, na capacidade e na latência, e pode repetir pedidos falhados noutra implementação disponível do mesmo modelo.
Uma única integração para modelos de pesos abertos e proprietários
O Orchestrator serve modelos de pesos abertos alojados na infraestrutura de inferência da Perplexity, a par de modelos proprietários de outros fornecedores. O catálogo atual lista os modelos disponíveis.
Aceita pedidos OpenAI Chat Completions, OpenAI Responses e Anthropic Messages, pelo que pode ligar-se através do SDK da OpenAI ou da Anthropic que já utiliza.
O guia de início rápido e o guia de encaminhamento incluem exemplos de SDK e o comportamento atual do encaminhamento.
Fiabilidade e velocidade entre fornecedores
Fiabilidade
Escolher o Claude não tem de significar depender de um único fornecedor: um pedido que falha na Anthropic pode ainda ser bem-sucedido no AWS Bedrock. O failover entre fornecedores permite mudar a implementação que serve um pedido sem mudar de modelo.
O Orchestrator utiliza o estado de saúde e a capacidade observados para distribuir os pedidos pelas implementações de um modelo. Se um fornecedor devolver um erro, atingir um limite de taxa ou exceder o tempo limite, o Orchestrator tenta novamente noutra implementação desse modelo, com limites para o tempo até ao primeiro token e para a duração total de cada tentativa.
Em medições de 4 de outubro a 2 de novembro de 2026, os pedidos ao Claude e ao GPT através da Perplexity foram bem-sucedidos com mais frequência do que os pedidos a qualquer fornecedor individual que medimos. As suas taxas de sucesso diárias também variaram menos durante incidentes dos fornecedores.
Considerámos um pedido como falhado quando o Orchestrator esgotou as implementações disponíveis ou a camada de serviço devolveu um erro, mas excluímos erros do cliente, como pedidos inválidos e violações do limite de taxa do cliente.
Velocidade de saída
Estamos a trabalhar num encaminhamento adaptativo que tenha em conta a velocidade dos modelos, para que o Orchestrator possa ajustar a seleção de fornecedores à medida que o desempenho muda.
O fornecedor mais rápido para qualquer modelo muda ao longo do tempo. No caso do Claude Opus 5.5, a Anthropic liderou em 15 dos 30 dias e o AWS Bedrock nos outros 15.
Nos mesmos 30 dias, a velocidade de saída mediana do GPT-5.6 Sol na Azure foi 27% superior à da OpenAI.
Uma única fatura para todos os modelos
Cada pedido conta apenas para a utilização de tokens do modelo que responde. O Orchestrator cobra as tarifas por token publicadas de cada modelo, independentemente do fornecedor que serve o pedido, pelo que o failover entre fornecedores não altera essa tarifa. A utilização é descontada dos mesmos créditos pré-pagos que o resto do seu projeto da API da Perplexity.
Na API Console, pode ver os gastos por modelo e filtrar a utilização por chave de API. Também pode comprar créditos através do AWS Marketplace.
Encaminhamento automático (pré-visualização): associe cada tarefa ao modelo certo
O Orchestrator oferece encaminhamento automático, uma funcionalidade opcional disponível em pré-visualização. Seleciona um modelo para cada pedido com base num perfil que associa descrições de tarefas em linguagem simples a modelos. Pode definir o seu próprio perfil ou utilizar o perfil predefinido incorporado do Orchestrator.
Os pedidos com encaminhamento automático utilizam perplexity/auto como modelo. Para um perfil personalizado, inclua um objeto de encaminhamento com default_model e routes. Cada rota especifica um nome, uma descrição e um modelo.
Para cada pedido, o perplexity/auto chama o nosso modelo de decisão para ler a conversa e compará-la com as descrições das rotas, sem ver os nomes dos modelos. Em seguida, o Orchestrator envia o pedido para o modelo atribuído à rota selecionada ou para o seu modelo predefinido, se nenhuma rota corresponder. O Orchestrator também utiliza o seu modelo predefinido se o modelo de decisão falhar ou exceder o tempo limite.
Os exemplos abaixo abrangem o encaminhamento para contornar recusas dos modelos, tipos de problemas no apoio ao cliente e mudanças de tarefa dentro de uma conversa.
Encaminhamento para contornar recusas
Um agente pode utilizar o encaminhamento automático para evitar recusas previsíveis, mantendo o seu modelo preferido para outros trabalhos. A Anthropic documenta que as salvaguardas do Claude Fable 5.2 podem bloquear trabalho legítimo de cibersegurança e ciências da vida. Testámos este caso de utilização num subconjunto de 63 tarefas do Terminal-Bench 4.1.
Executámos o Claude Code apenas com o Fable e com dois perfis de encaminhamento personalizados. Ambos os perfis mantiveram o Fable como predefinido e atribuíram as rotas de cibersegurança, biologia e after_refusal ao GPT-6 Astra ou ao GPT-6.1 Sol. Também incluímos execuções autónomas do Astra e do Sol no Codex para comparação.
Nesta comparação ajustada, ambas as configurações do Claude Code com encaminhamento resolvem 41 de 63 tarefas, face a 38 apenas com o Fable, com um custo estimado por tarefa mais elevado. O gráfico mostra este compromisso juntamente com o Astra e o Sol executados no Codex.
O exemplo abaixo utiliza o Sol: as rotas de segurança e biologia selecionam-no antes de ocorrer uma recusa, e after_refusal seleciona-o quando a conversa já contém uma recusa.
"routing": {
"default_model": "anthropic/claude-fable-5-2",
"routes": [
{"name": "security",
"description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.",
"model": "openai/gpt-6.1-sol"},
{"name": "biology",
"description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.",
"model": "openai/gpt-6.1-sol"},
{"name": "after_refusal",
"description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.",
"model": "openai/gpt-6.1-sol"}
]
}Encaminhamento por tipo de problema
Para um assistente de apoio ao cliente, a maioria das perguntas precisa apenas de um modelo rápido e económico. Uma contestação de faturação exige uma resposta cuidadosa e empática. Uma integração avariada requer resolução de problemas. O assistente pode utilizar duas rotas para contestações de faturação e problemas técnicos, deixando as perguntas de rotina para o seu modelo predefinido:
Rota | Descrição da tarefa | Modelo |
default_model | Tudo o resto, como alterar o e-mail de uma conta | GLM-5.3 Flash |
billing_dispute | Um cliente contesta uma cobrança, pede um reembolso ou está descontente com um valor que lhe foi cobrado. | Claude Opus 5.5 |
technical_issue | Um cliente comunica um bug, uma mensagem de erro ou uma integração que deixou de funcionar e que precisa de resolução de problemas. | GPT-6.1 Sol |
Enviar um pedido encaminhado
O pedido abaixo envia um problema de falha da API através do perfil de apoio ao cliente acima.
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \
-H "Authorization: Bearer $PERPLEXITY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7",
"model": "perplexity/auto",
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "billing_dispute",
"description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.",
"model": "anthropic/claude-opus-5-5"},
{"name": "technical_issue",
"description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.",
"model": "openai/gpt-6.1-sol"}
]
},
"messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}]
}'O modelo de decisão associou as chamadas à API falhadas a technical_issue, pelo que o Orchestrator enviou o pedido para o GPT-6.1 Sol. A resposta inclui a rota selecionada e o modelo que respondeu:
HTTP/2 200
x-perplexity-autoroute-outcome: routed
x-perplexity-autoroute-route: technical_issue
{"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}x-perplexity-autoroute-route identifica a rota selecionada, ou nenhuma. x-perplexity-autoroute-outcome indica como o pedido foi tratado, incluindo se foi encaminhado ou se recorreu ao seu modelo predefinido. O campo model identifica o modelo que respondeu.
Encaminhamento dentro de uma conversa
À medida que uma conversa passa de uma tarefa para outra, o modelo que tratou um turno pode não ser a escolha certa para o seguinte. Os seus pedidos de seguimento incluem o histórico da conversa, pelo que tanto o modelo de decisão como o modelo selecionado podem ler os turnos anteriores, incluindo as respostas de outros modelos. Testámos três conversas reais de quatro turnos: apoio ao cliente, programação e investigação.
Apoio ao cliente
No exemplo acima, suponha que a mesma conversa passa de uma pergunta sobre a conta para uma contestação de faturação e, depois, para uma integração avariada. À medida que a tarefa muda, o modelo de decisão seleciona a rota correspondente; quando o utilizador envia um agradecimento final, o Orchestrator volta ao GLM-5.3 Flash.
Cache de prompts entre transições de modelo
Cada pedido inclui o histórico completo de mensagens, mas cada modelo mantém a sua própria cache. Quando a conversa regressa ao GLM Flash no turno 4, este pode reutilizar um prefixo correspondente do turno 1 enquanto ainda estiver em cache e, em seguida, processar as respostas adicionadas pelo Opus e pelo Sol nos turnos 2 e 3. O mesmo se aplica ao Opus ou ao Sol se forem selecionados no turno 5.
Sempre que possível, o Orchestrator mantém os pedidos relacionados na mesma implementação para preservar a cache de prompts. Reutilize uma prompt_cache_key estável na conversa para ajudar a manter essa afinidade.
Assistente de programação
No turno 4 da conversa de programação, o GLM-5.3 Flash escreve uma docstring com base no contexto do diagnóstico do bug feito pelo Claude Opus 5.5 e no plano de implementação do GPT-6.1 Sol.
O perfil de encaminhamento atribui renomeações e pequenas edições ao GLM-5.3 Flash, o diagnóstico de bugs ao Claude Opus 5.5 e o planeamento de alterações entre módulos ao GPT-6.1 Sol:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "hard_debugging",
"description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.",
"model": "anthropic/claude-opus-5-5"},
{"name": "design_change",
"description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.",
"model": "openai/gpt-6.1-sol"}
]
}Assistente de investigação
No exemplo de investigação, uma pergunta factual leva a um cálculo, que depois serve de base a um memorando. O perfil atribui as perguntas factuais ao GLM-5.3 Flash, os cálculos ao GPT-6.1 Sol e a redação de memorandos ao Claude Opus 5.5:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "quantitative_analysis",
"description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.",
"model": "openai/gpt-6.1-sol"},
{"name": "long_form_writing",
"description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.",
"model": "anthropic/claude-opus-5-5"}
]
}O memorando do turno 3 utiliza os cálculos da resposta anterior do GPT-6.1 Sol, arredondando os valores sem pedir ao utilizador que os repita.
Comece a utilizar o Orchestrator
Ligue o SDK da OpenAI ou da Anthropic que já utiliza com uma chave de API da Perplexity, o URL base do Orchestrator adequado e um modelo do catálogo.
O guia de início rápido abrange a configuração, a disponibilidade atual e o acesso. Em caso de dúvidas, contacte api@perplexity.ai.