Orchestrator: Uma API para inferência fiável

Ligue-se a modelos de IA de pesos abertos e proprietários através de uma única API, com faturação unificada e failover automático para o mesmo modelo.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

O Orchestrator reúne modelos de pesos abertos e proprietários numa única API com faturação unificada. Escolhe automaticamente um fornecedor com base na disponibilidade, na capacidade e na latência, e pode repetir pedidos falhados noutra implementação disponível do mesmo modelo.

Uma única integração para modelos de pesos abertos e proprietários

O Orchestrator serve modelos de pesos abertos alojados na infraestrutura de inferência da Perplexity, a par de modelos proprietários de outros fornecedores. O catálogo atual lista os modelos disponíveis.

Aceita pedidos OpenAI Chat Completions, OpenAI Responses e Anthropic Messages, pelo que pode ligar-se através do SDK da OpenAI ou da Anthropic que já utiliza.

O guia de início rápido e o guia de encaminhamento incluem exemplos de SDK e o comportamento atual do encaminhamento.

Fiabilidade e velocidade entre fornecedores

Fiabilidade

Escolher o Claude não tem de significar depender de um único fornecedor: um pedido que falha na Anthropic pode ainda ser bem-sucedido no AWS Bedrock. O failover entre fornecedores permite mudar a implementação que serve um pedido sem mudar de modelo.

O Orchestrator utiliza o estado de saúde e a capacidade observados para distribuir os pedidos pelas implementações de um modelo. Se um fornecedor devolver um erro, atingir um limite de taxa ou exceder o tempo limite, o Orchestrator tenta novamente noutra implementação desse modelo, com limites para o tempo até ao primeiro token e para a duração total de cada tentativa.

Em medições de 4 de outubro a 2 de novembro de 2026, os pedidos ao Claude e ao GPT através da Perplexity foram bem-sucedidos com mais frequência do que os pedidos a qualquer fornecedor individual que medimos. As suas taxas de sucesso diárias também variaram menos durante incidentes dos fornecedores.

Taxas de sucesso dos pedidos, de 4 de outubro a 2 de novembro de 2026: Claude à esquerda; modelos GPT disponíveis através da OpenAI e da Azure à direita.
Taxas de sucesso diárias dos pedidos no mesmo período: Claude à esquerda e GPT à direita.

Considerámos um pedido como falhado quando o Orchestrator esgotou as implementações disponíveis ou a camada de serviço devolveu um erro, mas excluímos erros do cliente, como pedidos inválidos e violações do limite de taxa do cliente.

Velocidade de saída

Estamos a trabalhar num encaminhamento adaptativo que tenha em conta a velocidade dos modelos, para que o Orchestrator possa ajustar a seleção de fornecedores à medida que o desempenho muda.

O fornecedor mais rápido para qualquer modelo muda ao longo do tempo. No caso do Claude Opus 5.5, a Anthropic liderou em 15 dos 30 dias e o AWS Bedrock nos outros 15.

Velocidade de saída mediana do Claude Opus 5.5 por fornecedor e por dia, de 4 de outubro a 2 de novembro de 2026. A linha destacada acompanha o fornecedor mais rápido em cada dia, ilustrando o objetivo do encaminhamento em tempo real com base na velocidade.

Nos mesmos 30 dias, a velocidade de saída mediana do GPT-5.6 Sol na Azure foi 27% superior à da OpenAI.

Velocidade de saída mediana do GPT-5.6 Sol após o primeiro token, de 4 de outubro a 2 de novembro de 2026.

Uma única fatura para todos os modelos

Cada pedido conta apenas para a utilização de tokens do modelo que responde. O Orchestrator cobra as tarifas por token publicadas de cada modelo, independentemente do fornecedor que serve o pedido, pelo que o failover entre fornecedores não altera essa tarifa. A utilização é descontada dos mesmos créditos pré-pagos que o resto do seu projeto da API da Perplexity.

Na API Console, pode ver os gastos por modelo e filtrar a utilização por chave de API. Também pode comprar créditos através do AWS Marketplace.

Encaminhamento automático (pré-visualização): associe cada tarefa ao modelo certo

O Orchestrator oferece encaminhamento automático, uma funcionalidade opcional disponível em pré-visualização. Seleciona um modelo para cada pedido com base num perfil que associa descrições de tarefas em linguagem simples a modelos. Pode definir o seu próprio perfil ou utilizar o perfil predefinido incorporado do Orchestrator.

Os pedidos com encaminhamento automático utilizam perplexity/auto como modelo. Para um perfil personalizado, inclua um objeto de encaminhamento com default_model e routes. Cada rota especifica um nome, uma descrição e um modelo.

Para cada pedido, o perplexity/auto chama o nosso modelo de decisão para ler a conversa e compará-la com as descrições das rotas, sem ver os nomes dos modelos. Em seguida, o Orchestrator envia o pedido para o modelo atribuído à rota selecionada ou para o seu modelo predefinido, se nenhuma rota corresponder. O Orchestrator também utiliza o seu modelo predefinido se o modelo de decisão falhar ou exceder o tempo limite.

Os exemplos abaixo abrangem o encaminhamento para contornar recusas dos modelos, tipos de problemas no apoio ao cliente e mudanças de tarefa dentro de uma conversa.

Encaminhamento para contornar recusas

Um agente pode utilizar o encaminhamento automático para evitar recusas previsíveis, mantendo o seu modelo preferido para outros trabalhos. A Anthropic documenta que as salvaguardas do Claude Fable 5.2 podem bloquear trabalho legítimo de cibersegurança e ciências da vida. Testámos este caso de utilização num subconjunto de 63 tarefas do Terminal-Bench 4.1.

Executámos o Claude Code apenas com o Fable e com dois perfis de encaminhamento personalizados. Ambos os perfis mantiveram o Fable como predefinido e atribuíram as rotas de cibersegurança, biologia e after_refusal ao GPT-6 Astra ou ao GPT-6.1 Sol. Também incluímos execuções autónomas do Astra e do Sol no Codex para comparação.

Nesta comparação ajustada, ambas as configurações do Claude Code com encaminhamento resolvem 41 de 63 tarefas, face a 38 apenas com o Fable, com um custo estimado por tarefa mais elevado. O gráfico mostra este compromisso juntamente com o Astra e o Sol executados no Codex.

Terminal-Bench 4.1, comparação ajustada de 63 tarefas. O Astra Codex inclui uma tarefa assumida como bem-sucedida; os custos são estimados.

O exemplo abaixo utiliza o Sol: as rotas de segurança e biologia selecionam-no antes de ocorrer uma recusa, e after_refusal seleciona-o quando a conversa já contém uma recusa.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

Encaminhamento por tipo de problema

Para um assistente de apoio ao cliente, a maioria das perguntas precisa apenas de um modelo rápido e económico. Uma contestação de faturação exige uma resposta cuidadosa e empática. Uma integração avariada requer resolução de problemas. O assistente pode utilizar duas rotas para contestações de faturação e problemas técnicos, deixando as perguntas de rotina para o seu modelo predefinido:

Rota

Descrição da tarefa

Modelo

default_model

Tudo o resto, como alterar o e-mail de uma conta

GLM-5.3 Flash

billing_dispute

Um cliente contesta uma cobrança, pede um reembolso ou está descontente com um valor que lhe foi cobrado.

Claude Opus 5.5

technical_issue

Um cliente comunica um bug, uma mensagem de erro ou uma integração que deixou de funcionar e que precisa de resolução de problemas.

GPT-6.1 Sol

Enviar um pedido encaminhado

Como o perplexity/auto serve um pedido: o modelo de decisão seleciona uma rota ou não devolve nenhuma correspondência, e o Orchestrator chama o modelo selecionado ou o seu modelo predefinido. Os cabeçalhos da resposta indicam o resultado do encaminhamento.

O pedido abaixo envia um problema de falha da API através do perfil de apoio ao cliente acima.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

O modelo de decisão associou as chamadas à API falhadas a technical_issue, pelo que o Orchestrator enviou o pedido para o GPT-6.1 Sol. A resposta inclui a rota selecionada e o modelo que respondeu:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route identifica a rota selecionada, ou nenhuma. x-perplexity-autoroute-outcome indica como o pedido foi tratado, incluindo se foi encaminhado ou se recorreu ao seu modelo predefinido. O campo model identifica o modelo que respondeu.

Encaminhamento dentro de uma conversa

À medida que uma conversa passa de uma tarefa para outra, o modelo que tratou um turno pode não ser a escolha certa para o seguinte. Os seus pedidos de seguimento incluem o histórico da conversa, pelo que tanto o modelo de decisão como o modelo selecionado podem ler os turnos anteriores, incluindo as respostas de outros modelos. Testámos três conversas reais de quatro turnos: apoio ao cliente, programação e investigação.

Apoio ao cliente

No exemplo acima, suponha que a mesma conversa passa de uma pergunta sobre a conta para uma contestação de faturação e, depois, para uma integração avariada. À medida que a tarefa muda, o modelo de decisão seleciona a rota correspondente; quando o utilizador envia um agradecimento final, o Orchestrator volta ao GLM-5.3 Flash.

Conversa de apoio: a rota e o modelo de cada turno.

Cache de prompts entre transições de modelo

Cada pedido inclui o histórico completo de mensagens, mas cada modelo mantém a sua própria cache. Quando a conversa regressa ao GLM Flash no turno 4, este pode reutilizar um prefixo correspondente do turno 1 enquanto ainda estiver em cache e, em seguida, processar as respostas adicionadas pelo Opus e pelo Sol nos turnos 2 e 3. O mesmo se aplica ao Opus ou ao Sol se forem selecionados no turno 5.

Sempre que possível, o Orchestrator mantém os pedidos relacionados na mesma implementação para preservar a cache de prompts. Reutilize uma prompt_cache_key estável na conversa para ajudar a manter essa afinidade.

Cache de prompts entre transições de modelo: o GLM Flash pode reutilizar o seu prefixo anterior enquanto processa a conversa intermédia como nova entrada.

Assistente de programação

No turno 4 da conversa de programação, o GLM-5.3 Flash escreve uma docstring com base no contexto do diagnóstico do bug feito pelo Claude Opus 5.5 e no plano de implementação do GPT-6.1 Sol.

O perfil de encaminhamento atribui renomeações e pequenas edições ao GLM-5.3 Flash, o diagnóstico de bugs ao Claude Opus 5.5 e o planeamento de alterações entre módulos ao GPT-6.1 Sol:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
Conversa de programação: a rota e o modelo de cada turno.

Assistente de investigação

No exemplo de investigação, uma pergunta factual leva a um cálculo, que depois serve de base a um memorando. O perfil atribui as perguntas factuais ao GLM-5.3 Flash, os cálculos ao GPT-6.1 Sol e a redação de memorandos ao Claude Opus 5.5:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

O memorando do turno 3 utiliza os cálculos da resposta anterior do GPT-6.1 Sol, arredondando os valores sem pedir ao utilizador que os repita.

Conversa de investigação: a rota e o modelo de cada turno.

Comece a utilizar o Orchestrator

Ligue o SDK da OpenAI ou da Anthropic que já utiliza com uma chave de API da Perplexity, o URL base do Orchestrator adequado e um modelo do catálogo.

O guia de início rápido abrange a configuração, a disponibilidade atual e o acesso. Em caso de dúvidas, contacte api@perplexity.ai.