Orchestrator: uma API para inferência confiável

Conecte-se a modelos de IA de pesos abertos e proprietários por meio de uma única API, com faturamento unificado e failover automático para o mesmo modelo.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

O Orchestrator reúne modelos de pesos abertos e proprietários em uma única API com faturamento unificado. Ele escolhe automaticamente um provedor com base em disponibilidade, capacidade e latência, e pode repetir solicitações com falha em outra implantação disponível do mesmo modelo.

Uma única integração para modelos de pesos abertos e proprietários

O Orchestrator disponibiliza modelos de pesos abertos hospedados na infraestrutura de inferência da Perplexity, além de modelos proprietários de outros provedores. O catálogo atual lista as opções de modelo disponíveis.

Ele aceita solicitações nos formatos OpenAI Chat Completions, OpenAI Responses e Anthropic Messages, para que você possa se conectar pelo seu SDK da OpenAI ou da Anthropic existente.

O guia de início rápido e o guia de roteamento trazem exemplos de SDK e o comportamento atual do roteamento.

Confiabilidade e velocidade entre provedores

Confiabilidade

Escolher o Claude não significa depender de um único provedor: uma solicitação que falha na Anthropic ainda pode ter sucesso no AWS Bedrock. O failover entre provedores permite trocar a implantação que atende a uma solicitação sem mudar o modelo.

O Orchestrator usa a integridade e a capacidade observadas para distribuir as solicitações entre as implantações de um modelo. Se um provedor retornar um erro, atingir um limite de taxa ou exceder o tempo limite, o Orchestrator tenta novamente em outra implantação desse modelo, com limites de tempo até o primeiro token e de duração total para cada tentativa.

Em medições de 4 de outubro a 2 de novembro de 2026, as solicitações ao Claude e ao GPT pela Perplexity tiveram sucesso com mais frequência do que as solicitações a qualquer provedor individual que medimos. Suas taxas de sucesso diárias também variaram menos durante incidentes dos provedores.

Taxas de sucesso das solicitações, de 4 de outubro a 2 de novembro de 2026: Claude à esquerda; modelos GPT disponíveis pela OpenAI e pela Azure à direita.
Taxas diárias de sucesso das solicitações no mesmo período: Claude à esquerda e GPT à direita.

Consideramos uma solicitação como falha quando o Orchestrator esgotou as implantações disponíveis ou a camada de serviço retornou um erro, mas excluímos erros do cliente, como solicitações inválidas e violações do limite de taxa do cliente.

Velocidade de saída

Estamos trabalhando em um roteamento adaptativo que leva em conta a velocidade dos modelos, para que o Orchestrator possa ajustar a seleção de provedores à medida que o desempenho muda.

O provedor mais rápido para qualquer modelo muda com o tempo. Para o Claude Opus 5.5, a Anthropic liderou em 15 dos 30 dias, e o AWS Bedrock liderou nos outros 15.

Velocidade de saída mediana do Claude Opus 5.5 por provedor e por dia, de 4 de outubro a 2 de novembro de 2026. A linha destacada acompanha o provedor mais rápido de cada dia, ilustrando a meta do roteamento em tempo real com base na velocidade.

Nos mesmos 30 dias, a velocidade de saída mediana do GPT-5.6 Sol na Azure foi 27% maior que na OpenAI.

Velocidade de saída mediana do GPT-5.6 Sol após o primeiro token, de 4 de outubro a 2 de novembro de 2026.

Uma única fatura para todos os modelos

Cada solicitação conta apenas para o uso de tokens do modelo que respondeu. O Orchestrator cobra as tarifas por token publicadas de cada modelo, independentemente de qual provedor atenda a solicitação, então o failover entre provedores não altera essa tarifa. O uso é descontado dos mesmos créditos pré-pagos que o restante do seu projeto da API da Perplexity.

No API Console, você pode ver os gastos por modelo e filtrar o uso por chave de API. Você também pode comprar créditos pelo AWS Marketplace.

Roteamento automático (prévia): associe cada tarefa ao modelo certo

O Orchestrator oferece roteamento automático, um recurso opcional disponível em prévia. Ele seleciona um modelo para cada solicitação usando um perfil que associa descrições de tarefas em linguagem simples a modelos. Você pode definir seu próprio perfil ou usar o padrão integrado do Orchestrator.

As solicitações com roteamento automático usam perplexity/auto como modelo. Para um perfil personalizado, inclua um objeto de roteamento com default_model e routes. Cada rota especifica um nome, uma descrição e um modelo.

Para cada solicitação, o perplexity/auto chama nosso modelo de decisão para ler a conversa e compará-la com as descrições das rotas, sem ver os nomes dos modelos. Em seguida, o Orchestrator envia a solicitação ao modelo atribuído à rota selecionada ou ao seu modelo padrão, se nenhuma rota corresponder. O Orchestrator também usa seu modelo padrão se o modelo de decisão falhar ou exceder o tempo limite.

Os exemplos abaixo abordam o roteamento para contornar recusas de modelos, os tipos de problema no atendimento ao cliente e as mudanças de tarefa dentro de uma conversa.

Roteamento para contornar recusas

Um agente pode usar o roteamento automático para evitar recusas previsíveis e manter seu modelo preferido para outros trabalhos. A Anthropic documenta que as salvaguardas do Claude Fable 5.2 podem bloquear trabalhos legítimos de cibersegurança e ciências da vida. Testamos esse caso de uso em um subconjunto de 63 tarefas do Terminal-Bench 4.1.

Executamos o Claude Code com o Fable sozinho e com dois perfis de roteamento personalizados. Ambos os perfis mantiveram o Fable como padrão e atribuíram as rotas de cibersegurança, biologia e after_refusal ao GPT-6 Astra ou ao GPT-6.1 Sol. Também incluímos execuções independentes do Astra e do Sol no Codex para comparação.

Nesta comparação ajustada, as duas configurações do Claude Code com roteamento resolvem 41 de 63 tarefas, contra 38 do Fable sozinho, com um custo estimado por tarefa mais alto. O gráfico mostra esse trade-off ao lado do Astra e do Sol executados no Codex.

Terminal-Bench 4.1, comparação ajustada com 63 tarefas. Astra Codex inclui uma aprovação presumida; os custos são estimados.

O exemplo abaixo usa o Sol: as rotas de segurança e biologia o selecionam antes que ocorra uma recusa, e a rota after_refusal o seleciona quando a conversa já contém uma recusa.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

Roteamento por tipo de problema

Para um assistente de atendimento ao cliente, a maioria das perguntas exige apenas um modelo rápido e barato. Uma contestação de cobrança pede uma resposta cuidadosa e empática. Uma integração com defeito exige solução de problemas. O assistente pode usar duas rotas, para contestações de cobrança e problemas técnicos, deixando as perguntas rotineiras para o modelo padrão:

Rota

Descrição da tarefa

Modelo

default_model

Todo o resto, como alterar o e-mail da conta

GLM-5.3 Flash

billing_dispute

Um cliente contesta uma cobrança, pede reembolso ou está insatisfeito com um valor cobrado.

Claude Opus 5.5

technical_issue

Um cliente relata um bug, uma mensagem de erro ou uma integração que parou de funcionar e precisa de solução de problemas.

GPT-6.1 Sol

Como enviar uma solicitação roteada

Como o perplexity/auto atende uma solicitação: o modelo de decisão seleciona uma rota ou não retorna correspondência, e o Orchestrator chama o modelo selecionado ou o seu modelo padrão. Os cabeçalhos da resposta informam o resultado do roteamento.

A solicitação abaixo envia um problema de falha de API pelo perfil de atendimento ao cliente acima.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

O modelo de decisão associou as chamadas de API com falha à rota technical_issue, então o Orchestrator enviou a solicitação ao GPT-6.1 Sol. A resposta inclui a rota selecionada e o modelo que respondeu:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route identifica a rota selecionada ou nenhuma. x-perplexity-autoroute-outcome informa como a solicitação foi tratada, inclusive se foi roteada ou se recorreu ao seu modelo padrão. O campo model identifica o modelo que respondeu.

Roteamento dentro de uma conversa

À medida que uma conversa passa de uma tarefa para outra, o modelo que respondeu a um turno pode não ser a escolha certa para o próximo. Suas solicitações de acompanhamento incluem o histórico da conversa, então tanto o modelo de decisão quanto o modelo selecionado podem ler os turnos anteriores, incluindo respostas de outros modelos. Executamos três conversas reais de quatro turnos: atendimento ao cliente, programação e pesquisa.

Atendimento ao cliente

No exemplo acima, suponha que a mesma conversa passe de uma dúvida sobre a conta para uma contestação de cobrança e, depois, para uma integração com defeito. À medida que a tarefa muda, o modelo de decisão seleciona a rota correspondente; quando o usuário envia um agradecimento final, o Orchestrator volta para o GLM-5.3 Flash.

Conversa de atendimento: a rota e o modelo de cada turno.

Cache de prompts entre trocas de modelo

Cada solicitação carrega o histórico completo de mensagens, mas cada modelo mantém seu próprio cache. Quando a conversa volta para o GLM Flash no turno 4, ele pode reutilizar um prefixo correspondente do turno 1 enquanto ainda estiver em cache e, em seguida, processar as respostas adicionadas pelo Opus e pelo Sol nos turnos 2 e 3. O mesmo vale para o Opus ou o Sol, se forem selecionados no turno 5.

O Orchestrator mantém solicitações relacionadas na mesma implantação sempre que possível para preservar o cache de prompts. Reutilize um prompt_cache_key estável na conversa para ajudar a manter essa afinidade.

Cache de prompts entre trocas de modelo: o GLM Flash pode reutilizar seu prefixo anterior enquanto processa a conversa intermediária como nova entrada.

Assistente de programação

No turno 4 da conversa de programação, o GLM-5.3 Flash escreve uma docstring usando o contexto do diagnóstico de bug do Claude Opus 5.5 e do plano de implementação do GPT-6.1 Sol.

O perfil de roteamento atribui renomeações e pequenas edições ao GLM-5.3 Flash, o diagnóstico de bugs ao Claude Opus 5.5 e o planejamento de mudanças entre módulos ao GPT-6.1 Sol:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
Conversa de programação: a rota e o modelo de cada turno.

Assistente de pesquisa

No exemplo de pesquisa, uma pergunta factual leva a um cálculo, que então se torna a base de um memorando. O perfil atribui perguntas factuais ao GLM-5.3 Flash, cálculos ao GPT-6.1 Sol e a redação de memorandos ao Claude Opus 5.5:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

O memorando do turno 3 usa os cálculos da resposta anterior do GPT-6.1 Sol, arredondando os números sem pedir que o usuário os repita.

Conversa de pesquisa: a rota e o modelo de cada turno.

Comece a usar o Orchestrator

Conecte seu SDK da OpenAI ou da Anthropic existente com uma chave de API da Perplexity, a URL base do Orchestrator adequada e um modelo do catálogo.

O guia de início rápido aborda a configuração, a disponibilidade atual e o acesso. Em caso de dúvidas, entre em contato pelo api@perplexity.ai.