Orchestrator: unha API para unha inferencia fiable
Conéctate a modelos de IA de pesos abertos e propietarios a través dunha única API con facturación unificada e conmutación automática por erro entre implementacións do mesmo modelo.

Orchestrator reúne modelos de pesos abertos e propietarios nunha única API con facturación unificada. Elixe automaticamente un provedor en función da dispoñibilidade, a capacidade e a latencia, e pode reintentar as solicitudes fallidas noutra implementación dispoñible do mesmo modelo.
Unha única integración para modelos de pesos abertos e propietarios
Orchestrator ofrece modelos de pesos abertos aloxados na infraestrutura de inferencia de Perplexity xunto con modelos propietarios doutros provedores. O catálogo actual enumera os modelos dispoñibles.
Acepta solicitudes de OpenAI Chat Completions, OpenAI Responses e Anthropic Messages, así que podes conectarte a través do teu SDK de OpenAI ou Anthropic existente.
A guía de inicio rápido e a guía de enrutamento inclúen exemplos de SDK e o comportamento actual do enrutamento.
Fiabilidade e velocidade entre provedores
Fiabilidade
Elixir Claude non ten por que significar depender dun único provedor: unha solicitude que falla en Anthropic aínda pode ter éxito en AWS Bedrock. A conmutación por erro entre provedores permite cambiar a implementación que atende unha solicitude sen cambiar de modelo.
Orchestrator usa o estado e a capacidade observados para distribuír as solicitudes entre as implementacións dun modelo. Se un provedor devolve un erro, alcanza un límite de frecuencia ou supera o tempo de espera, Orchestrator volve tentalo noutra implementación dese modelo, con límites no tempo ata o primeiro token e na duración total de cada intento.
Nas medicións realizadas do 4 de outubro ao 2 de novembro de 2026, as solicitudes a Claude e GPT a través de Perplexity tiveron éxito con máis frecuencia que as solicitudes a calquera provedor individual que medimos. As súas taxas de éxito diarias tamén variaron menos durante as incidencias dos provedores.
Consideramos que unha solicitude fallou cando Orchestrator esgotou as implementacións dispoñibles ou a capa de servizo devolveu un erro, pero excluímos os erros do cliente, como as solicitudes non válidas e as infraccións dos límites de frecuencia do cliente.
Velocidade de saída
Estamos a traballar nun enrutamento adaptativo que teña en conta a velocidade dos modelos para que Orchestrator poida axustar a selección de provedores a medida que cambia o rendemento.
O provedor máis rápido para calquera modelo cambia co tempo. No caso de Claude Opus 5.5, Anthropic foi o máis rápido en 15 dos 30 días, e AWS Bedrock nos outros 15.
Durante eses mesmos 30 días, a velocidade de saída mediana de GPT-5.6 Sol en Azure foi un 27 % superior á de OpenAI.
Unha soa factura para todos os modelos
Cada solicitude computa só no uso de tokens do modelo que responde. Orchestrator cobra as tarifas publicadas por token de cada modelo independentemente do provedor que atenda a solicitude, polo que a conmutación por erro entre provedores non cambia esa tarifa. O uso desconta dos mesmos créditos prepagados que o resto do teu proxecto da API de Perplexity.
Na consola da API, podes ver o gasto por modelo e filtrar o uso por clave da API. Tamén podes comprar créditos a través de AWS Marketplace.
Enrutamento automático (vista previa): asigna a cada tarefa o modelo axeitado
Orchestrator ofrece o enrutamento automático, unha función opcional dispoñible en vista previa. Selecciona un modelo para cada solicitude mediante un perfil que asocia descricións de tarefas en linguaxe sinxela con modelos. Podes definir o teu propio perfil ou usar o perfil predeterminado integrado de Orchestrator.
As solicitudes de enrutamento automático usan perplexity/auto como modelo. Para un perfil personalizado, inclúe un obxecto de enrutamento con default_model e routes. Cada ruta especifica un nome, unha descrición e un modelo.
Para cada solicitude, perplexity/auto chama ao noso modelo de decisión para que lea a conversa e a compare coas descricións das rutas, sen ver os nomes dos modelos. A continuación, Orchestrator envía a solicitude ao modelo asignado á ruta seleccionada ou ao teu modelo predeterminado se ningunha ruta coincide. Orchestrator tamén usa o teu modelo predeterminado se o modelo de decisión falla ou supera o tempo de espera.
Os seguintes exemplos tratan o enrutamento para evitar os rexeitamentos dos modelos, os tipos de incidencia de atención ao cliente e os cambios de tarefa dentro dunha conversa.
Enrutamento para evitar rexeitamentos
Un axente pode usar o enrutamento automático para evitar rexeitamentos previsibles e manter o seu modelo preferido para o resto do traballo. Anthropic documenta que as salvagardas de Claude Fable 5.2 poden bloquear traballo benigno de ciberseguridade e ciencias da vida. Probamos este caso de uso nun subconxunto de 63 tarefas de Terminal-Bench 4.1.
Executamos Claude Code con Fable en solitario e con dous perfís de enrutamento personalizados. Ambos os perfís mantiveron Fable como modelo predeterminado e asignaron as rutas de ciberseguridade, bioloxía e after_refusal a GPT-6 Astra ou a GPT-6.1 Sol. Tamén incluímos execucións independentes de Astra e Sol en Codex para comparar.
Nesta comparación axustada, ambas as configuracións de Claude Code con enrutamento resolven 41 das 63 tarefas, fronte a 38 de Fable en solitario, cun custo estimado por tarefa máis alto. O gráfico mostra este compromiso xunto a Astra e Sol executándose en Codex.
O seguinte exemplo usa Sol: as rutas de seguridade e bioloxía selecciónano antes de que se produza un rexeitamento, e after_refusal selecciónao cando a conversa xa contén un rexeitamento.
"routing": {
"default_model": "anthropic/claude-fable-5-2",
"routes": [
{"name": "security",
"description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.",
"model": "openai/gpt-6.1-sol"},
{"name": "biology",
"description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.",
"model": "openai/gpt-6.1-sol"},
{"name": "after_refusal",
"description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.",
"model": "openai/gpt-6.1-sol"}
]
}Enrutamento por tipo de incidencia
Para un asistente de atención ao cliente, a maioría das preguntas só precisan un modelo rápido e económico. Unha disputa de facturación require unha resposta coidadosa e empática. Unha integración que non funciona require solucionar problemas. O asistente pode usar dúas rutas para as disputas de facturación e as incidencias técnicas, e deixar as preguntas habituais ao seu modelo predeterminado:
Ruta | Descrición da tarefa | Modelo |
default_model | Todo o demais, como cambiar o correo electrónico dunha conta | GLM-5.3 Flash |
billing_dispute | Un cliente impugna un cargo, solicita un reembolso ou está molesto por un importe que se lle facturou. | Claude Opus 5.5 |
technical_issue | Un cliente informa dun fallo, dunha mensaxe de erro ou dunha integración que deixou de funcionar e necesita solución de problemas. | GPT-6.1 Sol |
Envío dunha solicitude enrutada
A seguinte solicitude envía unha incidencia de fallo da API a través do perfil de atención ao cliente anterior.
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \
-H "Authorization: Bearer $PERPLEXITY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7",
"model": "perplexity/auto",
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "billing_dispute",
"description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.",
"model": "anthropic/claude-opus-5-5"},
{"name": "technical_issue",
"description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.",
"model": "openai/gpt-6.1-sol"}
]
},
"messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}]
}'O modelo de decisión asociou as chamadas á API fallidas con technical_issue, polo que Orchestrator enviou a solicitude a GPT-6.1 Sol. A resposta inclúe a ruta seleccionada e o modelo que respondeu:
HTTP/2 200
x-perplexity-autoroute-outcome: routed
x-perplexity-autoroute-route: technical_issue
{"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}x-perplexity-autoroute-route identifica a ruta seleccionada, ou ningunha. x-perplexity-autoroute-outcome indica como se xestionou a solicitude, incluído se se enrutou ou se recorreu ao teu modelo predeterminado. O campo model identifica o modelo que respondeu.
Enrutamento dentro dunha conversa
A medida que unha conversa pasa dunha tarefa a outra, o modelo que xestionou unha quenda pode non ser a opción axeitada para a seguinte. As túas solicitudes de seguimento inclúen o historial da conversa, polo que tanto o modelo de decisión como o modelo seleccionado poden ler as quendas anteriores, incluídas as respostas doutros modelos. Executamos tres conversas reais de catro quendas: atención ao cliente, programación e investigación.
Atención ao cliente
No exemplo anterior, supón que a mesma conversa pasa dunha pregunta sobre a conta a unha disputa de facturación e despois a unha integración que non funciona. A medida que cambia a tarefa, o modelo de decisión selecciona a ruta correspondente; cando o usuario envía un agradecemento final, Orchestrator volve a GLM-5.3 Flash.
Caché de prompts entre cambios de modelo
Cada solicitude leva o historial completo de mensaxes, pero cada modelo mantén a súa propia caché. Cando a conversa volve a GLM Flash na quenda 4, este pode reutilizar un prefixo coincidente da quenda 1 mentres siga na caché e, a seguir, procesar as respostas engadidas por Opus e Sol nas quendas 2 e 3. O mesmo ocorre con Opus ou Sol se se seleccionan na quenda 5.
Orchestrator mantén as solicitudes relacionadas na mesma implementación sempre que é posible para preservar a caché de prompts. Reutiliza un prompt_cache_key estable para a conversa e así axudar a manter esa afinidade.
Asistente de programación
Na quenda 4 da conversa de programación, GLM-5.3 Flash escribe un docstring usando o contexto do diagnóstico do fallo de Claude Opus 5.5 e do plan de implementación de GPT-6.1 Sol.
O perfil de enrutamento asigna os cambios de nome e as edicións pequenas a GLM-5.3 Flash, o diagnóstico de fallos a Claude Opus 5.5 e a planificación de cambios entre módulos a GPT-6.1 Sol:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "hard_debugging",
"description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.",
"model": "anthropic/claude-opus-5-5"},
{"name": "design_change",
"description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.",
"model": "openai/gpt-6.1-sol"}
]
}Asistente de investigación
No exemplo de investigación, unha pregunta factual dá lugar a un cálculo, que logo se converte na base dun memorando. O perfil asigna as preguntas factuais a GLM-5.3 Flash, os cálculos a GPT-6.1 Sol e a redacción de memorandos a Claude Opus 5.5:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "quantitative_analysis",
"description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.",
"model": "openai/gpt-6.1-sol"},
{"name": "long_form_writing",
"description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.",
"model": "anthropic/claude-opus-5-5"}
]
}O memorando da quenda 3 usa os cálculos da resposta anterior de GPT-6.1 Sol e redondea as cifras sen pedirlle ao usuario que as repita.
Comeza con Orchestrator
Conecta o teu SDK de OpenAI ou Anthropic existente cunha clave da API de Perplexity, o URL base de Orchestrator axeitado e un modelo do catálogo.
A guía de inicio rápido trata a configuración, a dispoñibilidade actual e o acceso. Se tes preguntas, escribe a api@perplexity.ai.