Orchestrator: una API para una inferencia confiable
Conéctate a modelos de IA de pesos abiertos y propietarios mediante una sola API con facturación unificada y conmutación automática por error dentro del mismo modelo.

Orchestrator reúne modelos de pesos abiertos y propietarios en una sola API con facturación unificada. Elige automáticamente un proveedor según la disponibilidad, la capacidad y la latencia, y puede reintentar las solicitudes fallidas en otra implementación disponible del mismo modelo.
Una sola integración para modelos de pesos abiertos y propietarios
Orchestrator ofrece modelos de pesos abiertos alojados en la infraestructura de inferencia de Perplexity junto con modelos propietarios de otros proveedores. El catálogo actual enumera los modelos disponibles.
Acepta solicitudes de OpenAI Chat Completions, OpenAI Responses y Anthropic Messages, así que puedes conectarte con tu SDK de OpenAI o Anthropic existente.
La guía de inicio rápido y la guía de enrutamiento incluyen ejemplos de SDK y el comportamiento actual del enrutamiento.
Confiabilidad y velocidad entre proveedores
Confiabilidad
Elegir Claude no tiene por qué significar depender de un solo proveedor: una solicitud que falla en Anthropic aún puede tener éxito en AWS Bedrock. La conmutación por error entre proveedores permite cambiar la implementación que atiende una solicitud sin cambiar el modelo.
Orchestrator usa el estado observado y la capacidad para distribuir las solicitudes entre las implementaciones de un modelo. Si un proveedor devuelve un error, alcanza un límite de frecuencia o se agota su tiempo de espera, Orchestrator vuelve a intentarlo en otra implementación de ese modelo, con límites en el tiempo hasta el primer token y en la duración total de cada intento.
En mediciones del 4 de octubre al 2 de noviembre de 2026, las solicitudes de Claude y GPT a través de Perplexity tuvieron éxito con mayor frecuencia que las solicitudes a cualquiera de los proveedores individuales que medimos. Sus tasas de éxito diarias también variaron menos durante los incidentes de los proveedores.
Contamos una solicitud como fallida cuando Orchestrator agotó las implementaciones disponibles o la capa de servicio devolvió un error, pero excluimos los errores del cliente, como las solicitudes no válidas y las infracciones de límites de frecuencia del cliente.
Velocidad de salida
Estamos trabajando en un enrutamiento adaptativo que tenga en cuenta la velocidad de los modelos para que Orchestrator pueda ajustar la selección de proveedores a medida que cambie el rendimiento.
El proveedor más rápido para cualquier modelo cambia con el tiempo. En el caso de Claude Opus 5.5, Anthropic fue el más rápido en 15 de los 30 días, y AWS Bedrock, en los otros 15.
En los mismos 30 días, la velocidad de salida mediana de GPT-5.6 Sol en Azure fue un 27% mayor que la de OpenAI.
Una sola factura para todos los modelos
Cada solicitud cuenta solo para el uso de tokens del modelo que responde. Orchestrator cobra las tarifas por token publicadas de cada modelo sin importar qué proveedor atienda la solicitud, así que la conmutación por error entre proveedores no cambia esa tarifa. El uso se descuenta de los mismos créditos prepagados que el resto de tu proyecto de la API de Perplexity.
En la API Console, puedes ver el gasto por modelo y filtrar el uso por clave de API. También puedes comprar créditos a través de AWS Marketplace.
Enrutamiento automático (versión preliminar): asigna a cada tarea el modelo adecuado
Orchestrator ofrece enrutamiento automático, una función opcional disponible en versión preliminar. Selecciona un modelo para cada solicitud mediante un perfil que asocia descripciones de tareas en lenguaje sencillo con modelos. Puedes definir tu propio perfil o usar el perfil predeterminado integrado de Orchestrator.
Las solicitudes con enrutamiento automático usan perplexity/auto como modelo. Para un perfil personalizado, incluye un objeto de enrutamiento con default_model y routes. Cada ruta especifica un nombre, una descripción y un modelo.
En cada solicitud, perplexity/auto llama a nuestro modelo de decisión para que lea la conversación y la compare con las descripciones de las rutas, sin ver los nombres de los modelos. Luego, Orchestrator envía la solicitud al modelo asignado a la ruta seleccionada o a tu modelo predeterminado si ninguna ruta coincide. Orchestrator también usa tu modelo predeterminado si el modelo de decisión falla o se agota su tiempo de espera.
Los siguientes ejemplos abarcan el enrutamiento para evitar rechazos de los modelos, los tipos de problemas de atención al cliente y los cambios de tarea dentro de una conversación.
Enrutamiento para evitar rechazos
Un agente puede usar el enrutamiento automático para evitar rechazos predecibles sin dejar de usar su modelo preferido para otros trabajos. Anthropic documenta que las salvaguardas de Claude Fable 5.2 pueden bloquear trabajo inofensivo de ciberseguridad y ciencias de la vida. Probamos este caso de uso en un subconjunto de 63 tareas de Terminal-Bench 4.1.
Ejecutamos Claude Code con Fable por sí solo y con dos perfiles de enrutamiento personalizados. Ambos perfiles mantuvieron Fable como modelo predeterminado y asignaron las rutas de ciberseguridad, biología y after_refusal a GPT-6 Astra o a GPT-6.1 Sol. También incluimos ejecuciones independientes de Astra y Sol en Codex para comparar.
En esta comparación ajustada, las dos configuraciones de Claude Code con enrutamiento resuelven 41 de 63 tareas, frente a 38 de Fable por sí solo, con un costo estimado por tarea más alto. La gráfica muestra esta compensación junto con Astra y Sol ejecutándose en Codex.
El siguiente ejemplo usa Sol: las rutas de seguridad y biología lo seleccionan antes de que ocurra un rechazo, y after_refusal lo selecciona cuando la conversación ya contiene un rechazo.
"routing": {
"default_model": "anthropic/claude-fable-5-2",
"routes": [
{"name": "security",
"description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.",
"model": "openai/gpt-6.1-sol"},
{"name": "biology",
"description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.",
"model": "openai/gpt-6.1-sol"},
{"name": "after_refusal",
"description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.",
"model": "openai/gpt-6.1-sol"}
]
}Enrutamiento por tipo de problema
Para un asistente de atención al cliente, la mayoría de las preguntas solo necesitan un modelo rápido y económico. Una disputa de facturación exige una respuesta cuidadosa y empática. Una integración averiada requiere solución de problemas. El asistente puede usar dos rutas, para disputas de facturación y problemas técnicos, y dejar las preguntas rutinarias a su modelo predeterminado:
Ruta | Descripción de la tarea | Modelo |
default_model | Todo lo demás, por ejemplo, cómo cambiar el correo electrónico de una cuenta | GLM-5.3 Flash |
billing_dispute | Un cliente impugna un cargo, pide un reembolso o está molesto por un monto que se le cobró. | Claude Opus 5.5 |
technical_issue | Un cliente reporta una falla, un mensaje de error o una integración que dejó de funcionar y que requiere solución de problemas. | GPT-6.1 Sol |
Envío de una solicitud enrutada
La siguiente solicitud envía un problema de falla de la API a través del perfil de atención al cliente anterior.
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \
-H "Authorization: Bearer $PERPLEXITY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7",
"model": "perplexity/auto",
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "billing_dispute",
"description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.",
"model": "anthropic/claude-opus-5-5"},
{"name": "technical_issue",
"description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.",
"model": "openai/gpt-6.1-sol"}
]
},
"messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}]
}'El modelo de decisión asoció las llamadas fallidas a la API con technical_issue, así que Orchestrator envió la solicitud a GPT-6.1 Sol. La respuesta incluye la ruta seleccionada y el modelo que respondió:
HTTP/2 200
x-perplexity-autoroute-outcome: routed
x-perplexity-autoroute-route: technical_issue
{"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}x-perplexity-autoroute-route identifica la ruta seleccionada, o ninguna. x-perplexity-autoroute-outcome informa cómo se gestionó la solicitud, incluido si se enrutó o se recurrió a tu modelo predeterminado. El campo model identifica el modelo que respondió.
Enrutamiento dentro de una conversación
A medida que una conversación pasa de una tarea a otra, el modelo que atendió un turno puede no ser la opción adecuada para el siguiente. Tus solicitudes de seguimiento incluyen el historial de la conversación, así que tanto el modelo de decisión como el modelo seleccionado pueden leer los turnos anteriores, incluidas las respuestas de otros modelos. Ejecutamos tres conversaciones reales de cuatro turnos: atención al cliente, programación e investigación.
Atención al cliente
En el ejemplo anterior, supongamos que la misma conversación pasa de una pregunta sobre la cuenta a una disputa de facturación y luego a una integración averiada. A medida que cambia la tarea, el modelo de decisión selecciona la ruta correspondiente; cuando el usuario envía un agradecimiento de cierre, Orchestrator vuelve a GLM-5.3 Flash.
Almacenamiento en caché de prompts entre traspasos de modelo
Cada solicitud incluye el historial completo de mensajes, pero cada modelo mantiene su propia caché. Cuando la conversación vuelve a GLM Flash en el turno 4, este puede reutilizar un prefijo coincidente del turno 1 mientras siga en caché y luego procesar las respuestas que Opus y Sol agregaron en los turnos 2 y 3. Lo mismo aplica a Opus o Sol si se seleccionan en el turno 5.
Orchestrator mantiene las solicitudes relacionadas en la misma implementación siempre que es posible para conservar el almacenamiento en caché de prompts. Reutiliza un prompt_cache_key estable para la conversación y así ayudar a mantener esa afinidad.
Asistente de programación
En el turno 4 de la conversación de programación, GLM-5.3 Flash escribe un docstring usando el contexto del diagnóstico del error de Claude Opus 5.5 y del plan de implementación de GPT-6.1 Sol.
El perfil de enrutamiento asigna los cambios de nombre y las ediciones menores a GLM-5.3 Flash, el diagnóstico de errores a Claude Opus 5.5 y la planificación de cambios entre módulos a GPT-6.1 Sol:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "hard_debugging",
"description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.",
"model": "anthropic/claude-opus-5-5"},
{"name": "design_change",
"description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.",
"model": "openai/gpt-6.1-sol"}
]
}Asistente de investigación
En el ejemplo de investigación, una pregunta factual lleva a un cálculo, que luego sirve de base para un memorándum. El perfil asigna las preguntas factuales a GLM-5.3 Flash, los cálculos a GPT-6.1 Sol y la redacción del memorándum a Claude Opus 5.5:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "quantitative_analysis",
"description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.",
"model": "openai/gpt-6.1-sol"},
{"name": "long_form_writing",
"description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.",
"model": "anthropic/claude-opus-5-5"}
]
}El memorándum del turno 3 usa los cálculos de la respuesta anterior de GPT-6.1 Sol y redondea las cifras sin pedirle al usuario que las repita.
Comienza a usar Orchestrator
Conecta tu SDK de OpenAI o Anthropic existente con una clave de API de Perplexity, la URL base de Orchestrator correspondiente y un modelo del catálogo.
La guía de inicio rápido explica la configuración, la disponibilidad actual y el acceso. Si tienes preguntas, escribe a api@perplexity.ai.