Orchestrator: una API para una inferencia confiable

Conéctate a modelos de IA de pesos abiertos y propietarios mediante una sola API con facturación unificada y conmutación automática por error dentro del mismo modelo.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator reúne modelos de pesos abiertos y propietarios en una sola API con facturación unificada. Elige automáticamente un proveedor según la disponibilidad, la capacidad y la latencia, y puede reintentar las solicitudes fallidas en otra implementación disponible del mismo modelo.

Una sola integración para modelos de pesos abiertos y propietarios

Orchestrator ofrece modelos de pesos abiertos alojados en la infraestructura de inferencia de Perplexity junto con modelos propietarios de otros proveedores. El catálogo actual enumera los modelos disponibles.

Acepta solicitudes de OpenAI Chat Completions, OpenAI Responses y Anthropic Messages, así que puedes conectarte con tu SDK de OpenAI o Anthropic existente.

La guía de inicio rápido y la guía de enrutamiento incluyen ejemplos de SDK y el comportamiento actual del enrutamiento.

Confiabilidad y velocidad entre proveedores

Confiabilidad

Elegir Claude no tiene por qué significar depender de un solo proveedor: una solicitud que falla en Anthropic aún puede tener éxito en AWS Bedrock. La conmutación por error entre proveedores permite cambiar la implementación que atiende una solicitud sin cambiar el modelo.

Orchestrator usa el estado observado y la capacidad para distribuir las solicitudes entre las implementaciones de un modelo. Si un proveedor devuelve un error, alcanza un límite de frecuencia o se agota su tiempo de espera, Orchestrator vuelve a intentarlo en otra implementación de ese modelo, con límites en el tiempo hasta el primer token y en la duración total de cada intento.

En mediciones del 4 de octubre al 2 de noviembre de 2026, las solicitudes de Claude y GPT a través de Perplexity tuvieron éxito con mayor frecuencia que las solicitudes a cualquiera de los proveedores individuales que medimos. Sus tasas de éxito diarias también variaron menos durante los incidentes de los proveedores.

Tasas de éxito de las solicitudes, del 4 de octubre al 2 de noviembre de 2026: Claude a la izquierda; a la derecha, los modelos GPT disponibles tanto en OpenAI como en Azure.
Tasas de éxito diarias de las solicitudes en el mismo periodo: Claude a la izquierda y GPT a la derecha.

Contamos una solicitud como fallida cuando Orchestrator agotó las implementaciones disponibles o la capa de servicio devolvió un error, pero excluimos los errores del cliente, como las solicitudes no válidas y las infracciones de límites de frecuencia del cliente.

Velocidad de salida

Estamos trabajando en un enrutamiento adaptativo que tenga en cuenta la velocidad de los modelos para que Orchestrator pueda ajustar la selección de proveedores a medida que cambie el rendimiento.

El proveedor más rápido para cualquier modelo cambia con el tiempo. En el caso de Claude Opus 5.5, Anthropic fue el más rápido en 15 de los 30 días, y AWS Bedrock, en los otros 15.

Velocidad de salida mediana de Claude Opus 5.5 por proveedor y día, del 4 de octubre al 2 de noviembre de 2026. La línea resaltada sigue al proveedor más rápido de cada día e ilustra el objetivo del enrutamiento en tiempo real según la velocidad.

En los mismos 30 días, la velocidad de salida mediana de GPT-5.6 Sol en Azure fue un 27% mayor que la de OpenAI.

Velocidad de salida mediana de GPT-5.6 Sol después del primer token, del 4 de octubre al 2 de noviembre de 2026.

Una sola factura para todos los modelos

Cada solicitud cuenta solo para el uso de tokens del modelo que responde. Orchestrator cobra las tarifas por token publicadas de cada modelo sin importar qué proveedor atienda la solicitud, así que la conmutación por error entre proveedores no cambia esa tarifa. El uso se descuenta de los mismos créditos prepagados que el resto de tu proyecto de la API de Perplexity.

En la API Console, puedes ver el gasto por modelo y filtrar el uso por clave de API. También puedes comprar créditos a través de AWS Marketplace.

Enrutamiento automático (versión preliminar): asigna a cada tarea el modelo adecuado

Orchestrator ofrece enrutamiento automático, una función opcional disponible en versión preliminar. Selecciona un modelo para cada solicitud mediante un perfil que asocia descripciones de tareas en lenguaje sencillo con modelos. Puedes definir tu propio perfil o usar el perfil predeterminado integrado de Orchestrator.

Las solicitudes con enrutamiento automático usan perplexity/auto como modelo. Para un perfil personalizado, incluye un objeto de enrutamiento con default_model y routes. Cada ruta especifica un nombre, una descripción y un modelo.

En cada solicitud, perplexity/auto llama a nuestro modelo de decisión para que lea la conversación y la compare con las descripciones de las rutas, sin ver los nombres de los modelos. Luego, Orchestrator envía la solicitud al modelo asignado a la ruta seleccionada o a tu modelo predeterminado si ninguna ruta coincide. Orchestrator también usa tu modelo predeterminado si el modelo de decisión falla o se agota su tiempo de espera.

Los siguientes ejemplos abarcan el enrutamiento para evitar rechazos de los modelos, los tipos de problemas de atención al cliente y los cambios de tarea dentro de una conversación.

Enrutamiento para evitar rechazos

Un agente puede usar el enrutamiento automático para evitar rechazos predecibles sin dejar de usar su modelo preferido para otros trabajos. Anthropic documenta que las salvaguardas de Claude Fable 5.2 pueden bloquear trabajo inofensivo de ciberseguridad y ciencias de la vida. Probamos este caso de uso en un subconjunto de 63 tareas de Terminal-Bench 4.1.

Ejecutamos Claude Code con Fable por sí solo y con dos perfiles de enrutamiento personalizados. Ambos perfiles mantuvieron Fable como modelo predeterminado y asignaron las rutas de ciberseguridad, biología y after_refusal a GPT-6 Astra o a GPT-6.1 Sol. También incluimos ejecuciones independientes de Astra y Sol en Codex para comparar.

En esta comparación ajustada, las dos configuraciones de Claude Code con enrutamiento resuelven 41 de 63 tareas, frente a 38 de Fable por sí solo, con un costo estimado por tarea más alto. La gráfica muestra esta compensación junto con Astra y Sol ejecutándose en Codex.

Terminal-Bench 4.1, comparación ajustada de 63 tareas. Astra Codex incluye una tarea que se da por superada; los costos son estimados.

El siguiente ejemplo usa Sol: las rutas de seguridad y biología lo seleccionan antes de que ocurra un rechazo, y after_refusal lo selecciona cuando la conversación ya contiene un rechazo.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

Enrutamiento por tipo de problema

Para un asistente de atención al cliente, la mayoría de las preguntas solo necesitan un modelo rápido y económico. Una disputa de facturación exige una respuesta cuidadosa y empática. Una integración averiada requiere solución de problemas. El asistente puede usar dos rutas, para disputas de facturación y problemas técnicos, y dejar las preguntas rutinarias a su modelo predeterminado:

Ruta

Descripción de la tarea

Modelo

default_model

Todo lo demás, por ejemplo, cómo cambiar el correo electrónico de una cuenta

GLM-5.3 Flash

billing_dispute

Un cliente impugna un cargo, pide un reembolso o está molesto por un monto que se le cobró.

Claude Opus 5.5

technical_issue

Un cliente reporta una falla, un mensaje de error o una integración que dejó de funcionar y que requiere solución de problemas.

GPT-6.1 Sol

Envío de una solicitud enrutada

Cómo atiende perplexity/auto una solicitud: el modelo de decisión selecciona una ruta o indica que no hay coincidencia, y Orchestrator llama al modelo seleccionado o a tu modelo predeterminado. Los encabezados de la respuesta informan el resultado del enrutamiento.

La siguiente solicitud envía un problema de falla de la API a través del perfil de atención al cliente anterior.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

El modelo de decisión asoció las llamadas fallidas a la API con technical_issue, así que Orchestrator envió la solicitud a GPT-6.1 Sol. La respuesta incluye la ruta seleccionada y el modelo que respondió:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route identifica la ruta seleccionada, o ninguna. x-perplexity-autoroute-outcome informa cómo se gestionó la solicitud, incluido si se enrutó o se recurrió a tu modelo predeterminado. El campo model identifica el modelo que respondió.

Enrutamiento dentro de una conversación

A medida que una conversación pasa de una tarea a otra, el modelo que atendió un turno puede no ser la opción adecuada para el siguiente. Tus solicitudes de seguimiento incluyen el historial de la conversación, así que tanto el modelo de decisión como el modelo seleccionado pueden leer los turnos anteriores, incluidas las respuestas de otros modelos. Ejecutamos tres conversaciones reales de cuatro turnos: atención al cliente, programación e investigación.

Atención al cliente

En el ejemplo anterior, supongamos que la misma conversación pasa de una pregunta sobre la cuenta a una disputa de facturación y luego a una integración averiada. A medida que cambia la tarea, el modelo de decisión selecciona la ruta correspondiente; cuando el usuario envía un agradecimiento de cierre, Orchestrator vuelve a GLM-5.3 Flash.

Conversación de atención al cliente: la ruta y el modelo de cada turno.

Almacenamiento en caché de prompts entre traspasos de modelo

Cada solicitud incluye el historial completo de mensajes, pero cada modelo mantiene su propia caché. Cuando la conversación vuelve a GLM Flash en el turno 4, este puede reutilizar un prefijo coincidente del turno 1 mientras siga en caché y luego procesar las respuestas que Opus y Sol agregaron en los turnos 2 y 3. Lo mismo aplica a Opus o Sol si se seleccionan en el turno 5.

Orchestrator mantiene las solicitudes relacionadas en la misma implementación siempre que es posible para conservar el almacenamiento en caché de prompts. Reutiliza un prompt_cache_key estable para la conversación y así ayudar a mantener esa afinidad.

Almacenamiento en caché de prompts entre traspasos de modelo: GLM Flash puede reutilizar su prefijo anterior mientras procesa como entrada nueva la conversación intermedia.

Asistente de programación

En el turno 4 de la conversación de programación, GLM-5.3 Flash escribe un docstring usando el contexto del diagnóstico del error de Claude Opus 5.5 y del plan de implementación de GPT-6.1 Sol.

El perfil de enrutamiento asigna los cambios de nombre y las ediciones menores a GLM-5.3 Flash, el diagnóstico de errores a Claude Opus 5.5 y la planificación de cambios entre módulos a GPT-6.1 Sol:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
Conversación de programación: la ruta y el modelo de cada turno.

Asistente de investigación

En el ejemplo de investigación, una pregunta factual lleva a un cálculo, que luego sirve de base para un memorándum. El perfil asigna las preguntas factuales a GLM-5.3 Flash, los cálculos a GPT-6.1 Sol y la redacción del memorándum a Claude Opus 5.5:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

El memorándum del turno 3 usa los cálculos de la respuesta anterior de GPT-6.1 Sol y redondea las cifras sin pedirle al usuario que las repita.

Conversación de investigación: la ruta y el modelo de cada turno.

Comienza a usar Orchestrator

Conecta tu SDK de OpenAI o Anthropic existente con una clave de API de Perplexity, la URL base de Orchestrator correspondiente y un modelo del catálogo.

La guía de inicio rápido explica la configuración, la disponibilidad actual y el acceso. Si tienes preguntas, escribe a api@perplexity.ai.