Orchestrator: una API para una inferencia fiable

Conéctate a modelos de IA de pesos abiertos y propietarios a través de una sola API con facturación unificada y conmutación por error automática sin cambiar de modelo.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator reúne modelos de pesos abiertos y propietarios en una sola API con facturación unificada. Elige automáticamente un proveedor en función de la disponibilidad, la capacidad y la latencia, y puede reintentar las solicitudes fallidas en otra implementación disponible del mismo modelo.

Una sola integración para modelos de pesos abiertos y propietarios

Orchestrator ofrece modelos de pesos abiertos alojados en la infraestructura de inferencia de Perplexity junto con modelos propietarios de otros proveedores. El catálogo actual recoge los modelos disponibles.

Acepta solicitudes de OpenAI Chat Completions, OpenAI Responses y Anthropic Messages, por lo que puedes conectarte con tu SDK de OpenAI o Anthropic actual.

La guía de inicio rápido y la guía de enrutamiento incluyen ejemplos de SDK y explican el comportamiento actual del enrutamiento.

Fiabilidad y velocidad entre proveedores

Fiabilidad

Elegir Claude no implica depender de un único proveedor: una solicitud que falla en Anthropic puede completarse correctamente en AWS Bedrock. La conmutación por error entre proveedores permite cambiar la implementación que atiende una solicitud sin cambiar de modelo.

Orchestrator utiliza el estado y la capacidad observados para distribuir las solicitudes entre las implementaciones de un modelo. Si un proveedor devuelve un error, alcanza un límite de frecuencia o agota el tiempo de espera, Orchestrator vuelve a intentarlo en otra implementación de ese modelo, con límites en el tiempo hasta el primer token y en la duración total de cada intento.

En las mediciones realizadas del 4 de octubre al 2 de noviembre de 2026, las solicitudes a Claude y GPT a través de Perplexity tuvieron éxito con más frecuencia que las solicitudes a cualquiera de los proveedores individuales que medimos. Sus tasas de éxito diarias también variaron menos durante las incidencias de los proveedores.

Tasas de éxito de las solicitudes, del 4 de octubre al 2 de noviembre de 2026: Claude a la izquierda; modelos GPT disponibles a través de OpenAI y de Azure a la derecha.
Tasas de éxito diarias de las solicitudes durante el mismo periodo: Claude a la izquierda y GPT a la derecha.

Consideramos que una solicitud había fallado cuando Orchestrator agotaba las implementaciones disponibles o la capa de servicio devolvía un error, pero excluimos los errores del cliente, como las solicitudes no válidas y las infracciones de los límites de frecuencia del cliente.

Velocidad de salida

Estamos trabajando en un enrutamiento adaptativo que tenga en cuenta la velocidad de los modelos para que Orchestrator pueda ajustar la selección de proveedores a medida que cambie el rendimiento.

El proveedor más rápido de cualquier modelo cambia con el tiempo. En el caso de Claude Opus 5.5, Anthropic fue el más rápido en 15 de los 30 días y AWS Bedrock, en los otros 15.

Mediana de la velocidad de salida de Claude Opus 5.5 por proveedor y día, del 4 de octubre al 2 de noviembre de 2026. La línea resaltada sigue al proveedor más rápido de cada día e ilustra el objetivo del enrutamiento en tiempo real basado en la velocidad.

Durante esos mismos 30 días, la mediana de la velocidad de salida de GPT-5.6 Sol en Azure fue un 27 % superior a la de OpenAI.

Mediana de la velocidad de salida de GPT-5.6 Sol después del primer token, del 4 de octubre al 2 de noviembre de 2026.

Una sola factura para todos los modelos

Cada solicitud computa únicamente en el uso de tokens del modelo que responde. Orchestrator cobra las tarifas por token publicadas de cada modelo independientemente del proveedor que atienda la solicitud, por lo que la conmutación por error entre proveedores no cambia esa tarifa. El uso se descuenta de los mismos créditos prepago que el resto de tu proyecto de la API de Perplexity.

En la consola de la API, puedes ver el gasto por modelo y filtrar el uso por clave de API. También puedes comprar créditos a través de AWS Marketplace.

Enrutamiento automático (versión preliminar): asigna a cada tarea el modelo adecuado

Orchestrator ofrece enrutamiento automático, una función opcional disponible en versión preliminar. Selecciona un modelo para cada solicitud mediante un perfil que asocia descripciones de tareas en lenguaje natural con modelos. Puedes definir tu propio perfil o usar el perfil predeterminado integrado de Orchestrator.

Las solicitudes con enrutamiento automático usan perplexity/auto como modelo. Para un perfil personalizado, incluye un objeto de enrutamiento con default_model y routes. Cada ruta especifica un nombre, una descripción y un modelo.

En cada solicitud, perplexity/auto llama a nuestro modelo de decisión para que lea la conversación y la compare con las descripciones de las rutas, sin ver los nombres de los modelos. A continuación, Orchestrator envía la solicitud al modelo asignado a la ruta seleccionada o, si ninguna ruta coincide, a tu modelo predeterminado. Orchestrator también recurre a tu modelo predeterminado si el modelo de decisión falla o agota el tiempo de espera.

Los siguientes ejemplos abarcan el enrutamiento para sortear los rechazos de los modelos, los tipos de incidencias de atención al cliente y los cambios de tarea dentro de una conversación.

Enrutamiento para sortear rechazos

Un agente puede usar el enrutamiento automático para evitar rechazos previsibles y mantener su modelo preferido para el resto del trabajo. Anthropic documenta que las salvaguardas de Claude Fable 5.2 pueden bloquear trabajos legítimos de ciberseguridad y ciencias de la vida. Probamos este caso de uso con un subconjunto de 63 tareas de Terminal-Bench 4.1.

Ejecutamos Claude Code solo con Fable y con dos perfiles de enrutamiento personalizados. Ambos perfiles mantenían Fable como modelo predeterminado y asignaban las rutas de ciberseguridad, biología y after_refusal a GPT-6 Astra o a GPT-6.1 Sol. Para comparar, también incluimos ejecuciones independientes de Astra y Sol en Codex.

En esta comparación ajustada, las dos configuraciones de Claude Code con enrutamiento resuelven 41 de 63 tareas, frente a las 38 de Fable por sí solo, con un coste estimado por tarea más elevado. El gráfico muestra esta compensación junto con Astra y Sol ejecutándose en Codex.

Terminal-Bench 4.1, comparación ajustada de 63 tareas. Astra Codex incluye una tarea que se da por superada; los costes son estimaciones.

El siguiente ejemplo usa Sol: las rutas de seguridad y biología lo seleccionan antes de que se produzca un rechazo, y after_refusal lo selecciona cuando la conversación ya contiene un rechazo.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

Enrutamiento por tipo de incidencia

Para un asistente de atención al cliente, la mayoría de las preguntas solo requieren un modelo rápido y económico. Una disputa de facturación exige una respuesta cuidadosa y empática. Una integración averiada requiere solucionar problemas. El asistente puede usar dos rutas, una para disputas de facturación y otra para problemas técnicos, y dejar las preguntas rutinarias a su modelo predeterminado:

Ruta

Descripción de la tarea

Modelo

default_model

Todo lo demás, como cambiar el correo electrónico de una cuenta

GLM-5.3 Flash

billing_dispute

Un cliente impugna un cargo, pide un reembolso o está molesto por un importe que se le ha cobrado.

Claude Opus 5.5

technical_issue

Un cliente informa de un fallo, un mensaje de error o una integración que ha dejado de funcionar y necesita ayuda para solucionar el problema.

GPT-6.1 Sol

Enviar una solicitud enrutada

Cómo atiende perplexity/auto una solicitud: el modelo de decisión selecciona una ruta o no devuelve ninguna coincidencia, y Orchestrator llama al modelo seleccionado o a tu modelo predeterminado. Los encabezados de la respuesta informan del resultado del enrutamiento.

La siguiente solicitud envía una incidencia de fallo de la API a través del perfil de atención al cliente anterior.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

El modelo de decisión asoció las llamadas fallidas a la API con technical_issue, así que Orchestrator envió la solicitud a GPT-6.1 Sol. La respuesta incluye la ruta seleccionada y el modelo que respondió:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route identifica la ruta seleccionada o indica que no hay ninguna. x-perplexity-autoroute-outcome informa de cómo se gestionó la solicitud, incluido si se enrutó o si se recurrió a tu modelo predeterminado. El campo model identifica el modelo que respondió.

Enrutamiento dentro de una conversación

A medida que una conversación pasa de una tarea a otra, el modelo que gestionó un turno puede no ser la mejor opción para el siguiente. Tus solicitudes de seguimiento incluyen el historial de la conversación, de modo que tanto el modelo de decisión como el modelo seleccionado pueden leer los turnos anteriores, incluidas las respuestas de otros modelos. Probamos tres conversaciones reales de cuatro turnos: atención al cliente, programación e investigación.

Atención al cliente

En el ejemplo anterior, supongamos que la misma conversación pasa de una pregunta sobre la cuenta a una disputa de facturación y, después, a una integración averiada. A medida que cambia la tarea, el modelo de decisión selecciona la ruta correspondiente; cuando el usuario envía un agradecimiento final, Orchestrator vuelve a GLM-5.3 Flash.

Conversación de atención al cliente: la ruta y el modelo de cada turno.

Almacenamiento en caché de prompts entre traspasos de modelo

Cada solicitud incluye el historial completo de mensajes, pero cada modelo mantiene su propia caché. Cuando la conversación vuelve a GLM Flash en el turno 4, este puede reutilizar un prefijo coincidente del turno 1 mientras siga en caché y, a continuación, procesar las respuestas añadidas por Opus y Sol en los turnos 2 y 3. Lo mismo ocurre con Opus o Sol si se seleccionan en el turno 5.

Orchestrator mantiene las solicitudes relacionadas en la misma implementación siempre que es posible para conservar el almacenamiento en caché de prompts. Reutiliza un valor estable de prompt_cache_key en la conversación para ayudar a mantener esa afinidad.

Almacenamiento en caché de prompts entre traspasos de modelo: GLM Flash puede reutilizar su prefijo anterior mientras procesa la conversación intermedia como entrada nueva.

Asistente de programación

En el turno 4 de la conversación de programación, GLM-5.3 Flash escribe un docstring con el contexto del diagnóstico del error de Claude Opus 5.5 y del plan de implementación de GPT-6.1 Sol.

El perfil de enrutamiento asigna los cambios de nombre y las ediciones pequeñas a GLM-5.3 Flash, el diagnóstico de errores a Claude Opus 5.5 y la planificación de cambios entre módulos a GPT-6.1 Sol:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
Conversación de programación: la ruta y el modelo de cada turno.

Asistente de investigación

En el ejemplo de investigación, una pregunta factual da lugar a un cálculo, que a su vez sirve de base para un memorando. El perfil asigna las preguntas factuales a GLM-5.3 Flash, los cálculos a GPT-6.1 Sol y la redacción del memorando a Claude Opus 5.5:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

El memorando del turno 3 utiliza los cálculos de la respuesta anterior de GPT-6.1 Sol y redondea las cifras sin pedir al usuario que las repita.

Conversación de investigación: la ruta y el modelo de cada turno.

Primeros pasos con Orchestrator

Conecta tu SDK de OpenAI o Anthropic actual con una clave de API de Perplexity, la URL base de Orchestrator adecuada y un modelo del catálogo.

La guía de inicio rápido explica la configuración, la disponibilidad actual y el acceso. Si tienes preguntas, escribe a api@perplexity.ai.