Orchestrator: una API per a una inferència fiable
Connecta’t a models d’IA de pesos oberts i propietaris mitjançant una sola API amb facturació unificada i commutació automàtica per error dins del mateix model.

Orchestrator reuneix models de pesos oberts i propietaris en una sola API amb facturació unificada. Tria automàticament un proveïdor en funció de la disponibilitat, la capacitat i la latència, i pot tornar a intentar les sol·licituds fallides en un altre desplegament disponible del mateix model.
Una sola integració per a models de pesos oberts i propietaris
Orchestrator serveix models de pesos oberts allotjats a la infraestructura d’inferència de Perplexity juntament amb models propietaris d’altres proveïdors. El catàleg actual mostra els models disponibles.
Accepta sol·licituds d’OpenAI Chat Completions, OpenAI Responses i Anthropic Messages, de manera que et pots connectar amb el teu SDK actual d’OpenAI o d’Anthropic.
La guia d’inici ràpid i la guia d’encaminament inclouen exemples d’SDK i el comportament actual de l’encaminament.
Fiabilitat i velocitat entre proveïdors
Fiabilitat
Triar Claude no ha de voler dir dependre d’un sol proveïdor: una sol·licitud que falla a Anthropic pot tenir èxit igualment a AWS Bedrock. La commutació per error entre proveïdors permet canviar el desplegament que serveix una sol·licitud sense canviar de model.
Orchestrator utilitza l’estat i la capacitat observats per distribuir les sol·licituds entre els desplegaments d’un model. Si un proveïdor retorna un error, arriba a un límit de freqüència o esgota el temps d’espera, Orchestrator torna a intentar-ho en un altre desplegament d’aquell model, amb límits en el temps fins al primer token i en la durada total de cada intent.
En les mesures del 4 d’octubre al 2 de novembre de 2026, les sol·licituds de Claude i GPT a través de Perplexity van tenir èxit més sovint que les sol·licituds a qualsevol dels proveïdors individuals que vam mesurar. Les seves taxes d’èxit diàries també van variar menys durant les incidències dels proveïdors.
Hem comptat una sol·licitud com a fallida quan Orchestrator ha esgotat els desplegaments disponibles o la capa de servei ha retornat un error, però hem exclòs els errors del client, com ara les sol·licituds no vàlides i les infraccions dels límits de freqüència del client.
Velocitat de sortida
Estem treballant en un encaminament adaptatiu que tingui en compte la velocitat dels models perquè Orchestrator pugui ajustar la selecció de proveïdors a mesura que canviï el rendiment.
El proveïdor més ràpid per a qualsevol model canvia amb el temps. Per a Claude Opus 5.5, Anthropic va ser el més ràpid 15 dels 30 dies, i AWS Bedrock, els altres 15.
Durant els mateixos 30 dies, la velocitat de sortida mediana de GPT-5.6 Sol a Azure va ser un 27 % superior a la d’OpenAI.
Una sola factura per a tots els models
Cada sol·licitud només compta per a l’ús de tokens del model que respon. Orchestrator cobra les tarifes per token publicades de cada model independentment del proveïdor que serveixi la sol·licitud, de manera que la commutació per error entre proveïdors no canvia aquesta tarifa. L’ús es descompta dels mateixos crèdits de prepagament que la resta del teu projecte de l’API de Perplexity.
A l’API Console, pots veure la despesa per model i filtrar l’ús per clau d’API. També pots comprar crèdits a través d’AWS Marketplace.
Encaminament automàtic (versió preliminar): assigna a cada tasca el model adequat
Orchestrator ofereix encaminament automàtic, una funció opcional disponible en versió preliminar. Selecciona un model per a cada sol·licitud mitjançant un perfil que associa descripcions de tasques en llenguatge planer amb models. Pots definir el teu propi perfil o utilitzar el perfil predeterminat integrat d’Orchestrator.
Les sol·licituds amb encaminament automàtic utilitzen perplexity/auto com a model. Per a un perfil personalitzat, inclou un objecte d’encaminament amb default_model i routes. Cada ruta especifica un nom, una descripció i un model.
Per a cada sol·licitud, perplexity/auto crida el nostre model de decisió perquè llegeixi la conversa i la compari amb les descripcions de les rutes, sense veure els noms dels models. A continuació, Orchestrator envia la sol·licitud al model assignat a la ruta seleccionada o, si no coincideix cap ruta, al teu model predeterminat. Orchestrator també utilitza el model predeterminat si el model de decisió falla o esgota el temps d’espera.
Els exemples següents tracten l’encaminament per evitar els refusos dels models, els tipus d’incidències d’atenció al client i els canvis de tasca dins d’una conversa.
Encaminament per evitar refusos
Un agent pot utilitzar l’encaminament automàtic per evitar refusos previsibles i mantenir el seu model preferit per a la resta de la feina. Anthropic documenta que les salvaguardes de Claude Fable 5.2 poden bloquejar tasques legítimes de ciberseguretat i de ciències de la vida. Hem provat aquest cas d’ús en un subconjunt de 63 tasques de Terminal-Bench 4.1.
Hem executat Claude Code només amb Fable i amb dos perfils d’encaminament personalitzats. Tots dos perfils mantenien Fable com a model predeterminat i assignaven les rutes de ciberseguretat, biologia i after_refusal a GPT-6 Astra o a GPT-6.1 Sol. També hem inclòs execucions independents d’Astra i Sol a Codex per comparar-les.
En aquesta comparació ajustada, les dues configuracions de Claude Code amb encaminament resolen 41 de les 63 tasques, davant de les 38 de Fable sol, amb un cost estimat per tasca més alt. El gràfic mostra aquest compromís juntament amb Astra i Sol executant-se a Codex.
L’exemple següent utilitza Sol: les rutes de seguretat i biologia el seleccionen abans que es produeixi un refús, i after_refusal el selecciona quan la conversa ja conté un refús.
"routing": {
"default_model": "anthropic/claude-fable-5-2",
"routes": [
{"name": "security",
"description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.",
"model": "openai/gpt-6.1-sol"},
{"name": "biology",
"description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.",
"model": "openai/gpt-6.1-sol"},
{"name": "after_refusal",
"description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.",
"model": "openai/gpt-6.1-sol"}
]
}Encaminament per tipus d’incidència
Per a un assistent d’atenció al client, la majoria de preguntes només necessiten un model ràpid i econòmic. Una disputa de facturació requereix una resposta acurada i empàtica. Una integració que no funciona requereix resoldre el problema. L’assistent pot utilitzar dues rutes per a les disputes de facturació i les incidències tècniques i deixar les preguntes habituals al seu model predeterminat:
Ruta | Descripció de la tasca | Model |
default_model | Tota la resta, com ara com canviar l’adreça electrònica d’un compte | GLM-5.3 Flash |
billing_dispute | Un client impugna un càrrec, demana un reemborsament o està molest per un import que se li ha facturat. | Claude Opus 5.5 |
technical_issue | Un client informa d’un defecte, d’un missatge d’error o d’una integració que ha deixat de funcionar i necessita ajuda per resoldre el problema. | GPT-6.1 Sol |
Enviament d’una sol·licitud encaminada
La sol·licitud següent envia una incidència d’error d’API a través del perfil d’atenció al client anterior.
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \
-H "Authorization: Bearer $PERPLEXITY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7",
"model": "perplexity/auto",
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "billing_dispute",
"description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.",
"model": "anthropic/claude-opus-5-5"},
{"name": "technical_issue",
"description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.",
"model": "openai/gpt-6.1-sol"}
]
},
"messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}]
}'El model de decisió ha associat les crides d’API fallides a technical_issue, de manera que Orchestrator ha enviat la sol·licitud a GPT-6.1 Sol. La resposta inclou la ruta seleccionada i el model que ha respost:
HTTP/2 200
x-perplexity-autoroute-outcome: routed
x-perplexity-autoroute-route: technical_issue
{"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}x-perplexity-autoroute-route identifica la ruta seleccionada, o cap. x-perplexity-autoroute-outcome indica com s’ha gestionat la sol·licitud, incloent-hi si s’ha encaminat o si s’ha recorregut al teu model predeterminat. El camp model identifica el model que ha respost.
Encaminament dins d’una conversa
A mesura que una conversa passa d’una tasca a una altra, el model que ha gestionat un torn pot no ser l’opció adequada per al següent. Les teves sol·licituds posteriors inclouen l’historial de la conversa, de manera que tant el model de decisió com el model seleccionat poden llegir els torns anteriors, incloses les respostes d’altres models. Hem executat tres converses reals de quatre torns: atenció al client, programació i investigació.
Atenció al client
A l’exemple anterior, suposem que la mateixa conversa passa d’una pregunta sobre el compte a una disputa de facturació i després a una integració que no funciona. A mesura que la tasca canvia, el model de decisió selecciona la ruta corresponent; quan l’usuari envia un agraïment final, Orchestrator torna a GLM-5.3 Flash.
Memòria cau de prompts entre canvis de model
Cada sol·licitud porta l’historial complet de missatges, però cada model manté la seva pròpia memòria cau. Quan la conversa torna a GLM Flash al torn 4, pot reutilitzar un prefix coincident del torn 1 mentre encara és a la memòria cau i, després, processar les respostes afegides per Opus i Sol als torns 2 i 3. El mateix passa amb Opus o Sol si se seleccionen al torn 5.
Orchestrator manté les sol·licituds relacionades al mateix desplegament sempre que és possible per preservar la memòria cau de prompts. Reutilitza un prompt_cache_key estable per a la conversa per ajudar a mantenir aquesta afinitat.
Assistent de programació
Al torn 4 de la conversa de programació, GLM-5.3 Flash escriu un docstring a partir del context del diagnòstic de l’error de Claude Opus 5.5 i del pla d’implementació de GPT-6.1 Sol.
El perfil d’encaminament assigna els canvis de nom i les edicions petites a GLM-5.3 Flash, el diagnòstic d’errors a Claude Opus 5.5 i la planificació de canvis entre mòduls a GPT-6.1 Sol:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "hard_debugging",
"description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.",
"model": "anthropic/claude-opus-5-5"},
{"name": "design_change",
"description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.",
"model": "openai/gpt-6.1-sol"}
]
}Assistent d’investigació
A l’exemple d’investigació, una pregunta factual porta a un càlcul, que després esdevé la base d’un memoràndum. El perfil assigna les preguntes factuals a GLM-5.3 Flash, els càlculs a GPT-6.1 Sol i la redacció del memoràndum a Claude Opus 5.5:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "quantitative_analysis",
"description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.",
"model": "openai/gpt-6.1-sol"},
{"name": "long_form_writing",
"description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.",
"model": "anthropic/claude-opus-5-5"}
]
}El memoràndum del torn 3 utilitza els càlculs de la resposta anterior de GPT-6.1 Sol i arrodoneix les xifres sense demanar a l’usuari que les repeteixi.
Comença a utilitzar Orchestrator
Connecta el teu SDK actual d’OpenAI o d’Anthropic amb una clau d’API de Perplexity, la URL base d’Orchestrator corresponent i un model del catàleg.
La guia d’inici ràpid explica la configuració, la disponibilitat actual i l’accés. Si tens preguntes, escriu a api@perplexity.ai.