Orchestrator : une seule API pour une inférence fiable
Connectez-vous à des modèles d’IA à poids ouverts et propriétaires au moyen d’une seule API, avec facturation unifiée et basculement automatique vers le même modèle.

Orchestrator réunit des modèles à poids ouverts et propriétaires dans une seule API avec une facturation unifiée. Il choisit automatiquement un fournisseur en fonction de la disponibilité, de la capacité et de la latence, et peut relancer les requêtes ayant échoué sur un autre déploiement disponible du même modèle.
Une seule intégration pour les modèles à poids ouverts et propriétaires
Orchestrator fournit des modèles à poids ouverts hébergés sur l’infrastructure d’inférence de Perplexity ainsi que des modèles propriétaires d’autres fournisseurs. Le catalogue actuel présente les modèles offerts.
Il accepte les requêtes OpenAI Chat Completions, OpenAI Responses et Anthropic Messages, ce qui vous permet de vous connecter au moyen de votre SDK OpenAI ou Anthropic existant.
Le guide de démarrage rapide et le guide de routage présentent des exemples de SDK et le comportement actuel du routage.
Fiabilité et vitesse d’un fournisseur à l’autre
Fiabilité
Choisir Claude ne signifie pas nécessairement dépendre d’un seul fournisseur : une requête qui échoue chez Anthropic peut tout de même réussir sur AWS Bedrock. Le basculement entre fournisseurs permet de changer le déploiement qui traite une requête sans changer de modèle.
Orchestrator s’appuie sur l’état de santé et la capacité observés pour répartir les requêtes entre les déploiements d’un modèle. Si un fournisseur renvoie une erreur, atteint une limite de débit ou dépasse le délai d’attente, Orchestrator relance la requête sur un autre déploiement de ce modèle, avec des limites sur le délai avant le premier jeton et sur la durée totale de chaque tentative.
Selon les mesures effectuées du 4 octobre au 2 novembre 2026, les requêtes Claude et GPT passant par Perplexity ont réussi plus souvent que les requêtes envoyées à chacun des fournisseurs mesurés. Leurs taux de réussite quotidiens ont aussi moins varié lors des incidents chez les fournisseurs.
Nous avons considéré qu’une requête avait échoué lorsqu’Orchestrator avait épuisé les déploiements disponibles ou que la couche de service renvoyait une erreur, mais nous avons exclu les erreurs client, comme les requêtes non valides et les dépassements de limite de débit côté client.
Vitesse de sortie
Nous travaillons sur un routage adaptatif qui tient compte de la vitesse des modèles, afin qu’Orchestrator puisse ajuster le choix des fournisseurs à mesure que les performances évoluent.
Le fournisseur le plus rapide pour un modèle donné change au fil du temps. Pour Claude Opus 5.5, Anthropic a été en tête pendant 15 des 30 jours, et AWS Bedrock pendant les 15 autres.
Au cours de ces mêmes 30 jours, la vitesse de sortie médiane de GPT-5.6 Sol chez Azure a été 27 % plus élevée que chez OpenAI.
Une seule facture pour tous les modèles
Chaque requête n’est comptabilisée que dans l’utilisation de jetons du modèle qui répond. Orchestrator facture les tarifs par jeton publiés de chaque modèle, peu importe le fournisseur qui traite la requête; ainsi, le basculement entre fournisseurs ne modifie pas ce tarif. L’utilisation est déduite des mêmes crédits prépayés que le reste de votre projet d’API Perplexity.
Dans l’API Console, vous pouvez consulter les dépenses par modèle et filtrer l’utilisation par clé API. Vous pouvez aussi acheter des crédits sur AWS Marketplace.
Routage automatique (aperçu) : associer chaque tâche au bon modèle
Orchestrator propose le routage automatique, une fonctionnalité facultative offerte en aperçu. Il sélectionne un modèle pour chaque requête à l’aide d’un profil qui associe des descriptions de tâches en langage courant à des modèles. Vous pouvez définir votre propre profil ou utiliser le profil par défaut intégré d’Orchestrator.
Les requêtes de routage automatique utilisent perplexity/auto comme modèle. Pour un profil personnalisé, incluez un objet de routage avec default_model et routes. Chaque route précise un nom, une description et un modèle.
Pour chaque requête, perplexity/auto appelle notre modèle de décision, qui lit la conversation et la compare aux descriptions des routes, sans voir le nom des modèles. Orchestrator envoie ensuite la requête au modèle associé à la route sélectionnée, ou à votre modèle par défaut si aucune route ne correspond. Orchestrator utilise aussi votre modèle par défaut si le modèle de décision échoue ou dépasse le délai d’attente.
Les exemples ci-dessous portent sur le routage pour contourner les refus des modèles, sur les types de problèmes en soutien à la clientèle et sur les changements de tâche au sein d’une conversation.
Routage pour contourner les refus
Un agent peut utiliser le routage automatique pour éviter les refus prévisibles tout en conservant son modèle préféré pour les autres travaux. Anthropic indique dans sa documentation que les mesures de protection de Claude Fable 5.2 peuvent bloquer des travaux légitimes en cybersécurité et en sciences de la vie. Nous avons testé ce cas d’utilisation sur un sous-ensemble de 63 tâches de Terminal-Bench 4.1.
Nous avons exécuté Claude Code avec Fable seul et avec deux profils de routage personnalisés. Les deux profils conservaient Fable comme modèle par défaut et attribuaient les routes de cybersécurité, de biologie et after_refusal à GPT-6 Astra ou à GPT-6.1 Sol. À titre de comparaison, nous avons aussi inclus des exécutions autonomes d’Astra et de Sol dans Codex.
Dans cette comparaison ajustée, les deux configurations de Claude Code avec routage résolvent 41 des 63 tâches, contre 38 pour Fable seul, pour un coût estimé par tâche plus élevé. Le graphique présente ce compromis aux côtés d’Astra et de Sol exécutés dans Codex.
L’exemple ci-dessous utilise Sol : les routes de sécurité et de biologie le sélectionnent avant qu’un refus survienne, et after_refusal le sélectionne lorsque la conversation contient déjà un refus.
"routing": {
"default_model": "anthropic/claude-fable-5-2",
"routes": [
{"name": "security",
"description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.",
"model": "openai/gpt-6.1-sol"},
{"name": "biology",
"description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.",
"model": "openai/gpt-6.1-sol"},
{"name": "after_refusal",
"description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.",
"model": "openai/gpt-6.1-sol"}
]
}Routage selon le type de problème
Pour un assistant de soutien à la clientèle, la plupart des questions ne nécessitent qu’un modèle rapide et peu coûteux. Un litige de facturation exige une réponse soignée et empathique. Une intégration défectueuse nécessite un dépannage. L’assistant peut utiliser deux routes, pour les litiges de facturation et les problèmes techniques, et laisser les questions courantes à son modèle par défaut :
Route | Description de la tâche | Modèle |
default_model | Tout le reste, comme la façon de changer l’adresse courriel d’un compte | GLM-5.3 Flash |
billing_dispute | Un client conteste des frais, demande un remboursement ou est mécontent d’un montant qui lui a été facturé. | Claude Opus 5.5 |
technical_issue | Un client signale un bogue, un message d’erreur ou une intégration qui ne fonctionne plus et qui nécessite un dépannage. | GPT-6.1 Sol |
Envoyer une requête routée
La requête ci-dessous envoie un problème de défaillance d’API au moyen du profil de soutien à la clientèle ci-dessus.
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \
-H "Authorization: Bearer $PERPLEXITY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7",
"model": "perplexity/auto",
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "billing_dispute",
"description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.",
"model": "anthropic/claude-opus-5-5"},
{"name": "technical_issue",
"description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.",
"model": "openai/gpt-6.1-sol"}
]
},
"messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}]
}'Le modèle de décision a associé les appels d’API ayant échoué à technical_issue; Orchestrator a donc envoyé la requête à GPT-6.1 Sol. La réponse indique la route sélectionnée et le modèle qui a répondu :
HTTP/2 200
x-perplexity-autoroute-outcome: routed
x-perplexity-autoroute-route: technical_issue
{"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}x-perplexity-autoroute-route indique la route sélectionnée, ou aucune. x-perplexity-autoroute-outcome indique comment la requête a été traitée, notamment si elle a été routée ou redirigée vers votre modèle par défaut. Le champ model indique le modèle qui a répondu.
Routage au sein d’une conversation
À mesure qu’une conversation passe d’une tâche à l’autre, le modèle qui a traité un tour n’est pas nécessairement le meilleur choix pour le suivant. Vos requêtes de suivi incluent l’historique de la conversation, de sorte que le modèle de décision et le modèle sélectionné peuvent tous deux lire les tours précédents, y compris les réponses d’autres modèles. Nous avons exécuté trois conversations réelles de quatre tours : soutien à la clientèle, programmation et recherche.
Service à la clientèle
Dans l’exemple ci-dessus, supposons que la même conversation passe d’une question sur le compte à un litige de facturation, puis à une intégration défectueuse. À mesure que la tâche change, le modèle de décision sélectionne la route correspondante; lorsque l’utilisateur envoie un remerciement final, Orchestrator revient à GLM-5.3 Flash.
Mise en cache des invites lors des transferts entre modèles
Chaque requête transporte l’historique complet des messages, mais chaque modèle gère sa propre mémoire cache. Lorsque la conversation revient à GLM Flash au tour 4, celui-ci peut réutiliser un préfixe correspondant du tour 1 tant qu’il est encore en cache, puis traiter les réponses ajoutées par Opus et Sol aux tours 2 et 3. Il en va de même pour Opus ou Sol s’ils sont sélectionnés au tour 5.
Orchestrator conserve les requêtes connexes sur le même déploiement lorsque c’est possible, afin de préserver la mise en cache des invites. Réutilisez une valeur prompt_cache_key stable pour la conversation afin de maintenir cette affinité.
Assistant de programmation
Au tour 4 de la conversation de programmation, GLM-5.3 Flash rédige une docstring à partir du contexte du diagnostic de bogue de Claude Opus 5.5 et du plan d’implémentation de GPT-6.1 Sol.
Le profil de routage attribue les renommages et les petites modifications à GLM-5.3 Flash, le diagnostic de bogues à Claude Opus 5.5 et la planification de modifications touchant plusieurs modules à GPT-6.1 Sol :
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "hard_debugging",
"description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.",
"model": "anthropic/claude-opus-5-5"},
{"name": "design_change",
"description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.",
"model": "openai/gpt-6.1-sol"}
]
}Assistant de recherche
Dans l’exemple de recherche, une question factuelle mène à un calcul, qui sert ensuite de base à une note de service. Le profil attribue les questions factuelles à GLM-5.3 Flash, les calculs à GPT-6.1 Sol et la rédaction de notes de service à Claude Opus 5.5 :
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "quantitative_analysis",
"description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.",
"model": "openai/gpt-6.1-sol"},
{"name": "long_form_writing",
"description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.",
"model": "anthropic/claude-opus-5-5"}
]
}La note de service du tour 3 reprend les calculs de la réponse précédente de GPT-6.1 Sol et arrondit les chiffres sans demander à l’utilisateur de les répéter.
Premiers pas avec Orchestrator
Connectez votre SDK OpenAI ou Anthropic existant à l’aide d’une clé API Perplexity, de l’URL de base d’Orchestrator appropriée et d’un modèle du catalogue.
Le guide de démarrage rapide présente la configuration, la disponibilité actuelle et l’accès. Pour toute question, veuillez écrire à api@perplexity.ai.