Orchestrator : une seule API pour une inférence fiable

Accédez à des modèles d’IA à poids ouverts et propriétaires via une seule API, avec une facturation unifiée et un basculement automatique entre les déploiements d’un même modèle.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator réunit des modèles à poids ouverts et propriétaires dans une seule API, avec une facturation unifiée. Il choisit automatiquement un fournisseur en fonction de la disponibilité, de la capacité et de la latence, et peut relancer les requêtes ayant échoué sur un autre déploiement disponible du même modèle.

Une seule intégration pour les modèles à poids ouverts et propriétaires

Orchestrator propose des modèles à poids ouverts hébergés sur l’infrastructure d’inférence de Perplexity, aux côtés de modèles propriétaires d’autres fournisseurs. Le catalogue actuel répertorie les modèles disponibles.

Il accepte les requêtes OpenAI Chat Completions, OpenAI Responses et Anthropic Messages ; vous pouvez donc vous connecter via votre SDK OpenAI ou Anthropic existant.

Le guide de démarrage rapide et le guide du routage présentent des exemples de SDK et le fonctionnement actuel du routage.

Fiabilité et vitesse d’un fournisseur à l’autre

Fiabilité

Choisir Claude ne signifie pas forcément dépendre d’un seul fournisseur : une requête qui échoue chez Anthropic peut tout de même aboutir sur AWS Bedrock. Le basculement entre fournisseurs permet de changer le déploiement qui traite une requête sans changer de modèle.

Orchestrator s’appuie sur l’état de santé et la capacité observés pour répartir les requêtes entre les déploiements d’un modèle. Si un fournisseur renvoie une erreur, atteint une limite de débit ou expire, Orchestrator relance la requête sur un autre déploiement de ce modèle, avec des limites sur le délai avant le premier jeton et sur la durée totale de chaque tentative.

Selon nos mesures du 4 octobre au 2 novembre 2026, les requêtes Claude et GPT passant par Perplexity ont abouti plus souvent que les requêtes adressées à chacun des fournisseurs mesurés pris individuellement. Leurs taux de réussite quotidiens ont également moins varié lors des incidents chez les fournisseurs.

Taux de réussite des requêtes du 4 octobre au 2 novembre 2026 : Claude à gauche ; à droite, les modèles GPT disponibles à la fois via OpenAI et Azure.
Taux de réussite quotidiens des requêtes sur la même période : Claude à gauche et GPT à droite.

Nous avons considéré qu’une requête avait échoué lorsqu’Orchestrator avait épuisé les déploiements disponibles ou que la couche de service renvoyait une erreur, mais avons exclu les erreurs client, telles que les requêtes non valides et les dépassements de limites de débit côté client.

Vitesse de sortie

Nous travaillons sur un routage adaptatif qui tient compte de la vitesse des modèles, afin qu’Orchestrator puisse ajuster le choix des fournisseurs à mesure que les performances évoluent.

Le fournisseur le plus rapide pour un modèle donné évolue au fil du temps. Pour Claude Opus 5.5, Anthropic a été en tête 15 jours sur 30, et AWS Bedrock les 15 autres jours.

Vitesse de sortie médiane de Claude Opus 5.5 par fournisseur et par jour, du 4 octobre au 2 novembre 2026. La ligne mise en évidence suit le fournisseur le plus rapide chaque jour, illustrant l’objectif d’un routage en temps réel tenant compte de la vitesse.

Sur ces mêmes 30 jours, la vitesse de sortie médiane de GPT-5.6 Sol chez Azure a été supérieure de 27 % à celle d’OpenAI.

Vitesse de sortie médiane de GPT-5.6 Sol après le premier jeton, du 4 octobre au 2 novembre 2026.

Une seule facture pour tous les modèles

Chaque requête n’est comptabilisée que dans l’utilisation de jetons du modèle qui répond. Orchestrator applique les tarifs par jeton publiés pour chaque modèle, quel que soit le fournisseur qui traite la requête : le basculement entre fournisseurs ne modifie donc pas ce tarif. L’utilisation est imputée sur les mêmes crédits prépayés que le reste de votre projet d’API Perplexity.

Dans l’API Console, vous pouvez consulter les dépenses par modèle et filtrer l’utilisation par clé API. Vous pouvez également acheter des crédits via AWS Marketplace.

Routage automatique (préversion) : associer chaque tâche au bon modèle

Orchestrator propose le routage automatique, une fonctionnalité facultative disponible en préversion. Il sélectionne un modèle pour chaque requête à l’aide d’un profil qui associe des descriptions de tâches en langage courant à des modèles. Vous pouvez définir votre propre profil ou utiliser le profil par défaut intégré d’Orchestrator.

Les requêtes de routage automatique utilisent perplexity/auto comme modèle. Pour un profil personnalisé, incluez un objet de routage avec default_model et routes. Chaque route précise un nom, une description et un modèle.

Pour chaque requête, perplexity/auto appelle notre modèle de décision, qui lit la conversation et la compare aux descriptions des routes, sans voir le nom des modèles. Orchestrator envoie ensuite la requête au modèle associé à la route sélectionnée, ou à votre modèle par défaut si aucune route ne correspond. Orchestrator utilise également votre modèle par défaut si le modèle de décision échoue ou expire.

Les exemples ci-dessous portent sur le routage pour contourner les refus des modèles, sur les types de problèmes de support client et sur les changements de tâche au sein d’une conversation.

Contourner les refus grâce au routage

Un agent peut utiliser le routage automatique pour éviter les refus prévisibles tout en conservant son modèle préféré pour les autres tâches. Anthropic indique dans sa documentation que les garde-fous de Claude Fable 5.2 peuvent bloquer des travaux légitimes en cybersécurité et en sciences de la vie. Nous avons testé ce cas d’usage sur un sous-ensemble de 63 tâches de Terminal-Bench 4.1.

Nous avons exécuté Claude Code avec Fable seul, puis avec deux profils de routage personnalisés. Les deux profils conservaient Fable comme modèle par défaut et attribuaient les routes cybersécurité, biologie et after_refusal à GPT-6 Astra ou à GPT-6.1 Sol. Nous avons également inclus, à titre de comparaison, des exécutions d’Astra et de Sol seuls dans Codex.

Dans cette comparaison ajustée, les deux configurations Claude Code avec routage résolvent 41 tâches sur 63, contre 38 pour Fable seul, pour un coût estimé par tâche plus élevé. Le graphique présente ce compromis aux côtés d’Astra et de Sol exécutés dans Codex.

Terminal-Bench 4.1, comparaison ajustée sur 63 tâches. Astra Codex inclut une réussite supposée ; les coûts sont estimés.

L’exemple ci-dessous utilise Sol : les routes sécurité et biologie le sélectionnent avant qu’un refus ne survienne, et after_refusal le sélectionne lorsque la conversation contient déjà un refus.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

Routage par type de problème

Pour un assistant de support client, la plupart des questions ne nécessitent qu’un modèle rapide et peu coûteux. Un litige de facturation appelle une réponse soignée et empathique. Une intégration défaillante exige un dépannage. L’assistant peut utiliser deux routes, pour les litiges de facturation et les problèmes techniques, et laisser les questions courantes à son modèle par défaut :

Route

Description de la tâche

Modèle

default_model

Tout le reste, par exemple comment modifier l’adresse e-mail d’un compte

GLM-5.3 Flash

billing_dispute

Un client conteste un débit, demande un remboursement ou se plaint d’un montant qui lui a été facturé.

Claude Opus 5.5

technical_issue

Un client signale un bug, un message d’erreur ou une intégration qui a cessé de fonctionner et nécessite un dépannage.

GPT-6.1 Sol

Envoyer une requête routée

Comment perplexity/auto traite une requête : le modèle de décision sélectionne une route ou ne renvoie aucune correspondance, puis Orchestrator appelle le modèle sélectionné ou votre modèle par défaut. Les en-têtes de réponse indiquent le résultat du routage.

La requête ci-dessous envoie un problème de défaillance d’API via le profil de support client présenté plus haut.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

Le modèle de décision a associé les appels d’API ayant échoué à technical_issue ; Orchestrator a donc envoyé la requête à GPT-6.1 Sol. La réponse indique la route sélectionnée et le modèle qui a répondu :

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route identifie la route sélectionnée, ou l’absence de route. x-perplexity-autoroute-outcome indique comment la requête a été traitée, notamment si elle a été routée ou si elle s’est rabattue sur votre modèle par défaut. Le champ model identifie le modèle qui a répondu.

Routage au sein d’une conversation

Au fil d’une conversation qui passe d’une tâche à l’autre, le modèle qui a traité un tour n’est pas forcément le bon choix pour le suivant. Vos requêtes de suivi incluent l’historique de la conversation : le modèle de décision comme le modèle sélectionné peuvent donc lire les tours précédents, y compris les réponses d’autres modèles. Nous avons mené trois conversations réelles de quatre tours : support client, programmation et recherche.

Support client

Dans l’exemple ci-dessus, supposons que la même conversation passe d’une question sur le compte à un litige de facturation, puis à une intégration défaillante. À mesure que la tâche évolue, le modèle de décision sélectionne la route correspondante ; lorsque l’utilisateur envoie un dernier remerciement, Orchestrator revient à GLM-5.3 Flash.

Conversation de support : la route et le modèle de chaque tour.

Mise en cache des prompts lors des passages d’un modèle à l’autre

Chaque requête transporte l’historique complet des messages, mais chaque modèle gère son propre cache. Lorsque la conversation revient à GLM Flash au tour 4, celui-ci peut réutiliser un préfixe correspondant du tour 1 tant qu’il est encore en cache, puis traiter les réponses ajoutées par Opus et Sol aux tours 2 et 3. Il en va de même pour Opus ou Sol s’ils sont sélectionnés au tour 5.

Dans la mesure du possible, Orchestrator maintient les requêtes associées sur le même déploiement afin de préserver la mise en cache des prompts. Réutilisez une clé prompt_cache_key stable pour la conversation afin de contribuer à maintenir cette affinité.

Mise en cache des prompts lors des passages d’un modèle à l’autre : GLM Flash peut réutiliser son préfixe antérieur tout en traitant la conversation intermédiaire comme une nouvelle entrée.

Assistant de programmation

Au tour 4 de la conversation de programmation, GLM-5.3 Flash rédige une docstring à partir du diagnostic de bug de Claude Opus 5.5 et du plan d’implémentation de GPT-6.1 Sol.

Le profil de routage attribue les renommages et les petites modifications à GLM-5.3 Flash, le diagnostic de bugs à Claude Opus 5.5 et la planification de modifications sur plusieurs modules à GPT-6.1 Sol :

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
Conversation de programmation : la route et le modèle de chaque tour.

Assistant de recherche

Dans l’exemple de recherche, une question factuelle mène à un calcul, qui sert ensuite de base à une note. Le profil attribue les questions factuelles à GLM-5.3 Flash, les calculs à GPT-6.1 Sol et la rédaction de notes à Claude Opus 5.5 :

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

Au tour 3, la note s’appuie sur les calculs de la réponse précédente de GPT-6.1 Sol et arrondit les chiffres sans demander à l’utilisateur de les répéter.

Conversation de recherche : la route et le modèle de chaque tour.

Premiers pas avec Orchestrator

Connectez votre SDK OpenAI ou Anthropic existant avec une clé API Perplexity, l’URL de base d’Orchestrator appropriée et un modèle du catalogue.

Le guide de démarrage rapide présente la configuration, la disponibilité actuelle et les modalités d’accès. Pour toute question, contactez api@perplexity.ai.