Orchestrator : une seule API pour une inférence fiable

Connectez-vous à des modèles d’IA à poids ouverts et propriétaires au moyen d’une seule API, avec facturation unifiée et basculement automatique vers le même modèle.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator réunit des modèles à poids ouverts et propriétaires dans une seule API avec une facturation unifiée. Il choisit automatiquement un fournisseur en fonction de la disponibilité, de la capacité et de la latence, et peut relancer les requêtes ayant échoué sur un autre déploiement disponible du même modèle.

Une seule intégration pour les modèles à poids ouverts et propriétaires

Orchestrator fournit des modèles à poids ouverts hébergés sur l’infrastructure d’inférence de Perplexity ainsi que des modèles propriétaires d’autres fournisseurs. Le catalogue actuel présente les modèles offerts.

Il accepte les requêtes OpenAI Chat Completions, OpenAI Responses et Anthropic Messages, ce qui vous permet de vous connecter au moyen de votre SDK OpenAI ou Anthropic existant.

Le guide de démarrage rapide et le guide de routage présentent des exemples de SDK et le comportement actuel du routage.

Fiabilité et vitesse d’un fournisseur à l’autre

Fiabilité

Choisir Claude ne signifie pas nécessairement dépendre d’un seul fournisseur : une requête qui échoue chez Anthropic peut tout de même réussir sur AWS Bedrock. Le basculement entre fournisseurs permet de changer le déploiement qui traite une requête sans changer de modèle.

Orchestrator s’appuie sur l’état de santé et la capacité observés pour répartir les requêtes entre les déploiements d’un modèle. Si un fournisseur renvoie une erreur, atteint une limite de débit ou dépasse le délai d’attente, Orchestrator relance la requête sur un autre déploiement de ce modèle, avec des limites sur le délai avant le premier jeton et sur la durée totale de chaque tentative.

Selon les mesures effectuées du 4 octobre au 2 novembre 2026, les requêtes Claude et GPT passant par Perplexity ont réussi plus souvent que les requêtes envoyées à chacun des fournisseurs mesurés. Leurs taux de réussite quotidiens ont aussi moins varié lors des incidents chez les fournisseurs.

Taux de réussite des requêtes, du 4 octobre au 2 novembre 2026 : Claude à gauche; modèles GPT offerts par OpenAI et Azure à droite.
Taux de réussite quotidiens des requêtes au cours de la même période : Claude à gauche et GPT à droite.

Nous avons considéré qu’une requête avait échoué lorsqu’Orchestrator avait épuisé les déploiements disponibles ou que la couche de service renvoyait une erreur, mais nous avons exclu les erreurs client, comme les requêtes non valides et les dépassements de limite de débit côté client.

Vitesse de sortie

Nous travaillons sur un routage adaptatif qui tient compte de la vitesse des modèles, afin qu’Orchestrator puisse ajuster le choix des fournisseurs à mesure que les performances évoluent.

Le fournisseur le plus rapide pour un modèle donné change au fil du temps. Pour Claude Opus 5.5, Anthropic a été en tête pendant 15 des 30 jours, et AWS Bedrock pendant les 15 autres.

Vitesse de sortie médiane de Claude Opus 5.5 par fournisseur et par jour, du 4 octobre au 2 novembre 2026. La ligne mise en évidence suit le fournisseur le plus rapide de chaque jour, illustrant la cible du routage en temps réel tenant compte de la vitesse.

Au cours de ces mêmes 30 jours, la vitesse de sortie médiane de GPT-5.6 Sol chez Azure a été 27 % plus élevée que chez OpenAI.

Vitesse de sortie médiane de GPT-5.6 Sol après le premier jeton, du 4 octobre au 2 novembre 2026.

Une seule facture pour tous les modèles

Chaque requête n’est comptabilisée que dans l’utilisation de jetons du modèle qui répond. Orchestrator facture les tarifs par jeton publiés de chaque modèle, peu importe le fournisseur qui traite la requête; ainsi, le basculement entre fournisseurs ne modifie pas ce tarif. L’utilisation est déduite des mêmes crédits prépayés que le reste de votre projet d’API Perplexity.

Dans l’API Console, vous pouvez consulter les dépenses par modèle et filtrer l’utilisation par clé API. Vous pouvez aussi acheter des crédits sur AWS Marketplace.

Routage automatique (aperçu) : associer chaque tâche au bon modèle

Orchestrator propose le routage automatique, une fonctionnalité facultative offerte en aperçu. Il sélectionne un modèle pour chaque requête à l’aide d’un profil qui associe des descriptions de tâches en langage courant à des modèles. Vous pouvez définir votre propre profil ou utiliser le profil par défaut intégré d’Orchestrator.

Les requêtes de routage automatique utilisent perplexity/auto comme modèle. Pour un profil personnalisé, incluez un objet de routage avec default_model et routes. Chaque route précise un nom, une description et un modèle.

Pour chaque requête, perplexity/auto appelle notre modèle de décision, qui lit la conversation et la compare aux descriptions des routes, sans voir le nom des modèles. Orchestrator envoie ensuite la requête au modèle associé à la route sélectionnée, ou à votre modèle par défaut si aucune route ne correspond. Orchestrator utilise aussi votre modèle par défaut si le modèle de décision échoue ou dépasse le délai d’attente.

Les exemples ci-dessous portent sur le routage pour contourner les refus des modèles, sur les types de problèmes en soutien à la clientèle et sur les changements de tâche au sein d’une conversation.

Routage pour contourner les refus

Un agent peut utiliser le routage automatique pour éviter les refus prévisibles tout en conservant son modèle préféré pour les autres travaux. Anthropic indique dans sa documentation que les mesures de protection de Claude Fable 5.2 peuvent bloquer des travaux légitimes en cybersécurité et en sciences de la vie. Nous avons testé ce cas d’utilisation sur un sous-ensemble de 63 tâches de Terminal-Bench 4.1.

Nous avons exécuté Claude Code avec Fable seul et avec deux profils de routage personnalisés. Les deux profils conservaient Fable comme modèle par défaut et attribuaient les routes de cybersécurité, de biologie et after_refusal à GPT-6 Astra ou à GPT-6.1 Sol. À titre de comparaison, nous avons aussi inclus des exécutions autonomes d’Astra et de Sol dans Codex.

Dans cette comparaison ajustée, les deux configurations de Claude Code avec routage résolvent 41 des 63 tâches, contre 38 pour Fable seul, pour un coût estimé par tâche plus élevé. Le graphique présente ce compromis aux côtés d’Astra et de Sol exécutés dans Codex.

Terminal-Bench 4.1, comparaison ajustée sur 63 tâches. Astra Codex inclut une réussite présumée; les coûts sont estimés.

L’exemple ci-dessous utilise Sol : les routes de sécurité et de biologie le sélectionnent avant qu’un refus survienne, et after_refusal le sélectionne lorsque la conversation contient déjà un refus.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

Routage selon le type de problème

Pour un assistant de soutien à la clientèle, la plupart des questions ne nécessitent qu’un modèle rapide et peu coûteux. Un litige de facturation exige une réponse soignée et empathique. Une intégration défectueuse nécessite un dépannage. L’assistant peut utiliser deux routes, pour les litiges de facturation et les problèmes techniques, et laisser les questions courantes à son modèle par défaut :

Route

Description de la tâche

Modèle

default_model

Tout le reste, comme la façon de changer l’adresse courriel d’un compte

GLM-5.3 Flash

billing_dispute

Un client conteste des frais, demande un remboursement ou est mécontent d’un montant qui lui a été facturé.

Claude Opus 5.5

technical_issue

Un client signale un bogue, un message d’erreur ou une intégration qui ne fonctionne plus et qui nécessite un dépannage.

GPT-6.1 Sol

Envoyer une requête routée

Comment perplexity/auto traite une requête : le modèle de décision sélectionne une route ou ne renvoie aucune correspondance, puis Orchestrator appelle le modèle sélectionné ou votre modèle par défaut. Les en-têtes de réponse indiquent le résultat du routage.

La requête ci-dessous envoie un problème de défaillance d’API au moyen du profil de soutien à la clientèle ci-dessus.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

Le modèle de décision a associé les appels d’API ayant échoué à technical_issue; Orchestrator a donc envoyé la requête à GPT-6.1 Sol. La réponse indique la route sélectionnée et le modèle qui a répondu :

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route indique la route sélectionnée, ou aucune. x-perplexity-autoroute-outcome indique comment la requête a été traitée, notamment si elle a été routée ou redirigée vers votre modèle par défaut. Le champ model indique le modèle qui a répondu.

Routage au sein d’une conversation

À mesure qu’une conversation passe d’une tâche à l’autre, le modèle qui a traité un tour n’est pas nécessairement le meilleur choix pour le suivant. Vos requêtes de suivi incluent l’historique de la conversation, de sorte que le modèle de décision et le modèle sélectionné peuvent tous deux lire les tours précédents, y compris les réponses d’autres modèles. Nous avons exécuté trois conversations réelles de quatre tours : soutien à la clientèle, programmation et recherche.

Service à la clientèle

Dans l’exemple ci-dessus, supposons que la même conversation passe d’une question sur le compte à un litige de facturation, puis à une intégration défectueuse. À mesure que la tâche change, le modèle de décision sélectionne la route correspondante; lorsque l’utilisateur envoie un remerciement final, Orchestrator revient à GLM-5.3 Flash.

Conversation de soutien : la route et le modèle de chaque tour.

Mise en cache des invites lors des transferts entre modèles

Chaque requête transporte l’historique complet des messages, mais chaque modèle gère sa propre mémoire cache. Lorsque la conversation revient à GLM Flash au tour 4, celui-ci peut réutiliser un préfixe correspondant du tour 1 tant qu’il est encore en cache, puis traiter les réponses ajoutées par Opus et Sol aux tours 2 et 3. Il en va de même pour Opus ou Sol s’ils sont sélectionnés au tour 5.

Orchestrator conserve les requêtes connexes sur le même déploiement lorsque c’est possible, afin de préserver la mise en cache des invites. Réutilisez une valeur prompt_cache_key stable pour la conversation afin de maintenir cette affinité.

Mise en cache des invites lors des transferts entre modèles : GLM Flash peut réutiliser son préfixe antérieur tout en traitant la conversation intermédiaire comme une nouvelle entrée.

Assistant de programmation

Au tour 4 de la conversation de programmation, GLM-5.3 Flash rédige une docstring à partir du contexte du diagnostic de bogue de Claude Opus 5.5 et du plan d’implémentation de GPT-6.1 Sol.

Le profil de routage attribue les renommages et les petites modifications à GLM-5.3 Flash, le diagnostic de bogues à Claude Opus 5.5 et la planification de modifications touchant plusieurs modules à GPT-6.1 Sol :

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
Conversation de programmation : la route et le modèle de chaque tour.

Assistant de recherche

Dans l’exemple de recherche, une question factuelle mène à un calcul, qui sert ensuite de base à une note de service. Le profil attribue les questions factuelles à GLM-5.3 Flash, les calculs à GPT-6.1 Sol et la rédaction de notes de service à Claude Opus 5.5 :

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

La note de service du tour 3 reprend les calculs de la réponse précédente de GPT-6.1 Sol et arrondit les chiffres sans demander à l’utilisateur de les répéter.

Conversation de recherche : la route et le modèle de chaque tour.

Premiers pas avec Orchestrator

Connectez votre SDK OpenAI ou Anthropic existant à l’aide d’une clé API Perplexity, de l’URL de base d’Orchestrator appropriée et d’un modèle du catalogue.

Le guide de démarrage rapide présente la configuration, la disponibilité actuelle et l’accès. Pour toute question, veuillez écrire à api@perplexity.ai.