Orchestrator: Eine API für zuverlässige Inferenz

Greifen Sie über eine einzige API mit einheitlicher Abrechnung und automatischem Failover innerhalb desselben Modells auf Open-Weight- und proprietäre KI-Modelle zu.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator vereint Open-Weight- und proprietäre Modelle in einer API mit einheitlicher Abrechnung. Orchestrator wählt automatisch einen Anbieter anhand von Verfügbarkeit, Kapazität und Latenz aus und kann fehlgeschlagene Anfragen bei einer anderen verfügbaren Bereitstellung desselben Modells erneut versuchen.

Eine Integration für Open-Weight- und proprietäre Modelle

Orchestrator stellt Open-Weight-Modelle, die auf der Inferenzinfrastruktur von Perplexity gehostet werden, zusammen mit proprietären Modellen anderer Anbieter bereit. Der aktuelle Katalog führt die verfügbaren Modelle auf.

Orchestrator akzeptiert Anfragen in den Formaten OpenAI Chat Completions, OpenAI Responses und Anthropic Messages, sodass Sie sich über Ihr vorhandenes OpenAI- oder Anthropic-SDK verbinden können.

Der Schnellstart und der Routing-Leitfaden enthalten SDK-Beispiele und beschreiben das aktuelle Routing-Verhalten.

Anbieterübergreifende Zuverlässigkeit und Geschwindigkeit

Zuverlässigkeit

Wer sich für Claude entscheidet, muss sich nicht auf einen einzigen Anbieter verlassen: Eine Anfrage, die bei Anthropic fehlschlägt, kann trotzdem bei AWS Bedrock erfolgreich sein. Mit Anbieter-Failover lässt sich die Bereitstellung wechseln, die eine Anfrage bedient, ohne das Modell zu ändern.

Orchestrator nutzt den beobachteten Zustand und die Kapazität, um Anfragen auf die Bereitstellungen eines Modells zu verteilen. Wenn ein Anbieter einen Fehler zurückgibt, ein Ratenlimit erreicht oder eine Zeitüberschreitung auftritt, versucht Orchestrator die Anfrage erneut bei einer anderen Bereitstellung dieses Modells – mit Limits für die Zeit bis zum ersten Token und die Gesamtdauer jedes Versuchs.

Bei Messungen vom 4. Oktober bis 2. November 2026 waren Claude- und GPT-Anfragen über Perplexity häufiger erfolgreich als Anfragen an jeden einzelnen von uns gemessenen Anbieter. Auch ihre täglichen Erfolgsraten schwankten bei Störungen der Anbieter weniger stark.

Erfolgsraten von Anfragen, 4. Oktober bis 2. November 2026: links Claude, rechts GPT-Modelle, die sowohl über OpenAI als auch über Azure verfügbar sind.
Tägliche Erfolgsraten von Anfragen im selben Zeitraum: links Claude, rechts GPT.

Wir haben eine Anfrage als fehlgeschlagen gewertet, wenn Orchestrator die verfügbaren Bereitstellungen ausgeschöpft hatte oder die Serving-Schicht einen Fehler zurückgab, Clientfehler wie ungültige Anfragen und Verstöße gegen Client-Ratenlimits jedoch ausgeschlossen.

Ausgabegeschwindigkeit

Wir arbeiten an adaptivem Routing, das die Modellgeschwindigkeit berücksichtigt, damit Orchestrator die Anbieterauswahl anpassen kann, wenn sich die Leistung ändert.

Welcher Anbieter für ein Modell am schnellsten ist, ändert sich im Laufe der Zeit. Bei Claude Opus 5.5 lag Anthropic an 15 der 30 Tage vorn, AWS Bedrock an den anderen 15.

Mediane Ausgabegeschwindigkeit von Claude Opus 5.5 nach Anbieter und Tag, 4. Oktober bis 2. November 2026. Die hervorgehobene Linie folgt jeden Tag dem schnelleren Anbieter und veranschaulicht das Ziel für geschwindigkeitsabhängiges Routing in Echtzeit.

Im selben 30-Tage-Zeitraum lag die mediane Ausgabegeschwindigkeit von GPT-5.6 Sol bei Azure um 27 % höher als bei OpenAI.

Mediane Ausgabegeschwindigkeit von GPT-5.6 Sol nach dem ersten Token, 4. Oktober bis 2. November 2026.

Eine Rechnung für alle Modelle

Jede Anfrage wird nur auf die Token-Nutzung des antwortenden Modells angerechnet. Orchestrator berechnet die veröffentlichten Preise pro Token des jeweiligen Modells, unabhängig davon, welcher Anbieter die Anfrage bedient, sodass ein Anbieter-Failover diesen Preis nicht ändert. Die Nutzung wird von denselben Prepaid-Credits abgebucht wie der Rest Ihres Perplexity-API-Projekts.

In der API-Konsole können Sie die Ausgaben nach Modell anzeigen und die Nutzung nach API-Schlüssel filtern. Sie können Credits auch über den AWS Marketplace erwerben.

Automatisches Routing (Vorschau): jede Aufgabe dem richtigen Modell zuordnen

Orchestrator bietet automatisches Routing, eine optionale Funktion, die als Vorschau verfügbar ist. Dabei wird für jede Anfrage ein Modell anhand eines Profils ausgewählt, das Aufgabenbeschreibungen in natürlicher Sprache Modellen zuordnet. Sie können Ihr eigenes Profil definieren oder das integrierte Standardprofil von Orchestrator verwenden.

Anfragen mit automatischem Routing verwenden perplexity/auto als Modell. Fügen Sie für ein benutzerdefiniertes Profil ein Routing-Objekt mit default_model und routes hinzu. Jede Route gibt einen Namen, eine Beschreibung und ein Modell an.

Für jede Anfrage ruft perplexity/auto unser Entscheidungsmodell auf, das die Konversation liest und mit den Routenbeschreibungen abgleicht, ohne die Modellnamen zu sehen. Orchestrator sendet die Anfrage dann an das Modell, das der ausgewählten Route zugeordnet ist, oder an Ihr Standardmodell, falls keine Route passt. Orchestrator verwendet Ihr Standardmodell auch dann, wenn das Entscheidungsmodell fehlschlägt oder eine Zeitüberschreitung auftritt.

Die folgenden Beispiele behandeln das Umgehen von Modellablehnungen durch Routing, Problemtypen im Kundensupport und Aufgabenwechsel innerhalb einer Konversation.

Routing zur Umgehung von Ablehnungen

Ein Agent kann automatisches Routing nutzen, um vorhersehbare Ablehnungen zu vermeiden und gleichzeitig sein bevorzugtes Modell für andere Aufgaben beizubehalten. Anthropic dokumentiert, dass die Schutzmechanismen von Claude Fable 5.2 harmlose Arbeit in den Bereichen Cybersicherheit und Biowissenschaften blockieren können. Wir haben diesen Anwendungsfall an einer Teilmenge von 63 Aufgaben aus Terminal-Bench 4.1 getestet.

Wir haben Claude Code mit Fable allein sowie mit zwei benutzerdefinierten Routing-Profilen ausgeführt. Beide Profile behielten Fable als Standardmodell bei und wiesen die Routen für Cybersicherheit, Biologie und after_refusal entweder GPT-6 Astra oder GPT-6.1 Sol zu. Zum Vergleich haben wir außerdem eigenständige Durchläufe von Astra und Sol in Codex einbezogen.

In diesem bereinigten Vergleich lösen beide gerouteten Setups mit Claude Code 41 von 63 Aufgaben, verglichen mit 38 bei Fable allein, allerdings bei höheren geschätzten Kosten pro Aufgabe. Das Diagramm zeigt diesen Zielkonflikt im Vergleich zu Astra und Sol in Codex.

Terminal-Bench 4.1, bereinigter Vergleich mit 63 Aufgaben. Astra Codex enthält einen angenommenen Erfolg; die Kosten sind geschätzt.

Im folgenden Beispiel wird Sol verwendet: Die Routen für Sicherheit und Biologie wählen das Modell aus, bevor es zu einer Ablehnung kommt; after_refusal wählt es aus, wenn die Konversation bereits eine Ablehnung enthält.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

Routing nach Problemtyp

Bei einem Kundensupport-Assistenten benötigen die meisten Fragen nur ein schnelles, kostengünstiges Modell. Ein Abrechnungsstreit verlangt eine sorgfältige, einfühlsame Antwort. Eine defekte Integration erfordert eine Fehlerbehebung. Der Assistent kann zwei Routen für Abrechnungsstreitigkeiten und technische Probleme nutzen und Routinefragen seinem Standardmodell überlassen:

Route

Aufgabenbeschreibung

Modell

default_model

Alles andere, etwa wie man die E-Mail-Adresse eines Kontos ändert

GLM-5.3 Flash

billing_dispute

Ein Kunde beanstandet eine Abbuchung, verlangt eine Rückerstattung oder ist verärgert über einen ihm in Rechnung gestellten Betrag.

Claude Opus 5.5

technical_issue

Ein Kunde meldet einen Bug, eine Fehlermeldung oder eine nicht mehr funktionierende Integration, die eine Fehlerbehebung erfordert.

GPT-6.1 Sol

Eine geroutete Anfrage senden

So verarbeitet perplexity/auto eine Anfrage: Das Entscheidungsmodell wählt eine Route aus oder meldet keine Übereinstimmung, und Orchestrator ruft das ausgewählte Modell oder Ihr Standardmodell auf. Antwort-Header melden das Routing-Ergebnis.

Die folgende Anfrage leitet ein Problem mit fehlschlagenden API-Aufrufen über das oben gezeigte Kundensupport-Profil.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

Das Entscheidungsmodell ordnete die fehlgeschlagenen API-Aufrufe technical_issue zu, daher leitete Orchestrator die Anfrage an GPT-6.1 Sol weiter. Die Antwort enthält die ausgewählte Route und das Modell, das geantwortet hat:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route gibt die ausgewählte Route an oder none. x-perplexity-autoroute-outcome meldet, wie die Anfrage verarbeitet wurde, einschließlich der Angabe, ob sie geroutet wurde oder auf Ihr Standardmodell zurückgefallen ist. Das Feld model gibt das Modell an, das geantwortet hat.

Routing innerhalb einer Konversation

Wenn eine Konversation von einer Aufgabe zur nächsten wechselt, ist das Modell, das eine Runde bearbeitet hat, für die nächste möglicherweise nicht die richtige Wahl. Ihre Folgeanfragen enthalten den Konversationsverlauf, sodass sowohl das Entscheidungsmodell als auch das ausgewählte Modell frühere Runden lesen können, einschließlich der Antworten anderer Modelle. Wir haben drei reale Konversationen mit jeweils vier Runden durchgeführt: Kundensupport, Coding und Recherche.

Kundensupport

Angenommen, dieselbe Konversation aus dem obigen Beispiel wechselt von einer Kontofrage zu einem Abrechnungsstreit und dann zu einer defekten Integration. Wenn sich die Aufgabe ändert, wählt das Entscheidungsmodell die passende Route aus; wenn sich der Nutzer zum Abschluss bedankt, kehrt Orchestrator zu GLM-5.3 Flash zurück.

Support-Konversation: Route und Modell für jede Runde.

Prompt-Caching bei Modellwechseln

Jede Anfrage enthält den vollständigen Nachrichtenverlauf, doch jedes Modell verwaltet seinen eigenen Cache. Wenn die Konversation in Runde 4 zu GLM Flash zurückkehrt, kann das Modell ein passendes Präfix aus Runde 1 wiederverwenden, solange es noch im Cache liegt, und anschließend die Antworten verarbeiten, die Opus und Sol in den Runden 2 und 3 hinzugefügt haben. Dasselbe gilt für Opus oder Sol, falls sie in Runde 5 ausgewählt werden.

Orchestrator hält zusammengehörige Anfragen nach Möglichkeit auf derselben Bereitstellung, um das Prompt-Caching zu erhalten. Verwenden Sie für die Konversation durchgehend einen stabilen prompt_cache_key, um diese Affinität aufrechtzuerhalten.

Prompt-Caching bei Modellwechseln: GLM Flash kann sein früheres Präfix wiederverwenden und verarbeitet die dazwischenliegende Konversation als neue Eingabe.

Coding-Assistent

In Runde 4 der Coding-Konversation schreibt GLM-5.3 Flash einen Docstring und nutzt dabei den Kontext aus der Fehlerdiagnose von Claude Opus 5.5 und dem Implementierungsplan von GPT-6.1 Sol.

Das Routing-Profil weist Umbenennungen und kleine Änderungen GLM-5.3 Flash, Fehlerdiagnosen Claude Opus 5.5 und die Planung modulübergreifender Änderungen GPT-6.1 Sol zu:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
Coding-Konversation: Route und Modell für jede Runde.

Recherche-Assistent

Im Recherche-Beispiel führt eine Faktenfrage zu einer Berechnung, die anschließend die Grundlage für ein Memo bildet. Das Profil weist Faktenfragen GLM-5.3 Flash, Berechnungen GPT-6.1 Sol und das Verfassen von Memos Claude Opus 5.5 zu:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

Das Memo in Runde 3 verwendet die Berechnungen aus der vorherigen Antwort von GPT-6.1 Sol und rundet die Zahlen, ohne den Nutzer zu bitten, sie zu wiederholen.

Recherche-Konversation: Route und Modell für jede Runde.

Erste Schritte mit Orchestrator

Verbinden Sie Ihr vorhandenes OpenAI- oder Anthropic-SDK mit einem Perplexity-API-Schlüssel, der passenden Orchestrator-Basis-URL und einem Modell aus dem Katalog.

Der Schnellstart behandelt Einrichtung, aktuelle Verfügbarkeit und Zugang. Bei Fragen wenden Sie sich bitte an api@perplexity.ai.