Wir stellen vor: Orchestrator – eine API für Frontier- und Open-Weight-Modelle

Perplexity Orchestrator bietet über eine einzige API Zugriff auf Frontier- und Open-Weight-Modelle – mit einheitlicher Abrechnung und Failover.

An orchestra conductor surrounded by sweeping trails of light against a dark background.

Perplexity setzt im Kern auf mehrere Modelle und gibt Menschen die Freiheit, für ihre Arbeit die neuesten Frontier- und Open-Weight-Modelle zu wählen. Dieser Multi-Modell-Ansatz nutzt die Stärken jedes Modells und kann die Kosten senken, wenn eine Aufgabe nicht das leistungsstärkste Modell erfordert. Im Hintergrund kann unsere Orchestrierungstechnologie mehrere Modelle einsetzen, um eine einzige Aufgabe zu erledigen.

Unternehmen verfolgen einen ähnlichen Ansatz, um Leistung, Kosten und Flexibilität in Einklang zu bringen. Jede neue Modellveröffentlichung bietet die Chance, Kosten zu senken oder die Qualität zu verbessern. Allein in diesem Jahr haben Labore wie Anthropic und OpenAI mehr als ein Dutzend neue Modelle veröffentlicht. Außerdem sind mehr als 100 Open-Weight-Modelle erschienen. Das verschafft Teams zwar mehr Optionen für jeden Workload, bedeutet aber auch mehr Anbieter, Verträge und Rechnungen, die verwaltet werden müssen.

Heute führen wir die Perplexity Orchestrator API ein und stellen unsere modellunabhängige Technologie Entwicklern und Teams zur Verfügung, die KI-Anwendungen entwickeln. Über eine einzige API können Teams einfache Aufgaben mit hohem Volumen auf kostengünstigeren Modellen ausführen und leistungsstärkere Modelle für anspruchsvollere Arbeiten reservieren.

Mit Orchestrator können Teams ihre KI-Ausgaben senken und zentral bündeln und neue Modelle direkt nach deren Veröffentlichung einsetzen – ohne Abstriche bei Leistung oder Verfügbarkeit. Teams entscheiden, welches Modell welchen Workload übernimmt, und Perplexity kümmert sich um das Routing zwischen den Anbietern und das Failover, um eine zuverlässige Inferenz sicherzustellen.

Aufgebaut auf der produktiven Modellschicht von Perplexity

Perplexity betreibt jeden Tag Open-Weight- und Frontier-Modelle in der Produktion. Unsere Modellschicht leitet Hunderte Millionen Anfragen über mehr als 85 Modelle und mehr als ein Dutzend Anbieter.

Ein Modell auszuwählen ist einfacher, als jede Anfrage schnell und bezahlbar zu halten, wenn Anbieter langsamer werden, an Kapazitätsgrenzen stoßen oder ihre Preise ändern. Wir haben unsere eigenen Serving-Kosten gesenkt, indem wir Workloads auf die Modelle verlagert haben, die für die jeweilige Aufgabe am besten geeignet sind.

Orchestrator gibt Entwicklern Zugriff auf die gemeinsame Infrastruktur hinter diesem Ansatz.

Orchestrator stellt diese Inferenzschicht über eine einzige API bereit. Sie umfasst Modelle von OpenAI, Anthropic, Google und xAI sowie Open-Weight-Modelle wie GLM, Kimi und DeepSeek. Open-Weight-Modelle werden von Perplexity selbst oder über Inferenzpartner bereitgestellt.

Orchestrator unterstützt die Formate OpenAI Chat Completions, OpenAI Responses und Anthropic Messages. Teams können weiterhin vertraute Software Development Kits (SDKs) verwenden. Für die meisten Teams besteht der Einstieg darin, den API-Schlüssel und die Basis-URL zu aktualisieren und ein verfügbares Modell auszuwählen.

Einheitliche Abrechnung ohne zusätzliche Plattformgebühr

Der Betrieb von Modellen mehrerer Labs und Inferenzanbieter kann separate Konten, API-Schlüssel, Verträge, Sicherheitsprüfungen und Rechnungen erfordern. Hinzu kommen unter Umständen separate jährliche Verpflichtungen auf Basis eines Modellmix, der sich innerhalb weniger Wochen ändern könnte.

Orchestrator bündelt unterstützte Modelle bei einem einzigen Anbieter und auf einer einzigen Rechnung, sodass Teams ihren Modellmix ändern können, ohne mit jedem Modellanbieter eine eigene Abnahmeverpflichtung aushandeln zu müssen. Zusätzlich zu den Credits fällt keine weitere Plattformgebühr an.

Teams können die Nutzung außerdem über die API-Konsole verfolgen und Ausgaben verwalten:

  • Nutzungsberichte: Ausgaben aufgeschlüsselt nach Modell, Projekt, API-Schlüssel und Datum
  • API-Schlüssel: Separate API-Schlüssel, um die Nutzung nach Projekt oder Team zu verfolgen
  • Admin-Steuerung: Modell-Allowlists für Organisationen, Benutzerbeschränkungen, Ausgabenlimits und Kapazitätsanfragen

Zuverlässigere Anfragen über alle Anbieter hinweg

Modelle, die über mehrere Anbieter verfügbar sind, bieten Teams mehr als eine Möglichkeit, eine Anfrage zu bedienen.

Orchestrator überwacht Zustand, Kapazität und Latenz jedes Anbieters, um den Traffic auf die leistungsstärksten zu verteilen. Schlägt eine Anfrage fehl, kann sie auf einem anderen Deployment desselben Modells wiederholt werden. So wird das Failover übernommen, ohne dass Teams die Logik selbst entwickeln müssen.

Für Teams, die täglich Millionen von Anfragen verarbeiten, kann schon ein kleiner Unterschied bei den Erfolgsquoten – etwa zwischen 99,0 % und 99,99 % – Tausende von Antworten betreffen. Mit Orchestrator müssen Teams keinen eigenen Failover-Code entwickeln oder pflegen.

Im Produktionstraffic eines Monats auf Orchestrator erzielten Claude- und GPT-Anfragen über Perplexity höhere Erfolgsquoten als jeder einzelne gemessene Anbieter und schwankten bei Störungen der Anbieter von Tag zu Tag weniger stark.

In der Vorschau: Routes und Auto effort

Mit Routes können Teams in natürlicher Sprache beschreiben, welche Anfragen jedes Modell bearbeiten soll, und ein Standardmodell festlegen. Teams können mit einem integrierten Profil – „Lower cost“, „Balanced“ oder „Higher quality“ – beginnen oder ein eigenes erstellen. Wenn Teams keine Beschreibung angeben oder kein Ziel festlegen, bedient das Standardmodell die Anfrage.

Ebenfalls in der Vorschau verfügbar ist Auto effort: Damit wird gemäß einer vom Entwickler festgelegten Richtlinie angepasst, wie viel Reasoning ein unterstütztes Modell in seiner nächsten Runde aufwendet. Ein Agent kann so mehr Aufwand investieren, um sich von einem Tool-Fehler zu erholen, ohne das Modell zu wechseln.

Starten Sie mit intelligenter Modell-Orchestrierung

Orchestrator ist der erste Schritt innerhalb der API-Plattform von Perplexity hin zu intelligenter Modell-Orchestrierung. Erfahren Sie, wie wir Routes entwickelt und evaluiert haben – und warum es so schwierig ist, Modell-Routing richtig umzusetzen.

Erstellen Sie zum Einstieg einen API-Schlüssel in der API-Konsole, richten Sie ein vorhandenes OpenAI- oder Anthropic-SDK auf die Basis-URL von Orchestrator aus und wählen Sie ein Modell aus dem Modellkatalog.

Die Schnellstartanleitung zeigt, wie Sie in wenigen Minuten Ihre erste Anfrage senden. Teams mit großen oder fest zugesagten Workloads können sich per E-Mail an api@perplexity.ai wenden, um mehr über Mengenpreise und Kapazitäten zu erfahren.

Erstellen Sie noch heute einen API-Schlüssel.