Maak kennis met Orchestrator: één API voor frontier- en open-weightmodellen

Perplexity Orchestrator biedt toegang tot frontier- en open-weightmodellen met centrale facturering en failover in één API.

An orchestra conductor surrounded by sweeping trails of light against a dark background.

Perplexity is in de kern multimodel en geeft mensen de vrijheid om de nieuwste frontier- en open-weight-modellen voor hun werk te kiezen. Deze multimodelaanpak benut de sterke punten van elk model en kan de kosten verlagen wanneer een taak niet het krachtigste model nodig heeft. Achter de schermen kan onze orkestratietechnologie meerdere modellen gebruiken om één taak uit te voeren.

Bedrijven kiezen voor een vergelijkbare aanpak om prestaties, kosten en flexibiliteit in balans te brengen. Elke nieuwe modelrelease biedt een kans om kosten te verlagen of de kwaliteit te verbeteren. Dit jaar alleen al hebben labs zoals Anthropic en OpenAI meer dan twaalf nieuwe modellen uitgebracht. Daarnaast zijn er meer dan 100 open-weightmodellen verschenen. Dat geeft teams meer opties voor elke workload, maar ook meer aanbieders, contracten en facturen om te beheren.

Vandaag lanceren we de Perplexity Orchestrator API, waarmee we onze modelonafhankelijke technologie beschikbaar maken voor ontwikkelaars en teams die AI-toepassingen bouwen. Via één API kunnen teams eenvoudige taken met een hoog volume uitvoeren op goedkopere modellen en krachtigere modellen reserveren voor veeleisender werk.

Met Orchestrator kunnen teams hun AI-uitgaven verlagen en centraliseren en nieuwe modellen inzetten zodra ze uitkomen, zonder in te leveren op prestaties of uptime. Teams kunnen kiezen welk model elke workload afhandelt, en Perplexity zorgt voor de routering naar aanbieders en de failover om betrouwbare inferentie te garanderen.

Gebouwd op de productiemodellaag van Perplexity

Perplexity draait elke dag open-weight- en frontier-modellen in productie. Onze modellaag routeert honderden miljoenen verzoeken over 85+ modellen en meer dan twaalf aanbieders.

Een model kiezen is eenvoudiger dan elk verzoek snel en betaalbaar houden wanneer aanbieders trager worden, krap komen te zitten in capaciteit of hun prijzen wijzigen. We hebben onze eigen servicekosten verlaagd door workloads te verplaatsen naar de modellen die het best geschikt zijn voor elke taak.

Orchestrator geeft ontwikkelaars toegang tot de gedeelde infrastructuur achter die aanpak.

Orchestrator maakt die inferentielaag beschikbaar via één API. Het omvat modellen van OpenAI, Anthropic, Google en xAI, naast open-weightmodellen zoals GLM, Kimi en DeepSeek. Open-weightmodellen worden aangeboden door Perplexity of via inferentiepartners.

Orchestrator ondersteunt de indelingen OpenAI Chat Completions, OpenAI Responses en Anthropic Messages. Teams kunnen vertrouwde softwareontwikkelingskits (SDK's) blijven gebruiken. Voor de meeste teams komt aan de slag gaan neer op het bijwerken van de API-sleutel en de basis-URL en het selecteren van een beschikbaar model.

Centrale facturering zonder extra platformkosten

Het draaien van modellen van verschillende labs en inferentieaanbieders kan aparte accounts, API-sleutels, contracten, beveiligingsbeoordelingen en facturen vereisen. Het kan ook betekenen dat je aparte jaarlijkse verplichtingen aangaat op basis van een modelmix die binnen enkele weken kan veranderen.

Orchestrator brengt ondersteunde modellen samen onder één leverancier en één factuur, zodat teams hun modelmix kunnen aanpassen zonder met elke aanbieder afzonderlijk een afnameverplichting uit te onderhandelen. Er komen geen extra platformkosten bovenop de credits.

Teams kunnen ook het gebruik bijhouden en uitgaven beheren via de API Console:

  • Gebruiksrapportage: uitgaven uitgesplitst per model, project, API-sleutel en datum
  • API-sleutels: aparte API-sleutels om het gebruik per project of team bij te houden
  • Beheeropties: toelatingslijsten voor modellen per organisatie, gebruikersbeperkingen, uitgavenlimieten en capaciteitsaanvragen

Betrouwbaardere verzoeken via meerdere aanbieders

Modellen die via meerdere aanbieders beschikbaar zijn, geven teams meer dan één manier om een verzoek te verwerken.

Orchestrator houdt de status, capaciteit en latentie van elke aanbieder bij om het verkeer te verdelen over de best presterende aanbieders. Als een verzoek mislukt, kan het opnieuw worden geprobeerd op een andere deployment van hetzelfde model. Zo wordt failover afgehandeld zonder dat teams die logica zelf hoeven te bouwen.

Voor teams die miljoenen verzoeken per dag verwerken, kan zelfs een klein verschil in slagingspercentage, zoals tussen 99,0% en 99,99%, gevolgen hebben voor duizenden antwoorden. Met Orchestrator hoeven teams zelf geen failovercode te bouwen of te onderhouden.

In een maand aan productieverkeer op Orchestrator hadden Claude- en GPT-verzoeken via Perplexity hogere slagingspercentages dan elke afzonderlijke gemeten aanbieder, en minder dagelijkse schommelingen tijdens storingen bij aanbieders.

In preview: Routes en Auto effort

Met Routes kunnen teams in gewone taal beschrijven welke verzoeken elk model moet afhandelen en een standaardmodel instellen. Teams kunnen beginnen met een ingebouwd profiel: Lower cost, Balanced of Higher quality. Ze kunnen ook zelf een aangepast profiel samenstellen. Als teams geen beschrijving geven of geen doel opgeven, handelt het standaardmodel het verzoek af.

Eveneens in preview: Auto effort past aan hoeveel redenering een ondersteund model bij zijn volgende beurt gebruikt, volgens een beleid dat de ontwikkelaar definieert. Een agent kan meer inspanning steken in het herstellen van een toolfout zonder van model te wisselen.

Aan de slag met intelligente modelorkestratie

Orchestrator is de eerste stap binnen het API-platform van Perplexity voor intelligente modelorkestratie. Lees hoe we Routes hebben gebouwd en geëvalueerd, inclusief waarom modelroutering zo moeilijk goed te krijgen is.

Om aan de slag te gaan, maak je een API-sleutel aan in de API Console, stel je een bestaande OpenAI- of Anthropic-SDK in op de basis-URL van Orchestrator en kies je uit de modelcatalogus.

Met de quickstart doe je binnen enkele minuten je eerste verzoek. Teams met grote workloads of vaste volumeafspraken kunnen mailen naar api@perplexity.ai voor meer informatie over volumeprijzen en capaciteit.

Maak vandaag nog een API-sleutel aan.