Orchestrator: Eén API voor betrouwbare inferentie

Maak via één API verbinding met open-weight- en propriëtaire AI-modellen, met uniforme facturering en automatische failover met behoud van hetzelfde model.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator brengt open-weight- en propriëtaire modellen samen in één API met uniforme facturering. Het kiest automatisch een aanbieder op basis van beschikbaarheid, capaciteit en latentie, en kan mislukte verzoeken opnieuw proberen op een andere beschikbare deployment van hetzelfde model.

Eén integratie voor open-weight- en propriëtaire modellen

Orchestrator levert open-weight-modellen die op de inferentie-infrastructuur van Perplexity worden gehost, naast propriëtaire modellen van andere aanbieders. De huidige catalogus toont de beschikbare modellen.

Het accepteert verzoeken voor OpenAI Chat Completions, OpenAI Responses en Anthropic Messages, zodat je verbinding kunt maken via je bestaande OpenAI- of Anthropic-SDK.

De snelstartgids en de routeringsgids bevatten SDK-voorbeelden en beschrijven het huidige routeringsgedrag.

Betrouwbaarheid en snelheid bij verschillende aanbieders

Betrouwbaarheid

Kiezen voor Claude hoeft niet te betekenen dat je afhankelijk bent van één aanbieder: een verzoek dat bij Anthropic mislukt, kan nog steeds slagen bij AWS Bedrock. Met failover naar een andere aanbieder kan de deployment die een verzoek afhandelt worden gewisseld zonder het model te veranderen.

Orchestrator gebruikt de waargenomen status en capaciteit om verzoeken over de deployments van een model te verdelen. Als een aanbieder een fout retourneert, een rate limit bereikt of een time-out krijgt, probeert Orchestrator het opnieuw op een andere deployment van dat model, met limieten voor de tijd tot het eerste token en de totale duur van elke poging.

Bij metingen van 4 oktober tot 2 november 2026 slaagden verzoeken aan Claude en GPT via Perplexity vaker dan verzoeken aan elke afzonderlijke aanbieder die we hebben gemeten. Hun dagelijkse succespercentages schommelden ook minder tijdens incidenten bij aanbieders.

Succespercentages van verzoeken, 4 oktober tot 2 november 2026: Claude links; GPT-modellen die via zowel OpenAI als Azure beschikbaar zijn rechts.
Dagelijkse succespercentages van verzoeken in dezelfde periode: Claude links en GPT rechts.

We telden een verzoek als mislukt wanneer Orchestrator de beschikbare deployments had uitgeput of de servicelaag een fout retourneerde, maar we sloten clientfouten uit, zoals ongeldige verzoeken en overschrijdingen van rate limits aan de clientzijde.

Uitvoersnelheid

We werken aan adaptieve routering die rekening houdt met de snelheid van modellen, zodat Orchestrator de keuze van aanbieders kan aanpassen wanneer de prestaties veranderen.

De snelste aanbieder voor een model verandert in de loop van de tijd. Voor Claude Opus 5.5 was Anthropic op 15 van de 30 dagen het snelst, en AWS Bedrock op de andere 15.

Mediane uitvoersnelheid van Claude Opus 5.5 per aanbieder en per dag, 4 oktober tot 2 november 2026. De gemarkeerde lijn volgt elke dag de snelste aanbieder en illustreert het doel voor live routering op basis van snelheid.

Over dezelfde 30 dagen lag de mediane uitvoersnelheid van GPT-5.6 Sol bij Azure 27% hoger dan bij OpenAI.

Mediane uitvoersnelheid van GPT-5.6 Sol na het eerste token, 4 oktober tot 2 november 2026.

Eén factuur voor alle modellen

Elk verzoek telt alleen mee voor het tokengebruik van het model dat antwoordt. Orchestrator rekent de gepubliceerde tarieven per token van elk model, ongeacht welke aanbieder het verzoek afhandelt, dus failover naar een andere aanbieder verandert dat tarief niet. Het gebruik wordt afgeschreven van dezelfde vooraf betaalde credits als de rest van je Perplexity API-project.

In de API Console kun je uitgaven per model bekijken en gebruik filteren op API-sleutel. Je kunt ook credits kopen via AWS Marketplace.

Automatische routering (preview): koppel elke taak aan het juiste model

Orchestrator biedt automatische routering, een optionele functie die als preview beschikbaar is. Deze selecteert voor elk verzoek een model met behulp van een profiel dat taakbeschrijvingen in gewone taal aan modellen koppelt. Je kunt je eigen profiel definiëren of het ingebouwde standaardprofiel van Orchestrator gebruiken.

Verzoeken met automatische routering gebruiken perplexity/auto als model. Neem voor een aangepast profiel een routing-object op met default_model en routes. Elke route specificeert een naam, beschrijving en model.

Voor elk verzoek roept perplexity/auto ons beslissingsmodel aan, dat het gesprek leest en vergelijkt met de routebeschrijvingen, zonder de modelnamen te zien. Orchestrator stuurt het verzoek vervolgens naar het model dat aan de geselecteerde route is toegewezen, of naar je standaardmodel als geen enkele route overeenkomt. Orchestrator gebruikt ook je standaardmodel als het beslissingsmodel faalt of een time-out krijgt.

De onderstaande voorbeelden behandelen routering om weigeringen van modellen heen, typen klantenserviceproblemen en taakwisselingen binnen een gesprek.

Routering om weigeringen heen

Een agent kan automatische routering gebruiken om voorspelbare weigeringen te vermijden en tegelijk zijn voorkeursmodel voor ander werk te behouden. Anthropic documenteert dat de beveiligingen van Claude Fable 5.2 onschuldig werk op het gebied van cybersecurity en life sciences kunnen blokkeren. We hebben deze toepassing getest op een subset van 63 taken uit Terminal-Bench 4.1.

We hebben Claude Code uitgevoerd met alleen Fable en met twee aangepaste routeringsprofielen. Beide profielen behielden Fable als standaardmodel en wezen routes voor cybersecurity, biologie en after_refusal toe aan GPT-6 Astra of GPT-6.1 Sol. Ter vergelijking hebben we ook losse runs van Astra en Sol in Codex meegenomen.

In deze aangepaste vergelijking lossen beide gerouteerde Claude Code-configuraties 41 van de 63 taken op, tegenover 38 voor alleen Fable, tegen hogere geschatte kosten per taak. De grafiek toont deze afweging naast Astra en Sol in Codex.

Terminal-Bench 4.1, aangepaste vergelijking met 63 taken. Astra Codex bevat één veronderstelde geslaagde taak; kosten zijn geschat.

Het onderstaande voorbeeld gebruikt Sol: de routes voor beveiliging en biologie selecteren het voordat er een weigering optreedt, en after_refusal selecteert het wanneer het gesprek al een weigering bevat.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

Routering op type probleem

Voor een klantenserviceassistent hebben de meeste vragen alleen een snel, goedkoop model nodig. Een factuurgeschil vraagt om een zorgvuldig, empathisch antwoord. Een defecte integratie vereist probleemoplossing. De assistent kan twee routes gebruiken voor factuurgeschillen en technische problemen, en routinevragen aan zijn standaardmodel overlaten:

Route

Taakbeschrijving

Model

default_model

Al het overige, zoals het wijzigen van het e-mailadres van een account

GLM-5.3 Flash

billing_dispute

Een klant betwist een afschrijving, vraagt om terugbetaling of is ontevreden over een gefactureerd bedrag.

Claude Opus 5.5

technical_issue

Een klant meldt een bug, een foutmelding of een integratie die niet meer werkt en waarvoor probleemoplossing nodig is.

GPT-6.1 Sol

Een gerouteerd verzoek versturen

Hoe perplexity/auto een verzoek afhandelt: het beslissingsmodel selecteert een route of geeft aan dat er geen match is, en Orchestrator roept het geselecteerde model of je standaardmodel aan. Responsheaders melden de uitkomst van de routering.

Het onderstaande verzoek stuurt een melding over een API-storing door het klantenserviceprofiel hierboven.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

Het beslissingsmodel koppelde de mislukte API-aanroepen aan technical_issue, dus stuurde Orchestrator het verzoek naar GPT-6.1 Sol. Het antwoord bevat de geselecteerde route en het model dat heeft geantwoord:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route geeft de geselecteerde route aan, of dat er geen route is geselecteerd. x-perplexity-autoroute-outcome meldt hoe het verzoek is afgehandeld, inclusief of het is gerouteerd of is teruggevallen op je standaardmodel. Het veld model geeft aan welk model heeft geantwoord.

Routering binnen een gesprek

Wanneer een gesprek van de ene taak naar de andere gaat, is het model dat de ene beurt afhandelde misschien niet de juiste keuze voor de volgende. Je vervolgverzoeken bevatten de gespreksgeschiedenis, zodat zowel het beslissingsmodel als het geselecteerde model eerdere beurten kan lezen, inclusief antwoorden van andere modellen. We hebben drie echte gesprekken van vier beurten gevoerd: klantenservice, programmeren en onderzoek.

Klantenservice

Stel dat in het bovenstaande voorbeeld hetzelfde gesprek verschuift van een accountvraag naar een factuurgeschil en vervolgens naar een defecte integratie. Naarmate de taak verandert, selecteert het beslissingsmodel de bijbehorende route; wanneer de gebruiker afsluit met een bedankje, keert Orchestrator terug naar GLM-5.3 Flash.

Klantenservicegesprek: de route en het model voor elke beurt.

Promptcaching bij overdrachten tussen modellen

Elk verzoek bevat de volledige berichtgeschiedenis, maar elk model houdt zijn eigen cache bij. Wanneer het gesprek in beurt 4 terugkeert naar GLM Flash, kan het een overeenkomende prefix uit beurt 1 hergebruiken zolang die nog in de cache staat, en vervolgens de antwoorden verwerken die Opus en Sol in beurt 2 en 3 hebben toegevoegd. Hetzelfde geldt voor Opus of Sol als die in beurt 5 worden geselecteerd.

Orchestrator houdt gerelateerde verzoeken waar mogelijk op dezelfde deployment om promptcaching te behouden. Gebruik voor het gesprek steeds dezelfde stabiele prompt_cache_key om die affiniteit te helpen behouden.

Promptcaching bij overdrachten tussen modellen: GLM Flash kan zijn eerdere prefix hergebruiken en het tussenliggende gesprek als nieuwe invoer verwerken.

Programmeerassistent

In beurt 4 van het programmeergesprek schrijft GLM-5.3 Flash een docstring op basis van de context uit de bugdiagnose van Claude Opus 5.5 en het implementatieplan van GPT-6.1 Sol.

Het routeringsprofiel wijst hernoemingen en kleine bewerkingen toe aan GLM-5.3 Flash, bugdiagnose aan Claude Opus 5.5 en het plannen van wijzigingen over meerdere modules aan GPT-6.1 Sol:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
Programmeergesprek: de route en het model voor elke beurt.

Onderzoeksassistent

In het onderzoeksvoorbeeld leidt een feitelijke vraag tot een berekening, die vervolgens de basis vormt voor een memo. Het profiel wijst feitelijke vragen toe aan GLM-5.3 Flash, berekeningen aan GPT-6.1 Sol en het schrijven van memo's aan Claude Opus 5.5:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

De memo in beurt 3 gebruikt de berekeningen uit het vorige antwoord van GPT-6.1 Sol en rondt de cijfers af zonder de gebruiker te vragen ze te herhalen.

Onderzoeksgesprek: de route en het model voor elke beurt.

Aan de slag met Orchestrator

Koppel je bestaande OpenAI- of Anthropic-SDK met een Perplexity API-sleutel, de juiste basis-URL van Orchestrator en een model uit de catalogus.

De snelstartgids behandelt de configuratie, de huidige beschikbaarheid en toegang. Neem voor vragen contact op via api@perplexity.ai.