Orchestrator: Ett API for pålitelig inferens
Koble til AI-modeller med åpne vekter og proprietære AI-modeller via ett API med samlet fakturering og automatisk failover innenfor samme modell.

Orchestrator samler modeller med åpne vekter og proprietære modeller i ett API med samlet fakturering. Den velger automatisk en leverandør basert på tilgjengelighet, kapasitet og ventetid, og kan prøve mislykkede forespørsler på nytt på en annen tilgjengelig distribusjon av samme modell.
Én integrasjon for modeller med åpne vekter og proprietære modeller
Orchestrator leverer modeller med åpne vekter som kjører på Perplexitys inferensinfrastruktur, side om side med proprietære modeller fra andre leverandører. Gjeldende katalog viser de tilgjengelige modellvalgene.
Den godtar forespørsler i formatene OpenAI Chat Completions, OpenAI Responses og Anthropic Messages, så du kan koble til via din eksisterende OpenAI- eller Anthropic-SDK.
Hurtigstartveiledningen og rutingsveiledningen dekker SDK-eksempler og gjeldende rutingsatferd.
Pålitelighet og hastighet på tvers av leverandører
Pålitelighet
Å velge Claude trenger ikke å bety at du er avhengig av én enkelt leverandør: En forespørsel som mislykkes hos Anthropic, kan fortsatt lykkes hos AWS Bedrock. Failover mellom leverandører gjør det mulig å bytte distribusjonen som betjener en forespørsel, uten å bytte modell.
Orchestrator bruker observert tilstand og kapasitet til å fordele forespørsler mellom distribusjonene av en modell. Hvis en leverandør returnerer en feil, når en hastighetsgrense eller får tidsavbrudd, prøver Orchestrator på nytt på en annen distribusjon av den samme modellen, med grenser for tid til første token og total varighet for hvert forsøk.
I målinger fra 4. oktober til 2. november 2026 lyktes Claude- og GPT-forespørsler via Perplexity oftere enn forespørsler til noen enkeltleverandør vi målte. De daglige suksessratene varierte også mindre under hendelser hos leverandørene.
Vi regnet en forespørsel som mislykket når Orchestrator hadde brukt opp de tilgjengelige distribusjonene eller tjenestelaget returnerte en feil, men utelot klientfeil som ugyldige forespørsler og brudd på klientens hastighetsgrenser.
Utdatahastighet
Vi jobber med adaptiv ruting som tar hensyn til modellhastighet, slik at Orchestrator kan justere valget av leverandør etter hvert som ytelsen endrer seg.
Den raskeste leverandøren for en gitt modell endrer seg over tid. For Claude Opus 5.5 var Anthropic raskest 15 av de 30 dagene, og AWS Bedrock de øvrige 15.
I løpet av de samme 30 dagene var Azures medianutdatahastighet for GPT-5.6 Sol 27 % høyere enn OpenAIs.
Én faktura for alle modeller
Hver forespørsel teller bare mot tokenbruken til modellen som svarer. Orchestrator tar betalt etter modellens publiserte priser per token uansett hvilken leverandør som betjener forespørselen, så failover mellom leverandører endrer ikke denne prisen. Bruken trekkes fra de samme forhåndsbetalte kredittene som resten av Perplexity API-prosjektet ditt.
I API Console kan du se forbruk per modell og filtrere bruk etter API-nøkkel. Du kan også kjøpe kreditter via AWS Marketplace.
Automatisk ruting (forhåndsversjon): koble hver oppgave til riktig modell
Orchestrator tilbyr automatisk ruting, en valgfri funksjon som er tilgjengelig som forhåndsversjon. Den velger en modell for hver forespørsel ved hjelp av en profil som kobler oppgavebeskrivelser på vanlig språk til modeller. Du kan definere din egen profil eller bruke den innebygde standardprofilen i Orchestrator.
Forespørsler med automatisk ruting bruker perplexity/auto som modell. For en egendefinert profil inkluderer du et routing-objekt med default_model og routes. Hver rute angir et navn, en beskrivelse og en modell.
For hver forespørsel kaller perplexity/auto vår beslutningsmodell, som leser samtalen og sammenligner den med rutebeskrivelsene uten å se modellnavnene. Orchestrator sender deretter forespørselen til modellen som er tilordnet den valgte ruten, eller til standardmodellen din hvis ingen rute passer. Orchestrator bruker også standardmodellen din hvis beslutningsmodellen feiler eller får tidsavbrudd.
Eksemplene nedenfor dekker ruting rundt modellavslag, sakstyper i kundestøtte og oppgaveendringer i en samtale.
Ruting rundt avslag
En agent kan bruke automatisk ruting for å unngå forutsigbare avslag og samtidig beholde den foretrukne modellen sin til annet arbeid. Anthropic dokumenterer at sikkerhetsmekanismene i Claude Fable 5.2 kan blokkere harmløst arbeid innen cybersikkerhet og livsvitenskap. Vi testet dette bruksområdet på et utvalg på 63 oppgaver fra Terminal-Bench 4.1.
Vi kjørte Claude Code med Fable alene og med to egendefinerte rutingsprofiler. Begge profilene beholdt Fable som standardmodell og tilordnet rutene for cybersikkerhet, biologi og after_refusal til enten GPT-6 Astra eller GPT-6.1 Sol. Vi tok også med frittstående kjøringer av Astra og Sol i Codex til sammenligning.
I denne justerte sammenligningen løser begge de rutede Claude Code-oppsettene 41 av 63 oppgaver, mot 38 for Fable alene, til en høyere estimert kostnad per oppgave. Diagrammet viser denne avveiningen sammen med Astra og Sol som kjører i Codex.
Eksempelet nedenfor bruker Sol: Sikkerhets- og biologirutene velger den før et avslag oppstår, og after_refusal velger den når samtalen allerede inneholder et avslag.
"routing": {
"default_model": "anthropic/claude-fable-5-2",
"routes": [
{"name": "security",
"description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.",
"model": "openai/gpt-6.1-sol"},
{"name": "biology",
"description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.",
"model": "openai/gpt-6.1-sol"},
{"name": "after_refusal",
"description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.",
"model": "openai/gpt-6.1-sol"}
]
}Ruting etter sakstype
For en kundestøtteassistent trenger de fleste spørsmål bare en rask og rimelig modell. En faktureringstvist krever et omhyggelig og empatisk svar. En integrasjon som ikke fungerer, krever feilsøking. Assistenten kan bruke to ruter for faktureringstvister og tekniske problemer, og overlate rutinespørsmål til standardmodellen sin:
Rute | Oppgavebeskrivelse | Modell |
default_model | Alt annet, for eksempel hvordan man endrer e-postadressen for en konto | GLM-5.3 Flash |
billing_dispute | En kunde bestrider en belastning, ber om refusjon eller er misfornøyd med et beløp vedkommende er blitt fakturert for. | Claude Opus 5.5 |
technical_issue | En kunde melder om en feil, en feilmelding eller en integrasjon som har sluttet å fungere og trenger feilsøking. | GPT-6.1 Sol |
Sende en rutet forespørsel
Forespørselen nedenfor sender en sak om en API-feil gjennom kundestøtteprofilen ovenfor.
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \
-H "Authorization: Bearer $PERPLEXITY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7",
"model": "perplexity/auto",
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "billing_dispute",
"description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.",
"model": "anthropic/claude-opus-5-5"},
{"name": "technical_issue",
"description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.",
"model": "openai/gpt-6.1-sol"}
]
},
"messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}]
}'Beslutningsmodellen koblet de mislykkede API-kallene til technical_issue, så Orchestrator sendte forespørselen til GPT-6.1 Sol. Svaret inkluderer den valgte ruten og modellen som svarte:
HTTP/2 200
x-perplexity-autoroute-outcome: routed
x-perplexity-autoroute-route: technical_issue
{"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}x-perplexity-autoroute-route angir den valgte ruten, eller ingen. x-perplexity-autoroute-outcome rapporterer hvordan forespørselen ble håndtert, inkludert om den ble rutet eller falt tilbake til standardmodellen din. Modellfeltet angir modellen som svarte.
Ruting i en samtale
Når en samtale beveger seg mellom oppgaver, er ikke nødvendigvis modellen som håndterte én tur, det rette valget for den neste. Oppfølgingsforespørslene dine inkluderer samtalehistorikken, så både beslutningsmodellen og den valgte modellen kan lese tidligere turer, inkludert svar fra andre modeller. Vi kjørte tre ekte samtaler med fire turer hver: kundestøtte, koding og research.
Kundeservice
Anta at den samme samtalen i eksempelet ovenfor går fra et kontospørsmål til en faktureringstvist og deretter til en integrasjon som ikke fungerer. Etter hvert som oppgaven endrer seg, velger beslutningsmodellen den samsvarende ruten; når brukeren avslutter med en takk, går Orchestrator tilbake til GLM-5.3 Flash.
Prompt-hurtigbufring på tvers av modellbytter
Hver forespørsel inneholder hele meldingshistorikken, men hver modell har sin egen hurtigbuffer. Når samtalen går tilbake til GLM Flash i tur 4, kan den gjenbruke et samsvarende prefiks fra tur 1 mens det fortsatt ligger i hurtigbufferen, og deretter behandle svarene som Opus og Sol la til i tur 2 og 3. Det samme gjelder for Opus eller Sol hvis de velges i tur 5.
Orchestrator holder relaterte forespørsler på samme distribusjon når det er mulig, for å bevare prompt-hurtigbufringen. Gjenbruk en stabil prompt_cache_key for samtalen for å bidra til å opprettholde denne tilknytningen.
Kodeassistent
I tur 4 av kodesamtalen skriver GLM-5.3 Flash en docstring ved hjelp av konteksten fra feildiagnosen til Claude Opus 5.5 og implementeringsplanen til GPT-6.1 Sol.
Rutingsprofilen tilordner omdøpinger og små endringer til GLM-5.3 Flash, feildiagnose til Claude Opus 5.5 og planlegging av endringer på tvers av moduler til GPT-6.1 Sol:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "hard_debugging",
"description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.",
"model": "anthropic/claude-opus-5-5"},
{"name": "design_change",
"description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.",
"model": "openai/gpt-6.1-sol"}
]
}Research-assistent
I research-eksempelet leder et faktaspørsmål til en beregning, som deretter danner grunnlaget for et notat. Profilen tilordner faktaspørsmål til GLM-5.3 Flash, beregninger til GPT-6.1 Sol og notatskriving til Claude Opus 5.5:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "quantitative_analysis",
"description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.",
"model": "openai/gpt-6.1-sol"},
{"name": "long_form_writing",
"description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.",
"model": "anthropic/claude-opus-5-5"}
]
}Notatet i tur 3 bruker beregningene fra det forrige svaret til GPT-6.1 Sol og runder av tallene uten å be brukeren gjenta dem.
Kom i gang med Orchestrator
Koble til din eksisterende OpenAI- eller Anthropic-SDK med en Perplexity API-nøkkel, riktig basis-URL for Orchestrator og en modell fra katalogen.
Hurtigstartveiledningen dekker oppsett, gjeldende tilgjengelighet og tilgang. Har du spørsmål, kan du kontakte api@perplexity.ai.