Orchestrator: Ett API for pålitelig inferens

Koble til AI-modeller med åpne vekter og proprietære AI-modeller via ett API med samlet fakturering og automatisk failover innenfor samme modell.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator samler modeller med åpne vekter og proprietære modeller i ett API med samlet fakturering. Den velger automatisk en leverandør basert på tilgjengelighet, kapasitet og ventetid, og kan prøve mislykkede forespørsler på nytt på en annen tilgjengelig distribusjon av samme modell.

Én integrasjon for modeller med åpne vekter og proprietære modeller

Orchestrator leverer modeller med åpne vekter som kjører på Perplexitys inferensinfrastruktur, side om side med proprietære modeller fra andre leverandører. Gjeldende katalog viser de tilgjengelige modellvalgene.

Den godtar forespørsler i formatene OpenAI Chat Completions, OpenAI Responses og Anthropic Messages, så du kan koble til via din eksisterende OpenAI- eller Anthropic-SDK.

Hurtigstartveiledningen og rutingsveiledningen dekker SDK-eksempler og gjeldende rutingsatferd.

Pålitelighet og hastighet på tvers av leverandører

Pålitelighet

Å velge Claude trenger ikke å bety at du er avhengig av én enkelt leverandør: En forespørsel som mislykkes hos Anthropic, kan fortsatt lykkes hos AWS Bedrock. Failover mellom leverandører gjør det mulig å bytte distribusjonen som betjener en forespørsel, uten å bytte modell.

Orchestrator bruker observert tilstand og kapasitet til å fordele forespørsler mellom distribusjonene av en modell. Hvis en leverandør returnerer en feil, når en hastighetsgrense eller får tidsavbrudd, prøver Orchestrator på nytt på en annen distribusjon av den samme modellen, med grenser for tid til første token og total varighet for hvert forsøk.

I målinger fra 4. oktober til 2. november 2026 lyktes Claude- og GPT-forespørsler via Perplexity oftere enn forespørsler til noen enkeltleverandør vi målte. De daglige suksessratene varierte også mindre under hendelser hos leverandørene.

Suksessrater for forespørsler, 4. oktober til 2. november 2026: Claude til venstre; GPT-modeller som er tilgjengelige via både OpenAI og Azure, til høyre.
Daglige suksessrater for forespørsler i samme periode: Claude til venstre og GPT til høyre.

Vi regnet en forespørsel som mislykket når Orchestrator hadde brukt opp de tilgjengelige distribusjonene eller tjenestelaget returnerte en feil, men utelot klientfeil som ugyldige forespørsler og brudd på klientens hastighetsgrenser.

Utdatahastighet

Vi jobber med adaptiv ruting som tar hensyn til modellhastighet, slik at Orchestrator kan justere valget av leverandør etter hvert som ytelsen endrer seg.

Den raskeste leverandøren for en gitt modell endrer seg over tid. For Claude Opus 5.5 var Anthropic raskest 15 av de 30 dagene, og AWS Bedrock de øvrige 15.

Medianutdatahastighet for Claude Opus 5.5 per leverandør og dag, 4. oktober til 2. november 2026. Den uthevede linjen følger den raskeste leverandøren hver dag og illustrerer målet for hastighetsbevisst ruting i sanntid.

I løpet av de samme 30 dagene var Azures medianutdatahastighet for GPT-5.6 Sol 27 % høyere enn OpenAIs.

Medianutdatahastighet for GPT-5.6 Sol etter første token, 4. oktober til 2. november 2026.

Én faktura for alle modeller

Hver forespørsel teller bare mot tokenbruken til modellen som svarer. Orchestrator tar betalt etter modellens publiserte priser per token uansett hvilken leverandør som betjener forespørselen, så failover mellom leverandører endrer ikke denne prisen. Bruken trekkes fra de samme forhåndsbetalte kredittene som resten av Perplexity API-prosjektet ditt.

I API Console kan du se forbruk per modell og filtrere bruk etter API-nøkkel. Du kan også kjøpe kreditter via AWS Marketplace.

Automatisk ruting (forhåndsversjon): koble hver oppgave til riktig modell

Orchestrator tilbyr automatisk ruting, en valgfri funksjon som er tilgjengelig som forhåndsversjon. Den velger en modell for hver forespørsel ved hjelp av en profil som kobler oppgavebeskrivelser på vanlig språk til modeller. Du kan definere din egen profil eller bruke den innebygde standardprofilen i Orchestrator.

Forespørsler med automatisk ruting bruker perplexity/auto som modell. For en egendefinert profil inkluderer du et routing-objekt med default_model og routes. Hver rute angir et navn, en beskrivelse og en modell.

For hver forespørsel kaller perplexity/auto vår beslutningsmodell, som leser samtalen og sammenligner den med rutebeskrivelsene uten å se modellnavnene. Orchestrator sender deretter forespørselen til modellen som er tilordnet den valgte ruten, eller til standardmodellen din hvis ingen rute passer. Orchestrator bruker også standardmodellen din hvis beslutningsmodellen feiler eller får tidsavbrudd.

Eksemplene nedenfor dekker ruting rundt modellavslag, sakstyper i kundestøtte og oppgaveendringer i en samtale.

Ruting rundt avslag

En agent kan bruke automatisk ruting for å unngå forutsigbare avslag og samtidig beholde den foretrukne modellen sin til annet arbeid. Anthropic dokumenterer at sikkerhetsmekanismene i Claude Fable 5.2 kan blokkere harmløst arbeid innen cybersikkerhet og livsvitenskap. Vi testet dette bruksområdet på et utvalg på 63 oppgaver fra Terminal-Bench 4.1.

Vi kjørte Claude Code med Fable alene og med to egendefinerte rutingsprofiler. Begge profilene beholdt Fable som standardmodell og tilordnet rutene for cybersikkerhet, biologi og after_refusal til enten GPT-6 Astra eller GPT-6.1 Sol. Vi tok også med frittstående kjøringer av Astra og Sol i Codex til sammenligning.

I denne justerte sammenligningen løser begge de rutede Claude Code-oppsettene 41 av 63 oppgaver, mot 38 for Fable alene, til en høyere estimert kostnad per oppgave. Diagrammet viser denne avveiningen sammen med Astra og Sol som kjører i Codex.

Terminal-Bench 4.1, justert sammenligning med 63 oppgaver. Astra Codex inkluderer én antatt bestått oppgave; kostnadene er estimerte.

Eksempelet nedenfor bruker Sol: Sikkerhets- og biologirutene velger den før et avslag oppstår, og after_refusal velger den når samtalen allerede inneholder et avslag.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

Ruting etter sakstype

For en kundestøtteassistent trenger de fleste spørsmål bare en rask og rimelig modell. En faktureringstvist krever et omhyggelig og empatisk svar. En integrasjon som ikke fungerer, krever feilsøking. Assistenten kan bruke to ruter for faktureringstvister og tekniske problemer, og overlate rutinespørsmål til standardmodellen sin:

Rute

Oppgavebeskrivelse

Modell

default_model

Alt annet, for eksempel hvordan man endrer e-postadressen for en konto

GLM-5.3 Flash

billing_dispute

En kunde bestrider en belastning, ber om refusjon eller er misfornøyd med et beløp vedkommende er blitt fakturert for.

Claude Opus 5.5

technical_issue

En kunde melder om en feil, en feilmelding eller en integrasjon som har sluttet å fungere og trenger feilsøking.

GPT-6.1 Sol

Sende en rutet forespørsel

Slik betjener perplexity/auto en forespørsel: Beslutningsmodellen velger en rute eller returnerer ingen treff, og Orchestrator kaller den valgte modellen eller standardmodellen din. Svarhodene rapporterer rutingsresultatet.

Forespørselen nedenfor sender en sak om en API-feil gjennom kundestøtteprofilen ovenfor.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

Beslutningsmodellen koblet de mislykkede API-kallene til technical_issue, så Orchestrator sendte forespørselen til GPT-6.1 Sol. Svaret inkluderer den valgte ruten og modellen som svarte:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route angir den valgte ruten, eller ingen. x-perplexity-autoroute-outcome rapporterer hvordan forespørselen ble håndtert, inkludert om den ble rutet eller falt tilbake til standardmodellen din. Modellfeltet angir modellen som svarte.

Ruting i en samtale

Når en samtale beveger seg mellom oppgaver, er ikke nødvendigvis modellen som håndterte én tur, det rette valget for den neste. Oppfølgingsforespørslene dine inkluderer samtalehistorikken, så både beslutningsmodellen og den valgte modellen kan lese tidligere turer, inkludert svar fra andre modeller. Vi kjørte tre ekte samtaler med fire turer hver: kundestøtte, koding og research.

Kundeservice

Anta at den samme samtalen i eksempelet ovenfor går fra et kontospørsmål til en faktureringstvist og deretter til en integrasjon som ikke fungerer. Etter hvert som oppgaven endrer seg, velger beslutningsmodellen den samsvarende ruten; når brukeren avslutter med en takk, går Orchestrator tilbake til GLM-5.3 Flash.

Støttesamtale: ruten og modellen for hver tur.

Prompt-hurtigbufring på tvers av modellbytter

Hver forespørsel inneholder hele meldingshistorikken, men hver modell har sin egen hurtigbuffer. Når samtalen går tilbake til GLM Flash i tur 4, kan den gjenbruke et samsvarende prefiks fra tur 1 mens det fortsatt ligger i hurtigbufferen, og deretter behandle svarene som Opus og Sol la til i tur 2 og 3. Det samme gjelder for Opus eller Sol hvis de velges i tur 5.

Orchestrator holder relaterte forespørsler på samme distribusjon når det er mulig, for å bevare prompt-hurtigbufringen. Gjenbruk en stabil prompt_cache_key for samtalen for å bidra til å opprettholde denne tilknytningen.

Prompt-hurtigbufring på tvers av modellbytter: GLM Flash kan gjenbruke det tidligere prefikset sitt mens den behandler den mellomliggende samtalen som nye inndata.

Kodeassistent

I tur 4 av kodesamtalen skriver GLM-5.3 Flash en docstring ved hjelp av konteksten fra feildiagnosen til Claude Opus 5.5 og implementeringsplanen til GPT-6.1 Sol.

Rutingsprofilen tilordner omdøpinger og små endringer til GLM-5.3 Flash, feildiagnose til Claude Opus 5.5 og planlegging av endringer på tvers av moduler til GPT-6.1 Sol:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
Kodesamtale: ruten og modellen for hver tur.

Research-assistent

I research-eksempelet leder et faktaspørsmål til en beregning, som deretter danner grunnlaget for et notat. Profilen tilordner faktaspørsmål til GLM-5.3 Flash, beregninger til GPT-6.1 Sol og notatskriving til Claude Opus 5.5:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

Notatet i tur 3 bruker beregningene fra det forrige svaret til GPT-6.1 Sol og runder av tallene uten å be brukeren gjenta dem.

Research-samtale: ruten og modellen for hver tur.

Kom i gang med Orchestrator

Koble til din eksisterende OpenAI- eller Anthropic-SDK med en Perplexity API-nøkkel, riktig basis-URL for Orchestrator og en modell fra katalogen.

Hurtigstartveiledningen dekker oppsett, gjeldende tilgjengelighet og tilgang. Har du spørsmål, kan du kontakte api@perplexity.ai.