Orchestrator: Ét API til pålidelig inferens
Opret forbindelse til AI-modeller med åbne vægte og proprietære AI-modeller via ét API med samlet fakturering og automatisk failover inden for samme model.

Orchestrator samler modeller med åbne vægte og proprietære modeller i ét API med samlet fakturering. Den vælger automatisk en udbyder ud fra tilgængelighed, kapacitet og latens og kan prøve mislykkede anmodninger igen på en anden tilgængelig udrulning af samme model.
Én integration til modeller med åbne vægte og proprietære modeller
Orchestrator leverer modeller med åbne vægte, der hostes på Perplexitys inferensinfrastruktur, side om side med proprietære modeller fra andre udbydere. Det aktuelle katalog viser de tilgængelige modelvalg.
Den accepterer anmodninger i formaterne OpenAI Chat Completions, OpenAI Responses og Anthropic Messages, så du kan oprette forbindelse via dit eksisterende OpenAI- eller Anthropic-SDK.
Hurtigstartguiden og routingguiden indeholder SDK-eksempler og beskriver den nuværende routingadfærd.
Pålidelighed og hastighed på tværs af udbydere
Pålidelighed
At vælge Claude behøver ikke at betyde, at man er afhængig af én enkelt udbyder: En anmodning, der fejler hos Anthropic, kan stadig lykkes hos AWS Bedrock. Failover mellem udbydere gør det muligt at skifte den udrulning, der betjener en anmodning, uden at ændre modellen.
Orchestrator bruger observeret tilstand og kapacitet til at fordele anmodninger mellem en models udrulninger. Hvis en udbyder returnerer en fejl, rammer en hastighedsgrænse eller får timeout, prøver Orchestrator igen på en anden udrulning af samme model med grænser for tid til første token og samlet varighed for hvert forsøg.
I målinger fra 4. oktober til 2. november 2026 lykkedes Claude- og GPT-anmodninger via Perplexity oftere end anmodninger til nogen af de enkelte udbydere, vi målte. Deres daglige succesrater svingede også mindre under hændelser hos udbyderne.
Vi regnede en anmodning som mislykket, når Orchestrator havde opbrugt de tilgængelige udrulninger, eller når serving-laget returnerede en fejl, men vi udelod klientfejl såsom ugyldige anmodninger og overskridelser af klientens hastighedsgrænser.
Outputhastighed
Vi arbejder på adaptiv routing, der tager højde for modelhastighed, så Orchestrator kan justere valget af udbyder, efterhånden som ydeevnen ændrer sig.
Den hurtigste udbyder for en given model ændrer sig over tid. For Claude Opus 5.5 var Anthropic hurtigst på 15 af de 30 dage, og AWS Bedrock var hurtigst på de øvrige 15.
I de samme 30 dage var Azures medianoutputhastighed for GPT-5.6 Sol 27 % højere end OpenAIs.
Én regning for alle modeller
Hver anmodning tæller kun med i tokenforbruget for den model, der svarer. Orchestrator opkræver hver models offentliggjorte priser pr. token, uanset hvilken udbyder der betjener anmodningen, så failover mellem udbydere ændrer ikke prisen. Forbruget trækkes fra de samme forudbetalte kreditter som resten af dit Perplexity API-projekt.
I API Console kan du se udgifter fordelt på model og filtrere forbrug efter API-nøgle. Du kan også købe kreditter via AWS Marketplace.
Automatisk routing (prøveversion): match hver opgave med den rette model
Orchestrator tilbyder automatisk routing, en valgfri funktion, der er tilgængelig som prøveversion. Den vælger en model til hver anmodning ved hjælp af en profil, der parrer opgavebeskrivelser i almindeligt sprog med modeller. Du kan definere din egen profil eller bruge Orchestrators indbyggede standardprofil.
Anmodninger med automatisk routing bruger perplexity/auto som model. Til en brugerdefineret profil skal du inkludere et routing-objekt med default_model og routes. Hver rute angiver et navn, en beskrivelse og en model.
For hver anmodning kalder perplexity/auto vores beslutningsmodel, som læser samtalen og matcher den med rutebeskrivelserne uden at se modelnavnene. Orchestrator sender derefter anmodningen til den model, der er tildelt den valgte rute, eller til din standardmodel, hvis ingen rute matcher. Orchestrator bruger også din standardmodel, hvis beslutningsmodellen fejler eller får timeout.
Eksemplerne nedenfor dækker routing uden om modelafvisninger, problemtyper inden for kundesupport og opgaveskift inden for en samtale.
Routing uden om afvisninger
En agent kan bruge automatisk routing til at undgå forudsigelige afvisninger og samtidig beholde sin foretrukne model til andet arbejde. Anthropic dokumenterer, at sikkerhedsforanstaltningerne i Claude Fable 5.2 kan blokere harmløst arbejde inden for cybersikkerhed og biovidenskab. Vi testede denne brugssituation på et udsnit på 63 opgaver fra Terminal-Bench 4.1.
Vi kørte Claude Code med Fable alene og med to brugerdefinerede routingprofiler. Begge profiler beholdt Fable som standard og tildelte ruterne for cybersikkerhed, biologi og after_refusal til enten GPT-6 Astra eller GPT-6.1 Sol. Til sammenligning inkluderede vi også selvstændige kørsler med Astra og Sol i Codex.
I denne justerede sammenligning løser begge routede Claude Code-opsætninger 41 af 63 opgaver mod 38 for Fable alene, men til en højere estimeret pris pr. opgave. Diagrammet viser denne afvejning sammen med Astra og Sol, der kører i Codex.
Eksemplet nedenfor bruger Sol: Ruterne for sikkerhed og biologi vælger den, før en afvisning opstår, og after_refusal vælger den, når samtalen allerede indeholder en afvisning.
"routing": {
"default_model": "anthropic/claude-fable-5-2",
"routes": [
{"name": "security",
"description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.",
"model": "openai/gpt-6.1-sol"},
{"name": "biology",
"description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.",
"model": "openai/gpt-6.1-sol"},
{"name": "after_refusal",
"description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.",
"model": "openai/gpt-6.1-sol"}
]
}Routing efter problemtype
For en kundesupportassistent kræver de fleste spørgsmål kun en hurtig og billig model. En faktureringstvist kræver et omhyggeligt og empatisk svar. En defekt integration kræver fejlfinding. Assistenten kan bruge to ruter til faktureringstvister og tekniske problemer og overlade rutinespørgsmål til sin standardmodel:
Rute | Opgavebeskrivelse | Model |
default_model | Alt andet, f.eks. hvordan man ændrer e-mailadressen på en konto | GLM-5.3 Flash |
billing_dispute | En kunde bestrider en opkrævning, beder om en refusion eller er utilfreds med et beløb, vedkommende er blevet opkrævet. | Claude Opus 5.5 |
technical_issue | En kunde rapporterer en fejl, en fejlmeddelelse eller en integration, der er holdt op med at virke og skal fejlfindes. | GPT-6.1 Sol |
Afsendelse af en routet anmodning
Anmodningen nedenfor sender et problem med en API-fejl gennem kundesupportprofilen ovenfor.
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \
-H "Authorization: Bearer $PERPLEXITY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7",
"model": "perplexity/auto",
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "billing_dispute",
"description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.",
"model": "anthropic/claude-opus-5-5"},
{"name": "technical_issue",
"description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.",
"model": "openai/gpt-6.1-sol"}
]
},
"messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}]
}'Beslutningsmodellen matchede de mislykkede API-kald med technical_issue, så Orchestrator sendte anmodningen til GPT-6.1 Sol. Svaret indeholder den valgte rute og den model, der svarede:
HTTP/2 200
x-perplexity-autoroute-outcome: routed
x-perplexity-autoroute-route: technical_issue
{"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}x-perplexity-autoroute-route angiver den valgte rute eller ingen. x-perplexity-autoroute-outcome rapporterer, hvordan anmodningen blev håndteret, herunder om den blev routet eller faldt tilbage til din standardmodel. Feltet model angiver den model, der svarede.
Routing inden for en samtale
Når en samtale skifter mellem opgaver, er den model, der håndterede én tur, ikke nødvendigvis det rette valg til den næste. Dine opfølgende anmodninger indeholder samtalehistorikken, så både beslutningsmodellen og den valgte model kan læse tidligere ture, herunder svar fra andre modeller. Vi kørte tre rigtige samtaler med fire ture hver: kundesupport, kodning og forskning.
Kundeservice
Forestil dig i eksemplet ovenfor, at den samme samtale går fra et spørgsmål om en konto til en faktureringstvist og derefter til en defekt integration. Når opgaven ændrer sig, vælger beslutningsmodellen den matchende rute; når brugeren afslutter med et tak, vender Orchestrator tilbage til GLM-5.3 Flash.
Prompt-caching på tværs af modelskift
Hver anmodning indeholder hele beskedhistorikken, men hver model har sin egen cache. Når samtalen vender tilbage til GLM Flash i tur 4, kan den genbruge et matchende præfiks fra tur 1, så længe det stadig er cachelagret, og derefter behandle de svar, som Opus og Sol tilføjede i tur 2 og 3. Det samme gælder for Opus eller Sol, hvis de vælges i tur 5.
Orchestrator holder relaterede anmodninger på den samme udrulning, hvor det er muligt, for at bevare prompt-caching. Genbrug en stabil prompt_cache_key for samtalen for at hjælpe med at opretholde den tilknytning.
Kodningsassistent
I tur 4 af kodningssamtalen skriver GLM-5.3 Flash en docstring ud fra konteksten i fejldiagnosen fra Claude Opus 5.5 og implementeringsplanen fra GPT-6.1 Sol.
Routingprofilen tildeler omdøbninger og små redigeringer til GLM-5.3 Flash, fejldiagnose til Claude Opus 5.5 og planlægning af ændringer på tværs af moduler til GPT-6.1 Sol:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "hard_debugging",
"description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.",
"model": "anthropic/claude-opus-5-5"},
{"name": "design_change",
"description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.",
"model": "openai/gpt-6.1-sol"}
]
}Forskningsassistent
I forskningseksemplet fører et faktuelt spørgsmål til en beregning, som derefter danner grundlag for et notat. Profilen tildeler faktuelle spørgsmål til GLM-5.3 Flash, beregninger til GPT-6.1 Sol og notatskrivning til Claude Opus 5.5:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "quantitative_analysis",
"description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.",
"model": "openai/gpt-6.1-sol"},
{"name": "long_form_writing",
"description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.",
"model": "anthropic/claude-opus-5-5"}
]
}Notatet i tur 3 bruger beregningerne fra GPT-6.1 Sols forrige svar og afrunder tallene uden at bede brugeren om at gentage dem.
Kom i gang med Orchestrator
Forbind dit eksisterende OpenAI- eller Anthropic-SDK med en Perplexity API-nøgle, den relevante basis-URL for Orchestrator og en model fra kataloget.
Hurtigstartguiden beskriver opsætning, aktuel tilgængelighed og adgang. Kontakt api@perplexity.ai, hvis du har spørgsmål.