Orchestrator: Ét API til pålidelig inferens

Opret forbindelse til AI-modeller med åbne vægte og proprietære AI-modeller via ét API med samlet fakturering og automatisk failover inden for samme model.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator samler modeller med åbne vægte og proprietære modeller i ét API med samlet fakturering. Den vælger automatisk en udbyder ud fra tilgængelighed, kapacitet og latens og kan prøve mislykkede anmodninger igen på en anden tilgængelig udrulning af samme model.

Én integration til modeller med åbne vægte og proprietære modeller

Orchestrator leverer modeller med åbne vægte, der hostes på Perplexitys inferensinfrastruktur, side om side med proprietære modeller fra andre udbydere. Det aktuelle katalog viser de tilgængelige modelvalg.

Den accepterer anmodninger i formaterne OpenAI Chat Completions, OpenAI Responses og Anthropic Messages, så du kan oprette forbindelse via dit eksisterende OpenAI- eller Anthropic-SDK.

Hurtigstartguiden og routingguiden indeholder SDK-eksempler og beskriver den nuværende routingadfærd.

Pålidelighed og hastighed på tværs af udbydere

Pålidelighed

At vælge Claude behøver ikke at betyde, at man er afhængig af én enkelt udbyder: En anmodning, der fejler hos Anthropic, kan stadig lykkes hos AWS Bedrock. Failover mellem udbydere gør det muligt at skifte den udrulning, der betjener en anmodning, uden at ændre modellen.

Orchestrator bruger observeret tilstand og kapacitet til at fordele anmodninger mellem en models udrulninger. Hvis en udbyder returnerer en fejl, rammer en hastighedsgrænse eller får timeout, prøver Orchestrator igen på en anden udrulning af samme model med grænser for tid til første token og samlet varighed for hvert forsøg.

I målinger fra 4. oktober til 2. november 2026 lykkedes Claude- og GPT-anmodninger via Perplexity oftere end anmodninger til nogen af de enkelte udbydere, vi målte. Deres daglige succesrater svingede også mindre under hændelser hos udbyderne.

Succesrater for anmodninger, 4. oktober til 2. november 2026: Claude til venstre; GPT-modeller, der er tilgængelige via både OpenAI og Azure, til højre.
Daglige succesrater for anmodninger i samme periode: Claude til venstre og GPT til højre.

Vi regnede en anmodning som mislykket, når Orchestrator havde opbrugt de tilgængelige udrulninger, eller når serving-laget returnerede en fejl, men vi udelod klientfejl såsom ugyldige anmodninger og overskridelser af klientens hastighedsgrænser.

Outputhastighed

Vi arbejder på adaptiv routing, der tager højde for modelhastighed, så Orchestrator kan justere valget af udbyder, efterhånden som ydeevnen ændrer sig.

Den hurtigste udbyder for en given model ændrer sig over tid. For Claude Opus 5.5 var Anthropic hurtigst på 15 af de 30 dage, og AWS Bedrock var hurtigst på de øvrige 15.

Medianoutputhastighed for Claude Opus 5.5 efter udbyder og dag, 4. oktober til 2. november 2026. Den fremhævede linje følger den hurtigste udbyder hver dag og illustrerer målet for hastighedsbevidst routing i realtid.

I de samme 30 dage var Azures medianoutputhastighed for GPT-5.6 Sol 27 % højere end OpenAIs.

Medianoutputhastighed for GPT-5.6 Sol efter første token, 4. oktober til 2. november 2026.

Én regning for alle modeller

Hver anmodning tæller kun med i tokenforbruget for den model, der svarer. Orchestrator opkræver hver models offentliggjorte priser pr. token, uanset hvilken udbyder der betjener anmodningen, så failover mellem udbydere ændrer ikke prisen. Forbruget trækkes fra de samme forudbetalte kreditter som resten af dit Perplexity API-projekt.

I API Console kan du se udgifter fordelt på model og filtrere forbrug efter API-nøgle. Du kan også købe kreditter via AWS Marketplace.

Automatisk routing (prøveversion): match hver opgave med den rette model

Orchestrator tilbyder automatisk routing, en valgfri funktion, der er tilgængelig som prøveversion. Den vælger en model til hver anmodning ved hjælp af en profil, der parrer opgavebeskrivelser i almindeligt sprog med modeller. Du kan definere din egen profil eller bruge Orchestrators indbyggede standardprofil.

Anmodninger med automatisk routing bruger perplexity/auto som model. Til en brugerdefineret profil skal du inkludere et routing-objekt med default_model og routes. Hver rute angiver et navn, en beskrivelse og en model.

For hver anmodning kalder perplexity/auto vores beslutningsmodel, som læser samtalen og matcher den med rutebeskrivelserne uden at se modelnavnene. Orchestrator sender derefter anmodningen til den model, der er tildelt den valgte rute, eller til din standardmodel, hvis ingen rute matcher. Orchestrator bruger også din standardmodel, hvis beslutningsmodellen fejler eller får timeout.

Eksemplerne nedenfor dækker routing uden om modelafvisninger, problemtyper inden for kundesupport og opgaveskift inden for en samtale.

Routing uden om afvisninger

En agent kan bruge automatisk routing til at undgå forudsigelige afvisninger og samtidig beholde sin foretrukne model til andet arbejde. Anthropic dokumenterer, at sikkerhedsforanstaltningerne i Claude Fable 5.2 kan blokere harmløst arbejde inden for cybersikkerhed og biovidenskab. Vi testede denne brugssituation på et udsnit på 63 opgaver fra Terminal-Bench 4.1.

Vi kørte Claude Code med Fable alene og med to brugerdefinerede routingprofiler. Begge profiler beholdt Fable som standard og tildelte ruterne for cybersikkerhed, biologi og after_refusal til enten GPT-6 Astra eller GPT-6.1 Sol. Til sammenligning inkluderede vi også selvstændige kørsler med Astra og Sol i Codex.

I denne justerede sammenligning løser begge routede Claude Code-opsætninger 41 af 63 opgaver mod 38 for Fable alene, men til en højere estimeret pris pr. opgave. Diagrammet viser denne afvejning sammen med Astra og Sol, der kører i Codex.

Terminal-Bench 4.1, justeret sammenligning med 63 opgaver. Astra Codex inkluderer én antaget bestået opgave; omkostningerne er estimerede.

Eksemplet nedenfor bruger Sol: Ruterne for sikkerhed og biologi vælger den, før en afvisning opstår, og after_refusal vælger den, når samtalen allerede indeholder en afvisning.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

Routing efter problemtype

For en kundesupportassistent kræver de fleste spørgsmål kun en hurtig og billig model. En faktureringstvist kræver et omhyggeligt og empatisk svar. En defekt integration kræver fejlfinding. Assistenten kan bruge to ruter til faktureringstvister og tekniske problemer og overlade rutinespørgsmål til sin standardmodel:

Rute

Opgavebeskrivelse

Model

default_model

Alt andet, f.eks. hvordan man ændrer e-mailadressen på en konto

GLM-5.3 Flash

billing_dispute

En kunde bestrider en opkrævning, beder om en refusion eller er utilfreds med et beløb, vedkommende er blevet opkrævet.

Claude Opus 5.5

technical_issue

En kunde rapporterer en fejl, en fejlmeddelelse eller en integration, der er holdt op med at virke og skal fejlfindes.

GPT-6.1 Sol

Afsendelse af en routet anmodning

Sådan håndterer perplexity/auto en anmodning: Beslutningsmodellen vælger en rute eller returnerer intet match, og Orchestrator kalder den valgte model eller din standardmodel. Svarheadere rapporterer routingresultatet.

Anmodningen nedenfor sender et problem med en API-fejl gennem kundesupportprofilen ovenfor.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

Beslutningsmodellen matchede de mislykkede API-kald med technical_issue, så Orchestrator sendte anmodningen til GPT-6.1 Sol. Svaret indeholder den valgte rute og den model, der svarede:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route angiver den valgte rute eller ingen. x-perplexity-autoroute-outcome rapporterer, hvordan anmodningen blev håndteret, herunder om den blev routet eller faldt tilbage til din standardmodel. Feltet model angiver den model, der svarede.

Routing inden for en samtale

Når en samtale skifter mellem opgaver, er den model, der håndterede én tur, ikke nødvendigvis det rette valg til den næste. Dine opfølgende anmodninger indeholder samtalehistorikken, så både beslutningsmodellen og den valgte model kan læse tidligere ture, herunder svar fra andre modeller. Vi kørte tre rigtige samtaler med fire ture hver: kundesupport, kodning og forskning.

Kundeservice

Forestil dig i eksemplet ovenfor, at den samme samtale går fra et spørgsmål om en konto til en faktureringstvist og derefter til en defekt integration. Når opgaven ændrer sig, vælger beslutningsmodellen den matchende rute; når brugeren afslutter med et tak, vender Orchestrator tilbage til GLM-5.3 Flash.

Supportsamtale: ruten og modellen for hver tur.

Prompt-caching på tværs af modelskift

Hver anmodning indeholder hele beskedhistorikken, men hver model har sin egen cache. Når samtalen vender tilbage til GLM Flash i tur 4, kan den genbruge et matchende præfiks fra tur 1, så længe det stadig er cachelagret, og derefter behandle de svar, som Opus og Sol tilføjede i tur 2 og 3. Det samme gælder for Opus eller Sol, hvis de vælges i tur 5.

Orchestrator holder relaterede anmodninger på den samme udrulning, hvor det er muligt, for at bevare prompt-caching. Genbrug en stabil prompt_cache_key for samtalen for at hjælpe med at opretholde den tilknytning.

Prompt-caching på tværs af modelskift: GLM Flash kan genbruge sit tidligere præfiks, mens den behandler den mellemliggende samtale som nyt input.

Kodningsassistent

I tur 4 af kodningssamtalen skriver GLM-5.3 Flash en docstring ud fra konteksten i fejldiagnosen fra Claude Opus 5.5 og implementeringsplanen fra GPT-6.1 Sol.

Routingprofilen tildeler omdøbninger og små redigeringer til GLM-5.3 Flash, fejldiagnose til Claude Opus 5.5 og planlægning af ændringer på tværs af moduler til GPT-6.1 Sol:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
Kodningssamtale: ruten og modellen for hver tur.

Forskningsassistent

I forskningseksemplet fører et faktuelt spørgsmål til en beregning, som derefter danner grundlag for et notat. Profilen tildeler faktuelle spørgsmål til GLM-5.3 Flash, beregninger til GPT-6.1 Sol og notatskrivning til Claude Opus 5.5:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

Notatet i tur 3 bruger beregningerne fra GPT-6.1 Sols forrige svar og afrunder tallene uden at bede brugeren om at gentage dem.

Forskningssamtale: ruten og modellen for hver tur.

Kom i gang med Orchestrator

Forbind dit eksisterende OpenAI- eller Anthropic-SDK med en Perplexity API-nøgle, den relevante basis-URL for Orchestrator og en model fra kataloget.

Hurtigstartguiden beskriver opsætning, aktuel tilgængelighed og adgang. Kontakt api@perplexity.ai, hvis du har spørgsmål.