Orchestrator: ett API för tillförlitlig inferens

Anslut till AI-modeller med öppna vikter och proprietära AI-modeller via ett enda API med samlad fakturering och automatisk redundansväxling inom samma modell.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator samlar modeller med öppna vikter och proprietära modeller i ett enda API med samlad fakturering. Den väljer automatiskt leverantör utifrån tillgänglighet, kapacitet och latens, och kan skicka om misslyckade förfrågningar till en annan tillgänglig driftsättning av samma modell.

En integration för modeller med öppna vikter och proprietära modeller

Orchestrator tillhandahåller modeller med öppna vikter som körs på Perplexitys inferensinfrastruktur, tillsammans med proprietära modeller från andra leverantörer. Den aktuella katalogen listar de modeller som finns att välja mellan.

Den accepterar förfrågningar i formaten OpenAI Chat Completions, OpenAI Responses och Anthropic Messages, så att du kan ansluta via din befintliga OpenAI- eller Anthropic-SDK.

Snabbstartsguiden och routningsguiden innehåller SDK-exempel och beskriver hur routningen fungerar i dag.

Tillförlitlighet och hastighet hos olika leverantörer

Tillförlitlighet

Att välja Claude behöver inte innebära att du förlitar dig på en enda leverantör: en förfrågan som misslyckas hos Anthropic kan ändå lyckas hos AWS Bedrock. Med redundansväxling mellan leverantörer kan driftsättningen som hanterar en förfrågan bytas ut utan att modellen ändras.

Orchestrator använder observerad hälsa och kapacitet för att fördela förfrågningar mellan en modells driftsättningar. Om en leverantör returnerar ett fel, når en hastighetsgräns eller överskrider tidsgränsen gör Orchestrator ett nytt försök på en annan driftsättning av samma modell, med gränser för tid till första token och total varaktighet för varje försök.

I mätningar från 4 oktober till 2 november 2026 lyckades Claude- och GPT-förfrågningar via Perplexity oftare än förfrågningar till någon enskild leverantör som vi mätte. Deras dagliga andel lyckade förfrågningar varierade också mindre under leverantörsincidenter.

Andel lyckade förfrågningar, 4 oktober–2 november 2026: Claude till vänster och GPT-modeller som är tillgängliga via både OpenAI och Azure till höger.
Daglig andel lyckade förfrågningar under samma period: Claude till vänster och GPT till höger.

Vi räknade en förfrågan som misslyckad när Orchestrator hade uttömt de tillgängliga driftsättningarna eller när serverlagret returnerade ett fel, men vi exkluderade klientfel som ogiltiga förfrågningar och överträdelser av klientens hastighetsgränser.

Utdatahastighet

Vi arbetar med adaptiv routning som tar hänsyn till modellernas hastighet, så att Orchestrator kan anpassa valet av leverantör när prestandan förändras.

Vilken leverantör som är snabbast för en viss modell förändras över tid. För Claude Opus 5.5 låg Anthropic i topp 15 av de 30 dagarna och AWS Bedrock de övriga 15.

Medianhastighet för utdata för Claude Opus 5.5 per leverantör och dag, 4 oktober–2 november 2026. Den markerade linjen följer den snabbaste leverantören varje dag och illustrerar målet för hastighetsmedveten routning i realtid.

Under samma 30 dagar var medianhastigheten för utdata för GPT-5.6 Sol 27 % högre hos Azure än hos OpenAI.

Medianhastighet för utdata efter första token för GPT-5.6 Sol, 4 oktober–2 november 2026.

En faktura för alla modeller

Varje förfrågan räknas endast mot tokenanvändningen för den modell som svarar. Orchestrator debiterar enligt varje modells publicerade pris per token oavsett vilken leverantör som hanterar förfrågan, så redundansväxling mellan leverantörer ändrar inte det priset. Användningen dras från samma förbetalda krediter som resten av ditt projekt i Perplexity API.

I API Console kan du se utgifter per modell och filtrera användning per API-nyckel. Du kan också köpa krediter via AWS Marketplace.

Automatisk routning (förhandsversion): matcha varje uppgift med rätt modell

Orchestrator erbjuder automatisk routning, en valfri funktion som finns som förhandsversion. Den väljer en modell för varje förfrågan med hjälp av en profil som kopplar uppgiftsbeskrivningar på vanligt språk till modeller. Du kan definiera en egen profil eller använda Orchestrators inbyggda standardprofil.

Förfrågningar med automatisk routning använder perplexity/auto som modell. För en anpassad profil inkluderar du ett routing-objekt med default_model och routes. Varje rutt anger ett namn, en beskrivning och en modell.

För varje förfrågan anropar perplexity/auto vår beslutsmodell, som läser konversationen och matchar den mot ruttbeskrivningarna utan att se modellnamnen. Orchestrator skickar sedan förfrågan till den modell som är tilldelad den valda rutten, eller till din standardmodell om ingen rutt matchar. Orchestrator använder också din standardmodell om beslutsmodellen misslyckas eller överskrider tidsgränsen.

Exemplen nedan visar routning runt modellvägranden, ärendetyper inom kundsupport och uppgiftsbyten inom en konversation.

Routning runt vägranden

En agent kan använda automatisk routning för att undvika förutsägbara vägranden och samtidigt behålla sin föredragna modell för annat arbete. Anthropic dokumenterar att skyddsmekanismerna i Claude Fable 5.2 kan blockera ofarligt arbete inom cybersäkerhet och biovetenskap. Vi testade detta användningsfall på en delmängd av Terminal-Bench 4.1 med 63 uppgifter.

Vi körde Claude Code med enbart Fable och med två anpassade routningsprofiler. Båda profilerna behöll Fable som standardmodell och tilldelade rutterna för cybersäkerhet, biologi och after_refusal till antingen GPT-6 Astra eller GPT-6.1 Sol. Som jämförelse tog vi även med fristående körningar av Astra och Sol i Codex.

I denna justerade jämförelse löser båda de routade Claude Code-konfigurationerna 41 av 63 uppgifter, jämfört med 38 för enbart Fable, till en högre uppskattad kostnad per uppgift. Diagrammet visar denna avvägning tillsammans med Astra och Sol som körs i Codex.

Terminal-Bench 4.1, justerad jämförelse med 63 uppgifter. Astra Codex inkluderar ett antaget godkänt resultat; kostnaderna är uppskattade.

Exemplet nedan använder Sol: rutterna för säkerhet och biologi väljer den innan en vägran inträffar, och after_refusal väljer den när konversationen redan innehåller en vägran.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

Routning efter ärendetyp

För en kundsupportassistent räcker det oftast med en snabb och billig modell. En faktureringstvist kräver ett omsorgsfullt och empatiskt svar. En trasig integration kräver felsökning. Assistenten kan använda två rutter för faktureringstvister och tekniska problem och lämna rutinfrågor till sin standardmodell:

Rutt

Uppgiftsbeskrivning

Modell

default_model

Allt annat, till exempel hur man ändrar e-postadressen för ett konto

GLM-5.3 Flash

billing_dispute

En kund bestrider en debitering, begär återbetalning eller är upprörd över ett belopp som hen har debiterats.

Claude Opus 5.5

technical_issue

En kund rapporterar en bugg, ett felmeddelande eller en integration som har slutat fungera och behöver felsökas.

GPT-6.1 Sol

Skicka en routad förfrågan

Så hanterar perplexity/auto en förfrågan: beslutsmodellen väljer en rutt eller returnerar att ingen matchning finns, och Orchestrator anropar den valda modellen eller din standardmodell. Svarshuvudena rapporterar routningsresultatet.

Förfrågan nedan skickar ett ärende om ett API-fel genom kundsupportprofilen ovan.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

Beslutsmodellen matchade de misslyckade API-anropen mot technical_issue, så Orchestrator skickade förfrågan till GPT-6.1 Sol. Svaret innehåller den valda rutten och modellen som svarade:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route anger den valda rutten, eller att ingen rutt valdes. x-perplexity-autoroute-outcome rapporterar hur förfrågan hanterades, bland annat om den routades eller föll tillbaka på din standardmodell. Fältet model anger vilken modell som svarade.

Routning inom en konversation

När en konversation går från en uppgift till en annan är modellen som hanterade en omgång inte nödvändigtvis rätt val för nästa. Dina uppföljande förfrågningar innehåller konversationshistoriken, så både beslutsmodellen och den valda modellen kan läsa tidigare omgångar, inklusive svar från andra modeller. Vi körde tre verkliga konversationer med fyra omgångar vardera: kundsupport, kodning och forskning.

Kundtjänst

Anta att samma konversation i exemplet ovan går från en kontofråga till en faktureringstvist och sedan till en trasig integration. När uppgiften ändras väljer beslutsmodellen den matchande rutten; när användaren avslutar med ett tack återgår Orchestrator till GLM-5.3 Flash.

Supportkonversation: rutten och modellen för varje omgång.

Promptcachning vid modellbyten

Varje förfrågan innehåller hela meddelandehistoriken, men varje modell har sin egen cache. När konversationen återgår till GLM Flash i omgång 4 kan den återanvända ett matchande prefix från omgång 1 medan det fortfarande är cachat och sedan bearbeta svaren som Opus och Sol lade till i omgång 2 och 3. Detsamma gäller Opus eller Sol om de väljs i omgång 5.

Orchestrator håller relaterade förfrågningar på samma driftsättning när det är möjligt för att bevara promptcachningen. Återanvänd en stabil prompt_cache_key för konversationen för att bidra till att bibehålla den kopplingen.

Promptcachning vid modellbyten: GLM Flash kan återanvända sitt tidigare prefix och bearbetar den mellanliggande konversationen som ny indata.

Kodningsassistent

I omgång 4 av kodningskonversationen skriver GLM-5.3 Flash en docstring med hjälp av kontexten från Claude Opus 5.5:s buggdiagnos och GPT-6.1 Sols implementeringsplan.

Routningsprofilen tilldelar namnbyten och små ändringar till GLM-5.3 Flash, buggdiagnos till Claude Opus 5.5 och planering av ändringar över flera moduler till GPT-6.1 Sol:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
Kodningskonversation: rutten och modellen för varje omgång.

Forskningsassistent

I forskningsexemplet leder en faktafråga till en beräkning, som sedan blir underlag för ett PM. Profilen tilldelar faktafrågor till GLM-5.3 Flash, beräkningar till GPT-6.1 Sol och PM-skrivande till Claude Opus 5.5:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

PM:et i omgång 3 använder beräkningarna från GPT-6.1 Sols föregående svar och avrundar siffrorna utan att be användaren upprepa dem.

Forskningskonversation: rutten och modellen för varje omgång.

Kom igång med Orchestrator

Anslut din befintliga OpenAI- eller Anthropic-SDK med en API-nyckel från Perplexity, rätt bas-URL för Orchestrator och en modell från katalogen.

Snabbstartsguiden beskriver konfiguration, aktuell tillgänglighet och åtkomst. Kontakta api@perplexity.ai om du har frågor.