Orchestrator: jedno API pro spolehlivou inferenci

Připojte se k modelům AI s otevřenými vahami i proprietárním modelům přes jedno API s jednotnou fakturací a automatickým převzetím služeb v rámci stejného modelu.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator spojuje modely s otevřenými vahami a proprietární modely do jednoho API s jednotnou fakturací. Automaticky vybírá poskytovatele podle dostupnosti, kapacity a latence a neúspěšné požadavky může zopakovat na jiném dostupném nasazení stejného modelu.

Jedna integrace pro modely s otevřenými vahami i proprietární modely

Orchestrator poskytuje modely s otevřenými vahami hostované na inferenční infrastruktuře Perplexity spolu s proprietárními modely od jiných poskytovatelů. Aktuální katalog uvádí dostupné modely.

Přijímá požadavky ve formátech OpenAI Chat Completions, OpenAI Responses a Anthropic Messages, takže se můžete připojit přes svou stávající sadu SDK od OpenAI nebo Anthropic.

Rychlý start a průvodce směrováním obsahují příklady SDK a popis aktuálního chování směrování.

Spolehlivost a rychlost napříč poskytovateli

Spolehlivost

Volba modelu Claude nemusí znamenat závislost na jediném poskytovateli: požadavek, který selže u společnosti Anthropic, může stále uspět na AWS Bedrock. Převzetí služeb jiným poskytovatelem umožňuje přepnout nasazení obsluhující požadavek beze změny modelu.

Orchestrator na základě pozorovaného stavu a kapacity rozděluje požadavky mezi nasazení daného modelu. Pokud poskytovatel vrátí chybu, narazí na limit počtu požadavků nebo vyprší časový limit, Orchestrator požadavek zopakuje na jiném nasazení téhož modelu, přičemž u každého pokusu platí limity pro dobu do prvního tokenu a pro celkovou dobu trvání.

V měřeních od 4. října do 2. listopadu 2026 byly požadavky na Claude a GPT přes Perplexity úspěšné častěji než požadavky na kteréhokoli jednotlivého poskytovatele, kterého jsme měřili. Jejich denní míra úspěšnosti také během incidentů u poskytovatelů méně kolísala.

Míra úspěšnosti požadavků, 4. října až 2. listopadu 2026: vlevo Claude, vpravo modely GPT dostupné přes OpenAI i Azure.
Denní míra úspěšnosti požadavků za stejné období: vlevo Claude, vpravo GPT.

Požadavek jsme považovali za neúspěšný, když Orchestrator vyčerpal dostupná nasazení nebo obslužná vrstva vrátila chybu; vyloučili jsme však chyby klienta, jako jsou neplatné požadavky a porušení limitů počtu požadavků na straně klienta.

Rychlost výstupu

Pracujeme na adaptivním směrování, které zohledňuje rychlost modelů, aby Orchestrator mohl upravovat výběr poskytovatele podle měnícího se výkonu.

Nejrychlejší poskytovatel kteréhokoli modelu se v čase mění. U modelu Claude Opus 5.5 vedl Anthropic 15 z 30 dní a AWS Bedrock zbývajících 15.

Medián rychlosti výstupu modelu Claude Opus 5.5 podle poskytovatele a dne, 4. října až 2. listopadu 2026. Zvýrazněná čára každý den sleduje rychlejšího poskytovatele a ilustruje cíl pro živé směrování zohledňující rychlost.

Za stejných 30 dní byl medián rychlosti výstupu modelu GPT-5.6 Sol u Azure o 27 % vyšší než u OpenAI.

Medián rychlosti výstupu modelu GPT-5.6 Sol po prvním tokenu, 4. října až 2. listopadu 2026.

Jedna faktura za všechny modely

Každý požadavek se započítává pouze do využití tokenů modelu, který odpověděl. Orchestrator účtuje zveřejněné sazby za token daného modelu bez ohledu na to, který poskytovatel požadavek obslouží, takže převzetí služeb jiným poskytovatelem tuto sazbu nemění. Využití se čerpá ze stejných předplacených kreditů jako zbytek vašeho projektu Perplexity API.

V API Console můžete zobrazit výdaje podle modelu a filtrovat využití podle klíče API. Kredity si můžete koupit také prostřednictvím AWS Marketplace.

Automatické směrování (verze preview): ke každé úloze ten správný model

Orchestrator nabízí automatické směrování, volitelnou funkci dostupnou ve verzi preview. Pro každý požadavek vybírá model pomocí profilu, který páruje popisy úloh v běžném jazyce s modely. Můžete si definovat vlastní profil, nebo použít integrovaný výchozí profil nástroje Orchestrator.

Požadavky s automatickým směrováním používají jako model perplexity/auto. U vlastního profilu zahrňte objekt směrování s poli default_model a routes. Každá trasa určuje název, popis a model.

U každého požadavku perplexity/auto volá náš rozhodovací model, který přečte konverzaci a porovná ji s popisy tras, aniž by viděl názvy modelů. Orchestrator pak odešle požadavek modelu přiřazenému k vybrané trase, nebo vašemu výchozímu modelu, pokud žádná trasa neodpovídá. Výchozí model Orchestrator použije také v případě, že rozhodovací model selže nebo vyprší jeho časový limit.

Níže uvedené příklady se týkají směrování kolem odmítnutí modelů, typů problémů v zákaznické podpoře a změn úloh v rámci konverzace.

Směrování kolem odmítnutí

Agent může pomocí automatického směrování předejít předvídatelným odmítnutím a pro ostatní práci si ponechat preferovaný model. Společnost Anthropic uvádí, že ochranné mechanismy modelu Claude Fable 5.2 mohou blokovat neškodnou práci v oblasti kybernetické bezpečnosti a biologických věd. Tento případ použití jsme otestovali na podmnožině 63 úloh z Terminal-Bench 4.1.

Spustili jsme Claude Code se samotným modelem Fable a se dvěma vlastními profily směrování. Oba profily ponechaly Fable jako výchozí model a trasy pro kybernetickou bezpečnost, biologii a after_refusal přiřadily buď modelu GPT-6 Astra, nebo GPT-6.1 Sol. Pro srovnání jsme zahrnuli i samostatné běhy modelů Astra a Sol v prostředí Codex.

V tomto upraveném srovnání obě sestavy Claude Code se směrováním vyřeší 41 z 63 úloh oproti 38 u samotného modelu Fable, a to při vyšších odhadovaných nákladech na úlohu. Graf ukazuje tento kompromis spolu s modely Astra a Sol běžícími v prostředí Codex.

Terminal-Bench 4.1, upravené srovnání na 63 úlohách. Astra Codex zahrnuje jedno předpokládané úspěšné řešení; náklady jsou odhadované.

Níže uvedený příklad používá model Sol: trasy pro bezpečnost a biologii ho vyberou ještě před odmítnutím, trasa after_refusal ho vybere, když konverzace již odmítnutí obsahuje.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

Směrování podle typu problému

Asistentovi zákaznické podpory u většiny dotazů stačí rychlý a levný model. Spor o platbu vyžaduje pečlivou a empatickou odpověď. Nefunkční integrace vyžaduje řešení potíží. Asistent může použít dvě trasy – pro spory o platby a pro technické problémy – a běžné dotazy ponechat svému výchozímu modelu:

Trasa

Popis úlohy

Model

default_model

Vše ostatní, například jak změnit e-mail účtu

GLM-5.3 Flash

billing_dispute

Zákazník reklamuje platbu, žádá o vrácení peněz nebo je rozladěn kvůli částce, která mu byla naúčtována.

Claude Opus 5.5

technical_issue

Zákazník hlásí chybu, chybové hlášení nebo integraci, která přestala fungovat a vyžaduje řešení potíží.

GPT-6.1 Sol

Odeslání směrovaného požadavku

Jak perplexity/auto obsluhuje požadavek: rozhodovací model vybere trasu nebo vrátí, že žádná neodpovídá, a Orchestrator zavolá vybraný model nebo váš výchozí model. Hlavičky odpovědi uvádějí výsledek směrování.

Níže uvedený požadavek posílá problém se selháním API přes výše popsaný profil zákaznické podpory.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

Rozhodovací model přiřadil neúspěšná volání API k trase technical_issue, takže Orchestrator odeslal požadavek modelu GPT-6.1 Sol. Odpověď obsahuje vybranou trasu a model, který odpověděl:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route určuje vybranou trasu, nebo žádnou. x-perplexity-autoroute-outcome uvádí, jak byl požadavek zpracován, včetně toho, zda byl nasměrován, nebo zda došlo k návratu k vašemu výchozímu modelu. Pole model určuje model, který odpověděl.

Směrování v rámci konverzace

Když konverzace přechází mezi úlohami, model, který zpracoval jedno kolo, nemusí být tou správnou volbou pro další. Vaše navazující požadavky obsahují historii konverzace, takže rozhodovací model i vybraný model mohou číst předchozí kola včetně odpovědí jiných modelů. Spustili jsme tři skutečné konverzace o čtyřech kolech: zákaznickou podporu, programování a výzkum.

Zákaznická podpora

Předpokládejme, že ve výše uvedeném příkladu přejde stejná konverzace od dotazu na účet ke sporu o platbu a poté k nefunkční integraci. Jak se úloha mění, rozhodovací model vybírá odpovídající trasu; když uživatel na závěr poděkuje, Orchestrator se vrátí k modelu GLM-5.3 Flash.

Konverzace podpory: trasa a model pro každé kolo.

Ukládání promptů do mezipaměti při předávání mezi modely

Každý požadavek nese celou historii zpráv, ale každý model si udržuje vlastní mezipaměť. Když se konverzace ve 4. kole vrátí k modelu GLM Flash, může znovu použít odpovídající prefix z 1. kola, dokud je stále v mezipaměti, a poté zpracovat odpovědi, které ve 2. a 3. kole přidaly modely Opus a Sol. Totéž platí pro Opus nebo Sol, pokud budou vybrány v 5. kole.

Orchestrator pokud možno ponechává související požadavky na stejném nasazení, aby zachoval ukládání promptů do mezipaměti. Pro udržení této afinity používejte pro konverzaci stabilní prompt_cache_key.

Ukládání promptů do mezipaměti při předávání mezi modely: GLM Flash může znovu použít svůj dřívější prefix a mezitím proběhlou část konverzace zpracovat jako nový vstup.

Asistent pro programování

Ve 4. kole konverzace o programování napíše GLM-5.3 Flash docstring s využitím kontextu z diagnostiky chyby od Claude Opus 5.5 a plánu implementace od GPT-6.1 Sol.

Profil směrování přiřazuje přejmenování a drobné úpravy modelu GLM-5.3 Flash, diagnostiku chyb modelu Claude Opus 5.5 a plánování změn napříč moduly modelu GPT-6.1 Sol:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
Konverzace o programování: trasa a model pro každé kolo.

Výzkumný asistent

V příkladu z oblasti výzkumu vede faktická otázka k výpočtu, který se pak stane základem memoranda. Profil přiřazuje faktické otázky modelu GLM-5.3 Flash, výpočty modelu GPT-6.1 Sol a psaní memorand modelu Claude Opus 5.5:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

Memorandum ve 3. kole využívá výpočty z předchozí odpovědi modelu GPT-6.1 Sol a zaokrouhluje čísla, aniž by uživatele žádalo o jejich zopakování.

Výzkumná konverzace: trasa a model pro každé kolo.

Jak začít s nástrojem Orchestrator

Připojte svou stávající sadu SDK od OpenAI nebo Anthropic pomocí klíče Perplexity API, příslušné základní adresy URL pro Orchestrator a modelu z katalogu.

Rychlý start popisuje nastavení, aktuální dostupnost a přístup. S dotazy se obraťte na api@perplexity.ai.