Orchestrator: jedno API pre spoľahlivú inferenciu
Pripojte sa k modelom AI s otvorenými váhami aj k proprietárnym modelom cez jedno API s jednotnou fakturáciou a automatickým prepnutím na iné nasadenie toho istého modelu pri výpadku.

Orchestrator spája modely s otvorenými váhami a proprietárne modely do jedného API s jednotnou fakturáciou. Automaticky vyberá poskytovateľa podľa dostupnosti, kapacity a latencie a neúspešné požiadavky môže zopakovať na inom dostupnom nasadení toho istého modelu.
Jedna integrácia pre modely s otvorenými váhami aj proprietárne modely
Orchestrator poskytuje modely s otvorenými váhami hostované na inferenčnej infraštruktúre Perplexity spolu s proprietárnymi modelmi od iných poskytovateľov. Aktuálny katalóg uvádza dostupné modely.
Prijíma požiadavky OpenAI Chat Completions, OpenAI Responses a Anthropic Messages, takže sa môžete pripojiť cez svoju existujúcu súpravu SDK od OpenAI alebo Anthropic.
Príručka rýchleho štartu a sprievodca smerovaním obsahujú príklady pre SDK a popis aktuálneho správania smerovania.
Spoľahlivosť a rýchlosť naprieč poskytovateľmi
Spoľahlivosť
Výber modelu Claude nemusí znamenať spoliehanie sa na jedného poskytovateľa: požiadavka, ktorá zlyhá u Anthropic, môže stále uspieť v AWS Bedrock. Prepnutie na iného poskytovateľa umožňuje zmeniť nasadenie, ktoré obsluhuje požiadavku, bez zmeny modelu.
Orchestrator využíva pozorovaný stav a kapacitu na rozdelenie požiadaviek medzi nasadenia modelu. Ak poskytovateľ vráti chybu, narazí na limit počtu požiadaviek alebo vyprší časový limit, Orchestrator zopakuje požiadavku na inom nasadení daného modelu, pričom pre každý pokus platia limity na čas do prvého tokenu a na celkové trvanie.
Podľa meraní od 4. októbra do 2. novembra 2026 boli požiadavky na modely Claude a GPT cez Perplexity úspešné častejšie ako požiadavky na ktoréhokoľvek jednotlivého poskytovateľa, ktorého sme merali. Ich denná miera úspešnosti tiež počas incidentov poskytovateľov menej kolísala.
Požiadavku sme považovali za neúspešnú, keď Orchestrator vyčerpal dostupné nasadenia alebo obslužná vrstva vrátila chybu, no vylúčili sme chyby klienta, ako sú neplatné požiadavky a prekročenie limitov počtu požiadaviek na strane klienta.
Rýchlosť výstupu
Pracujeme na adaptívnom smerovaní, ktoré zohľadňuje rýchlosť modelov, aby Orchestrator mohol upravovať výber poskytovateľa podľa zmien výkonu.
Najrýchlejší poskytovateľ akéhokoľvek modelu sa v čase mení. Pri modeli Claude Opus 5.5 bol na čele Anthropic počas 15 z 30 dní a AWS Bedrock počas zvyšných 15.
Počas tých istých 30 dní bola mediánová rýchlosť výstupu modelu GPT-5.6 Sol u poskytovateľa Azure o 27 % vyššia ako u OpenAI.
Jedna faktúra za všetky modely
Každá požiadavka sa započíta len do využitia tokenov modelu, ktorý odpovedal. Orchestrator účtuje zverejnené sadzby za token pre každý model bez ohľadu na to, ktorý poskytovateľ požiadavku obslúži, takže prepnutie na iného poskytovateľa túto sadzbu nemení. Využitie sa čerpá z rovnakých predplatených kreditov ako zvyšok vášho projektu Perplexity API.
V API Console môžete zobraziť výdavky podľa modelu a filtrovať využitie podľa kľúča API. Kredity si môžete kúpiť aj cez AWS Marketplace.
Automatické smerovanie (ukážková verzia): priraďte každej úlohe správny model
Orchestrator ponúka automatické smerovanie – voliteľnú funkciu dostupnú v ukážkovej verzii. Pre každú požiadavku vyberá model pomocou profilu, ktorý páruje popisy úloh v bežnom jazyku s modelmi. Môžete si definovať vlastný profil alebo použiť vstavaný predvolený profil, ktorý Orchestrator ponúka.
Požiadavky s automatickým smerovaním používajú ako model perplexity/auto. Pre vlastný profil zahrňte objekt smerovania s poľami default_model a routes. Každá trasa určuje názov, popis a model.
Pri každej požiadavke perplexity/auto zavolá náš rozhodovací model, ktorý prečíta konverzáciu a porovná ju s popismi trás bez toho, aby videl názvy modelov. Orchestrator potom odošle požiadavku modelu priradenému k vybranej trase, alebo vášmu predvolenému modelu, ak žiadna trasa nezodpovedá. Orchestrator použije váš predvolený model aj vtedy, ak rozhodovací model zlyhá alebo vyprší jeho časový limit.
Nasledujúce príklady zahŕňajú obchádzanie odmietnutí modelov pomocou smerovania, typy problémov v zákazníckej podpore a zmeny úloh v rámci konverzácie.
Smerovanie na obídenie odmietnutí
Agent môže pomocou automatického smerovania predchádzať predvídateľným odmietnutiam a zároveň si ponechať preferovaný model pre ostatnú prácu. Anthropic uvádza, že ochranné mechanizmy modelu Claude Fable 5.2 môžu blokovať neškodnú prácu v oblasti kybernetickej bezpečnosti a vied o živote. Tento prípad použitia sme otestovali na podmnožine 63 úloh z Terminal-Bench 4.1.
Spustili sme Claude Code iba s modelom Fable a s dvoma vlastnými profilmi smerovania. Oba profily ponechali Fable ako predvolený model a trasy pre kybernetickú bezpečnosť, biológiu a after_refusal priradili buď modelu GPT-6 Astra, alebo GPT-6.1 Sol. Na porovnanie sme zahrnuli aj samostatné behy modelov Astra a Sol v Codex.
V tomto upravenom porovnaní obe nastavenia Claude Code so smerovaním vyriešia 41 zo 63 úloh v porovnaní s 38 pri samotnom modeli Fable, a to pri vyšších odhadovaných nákladoch na úlohu. Graf zobrazuje tento kompromis spolu s modelmi Astra a Sol spustenými v Codex.
Nasledujúci príklad používa Sol: trasy pre bezpečnosť a biológiu ho vyberú ešte pred odmietnutím, after_refusal ho vyberie, keď konverzácia už odmietnutie obsahuje.
"routing": {
"default_model": "anthropic/claude-fable-5-2",
"routes": [
{"name": "security",
"description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.",
"model": "openai/gpt-6.1-sol"},
{"name": "biology",
"description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.",
"model": "openai/gpt-6.1-sol"},
{"name": "after_refusal",
"description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.",
"model": "openai/gpt-6.1-sol"}
]
}Smerovanie podľa typu problému
Pri asistentovi zákazníckej podpory väčšina otázok potrebuje len rýchly a lacný model. Spor o fakturáciu si vyžaduje starostlivú, empatickú odpoveď. Nefunkčná integrácia si vyžaduje riešenie problémov. Asistent môže použiť dve trasy – pre spory o fakturáciu a pre technické problémy – a bežné otázky prenechať svojmu predvolenému modelu:
Trasa | Popis úlohy | Model |
default_model | Všetko ostatné, napríklad ako zmeniť e-mail účtu | GLM-5.3 Flash |
billing_dispute | Zákazník namieta poplatok, žiada o vrátenie peňazí alebo je nespokojný so sumou, ktorá mu bola účtovaná. | Claude Opus 5.5 |
technical_issue | Zákazník nahlási chybu, chybové hlásenie alebo integráciu, ktorá prestala fungovať a vyžaduje riešenie problémov. | GPT-6.1 Sol |
Odoslanie smerovanej požiadavky
Nasledujúca požiadavka odošle problém so zlyhaním API cez vyššie uvedený profil zákazníckej podpory.
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \
-H "Authorization: Bearer $PERPLEXITY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7",
"model": "perplexity/auto",
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "billing_dispute",
"description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.",
"model": "anthropic/claude-opus-5-5"},
{"name": "technical_issue",
"description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.",
"model": "openai/gpt-6.1-sol"}
]
},
"messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}]
}'Rozhodovací model priradil neúspešné volania API k trase technical_issue, takže Orchestrator odoslal požiadavku modelu GPT-6.1 Sol. Odpoveď obsahuje vybranú trasu a model, ktorý odpovedal:
HTTP/2 200
x-perplexity-autoroute-outcome: routed
x-perplexity-autoroute-route: technical_issue
{"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}x-perplexity-autoroute-route identifikuje vybranú trasu alebo uvádza, že žiadna nebola vybraná. x-perplexity-autoroute-outcome uvádza, ako bola požiadavka spracovaná, vrátane toho, či bola smerovaná, alebo sa ako záloha použil váš predvolený model. Pole model identifikuje model, ktorý odpovedal.
Smerovanie v rámci konverzácie
Keď sa konverzácia presúva medzi úlohami, model, ktorý spracoval jedno kolo, nemusí byť správnou voľbou pre ďalšie. Vaše nadväzujúce požiadavky obsahujú históriu konverzácie, takže rozhodovací model aj vybraný model môžu čítať predchádzajúce kolá vrátane odpovedí iných modelov. Spustili sme tri reálne štvorkolové konverzácie: zákaznícku podporu, programovanie a výskum.
Zákaznícka podpora
Predpokladajme, že sa vo vyššie uvedenom príklade tá istá konverzácia presunie od otázky k účtu k sporu o fakturáciu a potom k nefunkčnej integrácii. Ako sa úloha mení, rozhodovací model vyberá zodpovedajúcu trasu; keď používateľ na záver pošle poďakovanie, Orchestrator sa vráti k modelu GLM-5.3 Flash.
Ukladanie promptov do vyrovnávacej pamäte pri odovzdávaní medzi modelmi
Každá požiadavka nesie celú históriu správ, ale každý model si udržiava vlastnú vyrovnávaciu pamäť. Keď sa konverzácia v 4. kole vráti k modelu GLM Flash, môže znova použiť zhodný prefix z 1. kola, kým je ešte vo vyrovnávacej pamäti, a potom spracovať odpovede, ktoré v 2. a 3. kole pridali Opus a Sol. To isté platí pre Opus alebo Sol, ak budú vybrané v 5. kole.
Orchestrator podľa možnosti ponecháva súvisiace požiadavky na rovnakom nasadení, aby zachoval ukladanie promptov do vyrovnávacej pamäte. Na udržanie tejto afinity používajte pre konverzáciu stabilný prompt_cache_key.
Asistent pre programovanie
V 4. kole konverzácie o programovaní píše GLM-5.3 Flash docstring s využitím kontextu z diagnostiky chyby od modelu Claude Opus 5.5 a plánu implementácie od modelu GPT-6.1 Sol.
Profil smerovania priraďuje premenovania a drobné úpravy modelu GLM-5.3 Flash, diagnostiku chýb modelu Claude Opus 5.5 a plánovanie zmien naprieč modulmi modelu GPT-6.1 Sol:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "hard_debugging",
"description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.",
"model": "anthropic/claude-opus-5-5"},
{"name": "design_change",
"description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.",
"model": "openai/gpt-6.1-sol"}
]
}Výskumný asistent
V príklade výskumu vedie faktická otázka k výpočtu, ktorý sa potom stane základom memoranda. Profil priraďuje faktické otázky modelu GLM-5.3 Flash, výpočty modelu GPT-6.1 Sol a písanie memoranda modelu Claude Opus 5.5:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "quantitative_analysis",
"description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.",
"model": "openai/gpt-6.1-sol"},
{"name": "long_form_writing",
"description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.",
"model": "anthropic/claude-opus-5-5"}
]
}Memorandum v 3. kole využíva výpočty z predchádzajúcej odpovede modelu GPT-6.1 Sol a zaokrúhľuje čísla bez toho, aby ich používateľ musel opakovať.
Začnite používať Orchestrator
Pripojte svoju existujúcu súpravu SDK od OpenAI alebo Anthropic pomocou kľúča Perplexity API, príslušnej základnej URL adresy pre Orchestrator a modelu z katalógu.
Príručka rýchleho štartu popisuje nastavenie, aktuálnu dostupnosť a prístup. S otázkami nás kontaktujte na adrese api@perplexity.ai.