Orchestrator: üks API töökindlaks järeldamiseks
Looge ühe API kaudu ühendus avatud kaaludega ja suletud AI-mudelitega, kasutades ühtset arveldust ja automaatset tõrkesiiret sama mudeli piires.

Orchestrator koondab avatud kaaludega ja suletud mudelid ühte API-sse ühtse arveldusega. See valib teenusepakkuja automaatselt saadavuse, mahutavuse ja latentsuse põhjal ning saab ebaõnnestunud päringuid uuesti proovida sama mudeli mõnes teises saadaolevas juurutuses.
Üks integratsioon avatud kaaludega ja suletud mudelite jaoks
Orchestrator teenindab Perplexity järeldusinfrastruktuuris majutatud avatud kaaludega mudeleid koos teiste teenusepakkujate suletud mudelitega. Praeguses kataloogis on loetletud saadaolevad mudelivalikud.
See toetab päringuvorminguid OpenAI Chat Completions, OpenAI Responses ja Anthropic Messages, nii et saate ühenduse luua olemasoleva OpenAI või Anthropic SDK kaudu.
Kiirjuhend ja marsruutimise juhend sisaldavad SDK näiteid ja kirjeldavad marsruutimise praegust käitumist.
Töökindlus ja kiirus eri teenusepakkujate lõikes
Töökindlus
Claude'i valimine ei pea tähendama sõltumist ühest teenusepakkujast: päring, mis Anthropicu juures ebaõnnestub, võib siiski õnnestuda AWS Bedrocki kaudu. Teenusepakkuja tõrkesiire võimaldab vahetada päringut teenindavat juurutust mudelit muutmata.
Orchestrator kasutab jälgitud seisundit ja mahutavust, et jaotada päringuid mudeli juurutuste vahel. Kui teenusepakkuja tagastab vea, jõuab päringute piiranguni või aegub, proovib Orchestrator uuesti sama mudeli teises juurutuses, piirates iga katse puhul aega esimese tokenini ja kogukestust.
Mõõtmistes ajavahemikul 4. oktoobrist 2. novembrini 2026 õnnestusid Perplexity kaudu tehtud Claude'i ja GPT päringud sagedamini kui päringud ükskõik millisele meie mõõdetud üksikule teenusepakkujale. Nende igapäevased õnnestumismäärad kõikusid teenusepakkujate intsidentide ajal ka vähem.
Lugesime päringu ebaõnnestunuks, kui Orchestrator ammendas saadaolevad juurutused või teenindav kiht tagastas vea, kuid jätsime välja kliendipoolsed vead, nagu kehtetud päringud ja kliendi päringupiirangu rikkumised.
Väljundkiirus
Töötame adaptiivse marsruutimise kallal, mis arvestab mudeli kiirust, et Orchestrator saaks jõudluse muutudes teenusepakkuja valikut kohandada.
Iga mudeli kiireim teenusepakkuja muutub aja jooksul. Mudeli Claude Opus 5.5 puhul oli 30 päevast 15 päeval kiireim Anthropic ja ülejäänud 15 päeval AWS Bedrock.
Samal 30-päevasel perioodil oli mudeli GPT-5.6 Sol mediaanne väljundkiirus Azure'is 27% suurem kui OpenAI-l.
Üks arve kõigi mudelite eest
Iga päring arvestatakse ainult vastanud mudeli tokenikasutuse hulka. Orchestrator võtab tasu iga mudeli avaldatud tokenipõhiste hindade järgi olenemata sellest, milline teenusepakkuja päringut teenindab, seega tõrkesiire teise teenusepakkuja juurde seda hinda ei muuda. Kasutus arvestatakse samadest ettemakstud krediitidest nagu ülejäänud teie Perplexity API projekt.
API Console'is saate vaadata kulutusi mudelite kaupa ja filtreerida kasutust API-võtme järgi. Krediite saate osta ka AWS Marketplace'i kaudu.
Automaatne marsruutimine (eelvaade): sobitage iga ülesanne õige mudeliga
Orchestrator pakub automaatset marsruutimist – valikulist funktsiooni, mis on saadaval eelvaates. See valib iga päringu jaoks mudeli profiili abil, mis seob lihtsas keeles ülesannete kirjeldused mudelitega. Saate määrata oma profiili või kasutada Orchestratori sisseehitatud vaikeprofiili.
Automaatse marsruutimise päringud kasutavad mudelina väärtust perplexity/auto. Kohandatud profiili jaoks lisage marsruutimisobjekt väljadega default_model ja routes. Iga marsruut määrab nime, kirjelduse ja mudeli.
Iga päringu puhul kutsub perplexity/auto välja meie otsustusmudeli, mis loeb vestlust ja võrdleb seda marsruutide kirjeldustega, nägemata mudelite nimesid. Seejärel saadab Orchestrator päringu valitud marsruudile määratud mudelile või, kui ükski marsruut ei sobi, teie vaikemudelile. Orchestrator kasutab teie vaikemudelit ka siis, kui otsustusmudel ebaõnnestub või aegub.
Allolevad näited käsitlevad mudelite keeldumistest mööda marsruutimist, klienditoe probleemitüüpe ja ülesannete muutumist vestluse sees.
Marsruutimine keeldumistest mööda
Agent saab kasutada automaatset marsruutimist, et vältida ennustatavaid keeldumisi, säilitades muu töö jaoks oma eelistatud mudeli. Anthropic on dokumenteerinud, et Claude Fable 5.2 kaitsemeetmed võivad blokeerida kahjutut küberturbe- ja eluteaduste tööd. Testisime seda kasutusjuhtu Terminal-Bench 4.1 63 ülesandest koosneval alamhulgal.
Käitasime Claude Code'i ainult Fable'iga ning kahe kohandatud marsruutimisprofiiliga. Mõlemad profiilid jätsid vaikemudeliks Fable'i ning määrasid küberturbe, bioloogia ja after_refusal marsruudid kas mudelile GPT-6 Astra või GPT-6.1 Sol. Võrdluseks lisasime ka Astra ja Soli eraldiseisvad käivitused Codexis.
Selles korrigeeritud võrdluses lahendavad mõlemad marsruuditud Claude Code'i seadistused 63 ülesandest 41, samas kui ainult Fable lahendab 38, kuid ülesande hinnanguline kulu on suurem. Diagramm näitab seda kompromissi koos Codexis töötavate Astra ja Soliga.
Allolevas näites kasutatakse Soli: turbe- ja bioloogiamarsruudid valivad selle enne keeldumist, after_refusal valib selle siis, kui vestluses on juba keeldumine.
"routing": {
"default_model": "anthropic/claude-fable-5-2",
"routes": [
{"name": "security",
"description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.",
"model": "openai/gpt-6.1-sol"},
{"name": "biology",
"description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.",
"model": "openai/gpt-6.1-sol"},
{"name": "after_refusal",
"description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.",
"model": "openai/gpt-6.1-sol"}
]
}Marsruutimine probleemi tüübi järgi
Klienditoe assistendi puhul vajab enamik küsimusi vaid kiiret ja odavat mudelit. Arvevaidlus nõuab hoolikat ja empaatilist vastust. Katkine integratsioon vajab tõrkeotsingut. Assistent saab kasutada kahte marsruuti – arvevaidluste ja tehniliste probleemide jaoks – ning jätta rutiinsed küsimused oma vaikemudelile:
Marsruut | Ülesande kirjeldus | Mudel |
default_model | Kõik muu, näiteks see, kuidas muuta konto e-posti aadressi | GLM-5.3 Flash |
billing_dispute | Klient vaidlustab tasu, küsib raha tagasi või on pahane talle esitatud arve pärast. | Claude Opus 5.5 |
technical_issue | Klient teatab veast, veateatest või integratsioonist, mis lakkas töötamast ja vajab tõrkeotsingut. | GPT-6.1 Sol |
Marsruuditud päringu saatmine
Allolev päring suunab API tõrget puudutava pöördumise läbi ülaltoodud klienditoe profiili.
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \
-H "Authorization: Bearer $PERPLEXITY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7",
"model": "perplexity/auto",
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "billing_dispute",
"description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.",
"model": "anthropic/claude-opus-5-5"},
{"name": "technical_issue",
"description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.",
"model": "openai/gpt-6.1-sol"}
]
},
"messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}]
}'Otsustusmudel sobitas ebaõnnestunud API-kutsed marsruudiga technical_issue, nii et Orchestrator saatis päringu mudelile GPT-6.1 Sol. Vastus sisaldab valitud marsruuti ja vastanud mudelit:
HTTP/2 200
x-perplexity-autoroute-outcome: routed
x-perplexity-autoroute-route: technical_issue
{"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}x-perplexity-autoroute-route näitab valitud marsruuti või seda, et marsruuti ei valitud. x-perplexity-autoroute-outcome teatab, kuidas päringut käsitleti, sealhulgas kas see marsruuditi või suunati tagavarana teie vaikemudelile. Väli model näitab vastanud mudelit.
Marsruutimine vestluse sees
Kui vestlus liigub ühelt ülesandelt teisele, ei pruugi ühte vooru käsitlenud mudel olla järgmise jaoks õige valik. Teie jätkupäringud sisaldavad vestluse ajalugu, seega saavad nii otsustusmudel kui ka valitud mudel lugeda varasemaid voore, sealhulgas teiste mudelite vastuseid. Viisime läbi kolm tegelikku neljavoorulist vestlust: klienditugi, programmeerimine ja uurimistöö.
Klienditugi
Oletame, et ülaltoodud näites liigub sama vestlus kontoküsimuselt arvevaidlusele ja seejärel katkisele integratsioonile. Ülesande muutudes valib otsustusmudel sobiva marsruudi; kui kasutaja saadab lõpetuseks tänusõnad, naaseb Orchestrator mudeli GLM-5.3 Flash juurde.
Viiba vahemälu mudelivahetuste vältel
Iga päring sisaldab kogu sõnumiajalugu, kuid igal mudelil on oma vahemälu. Kui vestlus naaseb 4. voorus GLM Flashi juurde, saab see uuesti kasutada 1. voorust pärit sobivat prefiksit, kui see on veel vahemälus, ning seejärel töödelda Opuse ja Soli poolt 2. ja 3. voorus lisatud vastuseid. Sama kehtib Opuse või Soli kohta, kui need valitakse 5. voorus.
Orchestrator hoiab seotud päringud võimaluse korral samas juurutuses, et säilitada viiba vahemälu. Selle seose säilitamiseks kasutage vestluses korduvalt sama püsivat prompt_cache_key väärtust.
Programmeerimisassistent
Programmeerimisvestluse 4. voorus kirjutab GLM-5.3 Flash dokumentatsioonikommentaari (docstring), kasutades konteksti mudeli Claude Opus 5.5 veadiagnoosist ja mudeli GPT-6.1 Sol rakendusplaanist.
Marsruutimisprofiil määrab ümbernimetamised ja väikesed muudatused mudelile GLM-5.3 Flash, veadiagnoosi mudelile Claude Opus 5.5 ja moodulitevaheliste muudatuste kavandamise mudelile GPT-6.1 Sol:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "hard_debugging",
"description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.",
"model": "anthropic/claude-opus-5-5"},
{"name": "design_change",
"description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.",
"model": "openai/gpt-6.1-sol"}
]
}Uurimisassistent
Uurimistöö näites viib faktiküsimus arvutuseni, millest saab omakorda memo alus. Profiil suunab faktiküsimused mudelile GLM-5.3 Flash, arvutused mudelile GPT-6.1 Sol ja memo kirjutamise mudelile Claude Opus 5.5:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "quantitative_analysis",
"description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.",
"model": "openai/gpt-6.1-sol"},
{"name": "long_form_writing",
"description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.",
"model": "anthropic/claude-opus-5-5"}
]
}3. vooru memo kasutab mudeli GPT-6.1 Sol eelmise vastuse arvutusi ja ümardab arvud, ilma et kasutaja peaks neid kordama.
Alustage Orchestratoriga
Ühendage olemasolev OpenAI või Anthropic SDK Perplexity API-võtme, sobiva Orchestratori baas-URL-i ja kataloogist valitud mudeliga.
Kiirjuhend käsitleb seadistamist, praegust saadavust ja juurdepääsu. Küsimuste korral võtke ühendust aadressil api@perplexity.ai.