Orchestrator: üks API töökindlaks järeldamiseks

Looge ühe API kaudu ühendus avatud kaaludega ja suletud AI-mudelitega, kasutades ühtset arveldust ja automaatset tõrkesiiret sama mudeli piires.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator koondab avatud kaaludega ja suletud mudelid ühte API-sse ühtse arveldusega. See valib teenusepakkuja automaatselt saadavuse, mahutavuse ja latentsuse põhjal ning saab ebaõnnestunud päringuid uuesti proovida sama mudeli mõnes teises saadaolevas juurutuses.

Üks integratsioon avatud kaaludega ja suletud mudelite jaoks

Orchestrator teenindab Perplexity järeldusinfrastruktuuris majutatud avatud kaaludega mudeleid koos teiste teenusepakkujate suletud mudelitega. Praeguses kataloogis on loetletud saadaolevad mudelivalikud.

See toetab päringuvorminguid OpenAI Chat Completions, OpenAI Responses ja Anthropic Messages, nii et saate ühenduse luua olemasoleva OpenAI või Anthropic SDK kaudu.

Kiirjuhend ja marsruutimise juhend sisaldavad SDK näiteid ja kirjeldavad marsruutimise praegust käitumist.

Töökindlus ja kiirus eri teenusepakkujate lõikes

Töökindlus

Claude'i valimine ei pea tähendama sõltumist ühest teenusepakkujast: päring, mis Anthropicu juures ebaõnnestub, võib siiski õnnestuda AWS Bedrocki kaudu. Teenusepakkuja tõrkesiire võimaldab vahetada päringut teenindavat juurutust mudelit muutmata.

Orchestrator kasutab jälgitud seisundit ja mahutavust, et jaotada päringuid mudeli juurutuste vahel. Kui teenusepakkuja tagastab vea, jõuab päringute piiranguni või aegub, proovib Orchestrator uuesti sama mudeli teises juurutuses, piirates iga katse puhul aega esimese tokenini ja kogukestust.

Mõõtmistes ajavahemikul 4. oktoobrist 2. novembrini 2026 õnnestusid Perplexity kaudu tehtud Claude'i ja GPT päringud sagedamini kui päringud ükskõik millisele meie mõõdetud üksikule teenusepakkujale. Nende igapäevased õnnestumismäärad kõikusid teenusepakkujate intsidentide ajal ka vähem.

Päringute õnnestumismäärad 4. oktoobrist 2. novembrini 2026: vasakul Claude; paremal GPT-mudelid, mis on saadaval nii OpenAI kui ka Azure'i kaudu.
Päringute igapäevased õnnestumismäärad samal perioodil: vasakul Claude ja paremal GPT.

Lugesime päringu ebaõnnestunuks, kui Orchestrator ammendas saadaolevad juurutused või teenindav kiht tagastas vea, kuid jätsime välja kliendipoolsed vead, nagu kehtetud päringud ja kliendi päringupiirangu rikkumised.

Väljundkiirus

Töötame adaptiivse marsruutimise kallal, mis arvestab mudeli kiirust, et Orchestrator saaks jõudluse muutudes teenusepakkuja valikut kohandada.

Iga mudeli kiireim teenusepakkuja muutub aja jooksul. Mudeli Claude Opus 5.5 puhul oli 30 päevast 15 päeval kiireim Anthropic ja ülejäänud 15 päeval AWS Bedrock.

Mudeli Claude Opus 5.5 mediaanne väljundkiirus teenusepakkuja ja päeva kaupa, 4. oktoober – 2. november 2026. Esiletõstetud joon järgib iga päev kiiremat teenusepakkujat, illustreerides reaalajas kiirust arvestava marsruutimise eesmärki.

Samal 30-päevasel perioodil oli mudeli GPT-5.6 Sol mediaanne väljundkiirus Azure'is 27% suurem kui OpenAI-l.

Mudeli GPT-5.6 Sol mediaanne väljundkiirus pärast esimest tokenit, 4. oktoober – 2. november 2026.

Üks arve kõigi mudelite eest

Iga päring arvestatakse ainult vastanud mudeli tokenikasutuse hulka. Orchestrator võtab tasu iga mudeli avaldatud tokenipõhiste hindade järgi olenemata sellest, milline teenusepakkuja päringut teenindab, seega tõrkesiire teise teenusepakkuja juurde seda hinda ei muuda. Kasutus arvestatakse samadest ettemakstud krediitidest nagu ülejäänud teie Perplexity API projekt.

API Console'is saate vaadata kulutusi mudelite kaupa ja filtreerida kasutust API-võtme järgi. Krediite saate osta ka AWS Marketplace'i kaudu.

Automaatne marsruutimine (eelvaade): sobitage iga ülesanne õige mudeliga

Orchestrator pakub automaatset marsruutimist – valikulist funktsiooni, mis on saadaval eelvaates. See valib iga päringu jaoks mudeli profiili abil, mis seob lihtsas keeles ülesannete kirjeldused mudelitega. Saate määrata oma profiili või kasutada Orchestratori sisseehitatud vaikeprofiili.

Automaatse marsruutimise päringud kasutavad mudelina väärtust perplexity/auto. Kohandatud profiili jaoks lisage marsruutimisobjekt väljadega default_model ja routes. Iga marsruut määrab nime, kirjelduse ja mudeli.

Iga päringu puhul kutsub perplexity/auto välja meie otsustusmudeli, mis loeb vestlust ja võrdleb seda marsruutide kirjeldustega, nägemata mudelite nimesid. Seejärel saadab Orchestrator päringu valitud marsruudile määratud mudelile või, kui ükski marsruut ei sobi, teie vaikemudelile. Orchestrator kasutab teie vaikemudelit ka siis, kui otsustusmudel ebaõnnestub või aegub.

Allolevad näited käsitlevad mudelite keeldumistest mööda marsruutimist, klienditoe probleemitüüpe ja ülesannete muutumist vestluse sees.

Marsruutimine keeldumistest mööda

Agent saab kasutada automaatset marsruutimist, et vältida ennustatavaid keeldumisi, säilitades muu töö jaoks oma eelistatud mudeli. Anthropic on dokumenteerinud, et Claude Fable 5.2 kaitsemeetmed võivad blokeerida kahjutut küberturbe- ja eluteaduste tööd. Testisime seda kasutusjuhtu Terminal-Bench 4.1 63 ülesandest koosneval alamhulgal.

Käitasime Claude Code'i ainult Fable'iga ning kahe kohandatud marsruutimisprofiiliga. Mõlemad profiilid jätsid vaikemudeliks Fable'i ning määrasid küberturbe, bioloogia ja after_refusal marsruudid kas mudelile GPT-6 Astra või GPT-6.1 Sol. Võrdluseks lisasime ka Astra ja Soli eraldiseisvad käivitused Codexis.

Selles korrigeeritud võrdluses lahendavad mõlemad marsruuditud Claude Code'i seadistused 63 ülesandest 41, samas kui ainult Fable lahendab 38, kuid ülesande hinnanguline kulu on suurem. Diagramm näitab seda kompromissi koos Codexis töötavate Astra ja Soliga.

Terminal-Bench 4.1, korrigeeritud võrdlus 63 ülesandel. Astra Codex sisaldab üht eeldatud läbimist; kulud on hinnangulised.

Allolevas näites kasutatakse Soli: turbe- ja bioloogiamarsruudid valivad selle enne keeldumist, after_refusal valib selle siis, kui vestluses on juba keeldumine.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

Marsruutimine probleemi tüübi järgi

Klienditoe assistendi puhul vajab enamik küsimusi vaid kiiret ja odavat mudelit. Arvevaidlus nõuab hoolikat ja empaatilist vastust. Katkine integratsioon vajab tõrkeotsingut. Assistent saab kasutada kahte marsruuti – arvevaidluste ja tehniliste probleemide jaoks – ning jätta rutiinsed küsimused oma vaikemudelile:

Marsruut

Ülesande kirjeldus

Mudel

default_model

Kõik muu, näiteks see, kuidas muuta konto e-posti aadressi

GLM-5.3 Flash

billing_dispute

Klient vaidlustab tasu, küsib raha tagasi või on pahane talle esitatud arve pärast.

Claude Opus 5.5

technical_issue

Klient teatab veast, veateatest või integratsioonist, mis lakkas töötamast ja vajab tõrkeotsingut.

GPT-6.1 Sol

Marsruuditud päringu saatmine

Kuidas perplexity/auto päringut teenindab: otsustusmudel valib marsruudi või teatab, et sobivat marsruuti pole, ning Orchestrator kutsub välja valitud mudeli või teie vaikemudeli. Vastuse päised annavad teada marsruutimise tulemusest.

Allolev päring suunab API tõrget puudutava pöördumise läbi ülaltoodud klienditoe profiili.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

Otsustusmudel sobitas ebaõnnestunud API-kutsed marsruudiga technical_issue, nii et Orchestrator saatis päringu mudelile GPT-6.1 Sol. Vastus sisaldab valitud marsruuti ja vastanud mudelit:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route näitab valitud marsruuti või seda, et marsruuti ei valitud. x-perplexity-autoroute-outcome teatab, kuidas päringut käsitleti, sealhulgas kas see marsruuditi või suunati tagavarana teie vaikemudelile. Väli model näitab vastanud mudelit.

Marsruutimine vestluse sees

Kui vestlus liigub ühelt ülesandelt teisele, ei pruugi ühte vooru käsitlenud mudel olla järgmise jaoks õige valik. Teie jätkupäringud sisaldavad vestluse ajalugu, seega saavad nii otsustusmudel kui ka valitud mudel lugeda varasemaid voore, sealhulgas teiste mudelite vastuseid. Viisime läbi kolm tegelikku neljavoorulist vestlust: klienditugi, programmeerimine ja uurimistöö.

Klienditugi

Oletame, et ülaltoodud näites liigub sama vestlus kontoküsimuselt arvevaidlusele ja seejärel katkisele integratsioonile. Ülesande muutudes valib otsustusmudel sobiva marsruudi; kui kasutaja saadab lõpetuseks tänusõnad, naaseb Orchestrator mudeli GLM-5.3 Flash juurde.

Klienditoe vestlus: iga vooru marsruut ja mudel.

Viiba vahemälu mudelivahetuste vältel

Iga päring sisaldab kogu sõnumiajalugu, kuid igal mudelil on oma vahemälu. Kui vestlus naaseb 4. voorus GLM Flashi juurde, saab see uuesti kasutada 1. voorust pärit sobivat prefiksit, kui see on veel vahemälus, ning seejärel töödelda Opuse ja Soli poolt 2. ja 3. voorus lisatud vastuseid. Sama kehtib Opuse või Soli kohta, kui need valitakse 5. voorus.

Orchestrator hoiab seotud päringud võimaluse korral samas juurutuses, et säilitada viiba vahemälu. Selle seose säilitamiseks kasutage vestluses korduvalt sama püsivat prompt_cache_key väärtust.

Viiba vahemälu mudelivahetuste vältel: GLM Flash saab uuesti kasutada oma varasemat prefiksit, töödeldes vahepealset vestlust uue sisendina.

Programmeerimisassistent

Programmeerimisvestluse 4. voorus kirjutab GLM-5.3 Flash dokumentatsioonikommentaari (docstring), kasutades konteksti mudeli Claude Opus 5.5 veadiagnoosist ja mudeli GPT-6.1 Sol rakendusplaanist.

Marsruutimisprofiil määrab ümbernimetamised ja väikesed muudatused mudelile GLM-5.3 Flash, veadiagnoosi mudelile Claude Opus 5.5 ja moodulitevaheliste muudatuste kavandamise mudelile GPT-6.1 Sol:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
Programmeerimisvestlus: iga vooru marsruut ja mudel.

Uurimisassistent

Uurimistöö näites viib faktiküsimus arvutuseni, millest saab omakorda memo alus. Profiil suunab faktiküsimused mudelile GLM-5.3 Flash, arvutused mudelile GPT-6.1 Sol ja memo kirjutamise mudelile Claude Opus 5.5:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

3. vooru memo kasutab mudeli GPT-6.1 Sol eelmise vastuse arvutusi ja ümardab arvud, ilma et kasutaja peaks neid kordama.

Uurimistöö vestlus: iga vooru marsruut ja mudel.

Alustage Orchestratoriga

Ühendage olemasolev OpenAI või Anthropic SDK Perplexity API-võtme, sobiva Orchestratori baas-URL-i ja kataloogist valitud mudeliga.

Kiirjuhend käsitleb seadistamist, praegust saadavust ja juurdepääsu. Küsimuste korral võtke ühendust aadressil api@perplexity.ai.