Orchestrator: viena API patikimam išvadų darymui

Prisijunkite prie atvirųjų svorių ir nuosavybinių DI modelių per vieną API su vieningu atsiskaitymu ir automatiniu perjungimu į kitą to paties modelio diegimą.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator sujungia atvirųjų svorių ir nuosavybinius modelius į vieną API su vieningu atsiskaitymu. Jis automatiškai parenka teikėją pagal prieinamumą, pajėgumus ir delsą, o nepavykusias užklausas gali pakartoti kitame prieinamame to paties modelio diegime.

Viena integracija atvirųjų svorių ir nuosavybiniams modeliams

Orchestrator teikia Perplexity išvadų darymo infrastruktūroje talpinamus atvirųjų svorių modelius kartu su kitų teikėjų nuosavybiniais modeliais. Dabartiniame kataloge pateikiami prieinami modeliai.

Jis priima OpenAI Chat Completions, OpenAI Responses ir Anthropic Messages užklausas, todėl galite prisijungti naudodami esamą OpenAI arba Anthropic SDK.

Greitosios pradžios vadove ir maršrutizavimo vadove rasite SDK pavyzdžių ir dabartinio maršrutizavimo veikimo aprašymą.

Skirtingų teikėjų patikimumas ir greitis

Patikimumas

Pasirinkus Claude nebūtina pasikliauti vienu teikėju: užklausa, kuri nepavyksta per Anthropic, vis tiek gali būti sėkminga per AWS Bedrock. Perjungimas į kitą teikėją leidžia pakeisti užklausą aptarnaujantį diegimą nekeičiant modelio.

Orchestrator, remdamasis stebima būkle ir pajėgumais, paskirsto užklausas tarp modelio diegimų. Jei teikėjas grąžina klaidą, pasiekia užklausų dažnio ribą arba viršija laukimo laiką, Orchestrator bando dar kartą kitame to modelio diegime, kiekvienam bandymui taikydamas laiko iki pirmojo žetono ir bendros trukmės apribojimus.

2026 m. spalio 4 d. – lapkričio 2 d. atliktų matavimų duomenimis, Claude ir GPT užklausos per Perplexity buvo sėkmingos dažniau nei užklausos bet kuriam atskiram mūsų matuotam teikėjui. Be to, teikėjų incidentų metu jų dienos sėkmės rodikliai svyravo mažiau.

Užklausų sėkmės rodikliai, 2026 m. spalio 4 d. – lapkričio 2 d.: kairėje – Claude, dešinėje – GPT modeliai, prieinami per OpenAI ir Azure.
Dienos užklausų sėkmės rodikliai per tą patį laikotarpį: kairėje – Claude, dešinėje – GPT.

Užklausą laikėme nepavykusia, kai Orchestrator išnaudojo visus prieinamus diegimus arba aptarnavimo sluoksnis grąžino klaidą, tačiau neįtraukėme kliento klaidų, pvz., netinkamų užklausų ir kliento užklausų dažnio ribos pažeidimų.

Išvesties greitis

Kuriame adaptyvųjį maršrutizavimą, atsižvelgiantį į modelių greitį, kad Orchestrator galėtų koreguoti teikėjų pasirinkimą kintant našumui.

Greičiausias bet kurio modelio teikėjas laikui bėgant keičiasi. Claude Opus 5.5 atveju Anthropic pirmavo 15 iš 30 dienų, o AWS Bedrock – likusias 15.

Claude Opus 5.5 išvesties greičio mediana pagal teikėją ir dieną, 2026 m. spalio 4 d. – lapkričio 2 d. Paryškinta linija kiekvieną dieną seka greitesnį teikėją ir iliustruoja tikslą, kurio siekiama realiuoju laiku maršrutizuojant pagal greitį.

Per tas pačias 30 dienų Azure GPT-5.6 Sol išvesties greičio mediana buvo 27 % didesnė nei OpenAI.

GPT-5.6 Sol išvesties greičio po pirmojo žetono mediana, 2026 m. spalio 4 d. – lapkričio 2 d.

Viena sąskaita už visus modelius

Kiekviena užklausa įskaičiuojama tik į atsakiusio modelio žetonų naudojimą. Orchestrator taiko kiekvieno modelio paskelbtus tarifus už žetoną, nesvarbu, kuris teikėjas aptarnauja užklausą, todėl perjungimas į kitą teikėją šio tarifo nekeičia. Už naudojimą atsiskaitoma tais pačiais iš anksto apmokėtais kreditais kaip ir už likusį jūsų Perplexity API projektą.

API konsolėje galite peržiūrėti išlaidas pagal modelį ir filtruoti naudojimą pagal API raktą. Kreditus taip pat galite įsigyti per AWS Marketplace.

Automatinis maršrutizavimas (peržiūros versija): kiekvienai užduočiai – tinkamas modelis

Orchestrator siūlo automatinį maršrutizavimą – pasirenkamą funkciją, prieinamą peržiūros versijoje. Ji kiekvienai užklausai parenka modelį pagal profilį, kuriame paprasta kalba parašyti užduočių aprašymai susieti su modeliais. Galite apibrėžti savo profilį arba naudoti integruotą numatytąjį Orchestrator profilį.

Automatinio maršrutizavimo užklausose kaip modelis nurodomas perplexity/auto. Naudodami pasirinktinį profilį, įtraukite maršrutizavimo objektą su default_model ir routes. Kiekviename maršrute nurodomas pavadinimas, aprašymas ir modelis.

Kiekvienai užklausai perplexity/auto iškviečia mūsų sprendimų modelį, kuris perskaito pokalbį ir palygina jį su maršrutų aprašymais, nematydamas modelių pavadinimų. Tada Orchestrator siunčia užklausą modeliui, priskirtam pasirinktam maršrutui, arba jūsų numatytajam modeliui, jei netinka nė vienas maršrutas. Orchestrator taip pat naudoja numatytąjį modelį, jei sprendimų modelis sutrinka arba neatsako per nustatytą laiką.

Toliau pateikti pavyzdžiai apima maršrutizavimą apeinant modelių atsisakymus, klientų aptarnavimo problemų tipus ir užduočių pokyčius viename pokalbyje.

Maršrutizavimas apeinant atsisakymus

Agentas gali naudoti automatinį maršrutizavimą, kad išvengtų nuspėjamų atsisakymų, o kitiems darbams išlaikytų pageidaujamą modelį. Anthropic dokumentacijoje nurodoma, kad Claude Fable 5.2 apsaugos priemonės gali blokuoti nekenksmingus kibernetinio saugumo ir gyvybės mokslų darbus. Šį naudojimo atvejį išbandėme su 63 užduočių Terminal-Bench 4.1 poaibiu.

Paleidome Claude Code tik su Fable ir su dviem pasirinktiniais maršrutizavimo profiliais. Abu profiliai paliko Fable kaip numatytąjį modelį, o kibernetinio saugumo, biologijos ir after_refusal maršrutus priskyrė GPT-6 Astra arba GPT-6.1 Sol. Palyginimui įtraukėme ir atskirus Astra bei Sol paleidimus Codex aplinkoje.

Šiame pakoreguotame palyginime abi maršrutizuotos Claude Code konfigūracijos išsprendžia 41 iš 63 užduočių, palyginti su 38, kurias išsprendžia vien Fable, tačiau numatoma vienos užduoties kaina yra didesnė. Diagramoje šis kompromisas parodytas kartu su Astra ir Sol, veikiančiais Codex aplinkoje.

Terminal-Bench 4.1, pakoreguotas 63 užduočių palyginimas. Astra Codex rezultatuose įskaičiuotas vienas numanomas išsprendimas; išlaidos yra apytikslės.

Toliau pateiktame pavyzdyje naudojamas Sol: saugumo ir biologijos maršrutai jį pasirenka dar prieš atsisakymą, o after_refusal jį pasirenka, kai pokalbyje jau yra atsisakymas.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

Maršrutizavimas pagal problemos tipą

Klientų aptarnavimo asistentui daugumai klausimų pakanka greito, nebrangaus modelio. Ginčui dėl atsiskaitymo reikia kruopštaus, empatiško atsakymo. Sugedusiai integracijai reikia trikčių šalinimo. Asistentas gali naudoti du maršrutus – ginčams dėl atsiskaitymo ir techninėms problemoms, o įprastus klausimus palikti numatytajam modeliui:

Maršrutas

Užduoties aprašymas

Modelis

default_model

Visa kita, pavyzdžiui, kaip pakeisti paskyros el. pašto adresą

GLM-5.3 Flash

billing_dispute

Klientas ginčija mokestį, prašo grąžinti pinigus arba yra nepatenkintas jam priskaičiuota suma.

Claude Opus 5.5

technical_issue

Klientas praneša apie programos klaidą, klaidos pranešimą arba nustojusią veikti integraciją, todėl reikia šalinti triktis.

GPT-6.1 Sol

Maršrutizuotos užklausos siuntimas

Kaip perplexity/auto aptarnauja užklausą: sprendimų modelis pasirenka maršrutą arba praneša, kad atitikmens nėra, o Orchestrator iškviečia pasirinktą modelį arba jūsų numatytąjį modelį. Atsakymo antraštėse nurodomas maršrutizavimo rezultatas.

Toliau pateikta užklausa siunčia API gedimo problemą per anksčiau aprašytą klientų aptarnavimo profilį.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

Sprendimų modelis nepavykusius API iškvietimus susiejo su technical_issue, todėl Orchestrator užklausą nusiuntė GPT-6.1 Sol. Atsakyme nurodomas pasirinktas maršrutas ir atsakęs modelis:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route nurodo pasirinktą maršrutą arba tai, kad maršrutas nepasirinktas. x-perplexity-autoroute-outcome praneša, kaip užklausa buvo apdorota, įskaitant tai, ar ji buvo nukreipta maršrutu, ar perduota jūsų numatytajam modeliui. Laukas model nurodo atsakiusį modelį.

Maršrutizavimas viename pokalbyje

Pokalbiui pereinant nuo vienos užduoties prie kitos, modelis, atlikęs vieną žingsnį, gali būti netinkamas kitam. Tolesnėse užklausose pateikiama pokalbio istorija, todėl ir sprendimų modelis, ir pasirinktas modelis gali perskaityti ankstesnius žingsnius, įskaitant kitų modelių atsakymus. Išbandėme tris tikrus keturių žingsnių pokalbius: klientų aptarnavimo, programavimo ir tyrimo.

Klientų aptarnavimas

Tarkime, kad pirmiau pateiktame pavyzdyje tas pats pokalbis pereina nuo klausimo apie paskyrą prie ginčo dėl atsiskaitymo, o vėliau – prie sugedusios integracijos. Keičiantis užduočiai, sprendimų modelis parenka atitinkamą maršrutą; kai naudotojas baigdamas padėkoja, Orchestrator grįžta prie GLM-5.3 Flash.

Klientų aptarnavimo pokalbis: kiekvieno žingsnio maršrutas ir modelis.

Raginimų podėlis perduodant darbą tarp modelių

Kiekvienoje užklausoje pateikiama visa pranešimų istorija, tačiau kiekvienas modelis turi savo podėlį. Kai pokalbis 4-ajame žingsnyje grįžta prie GLM Flash, šis gali pakartotinai panaudoti atitinkantį 1-ojo žingsnio prefiksą, kol jis dar yra podėlyje, ir tada apdoroti Opus ir Sol atsakymus, pridėtus 2-ajame ir 3-iajame žingsniuose. Tas pats galioja Opus ar Sol, jei jie pasirenkami 5-ajame žingsnyje.

Kad būtų išsaugotas raginimų podėlis, Orchestrator, kai įmanoma, susijusias užklausas palieka tame pačiame diegime. Kad padėtumėte išlaikyti šį susiejimą, pokalbiui pakartotinai naudokite pastovų prompt_cache_key.

Raginimų podėlis perduodant darbą tarp modelių: GLM Flash gali pakartotinai panaudoti savo ankstesnį prefiksą, o tarpinę pokalbio dalį apdoroja kaip naują įvestį.

Programavimo asistentas

Ketvirtajame programavimo pokalbio žingsnyje GLM-5.3 Flash parašo dokumentavimo eilutę (docstring), remdamasis Claude Opus 5.5 klaidos diagnozės ir GPT-6.1 Sol įgyvendinimo plano kontekstu.

Maršrutizavimo profilis pervadinimus ir nedidelius pakeitimus priskiria GLM-5.3 Flash, klaidų diagnozę – Claude Opus 5.5, o kelių modulių pakeitimų planavimą – GPT-6.1 Sol:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
Programavimo pokalbis: kiekvieno žingsnio maršrutas ir modelis.

Tyrimų asistentas

Tyrimo pavyzdyje faktinis klausimas veda prie skaičiavimo, kuris vėliau tampa memorandumo pagrindu. Profilis faktinius klausimus priskiria GLM-5.3 Flash, skaičiavimus – GPT-6.1 Sol, o memorandumų rašymą – Claude Opus 5.5:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

3-iojo žingsnio memorandume naudojami ankstesnio GPT-6.1 Sol atsakymo skaičiavimai: skaičiai suapvalinami, neprašant naudotojo jų pakartoti.

Tyrimo pokalbis: kiekvieno žingsnio maršrutas ir modelis.

Pradėkite naudoti Orchestrator

Prijunkite esamą OpenAI arba Anthropic SDK naudodami Perplexity API raktą, atitinkamą Orchestrator bazinį URL ir modelį iš katalogo.

Greitosios pradžios vadove aprašyta sąranka, dabartinis prieinamumas ir prieiga. Kilus klausimų, rašykite adresu api@perplexity.ai.