Orchestrator: viens API uzticamai inferencei

Piekļūstiet atvērto svaru un patentētajiem MI modeļiem, izmantojot vienu API ar vienotiem norēķiniem un automātisku pārslēgšanos kļūmes gadījumā tā paša modeļa ietvaros.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator apvieno atvērto svaru un patentētos modeļus vienā API ar vienotiem norēķiniem. Tas automātiski izvēlas pakalpojumu sniedzēju, pamatojoties uz pieejamību, jaudu un latentumu, un var atkārtot neizdevušos pieprasījumus citā pieejamā tā paša modeļa izvietojumā.

Viena integrācija atvērto svaru un patentētajiem modeļiem

Orchestrator apkalpo atvērto svaru modeļus, kas mitināti Perplexity inferences infrastruktūrā, līdzās citu pakalpojumu sniedzēju patentētajiem modeļiem. Pašreizējā katalogā ir uzskaitīti pieejamie modeļi.

Tas pieņem OpenAI Chat Completions, OpenAI Responses un Anthropic Messages pieprasījumus, tāpēc varat izveidot savienojumu, izmantojot savu esošo OpenAI vai Anthropic SDK.

Ātrās sākšanas rokasgrāmatā un maršrutēšanas rokasgrāmatā ir sniegti SDK piemēri un aprakstīta pašreizējā maršrutēšanas darbība.

Uzticamība un ātrums dažādiem pakalpojumu sniedzējiem

Uzticamība

Claude izvēle nenozīmē, ka jāpaļaujas uz vienu pakalpojumu sniedzēju: pieprasījums, kas neizdodas Anthropic, joprojām var izdoties AWS Bedrock. Pārslēgšanās uz citu pakalpojumu sniedzēju kļūmes gadījumā ļauj mainīt izvietojumu, kas apkalpo pieprasījumu, nemainot modeli.

Orchestrator izmanto novēroto stāvokli un jaudu, lai sadalītu pieprasījumus starp modeļa izvietojumiem. Ja pakalpojumu sniedzējs atgriež kļūdu, tiek sasniegts pieprasījumu ātruma ierobežojums vai iestājas noildze, Orchestrator atkārto pieprasījumu citā šī modeļa izvietojumā, katram mēģinājumam ierobežojot laiku līdz pirmajam tokenam un kopējo ilgumu.

Mērījumos no 2026. gada 4. oktobra līdz 2. novembrim Claude un GPT pieprasījumi caur Perplexity izdevās biežāk nekā pieprasījumi jebkuram atsevišķam pakalpojumu sniedzējam, ko mērījām. Arī to ikdienas sekmīguma rādītāji pakalpojumu sniedzēju incidentu laikā svārstījās mazāk.

Pieprasījumu sekmīguma rādītāji no 2026. gada 4. oktobra līdz 2. novembrim: pa kreisi Claude; pa labi GPT modeļi, kas pieejami gan caur OpenAI, gan Azure.
Pieprasījumu ikdienas sekmīguma rādītāji tajā pašā periodā: pa kreisi Claude, pa labi GPT.

Mēs uzskatījām pieprasījumu par neizdevušos, ja Orchestrator bija izmantojis visus pieejamos izvietojumus vai apkalpošanas slānis atgrieza kļūdu, taču neiekļāvām klienta kļūdas, piemēram, nederīgus pieprasījumus un klienta pieprasījumu ātruma ierobežojumu pārkāpumus.

Izvades ātrums

Mēs strādājam pie adaptīvas maršrutēšanas, kas ņem vērā modeļu ātrumu, lai Orchestrator varētu pielāgot pakalpojumu sniedzēju izvēli, mainoties veiktspējai.

Ātrākais pakalpojumu sniedzējs jebkuram modelim laika gaitā mainās. Claude Opus 5.5 gadījumā Anthropic bija ātrākais 15 no 30 dienām, bet AWS Bedrock — pārējās 15.

Claude Opus 5.5 izvades ātruma mediāna pa pakalpojumu sniedzējiem un dienām no 2026. gada 4. oktobra līdz 2. novembrim. Izceltā līnija katru dienu seko ātrākajam pakalpojumu sniedzējam, ilustrējot mērķi maršrutēšanai, kas reāllaikā ņem vērā ātrumu.

Tajās pašās 30 dienās Azure GPT-5.6 Sol izvades ātruma mediāna bija par 27 % augstāka nekā OpenAI.

GPT-5.6 Sol izvades ātruma mediāna pēc pirmā tokena no 2026. gada 4. oktobra līdz 2. novembrim.

Viens rēķins par visiem modeļiem

Katrs pieprasījums tiek ieskaitīts tikai atbildējušā modeļa tokenu lietojumā. Orchestrator piemēro katra modeļa publicētās cenas par tokenu neatkarīgi no tā, kurš pakalpojumu sniedzējs apkalpo pieprasījumu, tāpēc pārslēgšanās uz citu pakalpojumu sniedzēju kļūmes gadījumā šo cenu nemaina. Lietojums tiek segts no tiem pašiem priekšapmaksas kreditiem, ko izmanto pārējais jūsu Perplexity API projekts.

API konsolē varat skatīt izdevumus pa modeļiem un filtrēt lietojumu pēc API atslēgas. Krediti ir iegādājami arī AWS Marketplace.

Automātiskā maršrutēšana (priekšskatījums): katram uzdevumam piemērotākais modelis

Orchestrator piedāvā automātisko maršrutēšanu — izvēles funkciju, kas pieejama priekšskatījumā. Tā katram pieprasījumam atlasa modeli, izmantojot profilu, kurā vienkāršā valodā formulēti uzdevumu apraksti ir sasaistīti ar modeļiem. Varat definēt savu profilu vai izmantot Orchestrator iebūvēto noklusējuma profilu.

Automātiskās maršrutēšanas pieprasījumos kā modelis tiek norādīts perplexity/auto. Pielāgotam profilam iekļaujiet maršrutēšanas objektu ar default_model un routes. Katrā maršrutā ir norādīts nosaukums, apraksts un modelis.

Katram pieprasījumam perplexity/auto izsauc mūsu lēmumu modeli, kas nolasa sarunu un salīdzina to ar maršrutu aprakstiem, neredzot modeļu nosaukumus. Pēc tam Orchestrator nosūta pieprasījumu modelim, kas piešķirts atlasītajam maršrutam, vai jūsu noklusējuma modelim, ja neviens maršruts neatbilst. Orchestrator izmanto jūsu noklusējuma modeli arī tad, ja lēmumu modelim rodas kļūme vai iestājas noildze.

Tālāk sniegtie piemēri aptver maršrutēšanu modeļu atteikumu apiešanai, maršrutēšanu pēc klientu atbalsta problēmu veida un uzdevumu maiņu sarunas ietvaros.

Atteikumu apiešana ar maršrutēšanu

Aģents var izmantot automātisko maršrutēšanu, lai izvairītos no paredzamiem atteikumiem, vienlaikus saglabājot vēlamo modeli citam darbam. Anthropic dokumentācijā norādīts, ka Claude Fable 5.2 drošības mehānismi var bloķēt nekaitīgu kiberdrošības un dzīvības zinātņu darbu. Mēs pārbaudījām šo lietošanas gadījumu ar 63 uzdevumu apakškopu no Terminal-Bench 4.1.

Mēs palaidām Claude Code tikai ar Fable un ar diviem pielāgotiem maršrutēšanas profiliem. Abos profilos Fable tika saglabāts kā noklusējuma modelis, un kiberdrošības, bioloģijas un after_refusal maršruti tika piešķirti vai nu GPT-6 Astra, vai GPT-6.1 Sol. Salīdzinājumam iekļāvām arī atsevišķus Astra un Sol palaidienus Codex vidē.

Šajā koriģētajā salīdzinājumā abas maršrutētās Claude Code konfigurācijas atrisina 41 no 63 uzdevumiem, salīdzinot ar 38 uzdevumiem, ko atrisina tikai Fable, taču ar augstākām aplēstajām izmaksām par uzdevumu. Diagrammā šis kompromiss parādīts līdzās Astra un Sol, kas darbojas Codex vidē.

Terminal-Bench 4.1, koriģēts salīdzinājums ar 63 uzdevumiem. Astra Codex ietver vienu pieņemtu sekmīgu izpildi; izmaksas ir aplēstas.

Tālāk sniegtajā piemērā izmantots Sol: drošības un bioloģijas maršruti to atlasa, pirms notiek atteikums, bet after_refusal to atlasa, ja sarunā jau ir atteikums.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

Maršrutēšana pēc problēmas veida

Klientu atbalsta asistentam lielākajai daļai jautājumu pietiek ar ātru, lētu modeli. Strīdam par rēķinu nepieciešama rūpīga, empātiska atbilde. Nedarbojošās integrācijas gadījumā jānovērš problēmas. Asistents var izmantot divus maršrutus — strīdiem par rēķiniem un tehniskām problēmām —, bet ikdienas jautājumus atstāt noklusējuma modelim:

Maršruts

Uzdevuma apraksts

Modelis

default_model

Viss pārējais, piemēram, kā mainīt konta e-pasta adresi

GLM-5.3 Flash

billing_dispute

Klients apstrīd maksājumu, lūdz atmaksu vai ir neapmierināts par viņam iekasēto summu.

Claude Opus 5.5

technical_issue

Klients ziņo par programmatūras kļūdu, kļūdas ziņojumu vai integrāciju, kas pārstājusi darboties un kurai nepieciešama problēmu novēršana.

GPT-6.1 Sol

Maršrutēta pieprasījuma nosūtīšana

Kā perplexity/auto apkalpo pieprasījumu: lēmumu modelis atlasa maršrutu vai atgriež rezultātu bez atbilstības, un Orchestrator izsauc atlasīto modeli vai jūsu noklusējuma modeli. Atbildes galvenes ziņo par maršrutēšanas rezultātu.

Tālāk redzamais pieprasījums nosūta problēmu par API kļūmi, izmantojot iepriekš aprakstīto klientu atbalsta profilu.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

Lēmumu modelis piesaistīja neizdevušos API izsaukumus maršrutam technical_issue, tāpēc Orchestrator nosūtīja pieprasījumu GPT-6.1 Sol. Atbildē ir norādīts atlasītais maršruts un modelis, kas atbildēja:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route norāda atlasīto maršrutu vai to, ka maršruts nav atlasīts. x-perplexity-autoroute-outcome ziņo, kā pieprasījums tika apstrādāts, tostarp to, vai tas tika maršrutēts vai kā rezerves variants tika izmantots jūsu noklusējuma modelis. Lauks model norāda modeli, kas atbildēja.

Maršrutēšana sarunas ietvaros

Sarunai pārejot no viena uzdevuma uz citu, modelis, kas apstrādāja vienu gājienu, var nebūt piemērotākā izvēle nākamajam. Jūsu turpmākajos pieprasījumos ir iekļauta sarunas vēsture, tāpēc gan lēmumu modelis, gan atlasītais modelis var nolasīt iepriekšējos gājienus, tostarp citu modeļu atbildes. Mēs veicām trīs reālas četru gājienu sarunas: klientu atbalsta, programmēšanas un izpētes.

Klientu atbalsts

Pieņemsim, ka iepriekš minētajā piemērā tā pati saruna pāriet no jautājuma par kontu uz strīdu par rēķinu un pēc tam uz nedarbojošos integrāciju. Uzdevumam mainoties, lēmumu modelis atlasa atbilstošo maršrutu; kad lietotājs noslēgumā nosūta pateicību, Orchestrator atgriežas pie GLM-5.3 Flash.

Atbalsta saruna: katra gājiena maršruts un modelis.

Uzvedņu kešošana, pārslēdzoties starp modeļiem

Katrs pieprasījums ietver visu ziņojumu vēsturi, taču katrs modelis uztur savu kešatmiņu. Kad saruna 4. gājienā atgriežas pie GLM Flash, tas var atkārtoti izmantot atbilstošu prefiksu no 1. gājiena, kamēr tas vēl ir kešatmiņā, un pēc tam apstrādāt atbildes, ko 2. un 3. gājienā pievienoja Opus un Sol. Tas pats attiecas uz Opus vai Sol, ja tie tiek atlasīti 5. gājienā.

Orchestrator, ja iespējams, saglabā saistītos pieprasījumus tajā pašā izvietojumā, lai saglabātu uzvedņu kešošanu. Lai palīdzētu uzturēt šo piesaisti, sarunai atkārtoti izmantojiet nemainīgu prompt_cache_key.

Uzvedņu kešošana, pārslēdzoties starp modeļiem: GLM Flash var atkārtoti izmantot savu iepriekšējo prefiksu, apstrādājot starplaikā notikušo sarunas daļu kā jaunu ievadi.

Programmēšanas asistents

Programmēšanas sarunas 4. gājienā GLM-5.3 Flash uzraksta docstring, izmantojot kontekstu no Claude Opus 5.5 kļūdas diagnozes un GPT-6.1 Sol ieviešanas plāna.

Maršrutēšanas profils piešķir pārdēvēšanu un nelielus labojumus GLM-5.3 Flash, kļūdu diagnostiku — Claude Opus 5.5, bet izmaiņu plānošanu vairākos moduļos — GPT-6.1 Sol:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
Programmēšanas saruna: katra gājiena maršruts un modelis.

Izpētes asistents

Izpētes piemērā faktu jautājums noved pie aprēķina, kas pēc tam kļūst par pamatu memorandam. Profils piešķir faktu jautājumus GLM-5.3 Flash, aprēķinus — GPT-6.1 Sol, bet memorandu rakstīšanu — Claude Opus 5.5:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

Memorandā 3. gājienā izmantoti aprēķini no GPT-6.1 Sol iepriekšējās atbildes, noapaļojot skaitļus un neprasot lietotājam tos atkārtot.

Izpētes saruna: katra gājiena maršruts un modelis.

Darba sākšana ar Orchestrator

Savienojiet savu esošo OpenAI vai Anthropic SDK, izmantojot Perplexity API atslēgu, atbilstošo Orchestrator bāzes URL un modeli no kataloga.

Ātrās sākšanas rokasgrāmatā ir aprakstīta iestatīšana, pašreizējā pieejamība un piekļuve. Ja jums ir jautājumi, lūdzu, sazinieties ar api@perplexity.ai.