Orchestrator: Eitt API fyrir áreiðanlega líkanakeyrslu
Tengstu gervigreindarlíkönum með opnum vogum og séreignarlíkönum í gegnum eitt API með sameinaðri innheimtu og sjálfvirkri varaleið innan sama líkans.

Orchestrator sameinar líkön með opnum vogum og séreignarlíkön í einu API með sameinaðri innheimtu. Kerfið velur sjálfkrafa þjónustuveitu út frá framboði, afkastagetu og biðtíma og getur reynt misheppnaðar beiðnir aftur á annarri tiltækri uppsetningu sama líkans.
Ein samþætting fyrir líkön með opnum vogum og séreignarlíkön
Orchestrator býður upp á líkön með opnum vogum sem hýst eru á keyrsluinnviðum Perplexity ásamt séreignarlíkönum frá öðrum þjónustuveitum. Núverandi líkanaskrá sýnir þau líkön sem hægt er að velja.
Orchestrator tekur við beiðnum á sniðunum OpenAI Chat Completions, OpenAI Responses og Anthropic Messages, svo þú getur tengst í gegnum núverandi OpenAI- eða Anthropic-SDK.
Flýtileiðarvísirinn og leiðarvísirinn um beiningu fjalla um SDK-dæmi og núverandi hegðun beiningar.
Áreiðanleiki og hraði þvert á þjónustuveitur
Áreiðanleiki
Að velja Claude þarf ekki að þýða að treysta á eina þjónustuveitu: beiðni sem mistekst hjá Anthropic getur samt heppnast hjá AWS Bedrock. Með sjálfvirkum skiptum yfir á aðra þjónustuveitu er hægt að skipta um uppsetninguna sem afgreiðir beiðni án þess að breyta líkaninu.
Orchestrator notar mælt ástand og afkastagetu til að dreifa beiðnum á milli uppsetninga líkans. Ef þjónustuveita skilar villu, lendir á hámarki beiðna eða rennur út á tíma reynir Orchestrator aftur á annarri uppsetningu sama líkans, með takmörkunum á tíma fram að fyrsta tóka og heildartíma hverrar tilraunar.
Í mælingum frá 4. október til 2. nóvember 2026 heppnuðust beiðnir til Claude og GPT í gegnum Perplexity oftar en beiðnir til nokkurrar einstakrar þjónustuveitu sem við mældum. Daglegt árangurshlutfall þeirra sveiflaðist einnig minna þegar atvik komu upp hjá þjónustuveitum.
Við töldum beiðni hafa mistekist þegar Orchestrator hafði fullnýtt tiltækar uppsetningar eða afgreiðslulagið skilaði villu, en undanskildum biðlaravillur á borð við ógildar beiðnir og brot biðlara á takmörkunum á beiðnafjölda.
Úttakshraði
Við vinnum að aðlögunarhæfri beiningu sem tekur mið af hraða líkana svo Orchestrator geti breytt vali á þjónustuveitum eftir því sem afköst breytast.
Hraðasta þjónustuveitan fyrir tiltekið líkan breytist með tímanum. Fyrir Claude Opus 5.5 var Anthropic fremst 15 af 30 dögum og AWS Bedrock hina 15.
Á sömu 30 dögum var miðgildi úttakshraða Azure fyrir GPT-5.6 Sol 27% hærra en hjá OpenAI.
Einn reikningur fyrir öll líkön
Hver beiðni reiknast aðeins á tókanotkun líkansins sem svarar. Orchestrator innheimtir birt verð hvers líkans á hvern tóka óháð því hvaða þjónustuveita afgreiðir beiðnina, svo skipti yfir á aðra þjónustuveitu breyta ekki því verði. Notkunin dregst af sömu fyrirframgreiddu einingunum og restin af Perplexity API-verkefninu þínu.
Í API Console geturðu skoðað útgjöld eftir líkani og síað notkun eftir API-lykli. Þú getur líka keypt einingar í gegnum AWS Marketplace.
Sjálfvirk beining (forútgáfa): paraðu hvert verkefni við rétta líkanið
Orchestrator býður upp á sjálfvirka beiningu, valfrjálsan eiginleika sem er í boði í forútgáfu. Hún velur líkan fyrir hverja beiðni út frá sniði sem parar verkefnalýsingar á venjulegu máli við líkön. Þú getur skilgreint eigið snið eða notað innbyggt sjálfgefið snið Orchestrator.
Beiðnir með sjálfvirkri beiningu nota perplexity/auto sem líkan. Fyrir sérsniðið snið skaltu bæta við routing-hlut með default_model og routes. Hver leið tilgreinir heiti, lýsingu og líkan.
Fyrir hverja beiðni kallar perplexity/auto á ákvörðunarlíkanið okkar til að lesa samtalið og bera það saman við lýsingar leiðanna, án þess að sjá heiti líkananna. Orchestrator sendir síðan beiðnina til líkansins sem er úthlutað valinni leið, eða til sjálfgefna líkansins þíns ef engin leið passar. Orchestrator notar einnig sjálfgefna líkanið þitt ef ákvörðunarlíkanið bregst eða rennur út á tíma.
Dæmin hér að neðan fjalla um beiningu fram hjá synjunum líkana, tegundir mála í þjónustuveri og breytingar á verkefnum innan samtals.
Beining fram hjá synjunum
Gervigreindarfulltrúi getur notað sjálfvirka beiningu til að forðast fyrirsjáanlegar synjanir en haldið kjörlíkani sínu fyrir önnur verkefni. Anthropic greinir frá því að öryggisvarnir Claude Fable 5.2 geti hindrað meinlaus verkefni á sviði netöryggis og lífvísinda. Við prófuðum þetta notkunardæmi á 63 verkefna undirmengi af Terminal-Bench 4.1.
Við keyrðum Claude Code með Fable einu og sér og með tveimur sérsniðnum beiningarsniðum. Bæði sniðin héldu Fable sem sjálfgefnu líkani og úthlutuðu leiðum fyrir netöryggi, líffræði og after_refusal annaðhvort til GPT-6 Astra eða GPT-6.1 Sol. Við tókum einnig með sjálfstæðar keyrslur Astra og Sol í Codex til samanburðar.
Í þessum leiðrétta samanburði leysa báðar Claude Code-uppsetningarnar með beiningu 41 af 63 verkefnum, samanborið við 38 hjá Fable einu og sér, en með hærri áætluðum kostnaði á hvert verkefni. Grafið sýnir þessa málamiðlun ásamt Astra og Sol sem keyra í Codex.
Dæmið hér að neðan notar Sol: öryggis- og líffræðileiðirnar velja það áður en synjun á sér stað og after_refusal velur það þegar samtalið inniheldur nú þegar synjun.
"routing": {
"default_model": "anthropic/claude-fable-5-2",
"routes": [
{"name": "security",
"description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.",
"model": "openai/gpt-6.1-sol"},
{"name": "biology",
"description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.",
"model": "openai/gpt-6.1-sol"},
{"name": "after_refusal",
"description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.",
"model": "openai/gpt-6.1-sol"}
]
}Beining eftir tegund máls
Hjá aðstoðarmanni í þjónustuveri þurfa flestar spurningar aðeins hraðvirkt og ódýrt líkan. Ágreiningur um reikning kallar á vandað og samúðarfullt svar. Biluð samþætting krefst bilanaleitar. Aðstoðarmaðurinn getur notað tvær leiðir fyrir ágreining um reikninga og tæknileg vandamál og látið sjálfgefna líkanið sitt sjá um hefðbundnar spurningar:
Leið | Lýsing verkefnis | Líkan |
default_model | Allt annað, til dæmis hvernig á að breyta netfangi aðgangs | GLM-5.3 Flash |
billing_dispute | Viðskiptavinur andmælir gjaldfærslu, biður um endurgreiðslu eða er ósáttur við upphæð sem hann var rukkaður um. | Claude Opus 5.5 |
technical_issue | Viðskiptavinur tilkynnir um villu, villuboð eða samþættingu sem er hætt að virka og þarfnast bilanaleitar. | GPT-6.1 Sol |
Að senda beiðni með beiningu
Beiðnin hér að neðan sendir mál um API-bilun í gegnum þjónustuverssniðið hér að ofan.
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \
-H "Authorization: Bearer $PERPLEXITY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7",
"model": "perplexity/auto",
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "billing_dispute",
"description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.",
"model": "anthropic/claude-opus-5-5"},
{"name": "technical_issue",
"description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.",
"model": "openai/gpt-6.1-sol"}
]
},
"messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}]
}'Ákvörðunarlíkanið tengdi misheppnuðu API-köllin við technical_issue, svo Orchestrator sendi beiðnina til GPT-6.1 Sol. Svarið inniheldur valda leið og líkanið sem svaraði:
HTTP/2 200
x-perplexity-autoroute-outcome: routed
x-perplexity-autoroute-route: technical_issue
{"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}x-perplexity-autoroute-route tilgreinir valda leið, eða enga. x-perplexity-autoroute-outcome segir til um hvernig beiðnin var meðhöndluð, þar á meðal hvort henni var beint eða hvort hún féll aftur á sjálfgefna líkanið þitt. Reiturinn model tilgreinir líkanið sem svaraði.
Beining innan samtals
Þegar samtal færist á milli verkefna er ekki víst að líkanið sem sá um eina umferð sé rétta valið fyrir þá næstu. Framhaldsbeiðnirnar þínar innihalda samtalsferilinn, svo bæði ákvörðunarlíkanið og valda líkanið geta lesið fyrri umferðir, þar á meðal svör frá öðrum líkönum. Við keyrðum þrjú raunveruleg samtöl með fjórum umferðum hvert: þjónustuver, forritun og rannsóknir.
Þjónusta við viðskiptavini
Gerum ráð fyrir að í dæminu hér að ofan færist sama samtal frá spurningu um aðgang yfir í ágreining um reikning og síðan bilaða samþættingu. Þegar verkefnið breytist velur ákvörðunarlíkanið samsvarandi leið; þegar notandinn sendir lokaþakkir snýr Orchestrator aftur til GLM-5.3 Flash.
Skyndiminni fyrirmæla þegar skipt er milli líkana
Hver beiðni ber með sér allan skilaboðaferilinn, en hvert líkan heldur úti eigin skyndiminni. Þegar samtalið snýr aftur til GLM Flash í 4. umferð getur það endurnýtt samsvarandi forskeyti úr 1. umferð á meðan það er enn í skyndiminni og síðan unnið úr svörunum sem Opus og Sol bættu við í 2. og 3. umferð. Það sama á við um Opus eða Sol ef þau verða fyrir valinu í 5. umferð.
Orchestrator heldur tengdum beiðnum á sömu uppsetningu þegar því verður við komið til að varðveita skyndiminni fyrirmæla. Notaðu sama stöðuga prompt_cache_key í gegnum allt samtalið til að viðhalda þeirri tengingu.
Forritunaraðstoðarmaður
Í 4. umferð forritunarsamtalsins skrifar GLM-5.3 Flash skjölunarstreng (docstring) út frá samhenginu úr villugreiningu Claude Opus 5.5 og útfærsluáætlun GPT-6.1 Sol.
Beiningarsniðið vísar endurnefningum og smávægilegum breytingum til GLM-5.3 Flash, villugreiningu til Claude Opus 5.5 og skipulagningu breytinga þvert á einingar til GPT-6.1 Sol:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "hard_debugging",
"description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.",
"model": "anthropic/claude-opus-5-5"},
{"name": "design_change",
"description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.",
"model": "openai/gpt-6.1-sol"}
]
}Rannsóknaraðstoðarmaður
Í rannsóknardæminu leiðir staðreyndaspurning til útreiknings, sem verður svo grunnur að minnisblaði. Sniðið úthlutar staðreyndaspurningum til GLM-5.3 Flash, útreikningum til GPT-6.1 Sol og ritun minnisblaða til Claude Opus 5.5:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "quantitative_analysis",
"description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.",
"model": "openai/gpt-6.1-sol"},
{"name": "long_form_writing",
"description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.",
"model": "anthropic/claude-opus-5-5"}
]
}Minnisblaðið í 3. umferð notar útreikningana úr fyrra svari GPT-6.1 Sol og námundar tölurnar án þess að biðja notandann að endurtaka þær.
Byrjaðu að nota Orchestrator
Tengdu núverandi OpenAI- eða Anthropic-SDK með Perplexity API-lykli, viðeigandi grunnslóð Orchestrator og líkani úr líkanaskránni.
Flýtileiðarvísirinn fjallar um uppsetningu, núverandi framboð og aðgang. Ef þú hefur spurningar skaltu hafa samband við api@perplexity.ai.