Orchestrator: Сенімді инференске арналған бір API
Ашық салмақты және меншікті AI модельдеріне бірыңғай есеп айырысу және бір модель шегінде провайдерді автоматты ауыстыру мүмкіндігі бар бір API арқылы қосылыңыз.

Orchestrator ашық салмақты және меншікті модельдерді бірыңғай есеп айырысумен бір API-ға біріктіреді. Ол провайдерді қолжетімділікке, сыйымдылыққа және кідіріске қарай автоматты түрде таңдайды және сәтсіз сұрауларды сол модельдің басқа қолжетімді орналастыруында қайталай алады.
Ашық салмақты және меншікті модельдер үшін бір интеграция
Orchestrator Perplexity-нің инференс инфрақұрылымында орналастырылған ашық салмақты модельдерді басқа провайдерлердің меншікті модельдерімен қатар ұсынады. Ағымдағы каталогта қолжетімді модельдер тізімі берілген.
Ол OpenAI Chat Completions, OpenAI Responses және Anthropic Messages сұрауларын қабылдайды, сондықтан қолданыстағы OpenAI немесе Anthropic SDK арқылы қосыла аласыз.
Жылдам бастау нұсқаулығында және маршруттау нұсқаулығында SDK мысалдары мен маршруттаудың ағымдағы жұмыс тәртібі қамтылған.
Провайдерлер бойынша сенімділік пен жылдамдық
Сенімділік
Claude-ты таңдау бір ғана провайдерге сүйену дегенді білдірмейді: Anthropic-те сәтсіз аяқталған сұрау AWS Bedrock-та сәтті орындалуы мүмкін. Провайдерді ауыстыру модельді өзгертпей-ақ сұрауға қызмет көрсетіп тұрған орналастыруды ауыстыруға мүмкіндік береді.
Orchestrator сұрауларды модельдің орналастырулары арасында бөлу үшін бақыланған жұмыс күйі мен сыйымдылықты пайдаланады. Егер провайдер қате қайтарса, сұрау жиілігінің шегіне жетсе немесе күту уақыты өтіп кетсе, Orchestrator әр әрекет үшін бірінші токенге дейінгі уақыт пен жалпы ұзақтыққа шектеу қоя отырып, сол модельдің басқа орналастыруында қайталап көреді.
2026 жылғы 4 қазан мен 2 қараша аралығындағы өлшемдерде Perplexity арқылы жіберілген Claude және GPT сұраулары біз өлшеген кез келген жеке провайдерге жіберілген сұрауларға қарағанда жиірек сәтті орындалды. Провайдерлердегі инциденттер кезінде олардың күнделікті сәттілік деңгейі де азырақ құбылды.
Orchestrator қолжетімді орналастыруларды түгел пайдаланып болған немесе қызмет көрсету деңгейі қате қайтарған жағдайда сұрауды сәтсіз деп есептедік, бірақ жарамсыз сұраулар және клиенттік сұрау жиілігі шегінің бұзылуы сияқты клиент қателерін есепке алмадық.
Шығару жылдамдығы
Біз Orchestrator өнімділік өзгерген сайын провайдер таңдауын реттей алуы үшін модель жылдамдығын ескеретін бейімделгіш маршруттау үстінде жұмыс істеп жатырмыз.
Кез келген модель үшін ең жылдам провайдер уақыт өте келе өзгереді. Claude Opus 5.5 бойынша 30 күннің 15-інде Anthropic, ал қалған 15-інде AWS Bedrock алда болды.
Сол 30 күн ішінде GPT-5.6 Sol үшін Azure-дың шығару жылдамдығының медианасы OpenAI көрсеткішінен 27% жоғары болды.
Барлық модельдер үшін бір шот
Әр сұрау тек жауап берген модельдің токен пайдалануына есептеледі. Сұрауға қай провайдер қызмет көрсететініне қарамастан, Orchestrator әр модельдің жарияланған бір токенге шаққандағы тарифтерін алады, сондықтан провайдерді ауыстыру бұл тарифті өзгертпейді. Пайдалану Perplexity API жобаңыздың қалған бөлігі сияқты сол алдын ала төленген кредиттерден шегеріледі.
API Console-да шығындарды модельдер бойынша көріп, пайдалануды API кілті бойынша сүзе аласыз. Сондай-ақ кредиттерді AWS Marketplace арқылы сатып ала аласыз.
Автоматты маршруттау (алдын ала нұсқа): әр тапсырманы лайықты модельмен сәйкестендіру
Orchestrator алдын ала нұсқада қолжетімді қосымша функция — автоматты маршруттауды ұсынады. Ол қарапайым тілде жазылған тапсырма сипаттамаларын модельдермен сәйкестендіретін профиль арқылы әр сұрау үшін модель таңдайды. Өз профиліңізді анықтай аласыз немесе Orchestrator-дың кірістірілген әдепкі профилін пайдалана аласыз.
Автоматты маршруттау сұрауларында модель ретінде perplexity/auto пайдаланылады. Арнайы профиль үшін default_model және routes өрістері бар routing нысанын қосыңыз. Әр маршрут атауды, сипаттаманы және модельді көрсетеді.
Әрбір сұрау үшін perplexity/auto біздің шешім моделімізді шақырады: ол әңгімені оқып, модель атауларын көрмей-ақ оны маршрут сипаттамаларымен салыстырады. Содан кейін Orchestrator сұрауды таңдалған маршрутқа тағайындалған модельге, ал ешбір маршрут сәйкес келмесе, сіздің әдепкі модельге жібереді. Сондай-ақ шешім моделі сәтсіз аяқталса немесе оның күту уақыты өтіп кетсе, Orchestrator әдепкі модельді пайдаланады.
Төмендегі мысалдарда модельдің бас тартуларын айналып өтетін маршруттау, тұтынушыларды қолдаудағы мәселе түрлері және әңгіме ішіндегі тапсырма өзгерістері қарастырылады.
Бас тартуларды айналып өтетін маршруттау
Агент басқа жұмыстар үшін таңдаулы моделін сақтай отырып, болжауға болатын бас тартуларды айналып өту үшін автоматты маршруттауды пайдалана алады. Anthropic Claude Fable 5.2 қорғаныс механизмдері зиянсыз киберқауіпсіздік және өмір туралы ғылымдар саласындағы жұмыстарды бұғаттауы мүмкін екенін құжаттаған. Біз бұл пайдалану жағдайын Terminal-Bench 4.1 жиынтығының 63 тапсырмадан тұратын ішкі жиынында сынадық.
Біз Claude Code-ты тек Fable-мен және екі арнайы маршруттау профилімен іске қостық. Екі профиль де Fable-ді әдепкі модель ретінде сақтап, киберқауіпсіздік, биология және after_refusal маршруттарын GPT-6 Astra немесе GPT-6.1 Sol-ға тағайындады. Салыстыру үшін Codex-те Astra мен Sol-дың жеке іске қосылымдарын да қостық.
Осы түзетілген салыстыруда маршруттау қолданылған Claude Code-тың екі конфигурациясы да бір тапсырмаға шаққандағы болжамды құны жоғарырақ бола тұра 63 тапсырманың 41-ін шешеді, ал тек Fable 38 тапсырманы шешеді. Диаграмма бұл ымыраны Codex-те жұмыс істейтін Astra мен Sol нәтижелерімен қатар көрсетеді.
Төмендегі мысалда Sol пайдаланылады: қауіпсіздік және биология маршруттары оны бас тарту орын алмас бұрын таңдайды, ал after_refusal әңгімеде бас тарту бұрыннан бар болғанда таңдайды.
"routing": {
"default_model": "anthropic/claude-fable-5-2",
"routes": [
{"name": "security",
"description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.",
"model": "openai/gpt-6.1-sol"},
{"name": "biology",
"description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.",
"model": "openai/gpt-6.1-sol"},
{"name": "after_refusal",
"description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.",
"model": "openai/gpt-6.1-sol"}
]
}Мәселе түрі бойынша маршруттау
Тұтынушыларды қолдау көмекшісі үшін сұрақтардың көбіне жылдам әрі арзан модель жеткілікті. Төлем бойынша дау мұқият әрі жанашыр жауапты талап етеді. Істен шыққан интеграция ақаулықтарды жоюды қажет етеді. Көмекші төлем даулары мен техникалық мәселелерге арналған екі маршрутты пайдаланып, күнделікті сұрақтарды әдепкі моделіне қалдыра алады:
Маршрут | Тапсырма сипаттамасы | Модель |
default_model | Қалғанның бәрі, мысалы, аккаунттың электрондық пошта мекенжайын қалай өзгерту керектігі | GLM-5.3 Flash |
billing_dispute | Клиент төлемге дау айтады, ақшаны қайтаруды сұрайды немесе өзінен алынған төлемге наразы. | Claude Opus 5.5 |
technical_issue | Клиент бағдарламалық қате, қате туралы хабарлама немесе жұмысын тоқтатқан интеграция туралы хабарлайды және ақаулықты жоюға көмек қажет. | GPT-6.1 Sol |
Маршрутталған сұрауды жіберу
Төмендегі сұрау API ақауы туралы мәселені жоғарыдағы тұтынушыларды қолдау профилі арқылы жібереді.
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \
-H "Authorization: Bearer $PERPLEXITY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7",
"model": "perplexity/auto",
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "billing_dispute",
"description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.",
"model": "anthropic/claude-opus-5-5"},
{"name": "technical_issue",
"description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.",
"model": "openai/gpt-6.1-sol"}
]
},
"messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}]
}'Шешім моделі сәтсіз API шақыруларын technical_issue маршрутымен сәйкестендірді, сондықтан Orchestrator сұрауды GPT-6.1 Sol-ға жіберді. Жауапта таңдалған маршрут пен жауап берген модель көрсетіледі:
HTTP/2 200
x-perplexity-autoroute-outcome: routed
x-perplexity-autoroute-route: technical_issue
{"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}x-perplexity-autoroute-route таңдалған маршрутты немесе маршрут таңдалмағанын көрсетеді. x-perplexity-autoroute-outcome сұраудың қалай өңделгенін, соның ішінде оның маршрутталғанын немесе сіздің әдепкі модельге қайтарылғанын хабарлайды. model өрісі жауап берген модельді көрсетеді.
Әңгіме ішіндегі маршруттау
Әңгіме бір тапсырмадан екіншісіне ауысқанда, бір кезекті өңдеген модель келесі кезек үшін дұрыс таңдау болмауы мүмкін. Кейінгі сұрауларыңызға әңгіме тарихы қосылады, сондықтан шешім моделі де, таңдалған модель де алдыңғы кезектерді, соның ішінде басқа модельдердің жауаптарын оқи алады. Біз үш нақты төрт кезекті әңгіме өткіздік: тұтынушыларды қолдау, кодтау және зерттеу.
Тұтынушыларды қолдау
Жоғарыдағы мысалда сол әңгіме аккаунт туралы сұрақтан төлем дауына, содан кейін істен шыққан интеграцияға ауысты делік. Тапсырма өзгерген сайын шешім моделі сәйкес маршрутты таңдайды; пайдаланушы соңында алғысын білдіргенде, Orchestrator GLM-5.3 Flash-қа қайта оралады.
Модельдер арасында ауысу кезіндегі промпт кэштеу
Әр сұрау хабарламалардың толық тарихын алып жүреді, бірақ әр модель өз кэшін жүргізеді. 4-кезекте әңгіме GLM Flash-қа қайта оралғанда, ол 1-кезектегі сәйкес префикс әлі кэште тұрғанда оны қайта пайдаланып, содан кейін 2 және 3-кезектерде Opus пен Sol қосқан жауаптарды өңдей алады. Егер 5-кезекте Opus немесе Sol таңдалса, олар үшін де солай болады.
Промпт кэштеуді сақтау үшін Orchestrator мүмкіндігінше байланысты сұрауларды бір орналастыруда ұстайды. Бұл байланысты сақтауға көмектесу үшін әңгіме бойы тұрақты prompt_cache_key мәнін қайта пайдаланыңыз.
Кодтау көмекшісі
Кодтау әңгімесінің 4-кезегінде GLM-5.3 Flash Claude Opus 5.5 жасаған қате диагностикасы мен GPT-6.1 Sol-дың іске асыру жоспарындағы контекстті пайдаланып, docstring жазады.
Маршруттау профилі атауларды өзгерту мен шағын түзетулерді GLM-5.3 Flash-қа, қателерді диагностикалауды Claude Opus 5.5-ке, ал модульдер бойынша өзгерістерді жоспарлауды GPT-6.1 Sol-ға тағайындайды:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "hard_debugging",
"description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.",
"model": "anthropic/claude-opus-5-5"},
{"name": "design_change",
"description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.",
"model": "openai/gpt-6.1-sol"}
]
}Зерттеу көмекшісі
Зерттеу мысалында фактілік сұрақ есептеуге ұласады, ал есептеу кейін қызметтік жазбаның негізіне айналады. Профиль фактілік сұрақтарды GLM-5.3 Flash-қа, есептеулерді GPT-6.1 Sol-ға, ал қызметтік жазба жазуды Claude Opus 5.5-ке тағайындайды:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "quantitative_analysis",
"description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.",
"model": "openai/gpt-6.1-sol"},
{"name": "long_form_writing",
"description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.",
"model": "anthropic/claude-opus-5-5"}
]
}3-кезектегі қызметтік жазба GPT-6.1 Sol-дың алдыңғы жауабындағы есептеулерді пайдаланады және пайдаланушыдан оларды қайталауды сұрамай, сандарды дөңгелектейді.
Orchestrator-мен жұмысты бастаңыз
Қолданыстағы OpenAI немесе Anthropic SDK-ін Perplexity API кілті, тиісті Orchestrator негізгі URL мекенжайы және каталогтағы модель арқылы қосыңыз.
Жылдам бастау нұсқаулығында баптау, ағымдағы қолжетімділік және қатынас мүмкіндігі қамтылған. Сұрақтарыңыз болса, api@perplexity.ai мекенжайына хабарласыңыз.