Orchestrator: един API за надеждна инференция
Свържете се с AI модели с отворени тегла и собственически AI модели чрез един API с единно таксуване и автоматично резервно превключване в рамките на същия модел.

Orchestrator обединява модели с отворени тегла и собственически модели в един API с единно таксуване. Той автоматично избира доставчик въз основа на наличността, капацитета и латентността и може да повтори неуспешните заявки чрез друго налично внедряване на същия модел.
Една интеграция за модели с отворени тегла и собственически модели
Orchestrator обслужва модели с отворени тегла, хоствани в инфраструктурата за инференция на Perplexity, наред със собственически модели от други доставчици. Текущият каталог изброява наличните модели.
Той приема заявки във форматите OpenAI Chat Completions, OpenAI Responses и Anthropic Messages, така че можете да се свържете чрез съществуващия си OpenAI или Anthropic SDK.
Ръководството за бърз старт и ръководството за маршрутизиране съдържат примери за SDK и описват текущото поведение на маршрутизирането.
Надеждност и скорост при различните доставчици
Надеждност
Изборът на Claude не означава непременно зависимост от един доставчик: заявка, която е неуспешна при Anthropic, все пак може да бъде успешна при AWS Bedrock. Резервното превключване между доставчици позволява да се смени внедряването, обслужващо заявката, без да се сменя моделът.
Orchestrator използва наблюдаваното състояние и капацитет, за да разпределя заявките между внедряванията на даден модел. Ако доставчик върне грешка, достигне ограничение на заявките или превиши времето за изчакване, Orchestrator опитва отново чрез друго внедряване на същия модел, с ограничения за времето до първия токен и за общата продължителност на всеки опит.
При измерванията от 4 октомври до 2 ноември 2026 г. заявките към Claude и GPT чрез Perplexity са били успешни по-често от заявките към който и да е отделен доставчик, който измерихме. Дневните им проценти на успешни заявки също са варирали по-малко по време на инциденти при доставчиците.
Отчитахме заявка като неуспешна, когато Orchestrator е изчерпал наличните внедрявания или обслужващият слой е върнал грешка, но изключихме клиентските грешки, като невалидни заявки и нарушения на клиентските ограничения на заявките.
Скорост на генериране
Работим върху адаптивно маршрутизиране, което отчита скоростта на моделите, така че Orchestrator да може да коригира избора на доставчик при промени в производителността.
Най-бързият доставчик за всеки модел се променя с времето. За Claude Opus 5.5 Anthropic е бил най-бърз в 15 от 30-те дни, а AWS Bedrock – в останалите 15.
През същите 30 дни медианната скорост на генериране на GPT-5.6 Sol при Azure е била с 27% по-висока, отколкото при OpenAI.
Една сметка за всички модели
Всяка заявка се отчита само към използването на токени на модела, който отговаря. Orchestrator таксува по публикуваните тарифи на модела за токен, независимо кой доставчик обслужва заявката, така че резервното превключване между доставчици не променя тази тарифа. Използването се приспада от същите предплатени кредити като останалата част от вашия API проект в Perplexity.
В API Console можете да преглеждате разходите по модел и да филтрирате използването по API ключ. Можете също да закупите кредити чрез AWS Marketplace.
Автоматично маршрутизиране (предварителна версия): насочете всяка задача към правилния модел
Orchestrator предлага автоматично маршрутизиране – незадължителна функция, налична в предварителна версия. Тя избира модел за всяка заявка с помощта на профил, който свързва описания на задачи на обикновен език с модели. Можете да дефинирате собствен профил или да използвате вградения профил по подразбиране на Orchestrator.
Заявките с автоматично маршрутизиране използват perplexity/auto като модел. За персонализиран профил включете обект routing с default_model и routes. Всеки маршрут задава име, описание и модел.
За всяка заявка perplexity/auto извиква нашия модел за вземане на решения, който чете разговора и го съпоставя с описанията на маршрутите, без да вижда имената на моделите. След това Orchestrator изпраща заявката към модела, зададен за избрания маршрут, или към вашия модел по подразбиране, ако няма съвпадащ маршрут. Orchestrator използва модела по подразбиране и когато моделът за вземане на решения върне грешка или превиши времето за изчакване.
Примерите по-долу обхващат маршрутизиране за заобикаляне на откази от модела, типове проблеми при обслужването на клиенти и промени в задачата в рамките на разговор.
Маршрутизиране за заобикаляне на откази
Агентът може да използва автоматично маршрутизиране, за да избягва предвидими откази, като същевременно запазва предпочитания си модел за останалата работа. Anthropic документира, че защитните механизми на Claude Fable 5.2 могат да блокират безобидна работа в областта на киберсигурността и науките за живота. Тествахме този случай на употреба върху подмножество от 63 задачи от Terminal-Bench 4.1.
Пуснахме Claude Code само с Fable и с два персонализирани профила за маршрутизиране. И двата профила запазиха Fable като модел по подразбиране и насочиха маршрутите за киберсигурност, биология и after_refusal към GPT-6 Astra или GPT-6.1 Sol. За сравнение включихме и самостоятелни изпълнения на Astra и Sol в Codex.
В това коригирано сравнение и двете конфигурации на Claude Code с маршрутизиране решават 41 от 63 задачи срещу 38 само с Fable, при по-висока прогнозна цена на задача. Графиката показва този компромис наред с Astra и Sol, работещи в Codex.
Примерът по-долу използва Sol: маршрутите за сигурност и биология го избират, преди да възникне отказ, а after_refusal го избира, когато разговорът вече съдържа отказ.
"routing": {
"default_model": "anthropic/claude-fable-5-2",
"routes": [
{"name": "security",
"description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.",
"model": "openai/gpt-6.1-sol"},
{"name": "biology",
"description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.",
"model": "openai/gpt-6.1-sol"},
{"name": "after_refusal",
"description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.",
"model": "openai/gpt-6.1-sol"}
]
}Маршрутизиране по тип проблем
За асистент за обслужване на клиенти повечето въпроси изискват само бърз и евтин модел. Спорът за плащане изисква внимателен и съпричастен отговор. Повредената интеграция изисква отстраняване на неизправности. Асистентът може да използва два маршрута – за спорове за плащания и за технически проблеми, като оставя рутинните въпроси на модела си по подразбиране:
Маршрут | Описание на задачата | Модел |
default_model | Всичко останало, например как да се промени имейлът на акаунта | GLM-5.3 Flash |
billing_dispute | Клиент оспорва такса, иска възстановяване на сума или е недоволен от сума, която му е начислена. | Claude Opus 5.5 |
technical_issue | Клиент съобщава за бъг, съобщение за грешка или интеграция, която е спряла да работи и се нуждае от отстраняване на неизправности. | GPT-6.1 Sol |
Изпращане на маршрутизирана заявка
Заявката по-долу изпраща проблем с неуспешни API извиквания през горния профил за обслужване на клиенти.
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \
-H "Authorization: Bearer $PERPLEXITY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7",
"model": "perplexity/auto",
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "billing_dispute",
"description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.",
"model": "anthropic/claude-opus-5-5"},
{"name": "technical_issue",
"description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.",
"model": "openai/gpt-6.1-sol"}
]
},
"messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}]
}'Моделът за вземане на решения съпостави неуспешните API извиквания с technical_issue, затова Orchestrator изпрати заявката до GPT-6.1 Sol. Отговорът включва избрания маршрут и модела, който е отговорил:
HTTP/2 200
x-perplexity-autoroute-outcome: routed
x-perplexity-autoroute-route: technical_issue
{"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}x-perplexity-autoroute-route посочва избрания маршрут или липсата на такъв. x-perplexity-autoroute-outcome съобщава как е обработена заявката, включително дали е маршрутизирана, или е предадена резервно на вашия модел по подразбиране. Полето model посочва модела, който е отговорил.
Маршрутизиране в рамките на разговор
Когато разговорът преминава между задачи, моделът, обработил един ход, може да не е правилният избор за следващия. Последващите ви заявки включват историята на разговора, така че както моделът за вземане на решения, така и избраният модел могат да прочетат по-ранните ходове, включително отговорите на други модели. Проведохме три реални разговора от по четири хода: обслужване на клиенти, програмиране и проучване.
Поддръжка на клиенти
Да предположим, че в примера по-горе същият разговор преминава от въпрос за акаунта към спор за плащане, а след това към повредена интеграция. С промяната на задачата моделът за вземане на решения избира съответния маршрут; когато потребителят изпрати заключителна благодарност, Orchestrator се връща към GLM-5.3 Flash.
Кеширане на промптове при прехвърляне между модели
Всяка заявка носи пълната история на съобщенията, но всеки модел поддържа собствен кеш. Когато разговорът се върне към GLM Flash в ход 4, моделът може да използва повторно съвпадащ префикс от ход 1, докато той все още е в кеша, след което да обработи отговорите, добавени от Opus и Sol в ходове 2 и 3. Същото важи за Opus или Sol, ако бъдат избрани в ход 5.
Orchestrator поддържа свързаните заявки в едно и също внедряване, когато е възможно, за да запази кеширането на промптове. Използвайте повторно стабилен prompt_cache_key за разговора, за да поддържате този афинитет.
Асистент за програмиране
В ход 4 от разговора за програмиране GLM-5.3 Flash пише docstring, като използва контекста от диагнозата на бъга от Claude Opus 5.5 и плана за имплементация от GPT-6.1 Sol.
Профилът за маршрутизиране възлага преименуванията и малките редакции на GLM-5.3 Flash, диагностиката на бъгове – на Claude Opus 5.5, а планирането на промени в множество модули – на GPT-6.1 Sol:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "hard_debugging",
"description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.",
"model": "anthropic/claude-opus-5-5"},
{"name": "design_change",
"description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.",
"model": "openai/gpt-6.1-sol"}
]
}Асистент за проучвания
В примера с проучването фактологичен въпрос води до изчисление, което след това става основа за меморандум. Профилът възлага фактологичните въпроси на GLM-5.3 Flash, изчисленията – на GPT-6.1 Sol, а писането на меморандума – на Claude Opus 5.5:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "quantitative_analysis",
"description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.",
"model": "openai/gpt-6.1-sol"},
{"name": "long_form_writing",
"description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.",
"model": "anthropic/claude-opus-5-5"}
]
}Меморандумът в ход 3 използва изчисленията от предишния отговор на GPT-6.1 Sol, като закръгля стойностите, без да моли потребителя да ги повтаря.
Първи стъпки с Orchestrator
Свържете съществуващия си OpenAI или Anthropic SDK с API ключ на Perplexity, съответния базов URL адрес на Orchestrator и модел от каталога.
Ръководството за бърз старт обхваща настройката, текущата наличност и достъпа. За въпроси се свържете с api@perplexity.ai.