Orchestrator: един API за надеждна инференция

Свържете се с AI модели с отворени тегла и собственически AI модели чрез един API с единно таксуване и автоматично резервно превключване в рамките на същия модел.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator обединява модели с отворени тегла и собственически модели в един API с единно таксуване. Той автоматично избира доставчик въз основа на наличността, капацитета и латентността и може да повтори неуспешните заявки чрез друго налично внедряване на същия модел.

Една интеграция за модели с отворени тегла и собственически модели

Orchestrator обслужва модели с отворени тегла, хоствани в инфраструктурата за инференция на Perplexity, наред със собственически модели от други доставчици. Текущият каталог изброява наличните модели.

Той приема заявки във форматите OpenAI Chat Completions, OpenAI Responses и Anthropic Messages, така че можете да се свържете чрез съществуващия си OpenAI или Anthropic SDK.

Ръководството за бърз старт и ръководството за маршрутизиране съдържат примери за SDK и описват текущото поведение на маршрутизирането.

Надеждност и скорост при различните доставчици

Надеждност

Изборът на Claude не означава непременно зависимост от един доставчик: заявка, която е неуспешна при Anthropic, все пак може да бъде успешна при AWS Bedrock. Резервното превключване между доставчици позволява да се смени внедряването, обслужващо заявката, без да се сменя моделът.

Orchestrator използва наблюдаваното състояние и капацитет, за да разпределя заявките между внедряванията на даден модел. Ако доставчик върне грешка, достигне ограничение на заявките или превиши времето за изчакване, Orchestrator опитва отново чрез друго внедряване на същия модел, с ограничения за времето до първия токен и за общата продължителност на всеки опит.

При измерванията от 4 октомври до 2 ноември 2026 г. заявките към Claude и GPT чрез Perplexity са били успешни по-често от заявките към който и да е отделен доставчик, който измерихме. Дневните им проценти на успешни заявки също са варирали по-малко по време на инциденти при доставчиците.

Процент на успешните заявки, 4 октомври – 2 ноември 2026 г.: Claude вляво; GPT моделите, достъпни както чрез OpenAI, така и чрез Azure, вдясно.
Дневен процент на успешните заявки за същия период: Claude вляво и GPT вдясно.

Отчитахме заявка като неуспешна, когато Orchestrator е изчерпал наличните внедрявания или обслужващият слой е върнал грешка, но изключихме клиентските грешки, като невалидни заявки и нарушения на клиентските ограничения на заявките.

Скорост на генериране

Работим върху адаптивно маршрутизиране, което отчита скоростта на моделите, така че Orchestrator да може да коригира избора на доставчик при промени в производителността.

Най-бързият доставчик за всеки модел се променя с времето. За Claude Opus 5.5 Anthropic е бил най-бърз в 15 от 30-те дни, а AWS Bedrock – в останалите 15.

Медианна скорост на генериране на Claude Opus 5.5 по доставчик и ден, 4 октомври – 2 ноември 2026 г. Маркираната линия следва по-бързия доставчик за всеки ден и илюстрира целта за маршрутизиране в реално време, съобразено със скоростта.

През същите 30 дни медианната скорост на генериране на GPT-5.6 Sol при Azure е била с 27% по-висока, отколкото при OpenAI.

Медианна скорост на генериране на GPT-5.6 Sol след първия токен, 4 октомври – 2 ноември 2026 г.

Една сметка за всички модели

Всяка заявка се отчита само към използването на токени на модела, който отговаря. Orchestrator таксува по публикуваните тарифи на модела за токен, независимо кой доставчик обслужва заявката, така че резервното превключване между доставчици не променя тази тарифа. Използването се приспада от същите предплатени кредити като останалата част от вашия API проект в Perplexity.

В API Console можете да преглеждате разходите по модел и да филтрирате използването по API ключ. Можете също да закупите кредити чрез AWS Marketplace.

Автоматично маршрутизиране (предварителна версия): насочете всяка задача към правилния модел

Orchestrator предлага автоматично маршрутизиране – незадължителна функция, налична в предварителна версия. Тя избира модел за всяка заявка с помощта на профил, който свързва описания на задачи на обикновен език с модели. Можете да дефинирате собствен профил или да използвате вградения профил по подразбиране на Orchestrator.

Заявките с автоматично маршрутизиране използват perplexity/auto като модел. За персонализиран профил включете обект routing с default_model и routes. Всеки маршрут задава име, описание и модел.

За всяка заявка perplexity/auto извиква нашия модел за вземане на решения, който чете разговора и го съпоставя с описанията на маршрутите, без да вижда имената на моделите. След това Orchestrator изпраща заявката към модела, зададен за избрания маршрут, или към вашия модел по подразбиране, ако няма съвпадащ маршрут. Orchestrator използва модела по подразбиране и когато моделът за вземане на решения върне грешка или превиши времето за изчакване.

Примерите по-долу обхващат маршрутизиране за заобикаляне на откази от модела, типове проблеми при обслужването на клиенти и промени в задачата в рамките на разговор.

Маршрутизиране за заобикаляне на откази

Агентът може да използва автоматично маршрутизиране, за да избягва предвидими откази, като същевременно запазва предпочитания си модел за останалата работа. Anthropic документира, че защитните механизми на Claude Fable 5.2 могат да блокират безобидна работа в областта на киберсигурността и науките за живота. Тествахме този случай на употреба върху подмножество от 63 задачи от Terminal-Bench 4.1.

Пуснахме Claude Code само с Fable и с два персонализирани профила за маршрутизиране. И двата профила запазиха Fable като модел по подразбиране и насочиха маршрутите за киберсигурност, биология и after_refusal към GPT-6 Astra или GPT-6.1 Sol. За сравнение включихме и самостоятелни изпълнения на Astra и Sol в Codex.

В това коригирано сравнение и двете конфигурации на Claude Code с маршрутизиране решават 41 от 63 задачи срещу 38 само с Fable, при по-висока прогнозна цена на задача. Графиката показва този компромис наред с Astra и Sol, работещи в Codex.

Terminal-Bench 4.1, коригирано сравнение с 63 задачи. Astra Codex включва едно допуснато успешно изпълнение; разходите са прогнозни.

Примерът по-долу използва Sol: маршрутите за сигурност и биология го избират, преди да възникне отказ, а after_refusal го избира, когато разговорът вече съдържа отказ.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

Маршрутизиране по тип проблем

За асистент за обслужване на клиенти повечето въпроси изискват само бърз и евтин модел. Спорът за плащане изисква внимателен и съпричастен отговор. Повредената интеграция изисква отстраняване на неизправности. Асистентът може да използва два маршрута – за спорове за плащания и за технически проблеми, като оставя рутинните въпроси на модела си по подразбиране:

Маршрут

Описание на задачата

Модел

default_model

Всичко останало, например как да се промени имейлът на акаунта

GLM-5.3 Flash

billing_dispute

Клиент оспорва такса, иска възстановяване на сума или е недоволен от сума, която му е начислена.

Claude Opus 5.5

technical_issue

Клиент съобщава за бъг, съобщение за грешка или интеграция, която е спряла да работи и се нуждае от отстраняване на неизправности.

GPT-6.1 Sol

Изпращане на маршрутизирана заявка

Как perplexity/auto обслужва заявка: моделът за вземане на решения избира маршрут или връща липса на съвпадение, а Orchestrator извиква избрания модел или вашия модел по подразбиране. Заглавките на отговора съобщават резултата от маршрутизирането.

Заявката по-долу изпраща проблем с неуспешни API извиквания през горния профил за обслужване на клиенти.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

Моделът за вземане на решения съпостави неуспешните API извиквания с technical_issue, затова Orchestrator изпрати заявката до GPT-6.1 Sol. Отговорът включва избрания маршрут и модела, който е отговорил:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route посочва избрания маршрут или липсата на такъв. x-perplexity-autoroute-outcome съобщава как е обработена заявката, включително дали е маршрутизирана, или е предадена резервно на вашия модел по подразбиране. Полето model посочва модела, който е отговорил.

Маршрутизиране в рамките на разговор

Когато разговорът преминава между задачи, моделът, обработил един ход, може да не е правилният избор за следващия. Последващите ви заявки включват историята на разговора, така че както моделът за вземане на решения, така и избраният модел могат да прочетат по-ранните ходове, включително отговорите на други модели. Проведохме три реални разговора от по четири хода: обслужване на клиенти, програмиране и проучване.

Поддръжка на клиенти

Да предположим, че в примера по-горе същият разговор преминава от въпрос за акаунта към спор за плащане, а след това към повредена интеграция. С промяната на задачата моделът за вземане на решения избира съответния маршрут; когато потребителят изпрати заключителна благодарност, Orchestrator се връща към GLM-5.3 Flash.

Разговор за поддръжка: маршрутът и моделът за всеки ход.

Кеширане на промптове при прехвърляне между модели

Всяка заявка носи пълната история на съобщенията, но всеки модел поддържа собствен кеш. Когато разговорът се върне към GLM Flash в ход 4, моделът може да използва повторно съвпадащ префикс от ход 1, докато той все още е в кеша, след което да обработи отговорите, добавени от Opus и Sol в ходове 2 и 3. Същото важи за Opus или Sol, ако бъдат избрани в ход 5.

Orchestrator поддържа свързаните заявки в едно и също внедряване, когато е възможно, за да запази кеширането на промптове. Използвайте повторно стабилен prompt_cache_key за разговора, за да поддържате този афинитет.

Кеширане на промптове при прехвърляне между модели: GLM Flash може да използва повторно по-ранния си префикс, докато обработва междинната част от разговора като нов вход.

Асистент за програмиране

В ход 4 от разговора за програмиране GLM-5.3 Flash пише docstring, като използва контекста от диагнозата на бъга от Claude Opus 5.5 и плана за имплементация от GPT-6.1 Sol.

Профилът за маршрутизиране възлага преименуванията и малките редакции на GLM-5.3 Flash, диагностиката на бъгове – на Claude Opus 5.5, а планирането на промени в множество модули – на GPT-6.1 Sol:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
Разговор за програмиране: маршрутът и моделът за всеки ход.

Асистент за проучвания

В примера с проучването фактологичен въпрос води до изчисление, което след това става основа за меморандум. Профилът възлага фактологичните въпроси на GLM-5.3 Flash, изчисленията – на GPT-6.1 Sol, а писането на меморандума – на Claude Opus 5.5:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

Меморандумът в ход 3 използва изчисленията от предишния отговор на GPT-6.1 Sol, като закръгля стойностите, без да моли потребителя да ги повтаря.

Разговор за проучване: маршрутът и моделът за всеки ход.

Първи стъпки с Orchestrator

Свържете съществуващия си OpenAI или Anthropic SDK с API ключ на Perplexity, съответния базов URL адрес на Orchestrator и модел от каталога.

Ръководството за бърз старт обхваща настройката, текущата наличност и достъпа. За въпроси се свържете с api@perplexity.ai.