Orchestrator: один API для надёжного инференса
Подключайтесь к моделям ИИ с открытыми весами и проприетарным моделям через один API с единым выставлением счетов и автоматическим переключением на другое развёртывание той же модели при сбое.

Orchestrator объединяет модели с открытыми весами и проприетарные модели в одном API с единым выставлением счетов. Он автоматически выбирает провайдера с учётом доступности, мощностей и задержки и может повторять неудавшиеся запросы на другом доступном развёртывании той же модели.
Одна интеграция для моделей с открытыми весами и проприетарных моделей
Orchestrator обслуживает модели с открытыми весами, размещённые в инфраструктуре инференса Perplexity, наряду с проприетарными моделями других провайдеров. В текущем каталоге перечислены доступные модели.
Он принимает запросы в форматах OpenAI Chat Completions, OpenAI Responses и Anthropic Messages, поэтому подключиться можно через уже используемый SDK OpenAI или Anthropic.
Краткое руководство по началу работы и руководство по маршрутизации содержат примеры для SDK и описание текущего поведения маршрутизации.
Надёжность и скорость у разных провайдеров
Надёжность
Выбор Claude не обязательно означает зависимость от одного провайдера: запрос, который не удался в Anthropic, всё равно может успешно выполниться в AWS Bedrock. Переключение провайдера при сбое позволяет сменить развёртывание, обслуживающее запрос, не меняя модель.
Orchestrator распределяет запросы между развёртываниями модели с учётом наблюдаемого состояния и доступных мощностей. Если провайдер возвращает ошибку, достигает ограничения частоты запросов или не отвечает вовремя, Orchestrator повторяет запрос на другом развёртывании этой модели с ограничениями на время до первого токена и общую продолжительность каждой попытки.
По результатам измерений с 4 октября по 2 ноября 2026 года запросы к Claude и GPT через Perplexity завершались успешно чаще, чем запросы к любому отдельному провайдеру из тех, что мы измеряли. Их ежедневная доля успешных запросов также меньше колебалась во время инцидентов у провайдеров.
Мы считали запрос неудачным, если Orchestrator исчерпал доступные развёртывания или слой обслуживания вернул ошибку, но исключали ошибки клиента, такие как некорректные запросы и превышение клиентских ограничений частоты запросов.
Скорость генерации
Мы работаем над адаптивной маршрутизацией с учётом скорости моделей, чтобы Orchestrator мог корректировать выбор провайдера при изменении производительности.
Самый быстрый провайдер для любой модели со временем меняется. Для Claude Opus 5.5 Anthropic лидировал 15 дней из 30, а AWS Bedrock — остальные 15.
За те же 30 дней медианная скорость генерации GPT-5.6 Sol у Azure была на 27 % выше, чем у OpenAI.
Один счёт для всех моделей
Каждый запрос учитывается только в использовании токенов той модели, которая ответила. Orchestrator взимает плату по опубликованным потокенным тарифам каждой модели независимо от того, какой провайдер обслуживает запрос, поэтому переключение провайдера при сбое не меняет этот тариф. Использование оплачивается из тех же предоплаченных кредитов, что и остальная часть вашего проекта Perplexity API.
В консоли API можно просматривать расходы по моделям и фильтровать использование по ключу API. Также можно купить кредиты через AWS Marketplace.
Автоматическая маршрутизация (предварительная версия): подбор подходящей модели для каждой задачи
Orchestrator предлагает автоматическую маршрутизацию — дополнительную функцию, доступную в предварительной версии. Она выбирает модель для каждого запроса с помощью профиля, который сопоставляет описания задач на простом языке с моделями. Вы можете задать собственный профиль или использовать встроенный профиль Orchestrator по умолчанию.
В запросах с автоматической маршрутизацией в качестве модели указывается perplexity/auto. Для пользовательского профиля добавьте объект routing с полями default_model и routes. Для каждого маршрута указываются название, описание и модель.
Для каждого запроса perplexity/auto обращается к нашей модели принятия решений, которая читает диалог и сопоставляет его с описаниями маршрутов, не видя названий моделей. Затем Orchestrator отправляет запрос модели, назначенной выбранному маршруту, или вашей модели по умолчанию, если ни один маршрут не подходит. Orchestrator также использует модель по умолчанию, если модель принятия решений даёт сбой или не отвечает вовремя.
Примеры ниже охватывают маршрутизацию в обход отказов моделей, типы обращений в службу поддержки и смену задач в рамках диалога.
Маршрутизация в обход отказов
Агент может использовать автоматическую маршрутизацию, чтобы избегать предсказуемых отказов, сохраняя предпочтительную модель для остальной работы. Anthropic указывает в документации, что защитные механизмы Claude Fable 5.2 могут блокировать безобидную работу в области кибербезопасности и наук о жизни. Мы проверили этот сценарий на подмножестве Terminal-Bench 4.1 из 63 задач.
Мы запустили Claude Code только с Fable и с двумя пользовательскими профилями маршрутизации. В обоих профилях Fable оставалась моделью по умолчанию, а маршруты для кибербезопасности, биологии и after_refusal были назначены либо GPT-6 Astra, либо GPT-6.1 Sol. Для сравнения мы также включили отдельные запуски Astra и Sol в Codex.
В этом скорректированном сравнении обе конфигурации Claude Code с маршрутизацией решают 41 из 63 задач против 38 у Fable без маршрутизации, но при более высокой расчётной стоимости одной задачи. На диаграмме этот компромисс показан вместе с Astra и Sol, работающими в Codex.
В примере ниже используется Sol: маршруты для безопасности и биологии выбирают его до того, как произойдёт отказ, а after_refusal — когда в диалоге уже есть отказ.
"routing": {
"default_model": "anthropic/claude-fable-5-2",
"routes": [
{"name": "security",
"description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.",
"model": "openai/gpt-6.1-sol"},
{"name": "biology",
"description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.",
"model": "openai/gpt-6.1-sol"},
{"name": "after_refusal",
"description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.",
"model": "openai/gpt-6.1-sol"}
]
}Маршрутизация по типу проблемы
Ассистенту службы поддержки для большинства вопросов достаточно быстрой и недорогой модели. Спор по оплате требует внимательного, сочувственного ответа. Сломанная интеграция требует устранения неполадок. Ассистент может использовать два маршрута — для споров по оплате и технических проблем, — оставив типовые вопросы модели по умолчанию:
Маршрут | Описание задачи | Модель |
default_model | Всё остальное, например как сменить адрес электронной почты аккаунта | GLM-5.3 Flash |
billing_dispute | Клиент оспаривает списание, просит вернуть деньги или недоволен выставленным ему счётом. | Claude Opus 5.5 |
technical_issue | Клиент сообщает о баге, сообщении об ошибке или интеграции, которая перестала работать и требует устранения неполадок. | GPT-6.1 Sol |
Отправка запроса с маршрутизацией
Приведённый ниже запрос отправляет обращение о сбое API через описанный выше профиль поддержки клиентов.
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \
-H "Authorization: Bearer $PERPLEXITY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7",
"model": "perplexity/auto",
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "billing_dispute",
"description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.",
"model": "anthropic/claude-opus-5-5"},
{"name": "technical_issue",
"description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.",
"model": "openai/gpt-6.1-sol"}
]
},
"messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}]
}'Модель принятия решений сопоставила неудачные вызовы API с маршрутом technical_issue, поэтому Orchestrator отправил запрос в GPT-6.1 Sol. Ответ содержит выбранный маршрут и модель, которая ответила:
HTTP/2 200
x-perplexity-autoroute-outcome: routed
x-perplexity-autoroute-route: technical_issue
{"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}x-perplexity-autoroute-route указывает выбранный маршрут или его отсутствие. x-perplexity-autoroute-outcome сообщает, как был обработан запрос, в том числе был ли он направлен по маршруту или передан вашей модели по умолчанию. Поле model указывает модель, которая ответила.
Маршрутизация в рамках диалога
По мере того как диалог переходит от одной задачи к другой, модель, обработавшая один ход, может оказаться не лучшим выбором для следующего. Ваши последующие запросы включают историю диалога, поэтому и модель принятия решений, и выбранная модель могут читать предыдущие ходы, включая ответы других моделей. Мы провели три реальных диалога по четыре хода каждый: поддержка клиентов, программирование и исследование.
Поддержка клиентов
Предположим, что в примере выше тот же диалог переходит от вопроса об аккаунте к спору по оплате, а затем к сломанной интеграции. По мере смены задачи модель принятия решений выбирает соответствующий маршрут; когда пользователь отправляет заключительное «спасибо», Orchestrator возвращается к GLM-5.3 Flash.
Кэширование промптов при передаче между моделями
Каждый запрос содержит полную историю сообщений, но у каждой модели свой кэш. Когда на 4-м ходе диалог возвращается к GLM Flash, она может повторно использовать совпадающий префикс из 1-го хода, пока он ещё находится в кэше, а затем обработать ответы, добавленные Opus и Sol на 2-м и 3-м ходах. То же относится к Opus или Sol, если они будут выбраны на 5-м ходе.
Orchestrator по возможности направляет связанные запросы на одно и то же развёртывание, чтобы сохранить кэширование промптов. Используйте для диалога стабильный prompt_cache_key, чтобы поддерживать эту привязку.
Ассистент для программирования
На 4-м ходе диалога о программировании GLM-5.3 Flash пишет docstring, используя контекст из диагностики бага от Claude Opus 5.5 и плана реализации от GPT-6.1 Sol.
Профиль маршрутизации назначает переименования и небольшие правки GLM-5.3 Flash, диагностику багов — Claude Opus 5.5, а планирование изменений в нескольких модулях — GPT-6.1 Sol:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "hard_debugging",
"description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.",
"model": "anthropic/claude-opus-5-5"},
{"name": "design_change",
"description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.",
"model": "openai/gpt-6.1-sol"}
]
}Исследовательский ассистент
В примере с исследованием фактический вопрос приводит к расчёту, который затем становится основой для служебной записки. Профиль назначает фактические вопросы GLM-5.3 Flash, расчёты — GPT-6.1 Sol, а написание записок — Claude Opus 5.5:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "quantitative_analysis",
"description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.",
"model": "openai/gpt-6.1-sol"},
{"name": "long_form_writing",
"description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.",
"model": "anthropic/claude-opus-5-5"}
]
}Служебная записка на 3-м ходе использует расчёты из предыдущего ответа GPT-6.1 Sol и округляет цифры, не прося пользователя повторить их.
Начало работы с Orchestrator
Подключите существующий SDK OpenAI или Anthropic, указав ключ API Perplexity, соответствующий базовый URL Orchestrator и модель из каталога.
Краткое руководство по началу работы содержит сведения о настройке, текущей доступности и получении доступа. С вопросами обращайтесь по адресу api@perplexity.ai.