Представляем Orchestrator: один API для передовых моделей и моделей с открытыми весами

Perplexity Orchestrator открывает доступ к передовым моделям и моделям с открытыми весами через один API — с единым биллингом и переключением при сбоях.

An orchestra conductor surrounded by sweeping trails of light against a dark background.

Perplexity изначально построен на множестве моделей и даёт людям свободу выбирать для своей работы новейшие передовые модели и модели с открытыми весами. Такой мультимодельный подход использует сильные стороны каждой модели и может снижать затраты, когда задаче не нужна самая мощная модель. За кулисами наша технология оркестрации может использовать несколько моделей для выполнения одной задачи.

Компании используют похожий подход, чтобы найти баланс между производительностью, стоимостью и гибкостью. Каждый новый релиз модели — это возможность снизить затраты или повысить качество. Только в этом году такие лаборатории, как Anthropic и OpenAI, выпустили более десятка новых моделей. Кроме того, вышло более 100 моделей с открытыми весами. Это даёт командам больше вариантов для каждой нагрузки, но вместе с тем прибавляет провайдеров, контрактов и счетов, которыми нужно управлять.

Сегодня мы запускаем Perplexity Orchestrator API и открываем нашу технологию, не привязанную к конкретным моделям, для разработчиков и команд, создающих ИИ-приложения. Через единый API команды могут выполнять простые массовые задачи на более дешёвых моделях, а более мощные модели оставлять для более сложной работы.

С Orchestrator команды могут сократить и централизовать расходы на ИИ и внедрять новые модели сразу после их выхода — без ущерба для производительности и доступности. Команды сами выбирают, какая модель обрабатывает каждую нагрузку, а Perplexity берёт на себя маршрутизацию между провайдерами и переключение при сбоях, обеспечивая надёжный инференс.

На базе слоя моделей, на котором Perplexity работает в продакшене

Perplexity ежедневно использует в продакшене модели с открытыми весами и передовые модели. Наш слой моделей маршрутизирует сотни миллионов запросов между 85+ моделями и более чем десятком провайдеров.

Выбрать модель проще, чем обеспечивать быстрое и недорогое выполнение каждого запроса, когда провайдеры замедляются, испытывают нехватку мощностей или меняют цены. Мы снизили собственные затраты на обслуживание, перенеся нагрузки на модели, которые лучше всего подходят для каждой задачи.

Orchestrator даёт разработчикам доступ к общей инфраструктуре, на которой основан этот подход.

Orchestrator открывает доступ к этому слою инференса через единый API. Он охватывает модели OpenAI, Anthropic, Google и xAI, а также модели с открытыми весами, такие как GLM, Kimi и DeepSeek. Модели с открытыми весами обслуживает Perplexity или партнёры по инференсу.

Orchestrator поддерживает форматы OpenAI Chat Completions, OpenAI Responses и Anthropic Messages. Команды могут и дальше использовать привычные наборы средств разработки (SDK). Для большинства команд начало работы сводится к обновлению ключа API и базового URL, а также выбору доступной модели.

Единый биллинг без дополнительной платы за платформу

Работа с моделями от нескольких лабораторий и провайдеров инференса может требовать отдельных аккаунтов, ключей API, контрактов, проверок безопасности и счетов. Это также может означать отдельные годовые обязательства, основанные на наборе моделей, который может измениться в течение нескольких недель.

Orchestrator объединяет поддерживаемые модели под одним поставщиком и в одном счёте, поэтому команды могут менять набор моделей, не договариваясь об отдельных обязательствах с каждым провайдером. Дополнительной платы за платформу сверх кредитов нет.

Команды также могут отслеживать использование и управлять расходами через консоль API:

  • Отчёты об использовании: расходы с разбивкой по моделям, проектам, API-ключам и датам
  • Ключи API: отдельные ключи API для отслеживания использования по проектам или командам
  • Средства администрирования: списки разрешённых моделей для организации, ограничения для пользователей, лимиты расходов и запросы на выделение мощностей

Более надёжная обработка запросов у разных провайдеров

Модели, доступные у нескольких провайдеров, дают командам больше одного способа обработать запрос.

Orchestrator отслеживает работоспособность, мощности и задержку каждого провайдера, чтобы распределять трафик между самыми производительными из них. Если запрос завершается ошибкой, Orchestrator может повторить его на другом развёртывании той же модели и сам обеспечивает переключение при сбоях — командам не нужно реализовывать эту логику самостоятельно.

Для команд, которые выполняют миллионы запросов в день, даже небольшая разница в доле успешных запросов — например, между 99,0 % и 99,99 % — может затронуть тысячи ответов. С Orchestrator командам не нужно самостоятельно писать и поддерживать код для переключения при сбоях.

За месяц производственного трафика в Orchestrator доля успешных запросов к Claude и GPT через Perplexity оказалась выше, чем у любого из измеренных провайдеров по отдельности, а суточные колебания во время инцидентов у провайдеров были меньше.

В предварительной версии: Routes и Auto effort

Routes позволяют командам описать простым языком, какие запросы должна обрабатывать каждая модель, и задать модель по умолчанию. Команды могут начать со встроенного профиля Lower cost, Balanced или Higher quality либо создать собственный. Если команда не указала описание или цель, запрос обслуживает модель по умолчанию.

Также в предварительной версии доступна функция Auto effort: она регулирует объём рассуждений, который поддерживаемая модель использует на следующем ходе, в соответствии с политикой, заданной разработчиком. Агент может приложить больше усилий для восстановления после ошибки инструмента, не переключая модели.

Начните работу с интеллектуальной оркестрацией моделей

Orchestrator — первый шаг платформы API Perplexity к интеллектуальной оркестрации моделей. Узнайте, как мы создавали и оценивали Routes, в том числе почему маршрутизацию моделей так сложно реализовать правильно.

Чтобы начать, создайте API-ключ в консоли API, укажите базовый URL Orchestrator в существующем SDK OpenAI или Anthropic и выберите модели из каталога моделей.

В кратком руководстве описано, как отправить первый запрос за считаные минуты. Команды с большими объёмами нагрузки или обязательствами по объёму могут написать на api@perplexity.ai, чтобы узнать больше о ценах для крупных объёмов и о доступных мощностях.

Создайте API-ключ уже сегодня.