Представляємо Orchestrator: єдиний API для передових моделей і моделей із відкритими вагами

Perplexity Orchestrator надає доступ до передових моделей і моделей із відкритими вагами через єдиний API з об’єднаною оплатою та перемиканням у разі збою.

An orchestra conductor surrounded by sweeping trails of light against a dark background.

Perplexity за своєю суттю — мультимодельний сервіс, що дає людям свободу вибирати для своєї роботи найновіші передові моделі та моделі з відкритими вагами. Такий мультимодельний підхід використовує сильні сторони кожної моделі й може знижувати витрати, коли завдання не потребує найпотужнішої моделі. За лаштунками наша технологія оркестрації може залучати кілька моделей для виконання одного завдання.

Компанії застосовують подібний підхід, щоб збалансувати продуктивність, вартість і гнучкість. Кожен новий реліз моделі — це можливість знизити витрати або підвищити якість. Лише цього року такі лабораторії, як Anthropic і OpenAI, випустили понад десяток нових моделей. Крім того, вийшло понад 100 моделей із відкритими вагами. Це дає командам більше варіантів для кожного навантаження, але водночас їм доводиться мати справу з більшою кількістю провайдерів, контрактів і рахунків.

Сьогодні ми запускаємо Perplexity Orchestrator API й відкриваємо нашу технологію, незалежну від моделей, для розробників і команд, які створюють застосунки на основі ШІ. Через єдиний API команди можуть виконувати прості масові завдання на дешевших моделях, а потужніші моделі залишати для складнішої роботи.

З Orchestrator команди можуть скоротити й централізувати витрати на ШІ та впроваджувати нові моделі одразу після їхнього виходу, не жертвуючи продуктивністю чи доступністю. Команди можуть обирати, яка модель обробляє кожне навантаження, а Perplexity бере на себе маршрутизацію між провайдерами та перемикання в разі збою, щоб забезпечити надійний інференс.

Створено на основі рівня моделей, який Perplexity використовує в продакшні

Perplexity щодня використовує моделі з відкритими вагами та передові моделі в робочому середовищі. Наш рівень моделей маршрутизує сотні мільйонів запитів між понад 85 моделями та більш ніж десятком постачальників.

Вибрати модель простіше, ніж забезпечувати швидкість і доступну вартість кожного запиту, коли постачальники сповільнюються, їм бракує потужностей або вони змінюють ціни. Ми знизили власні витрати на обслуговування, перенісши робочі навантаження на моделі, що найкраще підходять для кожного завдання.

Orchestrator надає розробникам доступ до спільної інфраструктури, що стоїть за цим підходом.

Orchestrator надає доступ до цього рівня інференсу через єдиний API. Він охоплює моделі від OpenAI, Anthropic, Google і xAI, а також моделі з відкритими вагами, як-от GLM, Kimi і DeepSeek. Моделі з відкритими вагами обслуговує Perplexity або партнери з інференсу.

Orchestrator підтримує формати OpenAI Chat Completions, OpenAI Responses та Anthropic Messages. Команди можуть і далі використовувати звичні комплекти для розробки програмного забезпечення (SDK). Для більшості команд початок роботи зводиться до оновлення ключа API та базової URL-адреси, а також вибору доступної моделі.

Єдиний рахунок без додаткової плати за платформу

Використання моделей від кількох лабораторій і постачальників інференсу може вимагати окремих облікових записів, ключів API, контрактів, перевірок безпеки та рахунків. Це також може означати окремі річні зобов’язання на основі набору моделей, який може змінитися за кілька тижнів.

Orchestrator об’єднує підтримувані моделі під одним постачальником і в одному рахунку, тож команди можуть змінювати набір моделей, не домовляючись про окремі зобов’язання з кожним провайдером. Жодної додаткової плати за платформу понад кредити не стягується.

Команди також можуть відстежувати використання та керувати витратами в API Console:

  • Звіти про використання: витрати з розбивкою за моделлю, проєктом, API-ключем і датою
  • Ключі API: окремі ключі API для відстеження використання за проєктами чи командами
  • Засоби керування для адміністраторів: списки дозволених моделей для організації, обмеження для користувачів, ліміти витрат і запити на потужності

Надійніші запити через різних провайдерів

Моделі, доступні через кількох провайдерів, дають командам більше ніж один спосіб обробити запит.

Orchestrator відстежує стан, потужність і затримку кожного провайдера, щоб розподіляти трафік між найпродуктивнішими з них. Якщо запит не вдається, його можна повторити на іншому розгортанні тієї самої моделі — так Orchestrator забезпечує перемикання в разі збою, і командам не потрібно самостійно створювати таку логіку.

Для команд, які надсилають мільйони запитів на день, навіть невелика різниця в частці успішних запитів — скажімо, між 99,0% і 99,99% — може вплинути на тисячі відповідей. З Orchestrator командам не потрібно самостійно створювати чи підтримувати код для перемикання в разі збою.

За місяць робочого трафіку в Orchestrator запити до Claude і GPT через Perplexity мали вищі показники успішності, ніж у будь-якого окремого провайдера, якого ми вимірювали, а також менші щоденні коливання під час інцидентів у провайдерів.

У попередній версії: Routes та Auto effort

Routes дають змогу командам простою мовою описати, які запити має обробляти кожна модель, і задати модель за замовчуванням. Команди можуть почати з вбудованого профілю «Нижча вартість», «Збалансований» або «Вища якість» чи створити власний. Якщо команди не надають опису або не вказують мету, запит обслуговує модель за замовчуванням.

Також у попередній версії доступна функція Auto effort, яка регулює обсяг міркувань підтримуваної моделі на наступному ході відповідно до політики, визначеної розробником. Агент може докладати більше зусиль для відновлення після помилки інструмента без зміни моделі.

Почніть працювати з інтелектуальною оркестрацією моделей

Orchestrator — це перший крок до інтелектуальної оркестрації моделей на платформі API Perplexity. Дізнайтеся, як ми створювали й оцінювали Routes, зокрема чому маршрутизацію моделей так складно реалізувати правильно.

Щоб почати, створіть API-ключ у консолі API, спрямуйте наявний SDK OpenAI або Anthropic на базову URL-адресу Orchestrator і оберіть модель із каталогу моделей.

Короткий посібник допоможе надіслати перший запит за лічені хвилини. Команди з великими або гарантованими обсягами навантажень можуть написати на api@perplexity.ai, щоб дізнатися більше про ціни для великих обсягів і доступні потужності.

Створіть API-ключ вже сьогодні.