Представяме Orchestrator: един API за най-съвременни модели и модели с отворени тегла

Perplexity Orchestrator предоставя достъп до най-съвременни модели и модели с отворени тегла с единно таксуване и превключване при отказ в един API.

An orchestra conductor surrounded by sweeping trails of light against a dark background.

Perplexity е мултимоделна по своята същност и дава на хората свободата да избират най-новите водещи модели и модели с отворени тегла за работата си. Този мултимоделен подход използва силните страни на всеки модел и може да намали разходите, когато задачата не изисква най-мощния модел. Зад кулисите нашата технология за оркестрация може да използва няколко модела за изпълнението на една задача.

Компаниите прилагат подобен подход, за да балансират между производителност, разходи и гъвкавост. Всяко ново издание на модел е възможност за намаляване на разходите или подобряване на качеството. Само тази година лаборатории като Anthropic и OpenAI са пуснали над дузина нови модела. Излезли са и повече от 100 модела с отворени тегла. Макар това да дава на екипите повече възможности за всяко натоварване, то означава и повече доставчици, договори и фактури за управление.

Днес представяме Perplexity Orchestrator API, с който предоставяме нашата независима от конкретен модел технология на разработчици и екипи, създаващи приложения с ИИ. Чрез един-единствен API екипите могат да изпълняват прости задачи в голям обем с по-евтини модели, а по-мощните модели да запазват за по-взискателна работа.

С Orchestrator екипите могат да намалят и централизират разходите си за ИИ и да въвеждат нови модели веднага щом излязат, без компромис с производителността или непрекъснатата работа. Екипите могат да избират кой модел да обработва всяко натоварване, а Perplexity се грижи за маршрутизирането между доставчиците и превключването при отказ, за да гарантира надеждна инференция.

Изграден върху производствения слой за модели на Perplexity

Perplexity всеки ден използва в продукционна среда модели с отворени тегла и най-съвременни модели. Нашият слой за модели маршрутизира стотици милиони заявки през над 85 модела и повече от дузина доставчици.

Изборът на модел е по-лесен, отколкото поддържането на всяка заявка бърза и достъпна, когато доставчиците се забавят, остават без достатъчен капацитет или променят цените си. Намалихме собствените си разходи за обслужване, като прехвърлихме натоварванията към моделите, които са най-подходящи за всяка задача.

Orchestrator дава на разработчиците достъп до споделената инфраструктура, която стои зад този подход.

Orchestrator прави този слой за инференция достъпен чрез един API. Той обхваща модели от OpenAI, Anthropic, Google и xAI, както и модели с отворени тегла като GLM, Kimi и DeepSeek. Моделите с отворени тегла се обслужват от Perplexity или чрез партньори за инференция.

Orchestrator поддържа форматите OpenAI Chat Completions, OpenAI Responses и Anthropic Messages. Екипите могат да продължат да използват познатите комплекти за разработка на софтуер (SDK). За повечето екипи първите стъпки включват актуализиране на API ключа и базовия URL адрес и избор на наличен модел.

Единно таксуване без допълнителна такса за платформата

Използването на модели от няколко лаборатории и доставчици на инференция може да изисква отделни акаунти, API ключове, договори, прегледи на сигурността и фактури. То може да означава и отделни годишни ангажименти, основани на комбинация от модели, която може да се промени в рамките на седмици.

Orchestrator обединява поддържаните модели под един доставчик и една сметка, така че екипите могат да променят комбинацията от модели, без да договарят отделен ангажимент с всеки доставчик. Освен кредитите няма допълнителна такса за платформата.

Екипите могат също да проследяват потреблението и да управляват разходите чрез API Console:

  • Отчети за използването: разходи, разбити по модел, проект, API ключ и дата
  • API ключове: отделни API ключове за проследяване на използването по проект или екип
  • Администраторски контроли: списъци с разрешени модели за организацията, ограничения за потребителите, лимити на разходите и заявки за капацитет

По-надеждни заявки при различните доставчици

Моделите, достъпни чрез няколко доставчика, дават на екипите повече от един начин да обслужат дадена заявка.

Orchestrator следи състоянието, капацитета и латентността на всеки доставчик, за да разпределя трафика между най-ефективните от тях. Ако дадена заявка е неуспешна, тя може да бъде повторена в друго внедряване на същия модел, като превключването при отказ се извършва, без екипите да трябва сами да изграждат тази логика.

За екипи, които изпълняват милиони заявки на ден, дори малка разлика в процента на успешните заявки, като тази между 99,0% и 99,99%, може да засегне хиляди отговори. С Orchestrator екипите не е нужно сами да изграждат или поддържат код за превключване при отказ.

За един месец производствен трафик в Orchestrator заявките към Claude и GPT през Perplexity имаха по-висок процент на успеваемост от всеки отделен измерен доставчик, както и по-малки ежедневни колебания по време на инциденти при доставчиците.

В предварителна версия: Routes и Auto effort

Функцията Routes позволява на екипите да опишат на обикновен език кои заявки трябва да обработва всеки модел и да зададат модел по подразбиране. Екипите могат да започнат от вграден профил Lower cost, Balanced или Higher quality. Или могат да създадат собствен. Ако екипите не предоставят описание или не посочат цел, заявката се обслужва от модела по подразбиране.

Също в предварителна версия, Auto effort регулира обема на разсъжденията, които поддържан модел използва в следващия си ход, според политика, определена от разработчика. Агентът може да вложи повече усилие във възстановяването след грешка в инструмент, без да сменя модела.

Започнете с интелигентна оркестрация на модели

Orchestrator е първата стъпка в API платформата на Perplexity към интелигентна оркестрация на модели. Научете как създадохме и оценихме Routes, включително защо маршрутизирането на модели е трудно да се направи правилно.

За да започнете, създайте API ключ в API Console, насочете съществуващ OpenAI или Anthropic SDK към базовия URL адрес на Orchestrator и изберете от каталога с модели.

Ръководството за бърз старт показва как да изпратите първата си заявка за минути. Екипи с големи или дългосрочно договорени натоварвания могат да пишат на api@perplexity.ai за повече информация относно цените при големи обеми и капацитета.

Създайте API ключ още днес.