Представљамо Orchestrator: један API за најнапредније моделе и моделе отворених тежина

Perplexity Orchestrator пружа приступ најнапреднијим моделима и моделима отворених тежина, уз обједињено обрачунавање и аутоматско пребацивање при отказу, кроз један API.

An orchestra conductor surrounded by sweeping trails of light against a dark background.

Perplexity је у својој сржи вишемоделска платформа која људима даје слободу да за свој рад бирају најновије најнапредније моделе и моделе отворених тежина. Овај вишемоделски приступ користи предности сваког модела и може смањити трошкове када задатку није потребан најмоћнији модел. У позадини, наша технологија оркестрације може користити више модела за обављање једног посла.

Компаније примјењују сличан приступ да би уравнотежиле перформансе, трошкове и флексибилност. Свако ново издање модела пружа прилику за смањење трошкова или побољшање квалитета. Само ове године, лабораторије као што су Anthropic и OpenAI објавиле су више од десетак нових модела. Објављено је и више од 100 модела отворених тежина. Иако то тимовима даје више опција за свако радно оптерећење, доноси им и више провајдера, уговора и фактура којима треба управљати.

Данас покрећемо Perplexity Orchestrator API и чинимо нашу технологију, која не зависи од модела, доступном програмерима и тимовима који граде AI апликације. Кроз један API, тимови могу да покрећу једноставне задатке великог обима на јефтинијим моделима, а моћније моделе да задрже за захтјевније задатке.

Уз Orchestrator, тимови могу да смање и централизују трошкове за AI и усвајају нове моделе чим буду објављени, без компромиса у погледу перформанси или доступности. Тимови могу да изаберу који модел обрађује које радно оптерећење, а Perplexity управља рутирањем између провајдера и аутоматским пребацивањем при отказу како би инференција била поуздана.

Заснован на продукционом слоју модела компаније Perplexity

Perplexity сваког дана у продукцији покреће моделе отворених тежина и најнапредније моделе. Наш слој модела рутира стотине милиона захтјева кроз више од 85 модела и више од десетак провајдера.

Изабрати модел лакше је него одржати сваки захтјев брзим и приступачним када провајдери успоре, остану без капацитета или промијене цијене. Сопствене трошкове опслуживања смањили смо премјештањем радних оптерећења на моделе који најбоље одговарају сваком задатку.

Orchestrator програмерима даје приступ заједничкој инфраструктури која стоји иза тог приступа.

Orchestrator чини тај слој за инференцију доступним кроз један API. Обухвата моделе компанија OpenAI, Anthropic, Google и xAI, као и моделе отворених тежина као што су GLM, Kimi и DeepSeek. Моделе отворених тежина опслужује Perplexity директно или преко партнера за инференцију.

Orchestrator подржава формате OpenAI Chat Completions, OpenAI Responses и Anthropic Messages. Тимови могу наставити да користе познате комплете за развој софтвера (SDK). За већину тимова, почетак подразумијева ажурирање API кључа и основног URL-а, као и избор доступног модела.

Обједињено обрачунавање без додатне накнаде за платформу

Покретање модела више лабораторија и провајдера инференције може захтијевати засебне налоге, API кључеве, уговоре, безбједносне провјере и фактуре. То може значити и засебне годишње обавезе засноване на комбинацији модела која се може промијенити у року од неколико седмица.

Orchestrator обједињује подржане моделе код једног добављача и на једном рачуну, тако да тимови могу да мијењају комбинацију модела без преговарања о посебним уговорним обавезама са сваким провајдером. Нема додатне накнаде за платформу поврх кредита.

Тимови могу пратити коришћење и управљати потрошњом и преко API Console:

  • Извјештаји о коришћењу: потрошња рашчлањена по моделу, пројекту, API кључу и датуму
  • API кључеви: Засебни API кључеви за праћење коришћења по пројекту или тиму
  • Административне контроле: Листе дозвољених модела на нивоу организације, ограничења за кориснике, ограничења потрошње и захтјеви за капацитет

Поузданији захтјеви преко више провајдера

Модели доступни преко више провајдера дају тимовима више од једног начина да опслуже захтјев.

Orchestrator прати исправност, капацитет и латенцију сваког провајдера како би расподијелио саобраћај на оне са најбољим перформансама. Ако захтјев не успије, Orchestrator може да га понови на другој инстанци истог модела и тако обави аутоматско пребацивање при отказу, без потребе да тимови сами граде ту логику.

За тимове који обрађују милионе захтјева дневно, чак и мала разлика у стопи успјешности захтјева, попут разлике између 99,0% и 99,99%, може утицати на хиљаде одговора. Уз Orchestrator, тимови не морају сами да граде нити одржавају код за аутоматско пребацивање при отказу.

Током једног мјесеца продукционог саобраћаја на платформи Orchestrator, захтјеви ка моделима Claude и GPT упућени преко платформе Perplexity имали су вишу стопу успјешности од било ког појединачног измјереног провајдера, уз мање дневне варијације током инцидената код провајдера.

У пробној верзији: Routes и Auto effort

Функција Routes омогућава тимовима да обичним језиком опишу које захтјеве треба да обрађује сваки модел и да поставе подразумијевани модел. Тимови могу почети од уграђеног профила Lower cost, Balanced или Higher quality, или направити сопствени. Ако тимови не наведу опис или не одреде циљ, захтјев обрађује подразумијевани модел.

Такође у пробној верзији, Auto effort прилагођава колико расуђивања подржани модел користи у сљедећем кораку, према политици коју дефинише програмер. Агент може уложити више напора у опоравак од грешке алата без промјене модела.

Почните уз интелигентну оркестрацију модела

Orchestrator је први корак у оквиру Perplexity API платформе ка интелигентној оркестрацији модела. Сазнајте како смо изградили и евалуирали Routes, укључујући и зашто је рутирање модела тешко исправно извести.

Да бисте почели, креирајте API кључ у API конзоли, усмјерите постојећи OpenAI или Anthropic SDK на основни URL за Orchestrator и изаберите модел из каталога модела.

Водич за брзи почетак вас за неколико минута води до првог захтјева. Тимови са великим или дугорочно уговореним радним оптерећењима могу послати имејл на api@perplexity.ai за више информација о цијенама за велике количине и капацитету.

Креирајте API кључ још данас.