Iepazīstinām ar Orchestrator: viens API vismodernākajiem un atvērto svaru modeļiem
Perplexity Orchestrator vienā API nodrošina piekļuvi vismodernākajiem un atvērto svaru modeļiem ar vienotiem norēķiniem un pārslēgšanos kļūmes gadījumā.

Perplexity pamatā ir vairāku modeļu pieeja, kas sniedz cilvēkiem brīvību savam darbam izvēlēties jaunākos vismodernākos un atvērto svaru modeļus. Šī vairāku modeļu pieeja izmanto katra modeļa stiprās puses un var samazināt izmaksas, ja uzdevumam nav nepieciešams jaudīgākais modelis. Aizkulisēs mūsu orķestrēšanas tehnoloģija var izmantot vairākus modeļus viena darba paveikšanai.
Uzņēmumi izmanto līdzīgu pieeju, lai līdzsvarotu veiktspēju, izmaksas un elastību. Katrs jauna modeļa laidiens sniedz iespēju samazināt izmaksas vai uzlabot kvalitāti. Šogad vien tādas laboratorijas kā Anthropic un OpenAI ir izlaidušas vairāk nekā duci jaunu modeļu. Klajā laisti arī vairāk nekā 100 atvērto svaru modeļu. Lai gan tas komandām dod vairāk iespēju katrai darba slodzei, tas nozīmē arī vairāk pakalpojumu sniedzēju, līgumu un rēķinu, kas jāpārvalda.
Šodien mēs laižam klajā Perplexity Orchestrator API, padarot mūsu no modeļiem neatkarīgo tehnoloģiju pieejamu izstrādātājiem un komandām, kas veido MI lietojumprogrammas. Izmantojot vienu API, komandas var veikt vienkāršus, liela apjoma uzdevumus ar lētākiem modeļiem un jaudīgākos modeļus atstāt prasīgākam darbam.
Ar Orchestrator komandas var samazināt un centralizēt MI izdevumus un ieviest jaunus modeļus, tiklīdz tie tiek izlaisti, nezaudējot veiktspēju vai darbspēju. Komandas var izvēlēties, kurš modelis apstrādā katru darba slodzi, bet Perplexity nodrošina maršrutēšanu starp pakalpojumu sniedzējiem un pārslēgšanos kļūmes gadījumā, lai garantētu uzticamu secināšanu.
Veidots uz Perplexity produkcijas modeļu slāņa pamata
Perplexity katru dienu izmanto atvērto svaru un vismodernākos modeļus ražošanas vidē. Mūsu modeļu slānis maršrutē simtiem miljonu pieprasījumu starp 85+ modeļiem un vairāk nekā duci pakalpojumu sniedzēju.
Izvēlēties modeli ir vieglāk nekā nodrošināt, lai katrs pieprasījums būtu ātrs un izdevīgs, kad pakalpojumu sniedzēji palēninās, tiem pietrūkst jaudas vai tie maina cenas. Mēs esam samazinājuši savas apkalpošanas izmaksas, pārceļot darba slodzes uz modeļiem, kas vislabāk piemēroti katram uzdevumam.
Orchestrator sniedz izstrādātājiem piekļuvi koplietotajai infrastruktūrai, uz kuras balstīta šī pieeja.
Orchestrator padara šo secināšanas slāni pieejamu, izmantojot vienu API. Tas aptver OpenAI, Anthropic, Google un xAI modeļus, kā arī atvērto svaru modeļus, piemēram, GLM, Kimi un DeepSeek. Atvērto svaru modeļus apkalpo Perplexity vai secināšanas partneri.
Orchestrator atbalsta OpenAI Chat Completions, OpenAI Responses un Anthropic Messages formātus. Komandas var turpināt izmantot pazīstamos programmatūras izstrādes komplektus (SDK). Lielākajai daļai komandu darba sākšanai pietiek atjaunināt API atslēgu un bāzes URL un atlasīt pieejamu modeli.
Vienoti norēķini bez papildu platformas maksas
Lai izmantotu vairāku laboratoriju un inferences pakalpojumu sniedzēju modeļus, var būt nepieciešami atsevišķi konti, API atslēgas, līgumi, drošības pārskati un rēķini. Tas var nozīmēt arī atsevišķas gada saistības, kuru pamatā ir modeļu kombinācija, kas var mainīties dažu nedēļu laikā.
Orchestrator apvieno atbalstītos modeļus pie viena piegādātāja un vienā rēķinā, tāpēc komandas var mainīt izmantoto modeļu kombināciju, nevienojoties par atsevišķām saistībām ar katru pakalpojumu sniedzēju. Papildus kreditiem netiek iekasēta nekāda platformas maksa.
Komandas var arī izsekot lietojumu un pārvaldīt izdevumus, izmantojot API konsoli:
- Lietojuma pārskati: izdevumi sadalījumā pa modeļiem, projektiem, API atslēgām un datumiem
- API atslēgas: atsevišķas API atslēgas lietojuma uzskaitei pa projektiem vai komandām
- Administratora vadīklas: organizācijas modeļu atļautie saraksti, lietotāju ierobežojumi, tēriņu limiti un jaudas pieprasījumi
Uzticamāka pieprasījumu apstrāde dažādos pakalpojumu sniedzējos
Modeļi, kas pieejami pie vairākiem pakalpojumu sniedzējiem, sniedz komandām vairāk nekā vienu veidu, kā apkalpot pieprasījumu.
Orchestrator seko katra pakalpojumu sniedzēja stāvoklim, jaudai un latentumam, lai sadalītu datplūsmu starp tiem, kuri darbojas vislabāk. Ja pieprasījums neizdodas, to var atkārtot citā tā paša modeļa izvietojumā, nodrošinot pārslēgšanos kļūmes gadījumā, un komandām pašām šī loģika nav jāveido.
Komandām, kas dienā apstrādā miljoniem pieprasījumu, pat neliela atšķirība sekmīgo pieprasījumu īpatsvarā — starpība starp 99,0 % un 99,99 % — var ietekmēt tūkstošiem atbilžu. Ar Orchestrator komandām pašām nav jāveido vai jāuztur kods pārslēgšanās nodrošināšanai kļūmes gadījumā.
Viena mēneša Orchestrator produkcijas datplūsmā Claude un GPT pieprasījumiem, kas tika apstrādāti caur Perplexity, bija augstāks sekmīgo pieprasījumu īpatsvars nekā jebkuram atsevišķam izmērītajam pakalpojumu sniedzējam, kā arī mazākas ikdienas svārstības pakalpojumu sniedzēju incidentu laikā.
Priekšskatījumā: Routes un Auto effort
Ar Routes komandas var vienkāršā valodā aprakstīt, kurus pieprasījumus katram modelim jāapstrādā, un iestatīt noklusējuma modeli. Komandas var sākt ar iebūvētu profilu Lower cost (zemākas izmaksas), Balanced (līdzsvarots) vai Higher quality (augstāka kvalitāte) vai arī izveidot pielāgotu profilu. Ja komandas nesniedz aprakstu vai nenorāda mērķi, pieprasījumu apkalpo noklusējuma modelis.
Arī priekšskatījumā pieejamā funkcija Auto effort atbilstoši izstrādātāja definētai politikai pielāgo spriešanas apjomu, ko atbalstīts modelis izmanto nākamajā gājienā. Aģents var ieguldīt vairāk piepūles, lai atgūtos no rīka kļūdas, nepārslēdzot modeļus.
Sāciet izmantot inteliģentu modeļu orķestrēšanu
Orchestrator ir pirmais solis Perplexity API platformā ceļā uz inteliģentu modeļu orķestrēšanu. Uzziniet, kā mēs izveidojām un novērtējām Routes, tostarp to, kāpēc modeļu maršrutēšanu ir grūti īstenot pareizi.
Lai sāktu, izveidojiet API atslēgu API konsolē, konfigurējiet esošo OpenAI vai Anthropic SDK izmantot Orchestrator bāzes URL un izvēlieties modeli no modeļu kataloga.
Ātrā sākuma ceļvedis palīdz dažu minūšu laikā nosūtīt pirmo pieprasījumu. Komandas ar lielu darba slodzi vai ilgtermiņa apjoma saistībām var rakstīt uz api@perplexity.ai, lai uzzinātu vairāk par apjoma cenām un jaudu.
Izveidojiet API atslēgu jau šodien.