Pristatome Orchestrator: viena API pažangiausiems ir atvirųjų svorių modeliams
Perplexity Orchestrator per vieną API suteikia prieigą prie pažangiausių ir atvirųjų svorių modelių su vieningu atsiskaitymu ir atsarginiu perjungimu.

Perplexity iš esmės yra daugiamodelė platforma, suteikianti žmonėms laisvę savo darbui rinktis naujausius pažangiausius ir atvirųjų svorių modelius. Šis daugiamodelis požiūris išnaudoja kiekvieno modelio stipriąsias puses ir gali sumažinti išlaidas, kai užduočiai nereikia galingiausio modelio. Užkulisiuose mūsų orkestravimo technologija gali naudoti kelis modelius vienai užduočiai atlikti.
Įmonės taiko panašų požiūrį, siekdamos suderinti našumą, kainą ir lankstumą. Kiekvienas naujas modelis suteikia galimybę sumažinti išlaidas arba pagerinti kokybę. Vien šiais metais tokios laboratorijos kaip Anthropic ir OpenAI išleido daugiau nei tuziną naujų modelių. Taip pat pasirodė daugiau nei 100 atvirųjų svorių modelių. Nors tai suteikia komandoms daugiau pasirinkimų kiekvienam darbo krūviui, kartu joms tenka valdyti daugiau teikėjų, sutarčių ir sąskaitų faktūrų.
Šiandien pristatome Perplexity Orchestrator API ir suteikiame kūrėjams bei DI programas kuriančioms komandoms prieigą prie mūsų nuo modelių nepriklausomos technologijos. Per vieną API komandos gali paprastas, didelės apimties užduotis vykdyti pigesniais modeliais, o galingesnius modelius pasilikti sudėtingesniam darbui.
Naudodamos Orchestrator, komandos gali sumažinti ir centralizuoti DI išlaidas bei pradėti naudoti naujus modelius vos jiems pasirodžius, neaukodamos nei našumo, nei pasiekiamumo. Komandos gali pasirinkti, kuris modelis atliks kiekvieną darbo krūvį, o Perplexity pasirūpina teikėjų maršrutizavimu ir atsarginiu perjungimu, kad inferencija būtų patikima.
Paremta Perplexity produkciniu modelių sluoksniu
Perplexity kasdien gamybinėje aplinkoje naudoja atvirųjų svorių ir pažangiausius modelius. Mūsų modelių sluoksnis maršrutizuoja šimtus milijonų užklausų tarp daugiau nei 85 modelių ir daugiau nei keliolikos teikėjų.
Pasirinkti modelį lengviau, nei užtikrinti, kad kiekviena užklausa būtų greita ir nebrangi, kai teikėjai sulėtėja, jiems pritrūksta pajėgumų ar jie pakeičia kainas. Savo aptarnavimo išlaidas sumažinome perkeldami darbo krūvius į kiekvienai užduočiai geriausiai tinkančius modelius.
Orchestrator suteikia kūrėjams prieigą prie bendros infrastruktūros, kuria grindžiamas šis požiūris.
Orchestrator suteikia prieigą prie šio inferencijos sluoksnio per vieną API. Ji apima OpenAI, Anthropic, Google ir xAI modelius, taip pat atvirųjų svorių modelius, tokius kaip GLM, Kimi ir DeepSeek. Atvirųjų svorių modelius teikia Perplexity arba inferencijos partneriai.
Orchestrator palaiko OpenAI Chat Completions, OpenAI Responses ir Anthropic Messages formatus. Komandos gali toliau naudoti įprastus programinės įrangos kūrimo rinkinius (SDK). Daugumai komandų pradėti pakanka atnaujinti API raktą ir bazinį URL bei pasirinkti prieinamą modelį.
Vieningas atsiskaitymas be papildomo platformos mokesčio
Naudojant kelių laboratorijų ir išvadų darymo paslaugų teikėjų modelius, gali prireikti atskirų paskyrų, API raktų, sutarčių, saugumo peržiūrų ir sąskaitų faktūrų. Tai taip pat gali reikšti atskirus metinius įsipareigojimus, pagrįstus modelių deriniu, kuris gali pasikeisti per kelias savaites.
Orchestrator sujungia palaikomus modelius po vienu tiekėju ir viena sąskaita, todėl komandos gali keisti naudojamų modelių derinį nederėdamos dėl atskirų įsipareigojimų su kiekvienu teikėju. Be kreditų, jokio papildomo platformos mokesčio nėra.
Komandos taip pat gali stebėti naudojimą ir valdyti išlaidas per API konsolę:
- Naudojimo ataskaitos: išlaidos, suskirstytos pagal modelį, projektą, API raktą ir datą
- API raktai: atskiri API raktai naudojimui stebėti pagal projektą ar komandą
- Administravimo valdikliai: organizacijos modelių leidžiamieji sąrašai, naudotojų apribojimai, išlaidų ribos ir pajėgumų užklausos
Patikimesnės užklausos per kelis teikėjus
Modeliai, prieinami per kelis teikėjus, suteikia komandoms daugiau nei vieną būdą aptarnauti užklausą.
Orchestrator stebi kiekvieno teikėjo būklę, pajėgumus ir delsą, kad paskirstytų srautą tarp geriausiai veikiančių teikėjų. Jei užklausa nepavyksta, Orchestrator gali ją pakartoti kitame to paties modelio diegime ir taip užtikrinti atsarginį perjungimą, o komandoms nereikia pačioms kurti šios logikos.
Komandoms, kurios per dieną apdoroja milijonus užklausų, net nedidelis užklausų sėkmės rodiklių skirtumas, pavyzdžiui, tarp 99,0 % ir 99,99 %, gali paveikti tūkstančius atsakymų. Naudodamos Orchestrator, komandos neprivalo pačios kurti ar prižiūrėti atsarginio perjungimo kodo.
Vieno mėnesio Orchestrator produkciniame sraute Claude ir GPT užklausų per Perplexity sėkmės rodikliai buvo aukštesni nei bet kurio atskiro išmatuoto teikėjo, o teikėjų incidentų metu kasdieniai svyravimai buvo mažesni.
Peržiūros versijoje: „Routes“ ir „Auto effort“
Funkcija „Routes“ leidžia komandoms paprasta kalba aprašyti, kurias užklausas turėtų apdoroti kiekvienas modelis, ir nustatyti numatytąjį modelį. Komandos gali pradėti nuo integruoto profilio „Mažesnė kaina“, „Subalansuotas“ arba „Aukštesnė kokybė“. Arba jos gali susikurti pasirinktinį profilį. Jei komandos nepateikia aprašymo ar nenurodo tikslo, užklausą aptarnauja numatytasis modelis.
Taip pat peržiūros versijoje prieinama funkcija „Auto effort“ pagal kūrėjo apibrėžtą politiką koreguoja, kiek protavimo palaikomas modelis naudos kitame žingsnyje. Agentas gali skirti daugiau pastangų atsigauti po įrankio klaidos nekeisdamas modelio.
Pradėkite naudoti išmanųjį modelių orkestravimą
Orchestrator – pirmasis žingsnis Perplexity API platformoje išmaniojo modelių orkestravimo link. Sužinokite, kaip kūrėme ir vertinome „Routes“, įskaitant tai, kodėl modelių maršrutizavimą sunku įgyvendinti tinkamai.
Norėdami pradėti, sukurkite API raktą API konsolėje, nukreipkite esamą OpenAI arba Anthropic SDK į Orchestrator bazinį URL ir pasirinkite modelį iš modelių katalogo.
Greitos pradžios vadovas padės pateikti pirmąją užklausą vos per kelias minutes. Komandos su dideliais ar iš anksto įsipareigotais darbo krūviais gali parašyti adresu api@perplexity.ai ir sužinoti daugiau apie kainodarą dideliems kiekiams bei pajėgumus.
Sukurkite API raktą jau šiandien.