Tutvustame Orchestratorit: üks API tipptasemel ja avatud kaaludega mudelite jaoks

Perplexity Orchestrator pakub ühe API kaudu juurdepääsu tipptasemel ja avatud kaaludega mudelitele koos ühtse arvelduse ja tõrkesiirdega.

An orchestra conductor surrounded by sweeping trails of light against a dark background.

Perplexity on oma olemuselt mitmemudeliline ja annab inimestele vabaduse valida oma töö jaoks uusimaid tippmudeleid ja avatud kaaludega mudeleid. See mitmemudeliline lähenemine kasutab ära iga mudeli tugevusi ja võib vähendada kulusid, kui ülesanne ei vaja kõige võimsamat mudelit. Kulisside taga saab meie orkestreerimistehnoloogia kasutada ühe töö tegemiseks mitut mudelit.

Ettevõtted kasutavad sarnast lähenemist, et tasakaalustada jõudlust, kulusid ja paindlikkust. Iga uus mudeliväljalase pakub võimalust kulusid vähendada või kvaliteeti parandada. Ainuüksi sel aastal on sellised laborid nagu Anthropic ja OpenAI välja andnud üle tosina uue mudeli. Lisaks on avaldatud üle 100 avatud kaaludega mudeli. Kuigi see annab meeskondadele iga töökoormuse jaoks rohkem valikuid, tähendab see ka rohkem pakkujaid, lepinguid ja arveid, mida hallata.

Täna toome turule Perplexity Orchestrator API, mis teeb meie mudelisõltumatu tehnoloogia kättesaadavaks AI-rakendusi loovatele arendajatele ja meeskondadele. Ühe API kaudu saavad meeskonnad käitada lihtsaid ja suuremahulisi ülesandeid odavamatel mudelitel ning hoida võimsamad mudelid nõudlikumate tööde jaoks.

Orchestratoriga saavad meeskonnad AI-kulusid vähendada ja tsentraliseerida ning võtta uusi mudeleid kasutusele kohe pärast nende ilmumist, tegemata järeleandmisi jõudluses või käideldavuses. Meeskonnad saavad valida, milline mudel iga töökoormust käsitleb, ning Perplexity tegeleb pakkujate vahelise suunamise ja tõrkesiirdega, et tagada usaldusväärne järeldamine.

Põhineb Perplexity tootmiskeskkonna mudelikihil

Perplexity käitab iga päev tootmises avatud kaaludega mudeleid ja tippmudeleid. Meie mudelikiht suunab sadu miljoneid päringuid 85+ mudeli ja enam kui tosina teenusepakkuja vahel.

Mudeli valimine on lihtsam kui iga päringu kiire ja taskukohasena hoidmine olukorras, kus teenusepakkujad aeglustuvad, nende mahutavus saab otsa või nad muudavad hindu. Oleme vähendanud oma teeninduskulusid, viies töökoormused üle mudelitele, mis sobivad iga ülesande jaoks kõige paremini.

Orchestrator annab arendajatele juurdepääsu selle lähenemisviisi aluseks olevale jagatud infrastruktuurile.

Orchestrator teeb selle järelduskihi kättesaadavaks ühe API kaudu. See hõlmab OpenAI, Anthropicu, Google'i ja xAI mudeleid ning avatud kaaludega mudeleid, nagu GLM, Kimi ja DeepSeek. Avatud kaaludega mudeleid majutab Perplexity ise või pakutakse neid järelduspartnerite kaudu.

Orchestrator toetab vorminguid OpenAI Chat Completions, OpenAI Responses ja Anthropic Messages. Meeskonnad saavad jätkata tuttavate tarkvaraarenduskomplektide (SDK-de) kasutamist. Enamiku meeskondade jaoks tähendab alustamine API-võtme ja baas-URL-i uuendamist ning saadaoleva mudeli valimist.

Ühtne arveldus ilma täiendava platvormitasuta

Mitme labori ja järeldusteenuse pakkuja mudelite käitamine võib nõuda eraldi kontosid, API-võtmeid, lepinguid, turvaülevaatusi ja arveid. See võib tähendada ka eraldi aastaseid kohustusi, mis põhinevad mudelite kombinatsioonil, mis võib mõne nädalaga muutuda.

Orchestrator koondab toetatud mudelid ühe teenusepakkuja ja ühe arve alla, nii et meeskonnad saavad oma mudelivalikut muuta, ilma et peaksid iga pakkujaga eraldi kohustusi läbi rääkima. Lisaks krediitidele täiendavat platvormitasu ei lisandu.

Meeskonnad saavad ka jälgida kasutust ja hallata kulutusi API Console'i kaudu:

  • Kasutusaruanded: kulud mudeli, projekti, API-võtme ja kuupäeva kaupa
  • API-võtmed: eraldi API-võtmed kasutuse jälgimiseks projekti või meeskonna kaupa
  • Administraatori juhtelemendid: organisatsiooni mudelite lubatud loendid, kasutajapiirangud, kulupiirangud ja mahutavuse taotlused

Töökindlamad päringud eri pakkujate vahel

Mitme pakkuja kaudu saadaolevad mudelid annavad meeskondadele päringu teenindamiseks rohkem kui ühe võimaluse.

Orchestrator jälgib iga pakkuja seisundit, võimsust ja latentsust, et jaotada liiklus kõige paremini toimivate pakkujate vahel. Kui päring ebaõnnestub, saab Orchestrator seda korrata sama mudeli teises juurutuses ja tegeleb tõrkesiirdega nii, et meeskonnad ei pea selleks ise loogikat looma.

Meeskondade jaoks, kes käitavad miljoneid päringuid päevas, võib isegi väike erinevus päringute edukuse määras – näiteks 99,0% ja 99,99% vahel – mõjutada tuhandeid vastuseid. Orchestratoriga ei pea meeskonnad tõrkesiirde koodi ise looma ega hooldama.

Orchestratori ühe kuu tootmisliikluses oli Perplexity kaudu tehtud Claude'i ja GPT päringute edukuse määr kõrgem kui ühelgi eraldi mõõdetud pakkujal ning pakkujate intsidentide ajal oli päevane kõikumine väiksem.

Eelvaates: Routes ja Auto effort

Routes võimaldab meeskondadel lihtsas keeles kirjeldada, milliseid päringuid iga mudel peaks käsitlema, ja määrata vaikemudeli. Meeskonnad saavad alustada sisseehitatud profiilist Lower cost, Balanced või Higher quality või luua kohandatud profiili. Kui meeskonnad ei esita kirjeldust ega määra eesmärki, teenindab päringut vaikemudel.

Samuti eelvaates olev Auto effort kohandab arendaja määratud reeglistiku järgi, kui palju arutlust toetatud mudel oma järgmises voorus kasutab. Agent saab tööriistaveast taastumisele kulutada rohkem pingutust ilma mudelit vahetamata.

Alustage intelligentse mudeliorkestreerimisega

Orchestrator on esimene samm Perplexity API platvormil intelligentse mudelite orkestreerimise suunas. Lugege, kuidas me Routes'i lõime ja hindasime, sealhulgas seda, miks mudelite marsruutimist on raske õigesti teha.

Alustamiseks looge API-konsoolis API-võti, suunake olemasolev OpenAI või Anthropicu SDK Orchestratori baas-URL-ile ja valige mudel mudelikataloogist.

Kiirjuhend aitab teil esimese päringu teha mõne minutiga. Suurte või kokkulepitud mahuga töökoormustega meeskonnad saavad mahuhindade ja võimsuse kohta lisateabe saamiseks kirjutada aadressile api@perplexity.ai.

Looge API-võti juba täna.