Predstavljamo Orchestrator: jedan API za najnaprednije modele i modele otvorenih težina

Perplexity Orchestrator putem jednog API-ja pruža pristup najnaprednijim modelima i modelima otvorenih težina uz objedinjenu naplatu i prebacivanje u slučaju kvara.

An orchestra conductor surrounded by sweeping trails of light against a dark background.

Perplexity je u svojoj srži višemodelna platforma koja ljudima daje slobodu da za svoj rad odaberu najnovije najnaprednije modele i modele s otvorenim težinama. Takav višemodelni pristup iskorištava prednosti svakog modela i može smanjiti troškove kada zadatku nije potreban najmoćniji model. U pozadini naša tehnologija orkestracije može upotrijebiti nekoliko modela za dovršavanje jednog zadatka.

Tvrtke primjenjuju sličan pristup kako bi uravnotežile performanse, troškove i fleksibilnost. Svako novo izdanje modela prilika je za smanjenje troškova ili poboljšanje kvalitete. Samo ove godine laboratoriji kao što su Anthropic i OpenAI objavili su više od desetak novih modela. Objavljeno je i više od 100 modela otvorenih težina. Iako to timovima daje više mogućnosti za svako radno opterećenje, donosi im i više pružatelja, ugovora i računa kojima moraju upravljati.

Danas predstavljamo Perplexity Orchestrator API, čime našu tehnologiju neovisnu o modelu stavljamo na raspolaganje programerima i timovima koji razvijaju AI aplikacije. Putem jednog API-ja timovi mogu jednostavne zadatke velikog obujma izvršavati na jeftinijim modelima, a moćnije modele zadržati za zahtjevnije poslove.

Uz Orchestrator timovi mogu smanjiti i centralizirati troškove za AI te usvajati nove modele čim izađu, bez kompromisa u pogledu performansi ili dostupnosti. Timovi mogu odabrati koji model obrađuje svako radno opterećenje, a Perplexity upravlja usmjeravanjem među pružateljima i prebacivanjem u slučaju kvara kako bi osigurao pouzdanu inferenciju.

Temeljen na produkcijskom sloju modela tvrtke Perplexity

Perplexity svakodnevno pokreće modele s otvorenim težinama i najnaprednije modele u produkciji. Naš sloj modela usmjerava stotine milijuna zahtjeva na više od 85 modela i više od desetak pružatelja.

Odabrati model lakše je nego održati svaki zahtjev brzim i povoljnim kada pružatelji usporavaju, ostaju bez kapaciteta ili mijenjaju cijene. Vlastite troškove posluživanja smanjili smo premještanjem radnih opterećenja na modele koji najbolje odgovaraju pojedinom zadatku.

Orchestrator razvojnim programerima omogućuje pristup zajedničkoj infrastrukturi na kojoj se temelji taj pristup.

Orchestrator taj sloj inferencije čini dostupnim putem jednog API-ja. Obuhvaća modele tvrtki OpenAI, Anthropic, Google i xAI, uz modele otvorenih težina kao što su GLM, Kimi i DeepSeek. Modele otvorenih težina poslužuje Perplexity ili partneri za inferenciju.

Orchestrator podržava formate OpenAI Chat Completions, OpenAI Responses i Anthropic Messages. Timovi mogu nastaviti upotrebljavati poznate komplete za razvoj softvera (SDK-ove). Za većinu timova početak podrazumijeva ažuriranje API ključa i osnovnog URL-a te odabir dostupnog modela.

Objedinjena naplata bez dodatne naknade za platformu

Pokretanje modela iz više laboratorija i od više pružatelja inferencije može zahtijevati zasebne korisničke račune, API ključeve, ugovore, sigurnosne provjere i fakture. To može značiti i zasebne godišnje obveze temeljene na kombinaciji modela koja bi se mogla promijeniti za nekoliko tjedana.

Orchestrator objedinjuje podržane modele pod jednim dobavljačem i jednim računom, tako da timovi mogu mijenjati kombinaciju modela bez pregovaranja o zasebnim obvezama sa svakim pružateljem. Povrh kredita ne naplaćuje se nikakva dodatna naknada za platformu.

Timovi mogu pratiti korištenje i upravljati potrošnjom i putem konzole API Console:

  • Izvješća o korištenju: potrošnja raščlanjena po modelu, projektu, API ključu i datumu
  • API ključevi: zasebni API ključevi za praćenje korištenja po projektu ili timu
  • Administratorske kontrole: popisi dopuštenih modela za organizaciju, ograničenja za korisnike, ograničenja potrošnje i zahtjevi za kapacitet

Pouzdaniji zahtjevi kod više pružatelja

Modeli dostupni putem više pružatelja timovima nude više od jednog načina za posluživanje zahtjeva.

Orchestrator prati stanje, kapacitet i latenciju svakog pružatelja kako bi promet raspodijelio među onima s najboljim performansama. Ako zahtjev ne uspije, Orchestrator ga može ponoviti na drugoj implementaciji istog modela i tako riješiti prebacivanje u slučaju kvara, a da timovi tu logiku ne moraju sami izgraditi.

Za timove koji dnevno obrađuju milijune zahtjeva, čak i mala razlika u stopi uspješnosti zahtjeva, poput razlike između 99,0 % i 99,99 %, može utjecati na tisuće odgovora. Uz Orchestrator timovi ne moraju sami izgrađivati ni održavati kod za prebacivanje u slučaju kvara.

Tijekom mjesec dana produkcijskog prometa na Orchestratoru zahtjevi prema modelima Claude i GPT upućeni putem usluge Perplexity imali su veće stope uspješnosti od bilo kojeg pojedinačnog izmjerenog pružatelja, uz manje dnevne varijacije tijekom incidenata kod pružatelja.

U pretpregledu: Routes i Auto effort

Značajka Routes omogućuje timovima da običnim jezikom opišu koje zahtjeve treba obrađivati koji model te da postave zadani model. Timovi mogu krenuti od ugrađenog profila Lower cost, Balanced ili Higher quality ili izraditi vlastiti. Ako timovi ne navedu opis ili ne odrede cilj, zahtjev poslužuje zadani model.

Također dostupna u pretpregledu, značajka Auto effort prilagođava koliko rasuđivanja podržani model upotrebljava u sljedećem koraku, prema pravilima koja definira razvojni programer. Agent može uložiti više truda u oporavak od pogreške alata bez promjene modela.

Započnite s inteligentnom orkestracijom modela

Orchestrator je prvi korak unutar platforme Perplexity API prema inteligentnoj orkestraciji modela. Saznajte kako smo izradili i evaluirali Routes, uključujući zašto je usmjeravanje modela teško ispravno izvesti.

Za početak izradite API ključ u API konzoli, usmjerite postojeći OpenAI ili Anthropic SDK na osnovni URL Orchestratora i odaberite model iz kataloga modela.

Vodič za brzi početak pokazuje kako u nekoliko minuta poslati prvi zahtjev. Timovi s velikim ili ugovorenim radnim opterećenjima mogu poslati e-poruku na api@perplexity.ai za više informacija o količinskim cijenama i kapacitetu.

Izradite API ključ već danas.