Predstavljamo Orchestrator: jedan API za vodeće modele i modele otvorenih težina
Perplexity Orchestrator kroz jedan API pruža pristup vodećim modelima i modelima otvorenih težina, uz objedinjeno naplaćivanje i automatsko prebacivanje u slučaju otkaza.

Perplexity je u svojoj suštini zasnovan na više modela i ljudima pruža slobodu da za svoj rad biraju najnovije vrhunske modele i modele otvorenih težina. Ovaj pristup sa više modela koristi prednosti svakog modela i može da smanji troškove kada zadatku nije potreban najmoćniji model. U pozadini, naša tehnologija orkestracije može da koristi više modela za izvršavanje jednog posla.
Kompanije primenjuju sličan pristup kako bi uravnotežile performanse, troškove i fleksibilnost. Svako novo izdanje modela predstavlja priliku za smanjenje troškova ili poboljšanje kvaliteta. Samo ove godine, laboratorije kao što su Anthropic i OpenAI objavile su više od desetak novih modela. Objavljeno je i više od 100 modela otvorenih težina. Iako to timovima daje više opcija za svako radno opterećenje, donosi im i više provajdera, ugovora i faktura kojima moraju da upravljaju.
Danas predstavljamo Perplexity Orchestrator API i tako našu tehnologiju nezavisnu od modela činimo dostupnom programerima i timovima koji grade AI aplikacije. Kroz jedan API, timovi mogu da pokreću jednostavne zadatke velikog obima na jeftinijim modelima, a moćnije modele da zadrže za zahtevnije poslove.
Orchestrator timovima omogućava da smanje i centralizuju troškove za AI i da usvajaju nove modele čim budu objavljeni, bez kompromisa u pogledu performansi ili dostupnosti. Timovi mogu da biraju koji model obrađuje koje radno opterećenje, a Perplexity se stara o rutiranju ka provajderima i automatskom prebacivanju u slučaju otkaza kako bi inferencija bila pouzdana.
Izgrađeno na produkcionom sloju modela kompanije Perplexity
Perplexity svakodnevno pokreće modele otvorenih težina i najnaprednije modele u produkciji. Naš sloj modela rutira stotine miliona zahteva kroz više od 85 modela i više od dvanaest dobavljača.
Izabrati model je lakše nego obezbediti da svaki zahtev ostane brz i povoljan kada dobavljači uspore, ostanu bez dovoljno kapaciteta ili promene cene. Sopstvene troškove opsluživanja smanjili smo premeštanjem radnih opterećenja na modele koji najbolje odgovaraju svakom zadatku.
Orchestrator programerima pruža pristup deljenoj infrastrukturi na kojoj se zasniva taj pristup.
Orchestrator čini taj sloj za inferenciju dostupnim kroz jedan API. Obuhvata modele kompanija OpenAI, Anthropic, Google i xAI, kao i modele otvorenih težina kao što su GLM, Kimi i DeepSeek. Modele otvorenih težina opslužuje Perplexity ili partneri za inferenciju.
Orchestrator podržava formate OpenAI Chat Completions, OpenAI Responses i Anthropic Messages. Timovi mogu da nastave da koriste poznate komplete za razvoj softvera (SDK). Za većinu timova, početak podrazumeva ažuriranje API ključa i osnovnog URL-a, kao i izbor dostupnog modela.
Objedinjeno naplaćivanje bez dodatne naknade za platformu
Pokretanje modela iz više laboratorija i od više dobavljača usluga inferencije može da zahteva zasebne naloge, API ključeve, ugovore, bezbednosne provere i fakture. To može da znači i zasebne godišnje obaveze zasnovane na kombinaciji modela koja bi mogla da se promeni za nekoliko nedelja.
Orchestrator objedinjuje podržane modele kod jednog dobavljača i na jednom računu, tako da timovi mogu da menjaju kombinaciju modela bez pregovaranja o posebnoj obavezi sa svakim provajderom. Povrh kredita nema dodatne naknade za platformu.
Timovi takođe mogu da prate korišćenje i upravljaju potrošnjom putem API Console:
- Izveštaji o korišćenju: potrošnja raščlanjena po modelu, projektu, API ključu i datumu
- API ključevi: zasebni API ključevi za praćenje korišćenja po projektu ili timu
- Administratorske kontrole: liste dozvoljenih modela za organizaciju, ograničenja za korisnike, limiti potrošnje i zahtevi za kapacitet
Pouzdaniji zahtevi kod svih provajdera
Modeli dostupni preko više provajdera daju timovima više od jednog načina da opsluže zahtev.
Orchestrator prati stanje, kapacitet i latenciju svakog provajdera kako bi raspodelio saobraćaj na one sa najboljim performansama. Ako zahtev ne uspe, može ponovo da ga pokuša na drugoj implementaciji istog modela i tako obavi automatsko prebacivanje u slučaju otkaza, a da timovi ne moraju sami da grade tu logiku.
Za timove koji obrađuju milione zahteva dnevno, čak i mala razlika u stopi uspešnosti zahteva, poput razlike između 99,0% i 99,99%, može da utiče na hiljade odgovora. Kada koriste Orchestrator, timovi ne moraju sami da grade niti održavaju kod za automatsko prebacivanje u slučaju otkaza.
Tokom jednog meseca produkcionog saobraćaja kroz Orchestrator, zahtevi ka modelima Claude i GPT upućeni preko kompanije Perplexity imali su veće stope uspešnosti od bilo kog pojedinačnog provajdera koji je meren, uz manje dnevne varijacije tokom incidenata kod provajdera.
U preglednoj verziji: Routes i Auto effort
Routes omogućava timovima da običnim jezikom opišu koje zahteve treba da obrađuje svaki model i da podese podrazumevani model. Timovi mogu da počnu od ugrađenog profila Lower cost, Balanced ili Higher quality, ili da naprave sopstveni. Ako timovi ne navedu opis ili ne odrede cilj, zahtev opslužuje podrazumevani model.
Takođe u preglednoj verziji, Auto effort prilagođava koliko rezonovanja podržani model koristi u sledećem koraku, u skladu sa pravilima koja definiše programer. Agent može da uloži više truda u oporavak od greške alata bez promene modela.
Započnite sa inteligentnom orkestracijom modela
Orchestrator je prvi korak u okviru Perplexity API platforme ka inteligentnoj orkestraciji modela. Saznajte kako smo napravili i ocenili Routes, uključujući i to zašto je rutiranje modela teško ispravno izvesti.
Da biste započeli, napravite API ključ u API konzoli, usmerite postojeći OpenAI ili Anthropic SDK na osnovni URL za Orchestrator i izaberite model iz kataloga modela.
Vodič za brzi početak pokazuje kako da za nekoliko minuta pošaljete prvi zahtev. Timovi sa velikim ili unapred ugovorenim radnim opterećenjima mogu da pišu na api@perplexity.ai za više informacija o cenama za veće količine i kapacitetu.
Napravite API ključ još danas.