Predstavujeme Orchestrator: jedno API pre špičkové modely a modely s otvorenými váhami
Perplexity Orchestrator poskytuje v jednom API prístup k špičkovým modelom aj modelom s otvorenými váhami, s jednotnou fakturáciou a prepínaním pri výpadkoch.

Perplexity je vo svojej podstate multimodelová platforma, ktorá ľuďom dáva slobodu vybrať si pre svoju prácu najnovšie špičkové modely aj modely s otvorenými váhami. Tento multimodelový prístup využíva silné stránky jednotlivých modelov a môže znížiť náklady, keď úloha nepotrebuje najvýkonnejší model. V zákulisí dokáže naša technológia orchestrácie použiť niekoľko modelov na dokončenie jednej úlohy.
Firmy volia podobný prístup, aby vyvážili výkon, náklady a flexibilitu. Každé nové vydanie modelu predstavuje príležitosť znížiť náklady alebo zlepšiť kvalitu. Len tento rok vydali laboratóriá ako Anthropic a OpenAI viac ako tucet nových modelov. Pribudlo aj viac ako 100 modelov s otvorenými váhami. Hoci to tímom dáva viac možností pre každú úlohu, zároveň im to pridáva ďalších poskytovateľov, zmluvy a faktúry, ktoré musia spravovať.
Dnes spúšťame Perplexity Orchestrator API a sprístupňujeme tak našu technológiu nezávislú od konkrétnych modelov vývojárom a tímom, ktorí vytvárajú aplikácie s AI. Prostredníctvom jedného API môžu tímy spúšťať jednoduché úlohy s vysokým objemom na lacnejších modeloch a výkonnejšie modely si ponechať na náročnejšiu prácu.
S nástrojom Orchestrator môžu tímy znížiť a centralizovať výdavky na AI a zavádzať nové modely hneď po ich vydaní, a to bez kompromisov vo výkone či dostupnosti. Tímy si môžu vybrať, ktorý model spracuje jednotlivé úlohy, a Perplexity zabezpečí smerovanie medzi poskytovateľmi aj prepnutie pri výpadku, aby bola inferencia spoľahlivá.
Postavené na produkčnej modelovej vrstve Perplexity
Perplexity každý deň prevádzkuje v produkcii modely s otvorenými váhami aj špičkové modely. Naša modelová vrstva smeruje stovky miliónov požiadaviek naprieč viac ako 85 modelmi a viac ako tuctom poskytovateľov.
Vybrať model je jednoduchšie, ako udržať každú požiadavku rýchlu a cenovo dostupnú, keď sa poskytovatelia spomalia, nemajú dostatok kapacity alebo menia ceny. Vlastné náklady na prevádzku sme znížili presunom úloh na modely, ktoré sa na danú úlohu hodia najlepšie.
Orchestrator sprístupňuje vývojárom zdieľanú infraštruktúru, na ktorej je tento prístup postavený.
Orchestrator sprístupňuje túto inferenčnú vrstvu prostredníctvom jedného API. Zahŕňa modely od spoločností OpenAI, Anthropic, Google a xAI, ako aj modely s otvorenými váhami, napríklad GLM, Kimi a DeepSeek. Modely s otvorenými váhami poskytuje Perplexity alebo partneri pre inferenciu.
Orchestrator podporuje formáty OpenAI Chat Completions, OpenAI Responses a Anthropic Messages. Tímy môžu naďalej používať známe súpravy na vývoj softvéru (SDK). Pre väčšinu tímov začiatok zahŕňa aktualizáciu kľúča API a základnej URL adresy a výber dostupného modelu.
Jednotná fakturácia bez dodatočného poplatku za platformu
Prevádzka modelov od viacerých laboratórií a poskytovateľov inferencie môže vyžadovať samostatné účty, kľúče API, zmluvy, bezpečnostné kontroly a faktúry. Môže to tiež znamenať samostatné ročné záväzky založené na skladbe modelov, ktorá sa môže zmeniť v priebehu niekoľkých týždňov.
Orchestrator združuje podporované modely pod jedného dodávateľa a jednu faktúru, takže tímy môžu meniť skladbu modelov bez toho, aby museli s každým poskytovateľom vyjednávať samostatný záväzok. Nad rámec kreditov sa neúčtuje žiadny ďalší poplatok za platformu.
Tímy môžu tiež sledovať využitie a spravovať výdavky v API Console:
- Prehľad využitia: výdavky rozdelené podľa modelu, projektu, API kľúča a dátumu
- Kľúče API: Samostatné kľúče API na sledovanie využitia podľa projektu alebo tímu
- Administrátorské ovládacie prvky: Zoznamy povolených modelov pre organizáciu, obmedzenia používateľov, limity výdavkov a žiadosti o kapacitu
Spoľahlivejšie požiadavky naprieč poskytovateľmi
Modely dostupné u viacerých poskytovateľov dávajú tímom viac ako jeden spôsob, ako obslúžiť požiadavku.
Orchestrator sleduje stav, kapacitu a latenciu každého poskytovateľa a rozdeľuje prevádzku medzi tých s najlepším výkonom. Ak požiadavka zlyhá, môže ju zopakovať na inom nasadení toho istého modelu, a tak zabezpečí prepnutie pri výpadku bez toho, aby si tímy museli túto logiku vytvárať samy.
Pri tímoch, ktoré spracúvajú milióny požiadaviek denne, môže aj malý rozdiel v úspešnosti požiadaviek – napríklad medzi 99,0 % a 99,99 % – ovplyvniť tisíce odpovedí. S nástrojom Orchestrator si tímy nemusia kód na prepínanie pri výpadkoch vytvárať ani udržiavať samy.
Za jeden mesiac produkčnej prevádzky služby Orchestrator dosahovali požiadavky na Claude a GPT smerované cez Perplexity vyššiu úspešnosť než ktorýkoľvek z meraných poskytovateľov samostatne a zároveň vykazovali menšie denné výkyvy počas incidentov u poskytovateľov.
V ukážkovej verzii: Routes a Auto effort
Funkcia Routes umožňuje tímom v bežnom jazyku opísať, ktoré požiadavky má každý model spracovať, a nastaviť predvolený model. Tímy môžu začať so vstavaným profilom Lower cost, Balanced alebo Higher quality. Alebo si môžu vytvoriť vlastný. Ak tímy neposkytnú popis ani neurčia cieľ, požiadavku obslúži predvolený model.
V ukážkovej verzii je dostupná aj funkcia Auto effort, ktorá podľa pravidiel definovaných vývojárom upravuje, koľko uvažovania podporovaný model použije v ďalšom kole. Agent tak môže vynaložiť viac úsilia na zotavenie z chyby nástroja bez prepínania modelov.
Začnite s inteligentnou orchestráciou modelov
Orchestrator je prvým krokom v rámci platformy API od Perplexity smerom k inteligentnej orchestrácii modelov. Zistite, ako sme vytvorili a vyhodnotili Routes, vrátane toho, prečo je také ťažké správne nastaviť smerovanie modelov.
Ak chcete začať, vytvorte si API kľúč v API Console, nasmerujte existujúce SDK od OpenAI alebo Anthropic na základnú URL adresu služby Orchestrator a vyberte si z katalógu modelov.
Príručka rýchleho štartu vás za pár minút prevedie prvou požiadavkou. Tímy s rozsiahlymi alebo zmluvne dohodnutými objemami požiadaviek môžu napísať na api@perplexity.ai a získať viac informácií o objemových cenách a kapacite.
Vytvorte si API kľúč ešte dnes.