Představujeme Orchestrator: jedno API pro špičkové modely i modely s otevřenými vahami

Perplexity Orchestrator poskytuje v jediném API přístup ke špičkovým modelům i modelům s otevřenými vahami, včetně jednotného vyúčtování a přepnutí při selhání.

An orchestra conductor surrounded by sweeping trails of light against a dark background.

Perplexity je ve svém jádru multimodelová a dává lidem svobodu vybrat si pro svou práci nejnovější špičkové modely i modely s otevřenými vahami. Tento multimodelový přístup využívá silné stránky každého modelu a může snížit náklady, když úloha nepotřebuje nejvýkonnější model. Naše orchestrační technologie může v pozadí k dokončení jediné úlohy použít několik modelů.

Podobný přístup volí i firmy, aby vyvážily výkon, náklady a flexibilitu. Každé vydání nového modelu představuje příležitost snížit náklady nebo zlepšit kvalitu. Jen letos vydaly laboratoře jako Anthropic a OpenAI více než tucet nových modelů. Vyšlo také více než 100 modelů s otevřenými vahami. Týmy tak sice mají pro každou úlohu více možností, zároveň však musí spravovat více poskytovatelů, smluv a faktur.

Dnes spouštíme Perplexity Orchestrator API, které zpřístupňuje naši technologii nezávislou na konkrétních modelech vývojářům a týmům vytvářejícím aplikace AI. Prostřednictvím jediného API mohou týmy spouštět jednoduché a objemné úlohy na levnějších modelech a výkonnější modely si ponechat pro náročnější práci.

Se službou Orchestrator mohou týmy snížit a centralizovat výdaje na AI a zavádět nové modely hned po jejich vydání, aniž by slevily z výkonu nebo dostupnosti. Týmy si mohou zvolit, který model zpracuje jednotlivé úlohy, a Perplexity se postará o směrování mezi poskytovateli a přepnutí při selhání, aby byla inference spolehlivá.

Postaveno na produkční modelové vrstvě Perplexity

Perplexity každý den provozuje modely s otevřenými vahami i špičkové modely v produkčním prostředí. Naše modelová vrstva směruje stovky milionů požadavků mezi více než 85 modelů a více než tucet poskytovatelů.

Vybrat model je snazší než udržet každý požadavek rychlý a cenově dostupný, když poskytovatelé zpomalí, dochází jim kapacita nebo mění ceny. Vlastní náklady na provoz jsme snížili přesunem pracovních zátěží na modely, které se pro danou úlohu hodí nejlépe.

Orchestrator vývojářům zpřístupňuje sdílenou infrastrukturu, na které tento přístup stojí.

Orchestrator zpřístupňuje tuto inferenční vrstvu prostřednictvím jediného API. Zahrnuje modely od společností OpenAI, Anthropic, Google a xAI a také modely s otevřenými vahami, jako jsou GLM, Kimi a DeepSeek. Modely s otevřenými vahami poskytuje Perplexity přímo nebo prostřednictvím inferenčních partnerů.

Orchestrator podporuje formáty OpenAI Chat Completions, OpenAI Responses a Anthropic Messages. Týmy mohou dál používat známé sady pro vývoj softwaru (SDK). Pro většinu týmů zahrnuje začátek aktualizaci klíče API a základní adresy URL a výběr dostupného modelu.

Jednotné vyúčtování bez dalšího poplatku za platformu

Provozování modelů od několika laboratoří a poskytovatelů inference může vyžadovat samostatné účty, klíče API, smlouvy, bezpečnostní posouzení a faktury. Může to také znamenat samostatné roční závazky založené na skladbě modelů, která se může během několika týdnů změnit.

Orchestrator sdružuje podporované modely pod jednoho dodavatele a jedno vyúčtování, takže týmy mohou měnit kombinaci modelů, aniž by musely s každým poskytovatelem vyjednávat samostatný závazek. Nad rámec kreditů se neúčtuje žádný další poplatek za platformu.

Týmy mohou také sledovat využití a spravovat výdaje prostřednictvím API Console:

  • Přehledy využití: výdaje rozdělené podle modelu, projektu, klíče API a data
  • Klíče API: Samostatné klíče API pro sledování využití podle projektu nebo týmu
  • Administrátorské ovládací prvky: Seznamy povolených modelů pro organizaci, omezení uživatelů, limity výdajů a žádosti o kapacitu

Spolehlivější požadavky napříč poskytovateli

Modely dostupné u více poskytovatelů dávají týmům více než jednu cestu, jak požadavek obsloužit.

Orchestrator sleduje stav, kapacitu a latenci jednotlivých poskytovatelů a rozděluje provoz mezi ty nejvýkonnější. Pokud požadavek selže, může jej zopakovat na jiném nasazení téhož modelu a zajistit tak přepnutí při selhání, aniž by si týmy musely tuto logiku vytvářet samy.

U týmů, které denně zpracovávají miliony požadavků, může i malý rozdíl v míře úspěšnosti požadavků – například mezi 99,0 % a 99,99 % – ovlivnit tisíce odpovědí. Se službou Orchestrator nemusí týmy kód pro přepnutí při selhání vytvářet ani udržovat samy.

Během jednoho měsíce produkčního provozu ve službě Orchestrator měly požadavky na Claude a GPT směrované přes Perplexity vyšší míru úspěšnosti než kterýkoli jednotlivý měřený poskytovatel a zároveň menší denní výkyvy během incidentů u poskytovatelů.

Ve verzi preview: Routes a Auto effort

Funkce Routes umožňuje týmům popsat běžným jazykem, které požadavky má každý model zpracovávat, a nastavit výchozí model. Týmy mohou začít s vestavěným profilem Lower cost, Balanced nebo Higher quality, případně si vytvořit vlastní. Pokud týmy neposkytnou popis ani neurčí cíl, požadavek obslouží výchozí model.

Ve verzi preview je k dispozici také funkce Auto effort, která podle zásad definovaných vývojářem upravuje, kolik uvažování podporovaný model použije v dalším kole. Agent tak může vynaložit více úsilí na zotavení z chyby nástroje, aniž by musel měnit model.

Začněte s inteligentní orchestrací modelů

Orchestrator je prvním krokem v rámci platformy Perplexity API k inteligentní orchestraci modelů. Zjistěte, jak jsme vytvořili a vyhodnotili Routes, včetně toho, proč je správné směrování modelů tak obtížné.

Chcete-li začít, vytvořte si klíč API v konzoli API, nasměrujte stávající SDK od OpenAI nebo Anthropic na základní URL služby Orchestrator a vyberte si z katalogu modelů.

Rychlý průvodce vás provede prvním požadavkem během několika minut. Týmy s velkými objemy úloh nebo se závazkem odběru mohou napsat na api@perplexity.ai a získat více informací o objemových cenách a kapacitě.

Vytvořte si klíč API ještě dnes.