Prezentăm Orchestrator: un singur API pentru modele de vârf și modele cu ponderi deschise
Perplexity Orchestrator oferă acces la modele de vârf și la modele cu ponderi deschise, cu facturare unificată și failover, printr-un singur API.

Perplexity este, în esență, multi-model, oferind oamenilor libertatea de a alege cele mai noi modele de frontieră și cu ponderi deschise pentru munca lor. Această abordare multi-model valorifică punctele forte ale fiecărui model și poate reduce costurile atunci când o sarcină nu necesită cel mai puternic model. În culise, tehnologia noastră de orchestrare poate folosi mai multe modele pentru a finaliza o singură lucrare.
Companiile adoptă o abordare similară pentru a echilibra performanța, costurile și flexibilitatea. Fiecare lansare a unui model nou reprezintă o oportunitate de a reduce costurile sau de a îmbunătăți calitatea. Numai în acest an, laboratoare precum Anthropic și OpenAI au lansat peste o duzină de modele noi. De asemenea, au fost lansate peste 100 de modele cu ponderi deschise. Deși acest lucru le oferă echipelor mai multe opțiuni pentru fiecare volum de lucru, le aduce totodată mai mulți furnizori, mai multe contracte și mai multe facturi de gestionat.
Astăzi lansăm API-ul Perplexity Orchestrator și punem tehnologia noastră independentă de modele la dispoziția dezvoltatorilor și a echipelor care creează aplicații AI. Printr-un singur API, echipele pot rula sarcini simple, de volum mare, pe modele cu costuri mai mici și pot rezerva modelele mai puternice pentru activitățile mai solicitante.
Cu Orchestrator, echipele își pot reduce și centraliza cheltuielile cu AI și pot adopta modele noi imediat ce sunt lansate, fără compromisuri în privința performanței sau a disponibilității. Echipele pot alege ce model gestionează fiecare volum de lucru, iar Perplexity se ocupă de rutarea către furnizori și de failover pentru a asigura o inferență fiabilă.
Construit pe stratul de modele de producție al Perplexity
Perplexity rulează zilnic, în producție, modele cu ponderi deschise și modele de frontieră. Stratul nostru de modele direcționează sute de milioane de solicitări către peste 85 de modele și peste o duzină de furnizori.
Alegerea unui model este mai ușoară decât menținerea fiecărei solicitări rapide și accesibile ca preț atunci când furnizorii încetinesc, rămân fără capacitate sau își modifică prețurile. Ne-am redus propriile costuri de deservire mutând sarcinile de lucru către modelele cele mai potrivite pentru fiecare sarcină.
Orchestrator le oferă dezvoltatorilor acces la infrastructura comună care stă la baza acestei abordări.
Orchestrator pune acest strat de inferență la dispoziție printr-un singur API. Acesta include modele de la OpenAI, Anthropic, Google și xAI, alături de modele cu ponderi deschise precum GLM, Kimi și DeepSeek. Modelele cu ponderi deschise sunt servite de Perplexity sau prin intermediul partenerilor de inferență.
Orchestrator acceptă formatele OpenAI Chat Completions, OpenAI Responses și Anthropic Messages. Echipele pot continua să folosească kiturile de dezvoltare software (SDK-uri) cu care sunt familiarizate. Pentru majoritatea echipelor, primii pași presupun actualizarea cheii API și a URL-ului de bază și selectarea unui model disponibil.
Facturare unificată, fără taxă de platformă suplimentară
Rularea modelelor de la mai multe laboratoare și mai mulți furnizori de inferență poate necesita conturi, chei API, contracte, evaluări de securitate și facturi separate. De asemenea, poate presupune angajamente anuale separate, bazate pe o combinație de modele care s-ar putea schimba în câteva săptămâni.
Orchestrator reunește modelele acceptate sub un singur furnizor și o singură factură, astfel încât echipele își pot schimba combinația de modele fără să negocieze un angajament separat cu fiecare furnizor în parte. Nu se percepe nicio taxă de platformă suplimentară pe lângă credite.
De asemenea, echipele pot urmări utilizarea și gestiona cheltuielile prin Consola API:
- Raportarea utilizării: cheltuieli defalcate pe model, proiect, cheie API și dată
- Chei API: Chei API separate pentru urmărirea utilizării pe proiecte sau echipe
- Controale de administrare: Liste de modele permise la nivel de organizație, restricții pentru utilizatori, plafoane de cheltuieli și solicitări de capacitate
Solicitări mai fiabile, distribuite între furnizori
Modelele disponibile prin mai mulți furnizori le oferă echipelor mai multe moduri de a servi o solicitare.
Orchestrator monitorizează starea, capacitatea și latența fiecărui furnizor pentru a distribui traficul către cei cu cele mai bune performanțe. Dacă o solicitare eșuează, aceasta poate fi reîncercată pe o altă implementare a aceluiași model, iar failoverul este gestionat fără ca echipele să fie nevoite să construiască singure această logică.
Pentru echipele care rulează milioane de solicitări pe zi, chiar și o mică diferență între ratele de succes ale solicitărilor, precum cea dintre 99,0% și 99,99%, poate afecta mii de răspunsuri. Cu Orchestrator, echipele nu mai trebuie să construiască sau să întrețină singure cod de failover.
Într-o lună de trafic de producție pe Orchestrator, solicitările Claude și GPT trimise prin Perplexity au avut rate de succes mai mari decât oricare dintre furnizorii individuali măsurați, precum și o variație zilnică mai mică în timpul incidentelor furnizorilor.
În previzualizare: Routes și Auto effort
Routes permite echipelor să descrie în limbaj natural ce solicitări ar trebui să gestioneze fiecare model și să seteze un model implicit. Echipele pot porni de la un profil integrat: „Cost redus”, „Echilibrat” sau „Calitate superioară”. Sau pot crea unul personalizat. Dacă echipele nu furnizează o descriere sau nu specifică un obiectiv, solicitarea este deservită de modelul implicit.
Tot în previzualizare, Auto effort ajustează cât raționament folosește un model compatibil în următoarea rundă, conform unei politici definite de dezvoltator. Un agent poate depune mai mult efort pentru a se redresa după o eroare a unui instrument, fără a schimba modelul.
Primii pași cu orchestrarea inteligentă a modelelor
Orchestrator este primul pas al platformei API Perplexity către orchestrarea inteligentă a modelelor. Aflați cum am construit și evaluat Routes, inclusiv de ce rutarea modelelor este greu de realizat corect.
Pentru a începe, creați o cheie API în API Console, direcționați un SDK OpenAI sau Anthropic existent către URL-ul de bază al Orchestrator și alegeți din catalogul de modele.
Ghidul de pornire rapidă explică cum se trimite prima solicitare în doar câteva minute. Echipele cu volume de lucru mari sau cu angajamente de utilizare pot scrie la api@perplexity.ai pentru mai multe informații despre prețurile în funcție de volum și despre capacitate.
Creați o cheie API chiar astăzi.