Bemutatjuk az Orchestratort: egyetlen API élvonalbeli és nyílt súlyú modellekhez

A Perplexity Orchestrator egyetlen API-ban biztosít hozzáférést élvonalbeli és nyílt súlyú modellekhez, egységes számlázással és feladatátvétellel.

An orchestra conductor surrounded by sweeping trails of light against a dark background.

A Perplexity alapjaiban többmodelles, így az emberek szabadon választhatják ki a munkájukhoz a legújabb élvonalbeli és nyílt súlyú modelleket. Ez a többmodelles megközelítés kihasználja az egyes modellek erősségeit, és csökkentheti a költségeket, ha egy feladathoz nincs szükség a legerősebb modellre. A háttérben orkesztrációs technológiánk több modellt is felhasználhat egyetlen feladat elvégzéséhez.

A vállalkozások is hasonló megközelítést alkalmaznak, hogy egyensúlyt teremtsenek a teljesítmény, a költségek és a rugalmasság között. Minden új modell megjelenése lehetőséget kínál a költségek csökkentésére vagy a minőség javítására. Csak ebben az évben az olyan laborok, mint az Anthropic és az OpenAI, több mint egy tucat új modellt adtak ki, emellett több mint 100 nyílt súlyú modell is megjelent. Bár ez több lehetőséget ad a csapatoknak az egyes munkaterhelésekhez, egyúttal több kezelendő szolgáltatót, szerződést és számlát is jelent.

Ma elindítjuk a Perplexity Orchestrator API-t, amellyel modellfüggetlen technológiánkat elérhetővé tesszük az MI-alkalmazásokat építő fejlesztők és csapatok számára. Egyetlen API-n keresztül a csapatok az egyszerű, nagy volumenű feladatokat olcsóbb modelleken futtathatják, a nagyobb teljesítményű modelleket pedig az igényesebb munkákra tarthatják fenn.

Az Orchestratorral a csapatok csökkenthetik és központosíthatják MI-kiadásaikat, és már a megjelenésükkor bevezethetik az új modelleket, anélkül hogy ez a teljesítmény vagy a rendelkezésre állás rovására menne. A csapatok eldönthetik, melyik modell kezelje az egyes munkaterheléseket, a Perplexity pedig gondoskodik a szolgáltatók közötti útválasztásról és a feladatátvételről a megbízható inferencia érdekében.

A Perplexity éles üzemű modellrétegére építve

A Perplexity minden nap éles környezetben futtat nyílt súlyú és élvonalbeli modelleket. Modellrétegünk több száz millió kérést irányít több mint 85 modell és több mint egy tucat szolgáltató között.

Modellt választani könnyebb, mint minden kérést gyorsan és megfizethetően kiszolgálni, amikor a szolgáltatók lelassulnak, kifogynak a kapacitásból, vagy árat változtatnak. Saját kiszolgálási költségeinket úgy csökkentettük, hogy a munkaterheléseket az egyes feladatokhoz leginkább illő modellekre helyeztük át.

Az Orchestrator hozzáférést biztosít a fejlesztőknek az e megközelítés mögött álló közös infrastruktúrához.

Az Orchestrator egyetlen API-n keresztül teszi elérhetővé ezt az inferenciaréteget. Támogatja az OpenAI, az Anthropic, a Google és az xAI modelljeit, valamint olyan nyílt súlyú modelleket, mint a GLM, a Kimi és a DeepSeek. A nyílt súlyú modelleket a Perplexity maga vagy inferenciapartnereken keresztül szolgálja ki.

Az Orchestrator támogatja az OpenAI Chat Completions, az OpenAI Responses és az Anthropic Messages formátumot. A csapatok továbbra is használhatják a megszokott szoftverfejlesztői készleteket (SDK-kat). A legtöbb csapat számára a kezdéshez elég frissíteni az API-kulcsot és az alap-URL-t, valamint kiválasztani egy elérhető modellt.

Egységes számlázás további platformdíj nélkül

Több labor és következtetési szolgáltató modelljeinek futtatása külön fiókokat, API-kulcsokat, szerződéseket, biztonsági felülvizsgálatokat és számlákat igényelhet. Emellett külön éves kötelezettségvállalásokkal is járhat egy olyan modellösszetétel alapján, amely heteken belül megváltozhat.

Az Orchestrator a támogatott modelleket egyetlen szolgáltató és egyetlen számla alá vonja, így a csapatok anélkül módosíthatják a modellösszetételüket, hogy minden egyes szolgáltatóval külön kötelezettségvállalásról kellene tárgyalniuk. A krediteken felül nincs további platformdíj.

A csapatok az API Console segítségével is nyomon követhetik a használatot és kezelhetik a költéseket:

  • Használati jelentések: kiadások modell, projekt, API-kulcs és dátum szerinti bontásban
  • API-kulcsok: Külön API-kulcsok a használat projekt vagy csapat szerinti nyomon követéséhez
  • Adminisztrátori vezérlők: Szervezeti modell-engedélyezési listák, felhasználói korlátozások, költési korlátok és kapacitáskérések

Megbízhatóbb kérések több szolgáltatón keresztül

A több szolgáltatón keresztül elérhető modellekkel a csapatok több úton is kiszolgálhatnak egy kérést.

Az Orchestrator nyomon követi az egyes szolgáltatók állapotát, kapacitását és késleltetését, hogy a forgalmat a legjobban teljesítők között ossza el. Ha egy kérés meghiúsul, ugyanannak a modellnek egy másik telepítésén is újrapróbálkozhat, így úgy kezeli a feladatátvételt, hogy a csapatoknak nem kell maguknak megépíteniük ehhez a logikát.

A naponta több millió kérést futtató csapatoknál már a kérések sikerességi arányának kis különbsége – a 99,0% és a 99,99% közötti eltérés – is több ezer választ érinthet. Az Orchestratorral a csapatoknak nem kell maguknak megépíteniük vagy karbantartaniuk a feladatátvételi kódot.

Az Orchestrator egyhavi éles forgalmában a Perplexityn keresztül küldött Claude- és GPT-kérések sikerességi aránya magasabb volt, mint bármelyik mért egyedi szolgáltatóé, és a szolgáltatói incidensek idején kisebb volt a napi ingadozás is.

Előzetes verzióban: Routes és Auto effort

A Routes segítségével a csapatok egyszerű nyelven leírhatják, hogy melyik modell milyen kéréseket kezeljen, és beállíthatnak egy alapértelmezett modellt. A csapatok kiindulhatnak a beépített Lower cost, Balanced vagy Higher quality profilból, vagy létrehozhatnak egyénit. Ha a csapatok nem adnak meg leírást vagy célt, az alapértelmezett modell szolgálja ki a kérést.

Szintén előzetes verzióban érhető el az Auto effort, amely a fejlesztő által meghatározott szabályzat szerint igazítja, hogy egy támogatott modell mennyi érvelést használjon a következő körében. Egy ügynök így több erőfeszítést fordíthat egy eszközhiba helyreállítására anélkül, hogy modellt váltana.

Első lépések az intelligens modellorkesztrációval

Az Orchestrator az első lépés a Perplexity API-platformján az intelligens modellorkesztráció felé. Ismerd meg, hogyan építettük fel és értékeltük a Routes funkciót, és azt is, miért nehéz jól megvalósítani a modellek útválasztását.

Az első lépésekhez hozz létre egy API-kulcsot az API-konzolban, irányíts egy meglévő OpenAI vagy Anthropic SDK-t az Orchestrator alap URL-jére, és válassz a modellkatalógusból.

A gyorsútmutató percek alatt végigvezet az első kérés elküldésén. A nagy volumenű vagy lekötött munkaterhelésekkel dolgozó csapatok az api@perplexity.ai címre írva kérhetnek további információt a mennyiségi árazásról és a kapacitásról.

Hozz létre egy API-kulcsot még ma.