Przedstawiamy Orchestrator: jedno API dla najbardziej zaawansowanych modeli i modeli o otwartych wagach

Perplexity Orchestrator zapewnia dostęp do najbardziej zaawansowanych modeli i modeli o otwartych wagach z ujednoliconymi rozliczeniami i przełączaniem awaryjnym w jednym API.

An orchestra conductor surrounded by sweeping trails of light against a dark background.

Perplexity od podstaw opiera się na wielu modelach, dając ludziom swobodę wyboru najnowszych modeli czołowych i modeli o otwartych wagach do ich pracy. To wielomodelowe podejście wykorzystuje mocne strony każdego modelu i może obniżać koszty, gdy zadanie nie wymaga najpotężniejszego modelu. Za kulisami nasza technologia orkiestracji może używać kilku modeli do wykonania jednego zadania.

Firmy stosują podobne podejście, aby zrównoważyć wydajność, koszty i elastyczność. Każda premiera nowego modelu to okazja do obniżenia kosztów lub poprawy jakości. Tylko w tym roku laboratoria takie jak Anthropic i OpenAI wydały ponad tuzin nowych modeli. Pojawiło się też ponad 100 modeli o otwartych wagach. Choć daje to zespołom więcej opcji dla każdego obciążenia, oznacza też więcej dostawców, umów i faktur do zarządzania.

Dziś wprowadzamy Perplexity Orchestrator API, udostępniając naszą technologię niezależną od modeli programistom i zespołom tworzącym aplikacje AI. Za pośrednictwem jednego API zespoły mogą uruchamiać proste zadania o dużym wolumenie na tańszych modelach, a mocniejsze modele zachować do bardziej wymagającej pracy.

Dzięki usłudze Orchestrator zespoły mogą obniżyć i scentralizować wydatki na AI oraz wdrażać nowe modele zaraz po ich premierze – bez kompromisów w zakresie wydajności i dostępności. Zespoły mogą wybrać, który model obsługuje dane obciążenie, a Perplexity zajmuje się routingiem między dostawcami i przełączaniem awaryjnym, aby zapewnić niezawodną inferencję.

Zbudowany na produkcyjnej warstwie modeli Perplexity

Perplexity codziennie uruchamia w środowisku produkcyjnym modele o otwartych wagach i modele czołowe. Nasza warstwa modeli kieruje setki milionów żądań do ponad 85 modeli i kilkunastu dostawców.

Wybór modelu jest łatwiejszy niż utrzymanie szybkości i przystępnych kosztów każdego żądania, gdy dostawcy zwalniają, brakuje im przepustowości lub zmieniają ceny. Obniżyliśmy własne koszty obsługi, przenosząc obciążenia na modele najlepiej dopasowane do poszczególnych zadań.

Orchestrator daje deweloperom dostęp do wspólnej infrastruktury, na której opiera się to podejście.

Orchestrator udostępnia tę warstwę inferencji za pośrednictwem jednego API. Obejmuje modele OpenAI, Anthropic, Google i xAI, a także modele o otwartych wagach, takie jak GLM, Kimi i DeepSeek. Modele o otwartych wagach są udostępniane przez Perplexity lub za pośrednictwem partnerów zapewniających inferencję.

Orchestrator obsługuje formaty OpenAI Chat Completions, OpenAI Responses i Anthropic Messages. Zespoły mogą nadal korzystać ze znanych zestawów narzędzi programistycznych (SDK). Dla większości zespołów rozpoczęcie pracy sprowadza się do zaktualizowania klucza API i bazowego adresu URL oraz wybrania dostępnego modelu.

Ujednolicone rozliczenia bez dodatkowej opłaty za platformę

Korzystanie z modeli wielu laboratoriów i dostawców inferencji może wymagać oddzielnych kont, kluczy API, umów, przeglądów bezpieczeństwa i faktur. Może też oznaczać oddzielne roczne zobowiązania oparte na zestawie modeli, który może się zmienić w ciągu kilku tygodni.

Orchestrator łączy obsługiwane modele u jednego dostawcy i na jednym rachunku, dzięki czemu zespoły mogą zmieniać zestaw modeli bez negocjowania osobnych zobowiązań z każdym dostawcą. Poza kredytami nie ma żadnej dodatkowej opłaty za platformę.

Zespoły mogą też śledzić użycie i zarządzać wydatkami w konsoli API:

  • Raporty użycia: wydatki w podziale na model, projekt, klucz API i datę
  • Klucze API: oddzielne klucze API do śledzenia użycia według projektu lub zespołu
  • Kontrola administracyjna: listy dozwolonych modeli dla organizacji, ograniczenia użytkowników, limity wydatków i wnioski o przydział przepustowości

Bardziej niezawodne żądania u różnych dostawców

Modele dostępne u wielu dostawców dają zespołom więcej niż jeden sposób obsłużenia żądania.

Orchestrator monitoruje kondycję, przepustowość i opóźnienia każdego dostawcy, aby rozdzielać ruch między tych, którzy działają najlepiej. Jeśli żądanie się nie powiedzie, może zostać ponowione w innym wdrożeniu tego samego modelu, a przełączanie awaryjne odbywa się bez konieczności samodzielnego budowania tej logiki przez zespoły.

W przypadku zespołów obsługujących miliony żądań dziennie nawet niewielka różnica we wskaźniku powodzenia żądań, np. między 99,0% a 99,99%, może wpłynąć na tysiące odpowiedzi. Dzięki usłudze Orchestrator zespoły nie muszą samodzielnie tworzyć ani utrzymywać kodu przełączania awaryjnego.

W ciągu miesiąca ruchu produkcyjnego w usłudze Orchestrator żądania do modeli Claude i GPT kierowane przez Perplexity miały wyższy wskaźnik powodzenia niż którykolwiek z mierzonych pojedynczych dostawców, a także mniejsze dzienne wahania podczas incydentów u dostawców.

W wersji zapoznawczej: Routes i Auto effort

Funkcja Routes pozwala zespołom opisać w prostym języku, które żądania ma obsługiwać każdy model, oraz ustawić model domyślny. Zespoły mogą zacząć od wbudowanego profilu „Lower cost”, „Balanced” lub „Higher quality” albo utworzyć własny. Jeśli zespół nie poda opisu ani nie określi celu, żądanie obsługuje model domyślny.

Również w wersji zapoznawczej dostępna jest funkcja Auto effort, która dostosowuje intensywność rozumowania obsługiwanego modelu w kolejnej turze zgodnie z zasadami zdefiniowanymi przez dewelopera. Agent może poświęcić więcej wysiłku na poradzenie sobie z błędem narzędzia bez zmiany modelu.

Zacznij korzystać z inteligentnej orkiestracji modeli

Orchestrator to pierwszy krok w ramach platformy API Perplexity w kierunku inteligentnej orkiestracji modeli. Dowiedz się, jak zbudowaliśmy i oceniliśmy Routes, w tym dlaczego prawidłowy routing modeli jest trudny.

Aby zacząć, utwórz klucz API w konsoli API, skieruj istniejący pakiet SDK OpenAI lub Anthropic na bazowy adres URL usługi Orchestrator i wybierz model z katalogu modeli.

Przewodnik szybkiego startu pozwala wysłać pierwsze żądanie w kilka minut. Zespoły z dużymi obciążeniami lub stałymi zobowiązaniami mogą napisać na adres api@perplexity.ai, aby uzyskać więcej informacji o cenach przy dużych wolumenach i dostępnej przepustowości.

Utwórz klucz API już dziś.