Orchestrator: jedno API do niezawodnej inferencji

Łącz się z modelami AI o otwartych wagach i zastrzeżonymi przez jedno API z ujednoliconymi rozliczeniami i automatycznym przełączaniem awaryjnym w obrębie tego samego modelu.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator łączy modele o otwartych wagach i modele zastrzeżone w jednym API z ujednoliconymi rozliczeniami. Automatycznie wybiera dostawcę na podstawie dostępności, przepustowości i opóźnień, a nieudane żądania może ponowić w innym dostępnym wdrożeniu tego samego modelu.

Jedna integracja dla modeli o otwartych wagach i modeli zastrzeżonych

Orchestrator udostępnia modele o otwartych wagach hostowane w infrastrukturze inferencyjnej Perplexity obok modeli zastrzeżonych od innych dostawców. Aktualny katalog zawiera listę dostępnych modeli.

Obsługuje żądania OpenAI Chat Completions, OpenAI Responses i Anthropic Messages, więc możesz połączyć się za pomocą istniejącego pakietu SDK OpenAI lub Anthropic.

Przewodnik szybkiego startu i przewodnik po routingu zawierają przykłady użycia SDK i opisują obecne działanie routingu.

Niezawodność i szybkość u różnych dostawców

Niezawodność

Wybór Claude nie musi oznaczać polegania na jednym dostawcy: żądanie, które nie powiedzie się w Anthropic, wciąż może zakończyć się powodzeniem w AWS Bedrock. Przełączanie awaryjne między dostawcami pozwala zmienić wdrożenie obsługujące żądanie bez zmiany modelu.

Orchestrator wykorzystuje obserwowaną kondycję i przepustowość, aby rozdzielać żądania między wdrożenia modelu. Jeśli dostawca zwróci błąd, osiągnie limit szybkości lub przekroczy limit czasu, Orchestrator ponawia żądanie w innym wdrożeniu tego modelu, z limitami czasu do pierwszego tokena i całkowitego czasu trwania każdej próby.

W pomiarach z okresu od 4 października do 2 listopada 2026 r. żądania do modeli Claude i GPT przez Perplexity kończyły się powodzeniem częściej niż żądania kierowane do któregokolwiek z mierzonych przez nas pojedynczych dostawców. Ich dzienne wskaźniki powodzenia wahały się też mniej podczas incydentów u dostawców.

Odsetek udanych żądań od 4 października do 2 listopada 2026 r.: po lewej Claude; po prawej modele GPT dostępne zarówno przez OpenAI, jak i Azure.
Dzienne wskaźniki powodzenia żądań w tym samym okresie: po lewej Claude, po prawej GPT.

Za nieudane uznawaliśmy żądanie, gdy Orchestrator wyczerpał dostępne wdrożenia lub warstwa obsługująca zwróciła błąd, ale wykluczaliśmy błędy po stronie klienta, takie jak nieprawidłowe żądania i przekroczenia limitów szybkości klienta.

Szybkość generowania

Pracujemy nad routingiem adaptacyjnym uwzględniającym szybkość modeli, aby Orchestrator mógł dostosowywać wybór dostawcy w miarę zmian wydajności.

Najszybszy dostawca danego modelu zmienia się w czasie. W przypadku Claude Opus 5.5 Anthropic prowadził przez 15 z 30 dni, a AWS Bedrock przez pozostałe 15.

Mediana szybkości generowania Claude Opus 5.5 według dostawcy i dnia, od 4 października do 2 listopada 2026 r. Wyróżniona linia śledzi szybszego dostawcę w danym dniu, ilustrując cel routingu uwzględniającego bieżącą szybkość.

W tym samym 30-dniowym okresie mediana szybkości generowania GPT-5.6 Sol w Azure była o 27% wyższa niż w OpenAI.

Mediana szybkości generowania GPT-5.6 Sol po pierwszym tokenie, od 4 października do 2 listopada 2026 r.

Jeden rachunek za wszystkie modele

Każde żądanie jest wliczane wyłącznie do użycia tokenów modelu, który udzielił odpowiedzi. Orchestrator nalicza opublikowane stawki za token danego modelu niezależnie od tego, który dostawca obsługuje żądanie, więc przełączenie awaryjne na innego dostawcę nie zmienia tej stawki. Użycie jest rozliczane z tych samych przedpłaconych kredytów co reszta Twojego projektu Perplexity API.

W konsoli API możesz sprawdzać wydatki według modelu i filtrować użycie według klucza API. Możesz też kupować kredyty za pośrednictwem AWS Marketplace.

Automatyczny routing (wersja zapoznawcza): dopasuj każde zadanie do właściwego modelu

Orchestrator oferuje automatyczny routing — opcjonalną funkcję dostępną w wersji zapoznawczej. Wybiera on model dla każdego żądania na podstawie profilu, który łączy opisy zadań w prostym języku z modelami. Możesz zdefiniować własny profil lub użyć wbudowanego profilu domyślnego Orchestratora.

Żądania z automatycznym routingiem używają perplexity/auto jako modelu. W przypadku profilu niestandardowego dołącz obiekt routingu z polami default_model i routes. Każda trasa określa nazwę, opis i model.

Przy każdym żądaniu perplexity/auto wywołuje nasz model decyzyjny, który odczytuje rozmowę i dopasowuje ją do opisów tras, nie widząc nazw modeli. Następnie Orchestrator wysyła żądanie do modelu przypisanego do wybranej trasy lub — jeśli żadna trasa nie pasuje — do Twojego modelu domyślnego. Orchestrator używa modelu domyślnego również wtedy, gdy model decyzyjny zawiedzie lub przekroczy limit czasu.

Poniższe przykłady obejmują omijanie odmów modeli dzięki routingowi, typy zgłoszeń w obsłudze klienta oraz zmiany zadań w obrębie rozmowy.

Omijanie odmów dzięki routingowi

Agent może korzystać z automatycznego routingu, aby unikać przewidywalnych odmów, zachowując preferowany model do innych zadań. Anthropic informuje w dokumentacji, że zabezpieczenia Claude Fable 5.2 mogą blokować nieszkodliwe prace z zakresu cyberbezpieczeństwa i nauk o życiu. Przetestowaliśmy ten przypadek użycia na podzbiorze 63 zadań z Terminal-Bench 4.1.

Uruchomiliśmy Claude Code z samym modelem Fable oraz z dwoma niestandardowymi profilami routingu. Oba profile zachowywały Fable jako model domyślny i przypisywały trasy dotyczące cyberbezpieczeństwa, biologii oraz after_refusal do GPT-6 Astra lub GPT-6.1 Sol. Dla porównania uwzględniliśmy też samodzielne przebiegi Astra i Sol w Codex.

W tym skorygowanym porównaniu obie konfiguracje Claude Code z routingiem rozwiązują 41 z 63 zadań, wobec 38 w przypadku samego modelu Fable, przy wyższym szacowanym koszcie na zadanie. Wykres przedstawia ten kompromis obok wyników Astra i Sol uruchomionych w Codex.

Terminal-Bench 4.1, skorygowane porównanie na 63 zadaniach. Wynik Astra w Codex obejmuje jedno założone zaliczenie; koszty są szacunkowe.

Poniższy przykład wykorzystuje Sol: trasy dotyczące bezpieczeństwa i biologii wybierają go, zanim dojdzie do odmowy, a after_refusal wybiera go, gdy rozmowa zawiera już odmowę.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

Routing według typu zgłoszenia

W przypadku asystenta obsługi klienta większość pytań wymaga jedynie szybkiego, niedrogiego modelu. Spór dotyczący płatności wymaga starannej, empatycznej odpowiedzi. Niedziałająca integracja wymaga rozwiązywania problemów. Asystent może używać dwóch tras — dla sporów dotyczących płatności i problemów technicznych — a rutynowe pytania pozostawić modelowi domyślnemu:

Trasa

Opis zadania

Model

default_model

Wszystko inne, np. jak zmienić adres e-mail konta

GLM-5.3 Flash

billing_dispute

Klient kwestionuje opłatę, prosi o zwrot pieniędzy lub jest niezadowolony z kwoty, którą obciążono jego konto.

Claude Opus 5.5

technical_issue

Klient zgłasza błąd, komunikat o błędzie lub integrację, która przestała działać i wymaga rozwiązania problemu.

GPT-6.1 Sol

Wysyłanie żądania z routingiem

Jak perplexity/auto obsługuje żądanie: model decyzyjny wybiera trasę lub zwraca brak dopasowania, a Orchestrator wywołuje wybrany model lub Twój model domyślny. Nagłówki odpowiedzi informują o wyniku routingu.

Poniższe żądanie kieruje zgłoszenie dotyczące awarii API przez opisany wyżej profil obsługi klienta.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

Model decyzyjny dopasował nieudane wywołania API do trasy technical_issue, więc Orchestrator wysłał żądanie do GPT-6.1 Sol. Odpowiedź zawiera wybraną trasę oraz model, który udzielił odpowiedzi:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route wskazuje wybraną trasę albo jej brak (none). x-perplexity-autoroute-outcome informuje, jak żądanie zostało obsłużone, w tym czy zostało skierowane na trasę, czy przekazane do Twojego modelu domyślnego. Pole model wskazuje model, który udzielił odpowiedzi.

Routing w obrębie rozmowy

Gdy rozmowa przechodzi między zadaniami, model, który obsłużył jedną turę, może nie być właściwym wyborem dla następnej. Twoje kolejne żądania zawierają historię rozmowy, więc zarówno model decyzyjny, jak i wybrany model mogą odczytać wcześniejsze tury, w tym odpowiedzi innych modeli. Przeprowadziliśmy trzy rzeczywiste czteroturowe rozmowy: dotyczące obsługi klienta, kodowania i badań.

Obsługa klienta

Załóżmy, że w powyższym przykładzie ta sama rozmowa przechodzi od pytania o konto do sporu dotyczącego płatności, a następnie do niedziałającej integracji. Gdy zadanie się zmienia, model decyzyjny wybiera pasującą trasę; gdy użytkownik na koniec dziękuje, Orchestrator wraca do GLM-5.3 Flash.

Rozmowa z obsługą klienta: trasa i model w każdej turze.

Buforowanie promptów przy przekazywaniu między modelami

Każde żądanie zawiera pełną historię wiadomości, ale każdy model utrzymuje własną pamięć podręczną. Gdy w 4. turze rozmowa wraca do GLM Flash, model ten może ponownie wykorzystać pasujący prefiks z 1. tury, o ile nadal znajduje się on w pamięci podręcznej, a następnie przetworzyć odpowiedzi dodane przez Opus i Sol w turach 2 i 3. To samo dotyczy modeli Opus lub Sol, jeśli zostaną wybrane w 5. turze.

Orchestrator w miarę możliwości utrzymuje powiązane żądania w tym samym wdrożeniu, aby zachować buforowanie promptów. Aby pomóc utrzymać to powiązanie, używaj w całej rozmowie stałej wartości prompt_cache_key.

Buforowanie promptów przy przekazywaniu między modelami: GLM Flash może ponownie wykorzystać swój wcześniejszy prefiks, a fragment rozmowy, który pojawił się w międzyczasie, przetwarza jako nowe dane wejściowe.

Asystent do programowania

W 4. turze rozmowy o kodowaniu GLM-5.3 Flash pisze docstring, korzystając z kontekstu diagnozy błędu przygotowanej przez Claude Opus 5.5 oraz planu implementacji opracowanego przez GPT-6.1 Sol.

Profil routingu przypisuje zmiany nazw i drobne edycje do GLM-5.3 Flash, diagnozę błędów do Claude Opus 5.5, a planowanie zmian obejmujących wiele modułów do GPT-6.1 Sol:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
Rozmowa o kodowaniu: trasa i model w każdej turze.

Asystent badawczy

W przykładzie badawczym pytanie o fakty prowadzi do obliczeń, które następnie stają się podstawą notatki. Profil przypisuje pytania o fakty do GLM-5.3 Flash, obliczenia do GPT-6.1 Sol, a pisanie notatek do Claude Opus 5.5:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

Notatka w 3. turze wykorzystuje obliczenia z poprzedniej odpowiedzi GPT-6.1 Sol i zaokrągla wartości, nie prosząc użytkownika o ich ponowne podanie.

Rozmowa badawcza: trasa i model w każdej turze.

Pierwsze kroki z Orchestratorem

Połącz istniejący pakiet SDK OpenAI lub Anthropic, używając klucza API Perplexity, odpowiedniego bazowego adresu URL Orchestratora oraz modelu z katalogu.

Przewodnik szybkiego startu opisuje konfigurację, aktualną dostępność i sposób uzyskania dostępu. W razie pytań skontaktuj się z nami pod adresem api@perplexity.ai.