Orchestrator: jedan API za pouzdanu inferenciju

Povežite se sa AI modelima otvorenih težina i vlasničkim AI modelima putem jednog API-ja, uz jedinstveni obračun i automatsko prebacivanje na drugu implementaciju istog modela.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator objedinjuje modele otvorenih težina i vlasničke modele u jedan API sa jedinstvenim obračunom. Automatski bira dobavljača na osnovu dostupnosti, kapaciteta i latencije, a neuspele zahteve može ponovo da pošalje drugoj dostupnoj implementaciji istog modela.

Jedna integracija za modele otvorenih težina i vlasničke modele

Orchestrator opslužuje modele otvorenih težina hostovane na Perplexity infrastrukturi za inferenciju, uz vlasničke modele drugih dobavljača. Trenutni katalog navodi dostupne modele.

Prihvata zahteve u formatima OpenAI Chat Completions, OpenAI Responses i Anthropic Messages, pa se možete povezati putem postojećeg OpenAI ili Anthropic SDK-a.

Vodič za brzi početak i vodič za rutiranje sadrže primere za SDK i opis trenutnog ponašanja rutiranja.

Pouzdanost i brzina kod različitih dobavljača

Pouzdanost

Izbor modela Claude ne mora da znači oslanjanje na jednog dobavljača: zahtev koji ne uspe kod kompanije Anthropic i dalje može da uspe na platformi AWS Bedrock. Prebacivanje na drugog dobavljača omogućava promenu implementacije koja opslužuje zahtev bez promene modela.

Orchestrator na osnovu uočenog stanja i kapaciteta raspoređuje zahteve među implementacijama modela. Ako dobavljač vrati grešku, dostigne ograničenje broja zahteva ili mu istekne vreme, Orchestrator ponovo pokušava na drugoj implementaciji tog modela, uz ograničenja vremena do prvog tokena i ukupnog trajanja svakog pokušaja.

Prema merenjima od 4. oktobra do 2. novembra 2026, zahtevi za Claude i GPT upućeni preko platforme Perplexity uspevali su češće od zahteva upućenih bilo kom pojedinačnom dobavljaču koji smo merili. Njihove dnevne stope uspešnosti takođe su manje varirale tokom incidenata kod dobavljača.

Stope uspešnosti zahteva, od 4. oktobra do 2. novembra 2026: levo Claude; desno GPT modeli dostupni i preko kompanije OpenAI i preko platforme Azure.
Dnevne stope uspešnosti zahteva u istom periodu: levo Claude, a desno GPT.

Zahtev smo smatrali neuspelim kada je Orchestrator iscrpeo dostupne implementacije ili je sloj za opsluživanje vratio grešku, ali smo isključili greške na strani klijenta, kao što su nevažeći zahtevi i prekoračenja ograničenja broja zahteva za klijenta.

Brzina generisanja izlaza

Radimo na adaptivnom rutiranju koje uzima u obzir brzinu modela, kako bi Orchestrator mogao da prilagođava izbor dobavljača kada se performanse promene.

Najbrži dobavljač za bilo koji model menja se tokom vremena. Za Claude Opus 5.5, Anthropic je bio najbrži 15 od 30 dana, a AWS Bedrock preostalih 15.

Medijalna brzina generisanja izlaza za Claude Opus 5.5 po dobavljaču i danu, od 4. oktobra do 2. novembra 2026. Istaknuta linija za svaki dan prati bržeg dobavljača i ilustruje cilj rutiranja koje u realnom vremenu uzima u obzir brzinu.

U istom periodu od 30 dana, medijalna brzina generisanja izlaza za GPT-5.6 Sol na platformi Azure bila je 27% veća nego kod kompanije OpenAI.

Medijalna brzina generisanja izlaza za GPT-5.6 Sol nakon prvog tokena, od 4. oktobra do 2. novembra 2026.

Jedan račun za sve modele

Svaki zahtev se obračunava samo u okviru potrošnje tokena modela koji je odgovorio. Orchestrator naplaćuje objavljene cene po tokenu za svaki model, bez obzira na to koji dobavljač opslužuje zahtev, tako da prebacivanje na drugog dobavljača ne menja tu cenu. Potrošnja se pokriva iz istih unapred plaćenih kredita kao i ostatak vašeg Perplexity API projekta.

U API Console možete da pregledate potrošnju po modelu i filtrirate korišćenje po API ključu. Kredite možete kupiti i putem AWS Marketplace.

Automatsko rutiranje (pregledna verzija): pravi model za svaki zadatak

Orchestrator nudi automatsko rutiranje, opcionalnu funkciju dostupnu u preglednoj verziji. Ona bira model za svaki zahtev pomoću profila koji povezuje opise zadataka napisane običnim jezikom sa modelima. Možete da definišete sopstveni profil ili da koristite ugrađeni podrazumevani profil koji nudi Orchestrator.

Zahtevi za automatsko rutiranje koriste perplexity/auto kao model. Za prilagođeni profil uključite objekat za rutiranje sa poljima default_model i routes. Svaka ruta navodi naziv, opis i model.

Za svaki zahtev, perplexity/auto poziva naš model za odlučivanje, koji čita razgovor i upoređuje ga sa opisima ruta, bez uvida u nazive modela. Orchestrator zatim šalje zahtev modelu dodeljenom izabranoj ruti ili vašem podrazumevanom modelu ako se nijedna ruta ne poklapa. Orchestrator koristi vaš podrazumevani model i ako model za odlučivanje ne uspe ili mu istekne vreme.

Primeri u nastavku obuhvataju rutiranje radi zaobilaženja odbijanja modela, vrste problema u korisničkoj podršci i promene zadataka unutar razgovora.

Rutiranje radi zaobilaženja odbijanja

Agent može da koristi automatsko rutiranje kako bi izbegao predvidiva odbijanja, a da pritom zadrži željeni model za ostale zadatke. Anthropic navodi da zaštitni mehanizmi modela Claude Fable 5.2 mogu da blokiraju bezopasne zadatke iz oblasti sajber bezbednosti i nauka o životu. Ovaj slučaj upotrebe testirali smo na podskupu od 63 zadatka iz Terminal-Bench 4.1.

Pokrenuli smo Claude Code samo sa modelom Fable i sa dva prilagođena profila rutiranja. Oba profila su zadržala Fable kao podrazumevani model i dodelila rute za sajber bezbednost, biologiju i after_refusal modelu GPT-6 Astra ili GPT-6.1 Sol. Radi poređenja, uključili smo i samostalna pokretanja modela Astra i Sol u okruženju Codex.

U ovom prilagođenom poređenju, obe konfiguracije Claude Code sa rutiranjem rešavaju 41 od 63 zadatka, u odnosu na 38 kada se koristi samo Fable, ali uz veći procenjeni trošak po zadatku. Grafikon prikazuje ovaj kompromis uz modele Astra i Sol pokrenute u okruženju Codex.

Terminal-Bench 4.1, prilagođeno poređenje na 63 zadatka. Astra u okruženju Codex uključuje jedan pretpostavljeni uspešan prolaz; troškovi su procenjeni.

Primer u nastavku koristi Sol: rute za bezbednost i biologiju biraju ga pre nego što dođe do odbijanja, a after_refusal ga bira kada razgovor već sadrži odbijanje.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

Rutiranje prema vrsti problema

Asistentu za korisničku podršku za većinu pitanja dovoljan je brz i jeftin model. Spor oko naplate zahteva pažljiv i empatičan odgovor. Neispravna integracija zahteva rešavanje problema. Asistent može da koristi dve rute, za sporove oko naplate i za tehničke probleme, a rutinska pitanja da prepusti svom podrazumevanom modelu:

Ruta

Opis zadatka

Model

default_model

Sve ostalo, na primer kako promeniti imejl adresu naloga

GLM-5.3 Flash

billing_dispute

Klijent osporava naplatu, traži povraćaj novca ili je nezadovoljan iznosom koji mu je naplaćen.

Claude Opus 5.5

technical_issue

Klijent prijavljuje grešku u radu, poruku o grešci ili integraciju koja je prestala da radi i zahteva rešavanje problema.

GPT-6.1 Sol

Slanje rutiranog zahteva

Kako perplexity/auto obrađuje zahtev: model za odlučivanje bira rutu ili vraća rezultat da nema poklapanja, a Orchestrator poziva izabrani model ili vaš podrazumevani model. Zaglavlja odgovora navode ishod rutiranja.

Zahtev u nastavku šalje problem sa neuspešnim API pozivom kroz gorenavedeni profil za korisničku podršku.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

Model za odlučivanje je neuspele API pozive povezao sa rutom technical_issue, pa je Orchestrator poslao zahtev modelu GPT-6.1 Sol. Odgovor sadrži izabranu rutu i model koji je odgovorio:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route navodi izabranu rutu ili to da ruta nije izabrana. x-perplexity-autoroute-outcome pokazuje kako je zahtev obrađen, uključujući i to da li je rutiran ili je prepušten vašem podrazumevanom modelu. Polje model navodi model koji je odgovorio.

Rutiranje unutar razgovora

Kako razgovor prelazi s jednog zadatka na drugi, model koji je obradio jedan korak možda nije pravi izbor za sledeći. Vaši naknadni zahtevi sadrže istoriju razgovora, pa i model za odlučivanje i izabrani model mogu da pročitaju ranije korake, uključujući odgovore drugih modela. Sproveli smo tri stvarna razgovora od po četiri koraka: korisnička podrška, kodiranje i istraživanje.

Korisnička podrška

Pretpostavimo da u gorenavedenom primeru isti razgovor pređe sa pitanja o nalogu na spor oko naplate, a zatim na neispravnu integraciju. Kako se zadatak menja, model za odlučivanje bira odgovarajuću rutu; kada korisnik na kraju pošalje zahvalnost, Orchestrator se vraća na GLM-5.3 Flash.

Razgovor o podršci: ruta i model za svaki korak.

Keširanje upita pri prelasku između modela

Svaki zahtev sadrži celu istoriju poruka, ali svaki model održava sopstveni keš. Kada se razgovor u 4. koraku vrati na GLM Flash, on može ponovo da iskoristi odgovarajući prefiks iz 1. koraka dok je još u kešu, a zatim obradi odgovore koje su Opus i Sol dodali u 2. i 3. koraku. Isto važi za Opus ili Sol ako budu izabrani u 5. koraku.

Orchestrator kada god je moguće zadržava povezane zahteve na istoj implementaciji kako bi očuvao keširanje upita. Ponovo koristite stabilan prompt_cache_key za razgovor kako biste lakše održali to vezivanje.

Keširanje upita pri prelasku između modela: GLM Flash može ponovo da iskoristi svoj raniji prefiks, dok deo razgovora nastao u međuvremenu obrađuje kao novi ulaz.

Asistent za kodiranje

U 4. koraku razgovora o kodiranju, GLM-5.3 Flash piše docstring koristeći kontekst iz dijagnoze greške koju je dao Claude Opus 5.5 i plana implementacije koji je izradio GPT-6.1 Sol.

Profil rutiranja dodeljuje preimenovanja i manje izmene modelu GLM-5.3 Flash, dijagnozu grešaka modelu Claude Opus 5.5, a planiranje izmena u više modula modelu GPT-6.1 Sol:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
Razgovor o kodiranju: ruta i model za svaki korak.

Asistent za istraživanje

U primeru istraživanja, činjenično pitanje vodi do proračuna, koji zatim postaje osnova za memorandum. Profil dodeljuje činjenična pitanja modelu GLM-5.3 Flash, proračune modelu GPT-6.1 Sol, a pisanje memoranduma modelu Claude Opus 5.5:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

Memorandum u 3. koraku koristi proračune iz prethodnog odgovora modela GPT-6.1 Sol i zaokružuje brojke, a da od korisnika ne traži da ih ponovi.

Razgovor o istraživanju: ruta i model za svaki korak.

Počnite da koristite Orchestrator

Povežite postojeći OpenAI ili Anthropic SDK pomoću Perplexity API ključa, odgovarajućeg osnovnog URL-a za Orchestrator i modela iz kataloga.

Vodič za brzi početak obuhvata podešavanje, trenutnu dostupnost i pristup. Ako imate pitanja, pišite nam na api@perplexity.ai.