Orchestrator: jedan API za pouzdanu inferenciju
Povežite se s AI modelima otvorenih težina i vlasničkim AI modelima putem jednog API-ja s objedinjenom naplatom i automatskim prebacivanjem na drugog pružatelja istog modela.

Orchestrator okuplja modele s otvorenim težinama i vlasničke modele u jednom API-ju s objedinjenom naplatom. Automatski odabire pružatelja na temelju dostupnosti, kapaciteta i latencije te može ponoviti neuspjele zahtjeve na drugoj dostupnoj implementaciji istog modela.
Jedna integracija za modele s otvorenim težinama i vlasničke modele
Orchestrator poslužuje modele s otvorenim težinama smještene na infrastrukturi za inferenciju tvrtke Perplexity, uz vlasničke modele drugih pružatelja. Trenutačni katalog navodi dostupne modele.
Prihvaća zahtjeve u formatima OpenAI Chat Completions, OpenAI Responses i Anthropic Messages, pa se možete povezati putem postojećeg OpenAI ili Anthropic SDK-a.
Vodič za brzi početak i vodič za usmjeravanje sadrže primjere za SDK i opis trenutačnog ponašanja usmjeravanja.
Pouzdanost i brzina kod različitih pružatelja
Pouzdanost
Odabir modela Claude ne mora značiti oslanjanje na jednog pružatelja: zahtjev koji ne uspije kod pružatelja Anthropic i dalje može uspjeti na platformi AWS Bedrock. Prebacivanje na drugog pružatelja omogućuje promjenu implementacije koja poslužuje zahtjev bez promjene modela.
Orchestrator na temelju uočenog stanja i kapaciteta raspoređuje zahtjeve među implementacijama modela. Ako pružatelj vrati pogrešku, dosegne ograničenje broja zahtjeva ili mu istekne vrijeme, Orchestrator ponovno pokušava na drugoj implementaciji tog modela, uz ograničenja vremena do prvog tokena i ukupnog trajanja svakog pokušaja.
U mjerenjima od 4. listopada do 2. studenoga 2026. zahtjevi za modele Claude i GPT upućeni putem platforme Perplexity češće su bili uspješni od zahtjeva upućenih bilo kojem pojedinačnom pružatelju koji smo mjerili. Njihove dnevne stope uspješnosti također su manje varirale tijekom incidenata kod pružatelja.
Zahtjev smo smatrali neuspjelim kada je Orchestrator iscrpio dostupne implementacije ili je sloj za posluživanje vratio pogrešku, ali smo isključili pogreške klijenta, kao što su nevaljani zahtjevi i prekoračenja ograničenja broja zahtjeva na strani klijenta.
Brzina generiranja
Radimo na prilagodljivom usmjeravanju koje uzima u obzir brzinu modela kako bi Orchestrator mogao prilagođavati odabir pružatelja ovisno o promjenama performansi.
Najbrži pružatelj za bilo koji model mijenja se s vremenom. Za Claude Opus 5.5 Anthropic je prednjačio 15 od 30 dana, a AWS Bedrock preostalih 15.
Tijekom istih 30 dana medijan brzine generiranja modela GPT-5.6 Sol kod pružatelja Azure bio je 27 % veći nego kod pružatelja OpenAI.
Jedan račun za sve modele
Svaki se zahtjev obračunava samo prema potrošnji tokena modela koji je odgovorio. Orchestrator naplaćuje objavljene cijene po tokenu za svaki model bez obzira na to koji pružatelj poslužuje zahtjev, pa prebacivanje na drugog pružatelja ne mijenja tu cijenu. Potrošnja se naplaćuje iz istih unaprijed plaćenih kredita kao i ostatak vašeg projekta za Perplexity API.
U konzoli API Console možete pregledati potrošnju po modelu i filtrirati korištenje po API ključu. Kredite možete kupiti i putem platforme AWS Marketplace.
Automatsko usmjeravanje (pretpregled): pravi model za svaki zadatak
Orchestrator nudi automatsko usmjeravanje, neobveznu značajku dostupnu u pretpregledu. Ona odabire model za svaki zahtjev s pomoću profila koji povezuje opise zadataka na običnom jeziku s modelima. Možete definirati vlastiti profil ili upotrijebiti ugrađeni zadani profil alata Orchestrator.
Zahtjevi za automatsko usmjeravanje kao model upotrebljavaju perplexity/auto. Za prilagođeni profil uključite objekt za usmjeravanje s poljima default_model i routes. Svaka ruta navodi naziv, opis i model.
Za svaki zahtjev perplexity/auto poziva naš model odlučivanja koji čita razgovor i uspoređuje ga s opisima ruta, a da pritom ne vidi nazive modela. Orchestrator zatim šalje zahtjev modelu dodijeljenom odabranoj ruti ili vašem zadanom modelu ako nijedna ruta ne odgovara. Orchestrator upotrebljava zadani model i ako model odlučivanja ne uspije ili mu istekne vrijeme.
Primjeri u nastavku obuhvaćaju usmjeravanje kojim se zaobilaze odbijanja modela, vrste problema u korisničkoj podršci i promjene zadatka unutar razgovora.
Usmjeravanje kojim se zaobilaze odbijanja
Agent može upotrebljavati automatsko usmjeravanje kako bi izbjegao predvidljiva odbijanja, a pritom zadržao željeni model za ostale zadatke. Anthropic navodi da zaštitni mehanizmi modela Claude Fable 5.2 mogu blokirati bezopasne zadatke iz područja kibernetičke sigurnosti i znanosti o životu. Taj smo slučaj upotrebe testirali na podskupu od 63 zadatka iz skupa Terminal-Bench 4.1.
Pokrenuli smo Claude Code samo s modelom Fable te s dva prilagođena profila usmjeravanja. Oba su profila zadržala Fable kao zadani model, a rute za kibernetičku sigurnost, biologiju i after_refusal dodijelila modelu GPT-6 Astra ili GPT-6.1 Sol. Radi usporedbe uključili smo i zasebna pokretanja modela Astra i Sol u alatu Codex.
U ovoj prilagođenoj usporedbi obje konfiguracije alata Claude Code s usmjeravanjem rješavaju 41 od 63 zadatka, u odnosu na 38 kada se koristi samo Fable, uz veći procijenjeni trošak po zadatku. Grafikon prikazuje taj kompromis uz modele Astra i Sol pokrenute u alatu Codex.
Primjer u nastavku upotrebljava Sol: rute za sigurnost i biologiju odabiru ga prije nego što dođe do odbijanja, a after_refusal ga odabire kada razgovor već sadrži odbijanje.
"routing": {
"default_model": "anthropic/claude-fable-5-2",
"routes": [
{"name": "security",
"description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.",
"model": "openai/gpt-6.1-sol"},
{"name": "biology",
"description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.",
"model": "openai/gpt-6.1-sol"},
{"name": "after_refusal",
"description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.",
"model": "openai/gpt-6.1-sol"}
]
}Usmjeravanje prema vrsti problema
Asistentu za korisničku podršku za većinu je pitanja dovoljan brz i jeftin model. Spor oko naplate zahtijeva pažljiv i empatičan odgovor. Neispravna integracija zahtijeva otklanjanje poteškoća. Asistent može upotrebljavati dvije rute, za sporove oko naplate i za tehničke probleme, a rutinska pitanja prepustiti svojem zadanom modelu:
Ruta | Opis zadatka | Model |
default_model | Sve ostalo, primjerice kako promijeniti adresu e-pošte računa | GLM-5.3 Flash |
billing_dispute | Korisnik osporava naplatu, traži povrat novca ili je nezadovoljan iznosom koji mu je naplaćen. | Claude Opus 5.5 |
technical_issue | Korisnik prijavljuje programsku pogrešku, poruku o pogrešci ili integraciju koja je prestala raditi i zahtijeva otklanjanje poteškoća. | GPT-6.1 Sol |
Slanje usmjerenog zahtjeva
Zahtjev u nastavku šalje prijavu kvara API-ja putem gore navedenog profila za korisničku podršku.
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \
-H "Authorization: Bearer $PERPLEXITY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7",
"model": "perplexity/auto",
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "billing_dispute",
"description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.",
"model": "anthropic/claude-opus-5-5"},
{"name": "technical_issue",
"description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.",
"model": "openai/gpt-6.1-sol"}
]
},
"messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}]
}'Model odlučivanja povezao je neuspjele API pozive s rutom technical_issue, pa je Orchestrator poslao zahtjev modelu GPT-6.1 Sol. Odgovor sadrži odabranu rutu i model koji je odgovorio:
HTTP/2 200
x-perplexity-autoroute-outcome: routed
x-perplexity-autoroute-route: technical_issue
{"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}x-perplexity-autoroute-route navodi odabranu rutu ili da ruta nije odabrana. x-perplexity-autoroute-outcome izvješćuje o tome kako je zahtjev obrađen, uključujući je li usmjeren ili je prepušten vašem zadanom modelu. Polje model navodi model koji je odgovorio.
Usmjeravanje unutar razgovora
Kako se razgovor prebacuje s jednog zadatka na drugi, model koji je obradio jedan korak možda nije pravi izbor za sljedeći. Vaši naknadni zahtjevi sadrže povijest razgovora, pa i model odlučivanja i odabrani model mogu čitati ranije korake, uključujući odgovore drugih modela. Proveli smo tri stvarna razgovora od po četiri koraka: korisnička podrška, programiranje i istraživanje.
Korisnička podrška
Pretpostavimo da se u gornjem primjeru isti razgovor prebacuje s pitanja o računu na spor oko naplate, a zatim na neispravnu integraciju. Kako se zadatak mijenja, model odlučivanja odabire odgovarajuću rutu; kada korisnik na kraju pošalje zahvalu, Orchestrator se vraća na GLM-5.3 Flash.
Predmemoriranje upita pri prebacivanju između modela
Svaki zahtjev sadrži cijelu povijest poruka, ali svaki model održava vlastitu predmemoriju. Kada se razgovor u 4. koraku vrati na GLM Flash, on može ponovno upotrijebiti odgovarajući prefiks iz 1. koraka dok je još u predmemoriji, a zatim obraditi odgovore koje su u 2. i 3. koraku dodali Opus i Sol. Isto vrijedi za Opus ili Sol ako budu odabrani u 5. koraku.
Orchestrator po mogućnosti zadržava povezane zahtjeve na istoj implementaciji kako bi očuvao predmemoriranje upita. Za razgovor ponovno upotrebljavajte stabilan prompt_cache_key kako biste lakše održali tu povezanost.
Asistent za programiranje
U 4. koraku razgovora o programiranju GLM-5.3 Flash piše docstring na temelju konteksta iz dijagnoze pogreške modela Claude Opus 5.5 i plana implementacije modela GPT-6.1 Sol.
Profil usmjeravanja dodjeljuje preimenovanja i manje izmjene modelu GLM-5.3 Flash, dijagnozu pogrešaka modelu Claude Opus 5.5, a planiranje izmjena u više modula modelu GPT-6.1 Sol:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "hard_debugging",
"description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.",
"model": "anthropic/claude-opus-5-5"},
{"name": "design_change",
"description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.",
"model": "openai/gpt-6.1-sol"}
]
}Asistent za istraživanje
U primjeru istraživanja činjenično pitanje vodi do izračuna, koji zatim postaje temelj za memorandum. Profil dodjeljuje činjenična pitanja modelu GLM-5.3 Flash, izračune modelu GPT-6.1 Sol, a pisanje memoranduma modelu Claude Opus 5.5:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "quantitative_analysis",
"description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.",
"model": "openai/gpt-6.1-sol"},
{"name": "long_form_writing",
"description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.",
"model": "anthropic/claude-opus-5-5"}
]
}Memorandum u 3. koraku upotrebljava izračune iz prethodnog odgovora modela GPT-6.1 Sol i zaokružuje brojke, a da korisnik ne mora ponovno navesti podatke.
Prvi koraci s alatom Orchestrator
Povežite postojeći OpenAI ili Anthropic SDK pomoću API ključa za Perplexity, odgovarajućeg osnovnog URL-a za Orchestrator i modela iz kataloga.
Vodič za brzi početak obuhvaća postavljanje, trenutačnu dostupnost i pristup. Za pitanja nam se obratite na api@perplexity.ai.