Orchestrator: jedan API za pouzdanu inferenciju

Povežite se s AI modelima otvorenih težina i vlasničkim AI modelima putem jednog API-ja s objedinjenom naplatom i automatskim prebacivanjem na drugog pružatelja istog modela.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator okuplja modele s otvorenim težinama i vlasničke modele u jednom API-ju s objedinjenom naplatom. Automatski odabire pružatelja na temelju dostupnosti, kapaciteta i latencije te može ponoviti neuspjele zahtjeve na drugoj dostupnoj implementaciji istog modela.

Jedna integracija za modele s otvorenim težinama i vlasničke modele

Orchestrator poslužuje modele s otvorenim težinama smještene na infrastrukturi za inferenciju tvrtke Perplexity, uz vlasničke modele drugih pružatelja. Trenutačni katalog navodi dostupne modele.

Prihvaća zahtjeve u formatima OpenAI Chat Completions, OpenAI Responses i Anthropic Messages, pa se možete povezati putem postojećeg OpenAI ili Anthropic SDK-a.

Vodič za brzi početak i vodič za usmjeravanje sadrže primjere za SDK i opis trenutačnog ponašanja usmjeravanja.

Pouzdanost i brzina kod različitih pružatelja

Pouzdanost

Odabir modela Claude ne mora značiti oslanjanje na jednog pružatelja: zahtjev koji ne uspije kod pružatelja Anthropic i dalje može uspjeti na platformi AWS Bedrock. Prebacivanje na drugog pružatelja omogućuje promjenu implementacije koja poslužuje zahtjev bez promjene modela.

Orchestrator na temelju uočenog stanja i kapaciteta raspoređuje zahtjeve među implementacijama modela. Ako pružatelj vrati pogrešku, dosegne ograničenje broja zahtjeva ili mu istekne vrijeme, Orchestrator ponovno pokušava na drugoj implementaciji tog modela, uz ograničenja vremena do prvog tokena i ukupnog trajanja svakog pokušaja.

U mjerenjima od 4. listopada do 2. studenoga 2026. zahtjevi za modele Claude i GPT upućeni putem platforme Perplexity češće su bili uspješni od zahtjeva upućenih bilo kojem pojedinačnom pružatelju koji smo mjerili. Njihove dnevne stope uspješnosti također su manje varirale tijekom incidenata kod pružatelja.

Stope uspješnosti zahtjeva u razdoblju od 4. listopada do 2. studenoga 2026.: lijevo Claude, desno GPT modeli dostupni putem pružatelja OpenAI i Azure.
Dnevne stope uspješnosti zahtjeva u istom razdoblju: lijevo Claude, desno GPT.

Zahtjev smo smatrali neuspjelim kada je Orchestrator iscrpio dostupne implementacije ili je sloj za posluživanje vratio pogrešku, ali smo isključili pogreške klijenta, kao što su nevaljani zahtjevi i prekoračenja ograničenja broja zahtjeva na strani klijenta.

Brzina generiranja

Radimo na prilagodljivom usmjeravanju koje uzima u obzir brzinu modela kako bi Orchestrator mogao prilagođavati odabir pružatelja ovisno o promjenama performansi.

Najbrži pružatelj za bilo koji model mijenja se s vremenom. Za Claude Opus 5.5 Anthropic je prednjačio 15 od 30 dana, a AWS Bedrock preostalih 15.

Medijan brzine generiranja modela Claude Opus 5.5 po pružatelju i danu, od 4. listopada do 2. studenoga 2026. Istaknuta linija za svaki dan prati bržeg pružatelja, što ilustrira cilj usmjeravanja koje u stvarnom vremenu uzima u obzir brzinu.

Tijekom istih 30 dana medijan brzine generiranja modela GPT-5.6 Sol kod pružatelja Azure bio je 27 % veći nego kod pružatelja OpenAI.

Medijan brzine generiranja modela GPT-5.6 Sol nakon prvog tokena, od 4. listopada do 2. studenoga 2026.

Jedan račun za sve modele

Svaki se zahtjev obračunava samo prema potrošnji tokena modela koji je odgovorio. Orchestrator naplaćuje objavljene cijene po tokenu za svaki model bez obzira na to koji pružatelj poslužuje zahtjev, pa prebacivanje na drugog pružatelja ne mijenja tu cijenu. Potrošnja se naplaćuje iz istih unaprijed plaćenih kredita kao i ostatak vašeg projekta za Perplexity API.

U konzoli API Console možete pregledati potrošnju po modelu i filtrirati korištenje po API ključu. Kredite možete kupiti i putem platforme AWS Marketplace.

Automatsko usmjeravanje (pretpregled): pravi model za svaki zadatak

Orchestrator nudi automatsko usmjeravanje, neobveznu značajku dostupnu u pretpregledu. Ona odabire model za svaki zahtjev s pomoću profila koji povezuje opise zadataka na običnom jeziku s modelima. Možete definirati vlastiti profil ili upotrijebiti ugrađeni zadani profil alata Orchestrator.

Zahtjevi za automatsko usmjeravanje kao model upotrebljavaju perplexity/auto. Za prilagođeni profil uključite objekt za usmjeravanje s poljima default_model i routes. Svaka ruta navodi naziv, opis i model.

Za svaki zahtjev perplexity/auto poziva naš model odlučivanja koji čita razgovor i uspoređuje ga s opisima ruta, a da pritom ne vidi nazive modela. Orchestrator zatim šalje zahtjev modelu dodijeljenom odabranoj ruti ili vašem zadanom modelu ako nijedna ruta ne odgovara. Orchestrator upotrebljava zadani model i ako model odlučivanja ne uspije ili mu istekne vrijeme.

Primjeri u nastavku obuhvaćaju usmjeravanje kojim se zaobilaze odbijanja modela, vrste problema u korisničkoj podršci i promjene zadatka unutar razgovora.

Usmjeravanje kojim se zaobilaze odbijanja

Agent može upotrebljavati automatsko usmjeravanje kako bi izbjegao predvidljiva odbijanja, a pritom zadržao željeni model za ostale zadatke. Anthropic navodi da zaštitni mehanizmi modela Claude Fable 5.2 mogu blokirati bezopasne zadatke iz područja kibernetičke sigurnosti i znanosti o životu. Taj smo slučaj upotrebe testirali na podskupu od 63 zadatka iz skupa Terminal-Bench 4.1.

Pokrenuli smo Claude Code samo s modelom Fable te s dva prilagođena profila usmjeravanja. Oba su profila zadržala Fable kao zadani model, a rute za kibernetičku sigurnost, biologiju i after_refusal dodijelila modelu GPT-6 Astra ili GPT-6.1 Sol. Radi usporedbe uključili smo i zasebna pokretanja modela Astra i Sol u alatu Codex.

U ovoj prilagođenoj usporedbi obje konfiguracije alata Claude Code s usmjeravanjem rješavaju 41 od 63 zadatka, u odnosu na 38 kada se koristi samo Fable, uz veći procijenjeni trošak po zadatku. Grafikon prikazuje taj kompromis uz modele Astra i Sol pokrenute u alatu Codex.

Terminal-Bench 4.1, prilagođena usporedba na 63 zadatka. Astra Codex uključuje jedan pretpostavljeni uspješan prolaz; troškovi su procijenjeni.

Primjer u nastavku upotrebljava Sol: rute za sigurnost i biologiju odabiru ga prije nego što dođe do odbijanja, a after_refusal ga odabire kada razgovor već sadrži odbijanje.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

Usmjeravanje prema vrsti problema

Asistentu za korisničku podršku za većinu je pitanja dovoljan brz i jeftin model. Spor oko naplate zahtijeva pažljiv i empatičan odgovor. Neispravna integracija zahtijeva otklanjanje poteškoća. Asistent može upotrebljavati dvije rute, za sporove oko naplate i za tehničke probleme, a rutinska pitanja prepustiti svojem zadanom modelu:

Ruta

Opis zadatka

Model

default_model

Sve ostalo, primjerice kako promijeniti adresu e-pošte računa

GLM-5.3 Flash

billing_dispute

Korisnik osporava naplatu, traži povrat novca ili je nezadovoljan iznosom koji mu je naplaćen.

Claude Opus 5.5

technical_issue

Korisnik prijavljuje programsku pogrešku, poruku o pogrešci ili integraciju koja je prestala raditi i zahtijeva otklanjanje poteškoća.

GPT-6.1 Sol

Slanje usmjerenog zahtjeva

Kako perplexity/auto obrađuje zahtjev: model odlučivanja odabire rutu ili javlja da nema podudaranja, a Orchestrator poziva odabrani model ili vaš zadani model. Zaglavlja odgovora izvješćuju o ishodu usmjeravanja.

Zahtjev u nastavku šalje prijavu kvara API-ja putem gore navedenog profila za korisničku podršku.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

Model odlučivanja povezao je neuspjele API pozive s rutom technical_issue, pa je Orchestrator poslao zahtjev modelu GPT-6.1 Sol. Odgovor sadrži odabranu rutu i model koji je odgovorio:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route navodi odabranu rutu ili da ruta nije odabrana. x-perplexity-autoroute-outcome izvješćuje o tome kako je zahtjev obrađen, uključujući je li usmjeren ili je prepušten vašem zadanom modelu. Polje model navodi model koji je odgovorio.

Usmjeravanje unutar razgovora

Kako se razgovor prebacuje s jednog zadatka na drugi, model koji je obradio jedan korak možda nije pravi izbor za sljedeći. Vaši naknadni zahtjevi sadrže povijest razgovora, pa i model odlučivanja i odabrani model mogu čitati ranije korake, uključujući odgovore drugih modela. Proveli smo tri stvarna razgovora od po četiri koraka: korisnička podrška, programiranje i istraživanje.

Korisnička podrška

Pretpostavimo da se u gornjem primjeru isti razgovor prebacuje s pitanja o računu na spor oko naplate, a zatim na neispravnu integraciju. Kako se zadatak mijenja, model odlučivanja odabire odgovarajuću rutu; kada korisnik na kraju pošalje zahvalu, Orchestrator se vraća na GLM-5.3 Flash.

Razgovor s podrškom: ruta i model za svaki korak.

Predmemoriranje upita pri prebacivanju između modela

Svaki zahtjev sadrži cijelu povijest poruka, ali svaki model održava vlastitu predmemoriju. Kada se razgovor u 4. koraku vrati na GLM Flash, on može ponovno upotrijebiti odgovarajući prefiks iz 1. koraka dok je još u predmemoriji, a zatim obraditi odgovore koje su u 2. i 3. koraku dodali Opus i Sol. Isto vrijedi za Opus ili Sol ako budu odabrani u 5. koraku.

Orchestrator po mogućnosti zadržava povezane zahtjeve na istoj implementaciji kako bi očuvao predmemoriranje upita. Za razgovor ponovno upotrebljavajte stabilan prompt_cache_key kako biste lakše održali tu povezanost.

Predmemoriranje upita pri prebacivanju između modela: GLM Flash može ponovno upotrijebiti svoj raniji prefiks, a dio razgovora koji je uslijedio u međuvremenu obrađuje kao novi unos.

Asistent za programiranje

U 4. koraku razgovora o programiranju GLM-5.3 Flash piše docstring na temelju konteksta iz dijagnoze pogreške modela Claude Opus 5.5 i plana implementacije modela GPT-6.1 Sol.

Profil usmjeravanja dodjeljuje preimenovanja i manje izmjene modelu GLM-5.3 Flash, dijagnozu pogrešaka modelu Claude Opus 5.5, a planiranje izmjena u više modula modelu GPT-6.1 Sol:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
Razgovor o programiranju: ruta i model za svaki korak.

Asistent za istraživanje

U primjeru istraživanja činjenično pitanje vodi do izračuna, koji zatim postaje temelj za memorandum. Profil dodjeljuje činjenična pitanja modelu GLM-5.3 Flash, izračune modelu GPT-6.1 Sol, a pisanje memoranduma modelu Claude Opus 5.5:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

Memorandum u 3. koraku upotrebljava izračune iz prethodnog odgovora modela GPT-6.1 Sol i zaokružuje brojke, a da korisnik ne mora ponovno navesti podatke.

Istraživački razgovor: ruta i model za svaki korak.

Prvi koraci s alatom Orchestrator

Povežite postojeći OpenAI ili Anthropic SDK pomoću API ključa za Perplexity, odgovarajućeg osnovnog URL-a za Orchestrator i modela iz kataloga.

Vodič za brzi početak obuhvaća postavljanje, trenutačnu dostupnost i pristup. Za pitanja nam se obratite na api@perplexity.ai.