Orchestrator: egy API a megbízható következtetéshez
Csatlakozz nyílt súlyú és zárt MI-modellekhez egyetlen API-n keresztül, egységes számlázással és automatikus, azonos modellen belüli feladatátvétellel.

Az Orchestrator egyetlen API-ban, egységes számlázással teszi elérhetővé a nyílt súlyú és a zárt modelleket. A rendelkezésre állás, a kapacitás és a késleltetés alapján automatikusan választ szolgáltatót, a sikertelen kéréseket pedig újrapróbálhatja ugyanannak a modellnek egy másik elérhető telepítésén.
Egyetlen integráció a nyílt súlyú és a zárt modellekhez
Az Orchestrator a Perplexity következtetési infrastruktúráján futó nyílt súlyú modelleket más szolgáltatók zárt modelljeivel együtt szolgálja ki. A jelenlegi katalógus felsorolja az elérhető modelleket.
Fogadja az OpenAI Chat Completions, az OpenAI Responses és az Anthropic Messages kéréseket, így a meglévő OpenAI vagy Anthropic SDK-don keresztül csatlakozhatsz.
A gyors kezdési útmutató és az útválasztási útmutató SDK-példákat tartalmaz, és bemutatja az útválasztás jelenlegi működését.
Megbízhatóság és sebesség több szolgáltatón át
Megbízhatóság
A Claude választása nem jelenti azt, hogy egyetlen szolgáltatóra kell hagyatkoznod: egy kérés, amely az Anthropicnál sikertelen, az AWS Bedrockon még sikeres lehet. A szolgáltatói feladatátvétel lehetővé teszi, hogy a kérést kiszolgáló telepítés a modell megváltoztatása nélkül cserélődjön.
Az Orchestrator a megfigyelt állapot és kapacitás alapján osztja el a kéréseket egy modell telepítései között. Ha egy szolgáltató hibát ad vissza, eléri a sebességkorlátot, vagy túllépi az időkorlátot, az Orchestrator az adott modell egy másik telepítésén próbálkozik újra, az egyes próbálkozásoknál az első tokenig eltelt időre és a teljes időtartamra vonatkozó korlátokkal.
A 2026. október 4. és november 2. közötti mérések alapján a Perplexityn keresztül küldött Claude- és GPT-kérések gyakrabban jártak sikerrel, mint az általunk mért bármely egyedi szolgáltatóhoz intézett kérések. Napi sikerességi arányuk a szolgáltatói incidensek idején is kevésbé ingadozott.
Akkor tekintettünk egy kérést sikertelennek, ha az Orchestrator kimerítette az elérhető telepítéseket, vagy a kiszolgálóréteg hibát adott vissza; a kliensoldali hibákat, például az érvénytelen kéréseket és a kliensoldali sebességkorlátok megsértését azonban kizártuk.
Kimeneti sebesség
Dolgozunk egy olyan adaptív útválasztáson, amely figyelembe veszi a modellek sebességét, így az Orchestrator a teljesítmény változásával együtt módosíthatja a szolgáltatóválasztást.
Bármely modell esetében a leggyorsabb szolgáltató idővel változik. A Claude Opus 5.5 esetében a 30 napból 15-ön az Anthropic, a másik 15-ön pedig az AWS Bedrock volt az élen.
Ugyanebben a 30 napos időszakban az Azure medián kimeneti sebessége a GPT-5.6 Sol esetében 27%-kal magasabb volt, mint az OpenAI-é.
Egyetlen számla az összes modellhez
Minden kérés csak a választ adó modell tokenhasználatába számít bele. Az Orchestrator az egyes modellek közzétett tokenenkénti díjait számítja fel, függetlenül attól, hogy melyik szolgáltató szolgálja ki a kérést, így a szolgáltatói feladatátvétel nem módosítja ezt a díjat. A használat ugyanazokból az előre fizetett kreditekből vonódik le, mint a Perplexity API-projekted többi része.
Az API Console-ban megtekintheted a modellenkénti költéseket, és API-kulcs szerint szűrheted a használatot. Krediteket az AWS Marketplace-en keresztül is vásárolhatsz.
Automatikus útválasztás (előzetes verzió): minden feladathoz a megfelelő modell
Az Orchestrator automatikus útválasztást kínál, amely előzetes verzióban elérhető, opcionális funkció. Minden kéréshez kiválaszt egy modellt egy olyan profil alapján, amely egyszerű nyelven megfogalmazott feladatleírásokat párosít modellekkel. Megadhatod a saját profilodat, vagy használhatod az Orchestrator beépített alapértelmezett profilját.
Az automatikus útválasztású kérések modellként a perplexity/auto értéket használják. Egyéni profil esetén adj meg egy routing objektumot a default_model és a routes mezővel. Minden útvonal tartalmaz egy nevet, egy leírást és egy modellt.
A perplexity/auto minden kérésnél meghívja a döntési modellünket, amely elolvassa a beszélgetést, és összeveti az útvonalak leírásaival anélkül, hogy látná a modellek nevét. Az Orchestrator ezután a kiválasztott útvonalhoz rendelt modellnek küldi a kérést, vagy ha egyik útvonal sem egyezik, az alapértelmezett modellednek. Az Orchestrator akkor is az alapértelmezett modelledet használja, ha a döntési modell hibát ad, vagy túllépi az időkorlátot.
Az alábbi példák a modellek elutasításainak megkerülését, az ügyfélszolgálati problématípusokat és a beszélgetésen belüli feladatváltásokat mutatják be.
Útválasztás az elutasítások megkerülésére
Egy ügynök az automatikus útválasztással elkerülheti a kiszámítható elutasításokat, miközben más munkákhoz megtartja az általa preferált modellt. Az Anthropic dokumentációja szerint a Claude Fable 5.2 biztonsági mechanizmusai blokkolhatják az ártalmatlan kiberbiztonsági és élettudományi munkát. Ezt a felhasználási esetet a Terminal-Bench 4.1 egy 63 feladatból álló részhalmazán teszteltük.
A Claude Code-ot lefuttattuk csak a Fable modellel, valamint két egyéni útválasztási profillal is. Mindkét profil a Fable-t tartotta meg alapértelmezettként, és a kiberbiztonsági, a biológiai és az after_refusal útvonalakat a GPT-6 Astra vagy a GPT-6.1 Sol modellhez rendelte. Összehasonlításként önálló Astra- és Sol-futtatásokat is végeztünk a Codexben.
Ebben a korrigált összehasonlításban mindkét útválasztott Claude Code-konfiguráció 63 feladatból 41-et old meg, szemben a csak Fable-t használó konfiguráció 38 megoldásával, de feladatonként magasabb becsült költséggel. A diagram ezt a kompromisszumot mutatja be a Codexben futó Astra és Sol mellett.
Az alábbi példa a Sol modellt használja: a biztonsági és a biológiai útvonalak még az elutasítás előtt kiválasztják, az after_refusal pedig akkor választja ki, ha a beszélgetés már tartalmaz elutasítást.
"routing": {
"default_model": "anthropic/claude-fable-5-2",
"routes": [
{"name": "security",
"description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.",
"model": "openai/gpt-6.1-sol"},
{"name": "biology",
"description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.",
"model": "openai/gpt-6.1-sol"},
{"name": "after_refusal",
"description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.",
"model": "openai/gpt-6.1-sol"}
]
}Útválasztás problématípus szerint
Egy ügyfélszolgálati asszisztens esetében a legtöbb kérdéshez elég egy gyors, olcsó modell. Egy számlázási vita gondos, empatikus választ igényel. Egy meghibásodott integráció hibaelhárítást tesz szükségessé. Az asszisztens két útvonalat használhat a számlázási vitákhoz és a technikai problémákhoz, a rutinkérdéseket pedig az alapértelmezett modelljére bízhatja:
Útvonal | Feladat leírása | Modell |
default_model | Minden egyéb, például az, hogyan lehet módosítani egy fiók e-mail-címét | GLM-5.3 Flash |
billing_dispute | Az ügyfél vitat egy terhelést, visszatérítést kér, vagy elégedetlen a kiszámlázott összeggel. | Claude Opus 5.5 |
technical_issue | Az ügyfél hibát, hibaüzenetet vagy leállt integrációt jelez, amely hibaelhárítást igényel. | GPT-6.1 Sol |
Útválasztott kérés küldése
Az alábbi kérés egy API-hibával kapcsolatos problémát küld a fenti ügyfélszolgálati profilon keresztül.
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \
-H "Authorization: Bearer $PERPLEXITY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7",
"model": "perplexity/auto",
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "billing_dispute",
"description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.",
"model": "anthropic/claude-opus-5-5"},
{"name": "technical_issue",
"description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.",
"model": "openai/gpt-6.1-sol"}
]
},
"messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}]
}'A döntési modell a sikertelen API-hívásokat a technical_issue útvonalhoz rendelte, ezért az Orchestrator a GPT-6.1 Sol modellnek küldte a kérést. A válasz tartalmazza a kiválasztott útvonalat és a választ adó modellt:
HTTP/2 200
x-perplexity-autoroute-outcome: routed
x-perplexity-autoroute-route: technical_issue
{"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}Az x-perplexity-autoroute-route a kiválasztott útvonalat azonosítja, vagy azt, hogy nem volt ilyen. Az x-perplexity-autoroute-outcome azt jelzi, hogyan lett kezelve a kérés, beleértve azt is, hogy útválasztásra került-e, vagy az alapértelmezett modelledre esett vissza. A model mező a választ adó modellt azonosítja.
Útválasztás egy beszélgetésen belül
Ahogy a beszélgetés egyik feladatról a másikra halad, előfordulhat, hogy az egyik kört kezelő modell nem a legjobb választás a következőhöz. A további kéréseid tartalmazzák a beszélgetés előzményeit, így a döntési modell és a kiválasztott modell is el tudja olvasni a korábbi köröket, beleértve más modellek válaszait is. Három valós, négy körből álló beszélgetést futtattunk le: egy ügyfélszolgálati, egy kódolási és egy kutatási beszélgetést.
Ügyfélszolgálat
A fenti példában tegyük fel, hogy ugyanaz a beszélgetés egy fiókkal kapcsolatos kérdésről egy számlázási vitára, majd egy meghibásodott integrációra tér át. Ahogy a feladat változik, a döntési modell kiválasztja a megfelelő útvonalat; amikor a felhasználó záró köszönetet küld, az Orchestrator visszatér a GLM-5.3 Flash modellhez.
Promptgyorsítótárazás modellváltások között
Minden kérés a teljes üzenetelőzményt tartalmazza, de minden modell saját gyorsítótárat tart fenn. Amikor a beszélgetés a 4. körben visszatér a GLM Flash modellhez, az újra felhasználhatja az 1. körből származó egyező előtagot, amíg az még a gyorsítótárban van, majd feldolgozza az Opus és a Sol által a 2. és a 3. körben hozzáadott válaszokat. Ugyanez érvényes az Opusra vagy a Solra is, ha az 5. körben őket választja ki a rendszer.
Az Orchestrator lehetőség szerint ugyanazon a telepítésen tartja az összetartozó kéréseket, hogy megőrizze a promptgyorsítótárazást. Használj egy állandó prompt_cache_key értéket a beszélgetéshez, hogy segítsd ennek az affinitásnak a fenntartását.
Kódolási asszisztens
A kódolási beszélgetés 4. körében a GLM-5.3 Flash a Claude Opus 5.5 hibadiagnózisából és a GPT-6.1 Sol implementációs tervéből származó kontextus alapján ír egy docstringet.
Az útválasztási profil az átnevezéseket és a kisebb szerkesztéseket a GLM-5.3 Flash modellhez, a hibadiagnózist a Claude Opus 5.5 modellhez, a több modult érintő módosítások tervezését pedig a GPT-6.1 Sol modellhez rendeli:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "hard_debugging",
"description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.",
"model": "anthropic/claude-opus-5-5"},
{"name": "design_change",
"description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.",
"model": "openai/gpt-6.1-sol"}
]
}Kutatási asszisztens
A kutatási példában egy ténykérdésből számítás lesz, amely aztán egy feljegyzés alapjául szolgál. A profil a ténykérdéseket a GLM-5.3 Flash modellhez, a számításokat a GPT-6.1 Sol modellhez, a feljegyzések megírását pedig a Claude Opus 5.5 modellhez rendeli:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "quantitative_analysis",
"description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.",
"model": "openai/gpt-6.1-sol"},
{"name": "long_form_writing",
"description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.",
"model": "anthropic/claude-opus-5-5"}
]
}A 3. körben készült feljegyzés a GPT-6.1 Sol előző válaszában szereplő számításokat használja fel, és kerekíti a számadatokat anélkül, hogy a felhasználónak meg kellene ismételnie őket.
Első lépések az Orchestratorral
Csatlakoztasd a meglévő OpenAI vagy Anthropic SDK-dat egy Perplexity API-kulccsal, a megfelelő Orchestrator alap-URL-lel és egy modellel a katalógusból.
A gyors kezdési útmutató ismerteti a beállítást, valamint a jelenlegi elérhetőséget és hozzáférést. Kérdés esetén írj az api@perplexity.ai címre.