Orchestrator: egy API a megbízható következtetéshez

Csatlakozz nyílt súlyú és zárt MI-modellekhez egyetlen API-n keresztül, egységes számlázással és automatikus, azonos modellen belüli feladatátvétellel.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Az Orchestrator egyetlen API-ban, egységes számlázással teszi elérhetővé a nyílt súlyú és a zárt modelleket. A rendelkezésre állás, a kapacitás és a késleltetés alapján automatikusan választ szolgáltatót, a sikertelen kéréseket pedig újrapróbálhatja ugyanannak a modellnek egy másik elérhető telepítésén.

Egyetlen integráció a nyílt súlyú és a zárt modellekhez

Az Orchestrator a Perplexity következtetési infrastruktúráján futó nyílt súlyú modelleket más szolgáltatók zárt modelljeivel együtt szolgálja ki. A jelenlegi katalógus felsorolja az elérhető modelleket.

Fogadja az OpenAI Chat Completions, az OpenAI Responses és az Anthropic Messages kéréseket, így a meglévő OpenAI vagy Anthropic SDK-don keresztül csatlakozhatsz.

A gyors kezdési útmutató és az útválasztási útmutató SDK-példákat tartalmaz, és bemutatja az útválasztás jelenlegi működését.

Megbízhatóság és sebesség több szolgáltatón át

Megbízhatóság

A Claude választása nem jelenti azt, hogy egyetlen szolgáltatóra kell hagyatkoznod: egy kérés, amely az Anthropicnál sikertelen, az AWS Bedrockon még sikeres lehet. A szolgáltatói feladatátvétel lehetővé teszi, hogy a kérést kiszolgáló telepítés a modell megváltoztatása nélkül cserélődjön.

Az Orchestrator a megfigyelt állapot és kapacitás alapján osztja el a kéréseket egy modell telepítései között. Ha egy szolgáltató hibát ad vissza, eléri a sebességkorlátot, vagy túllépi az időkorlátot, az Orchestrator az adott modell egy másik telepítésén próbálkozik újra, az egyes próbálkozásoknál az első tokenig eltelt időre és a teljes időtartamra vonatkozó korlátokkal.

A 2026. október 4. és november 2. közötti mérések alapján a Perplexityn keresztül küldött Claude- és GPT-kérések gyakrabban jártak sikerrel, mint az általunk mért bármely egyedi szolgáltatóhoz intézett kérések. Napi sikerességi arányuk a szolgáltatói incidensek idején is kevésbé ingadozott.

A kérések sikerességi aránya, 2026. október 4. – november 2.: balra a Claude, jobbra az OpenAI-on és az Azure-on keresztül egyaránt elérhető GPT-modellek.
A kérések napi sikerességi aránya ugyanebben az időszakban: balra a Claude, jobbra a GPT.

Akkor tekintettünk egy kérést sikertelennek, ha az Orchestrator kimerítette az elérhető telepítéseket, vagy a kiszolgálóréteg hibát adott vissza; a kliensoldali hibákat, például az érvénytelen kéréseket és a kliensoldali sebességkorlátok megsértését azonban kizártuk.

Kimeneti sebesség

Dolgozunk egy olyan adaptív útválasztáson, amely figyelembe veszi a modellek sebességét, így az Orchestrator a teljesítmény változásával együtt módosíthatja a szolgáltatóválasztást.

Bármely modell esetében a leggyorsabb szolgáltató idővel változik. A Claude Opus 5.5 esetében a 30 napból 15-ön az Anthropic, a másik 15-ön pedig az AWS Bedrock volt az élen.

A Claude Opus 5.5 medián kimeneti sebessége szolgáltatónként és naponként, 2026. október 4. és november 2. között. A kiemelt vonal minden nap a gyorsabb szolgáltatót követi, szemléltetve a valós idejű, sebességtudatos útválasztás célját.

Ugyanebben a 30 napos időszakban az Azure medián kimeneti sebessége a GPT-5.6 Sol esetében 27%-kal magasabb volt, mint az OpenAI-é.

A GPT-5.6 Sol medián kimeneti sebessége az első token után, 2026. október 4. – november 2.

Egyetlen számla az összes modellhez

Minden kérés csak a választ adó modell tokenhasználatába számít bele. Az Orchestrator az egyes modellek közzétett tokenenkénti díjait számítja fel, függetlenül attól, hogy melyik szolgáltató szolgálja ki a kérést, így a szolgáltatói feladatátvétel nem módosítja ezt a díjat. A használat ugyanazokból az előre fizetett kreditekből vonódik le, mint a Perplexity API-projekted többi része.

Az API Console-ban megtekintheted a modellenkénti költéseket, és API-kulcs szerint szűrheted a használatot. Krediteket az AWS Marketplace-en keresztül is vásárolhatsz.

Automatikus útválasztás (előzetes verzió): minden feladathoz a megfelelő modell

Az Orchestrator automatikus útválasztást kínál, amely előzetes verzióban elérhető, opcionális funkció. Minden kéréshez kiválaszt egy modellt egy olyan profil alapján, amely egyszerű nyelven megfogalmazott feladatleírásokat párosít modellekkel. Megadhatod a saját profilodat, vagy használhatod az Orchestrator beépített alapértelmezett profilját.

Az automatikus útválasztású kérések modellként a perplexity/auto értéket használják. Egyéni profil esetén adj meg egy routing objektumot a default_model és a routes mezővel. Minden útvonal tartalmaz egy nevet, egy leírást és egy modellt.

A perplexity/auto minden kérésnél meghívja a döntési modellünket, amely elolvassa a beszélgetést, és összeveti az útvonalak leírásaival anélkül, hogy látná a modellek nevét. Az Orchestrator ezután a kiválasztott útvonalhoz rendelt modellnek küldi a kérést, vagy ha egyik útvonal sem egyezik, az alapértelmezett modellednek. Az Orchestrator akkor is az alapértelmezett modelledet használja, ha a döntési modell hibát ad, vagy túllépi az időkorlátot.

Az alábbi példák a modellek elutasításainak megkerülését, az ügyfélszolgálati problématípusokat és a beszélgetésen belüli feladatváltásokat mutatják be.

Útválasztás az elutasítások megkerülésére

Egy ügynök az automatikus útválasztással elkerülheti a kiszámítható elutasításokat, miközben más munkákhoz megtartja az általa preferált modellt. Az Anthropic dokumentációja szerint a Claude Fable 5.2 biztonsági mechanizmusai blokkolhatják az ártalmatlan kiberbiztonsági és élettudományi munkát. Ezt a felhasználási esetet a Terminal-Bench 4.1 egy 63 feladatból álló részhalmazán teszteltük.

A Claude Code-ot lefuttattuk csak a Fable modellel, valamint két egyéni útválasztási profillal is. Mindkét profil a Fable-t tartotta meg alapértelmezettként, és a kiberbiztonsági, a biológiai és az after_refusal útvonalakat a GPT-6 Astra vagy a GPT-6.1 Sol modellhez rendelte. Összehasonlításként önálló Astra- és Sol-futtatásokat is végeztünk a Codexben.

Ebben a korrigált összehasonlításban mindkét útválasztott Claude Code-konfiguráció 63 feladatból 41-et old meg, szemben a csak Fable-t használó konfiguráció 38 megoldásával, de feladatonként magasabb becsült költséggel. A diagram ezt a kompromisszumot mutatja be a Codexben futó Astra és Sol mellett.

Terminal-Bench 4.1, korrigált összehasonlítás 63 feladaton. Az Astra Codex egy feltételezett sikeres megoldást tartalmaz; a költségek becsültek.

Az alábbi példa a Sol modellt használja: a biztonsági és a biológiai útvonalak még az elutasítás előtt kiválasztják, az after_refusal pedig akkor választja ki, ha a beszélgetés már tartalmaz elutasítást.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

Útválasztás problématípus szerint

Egy ügyfélszolgálati asszisztens esetében a legtöbb kérdéshez elég egy gyors, olcsó modell. Egy számlázási vita gondos, empatikus választ igényel. Egy meghibásodott integráció hibaelhárítást tesz szükségessé. Az asszisztens két útvonalat használhat a számlázási vitákhoz és a technikai problémákhoz, a rutinkérdéseket pedig az alapértelmezett modelljére bízhatja:

Útvonal

Feladat leírása

Modell

default_model

Minden egyéb, például az, hogyan lehet módosítani egy fiók e-mail-címét

GLM-5.3 Flash

billing_dispute

Az ügyfél vitat egy terhelést, visszatérítést kér, vagy elégedetlen a kiszámlázott összeggel.

Claude Opus 5.5

technical_issue

Az ügyfél hibát, hibaüzenetet vagy leállt integrációt jelez, amely hibaelhárítást igényel.

GPT-6.1 Sol

Útválasztott kérés küldése

Hogyan szolgál ki egy kérést a perplexity/auto: a döntési modell kiválaszt egy útvonalat, vagy azt jelzi, hogy nincs egyezés, az Orchestrator pedig meghívja a kiválasztott modellt vagy az alapértelmezett modelledet. A válaszfejlécek jelzik az útválasztás eredményét.

Az alábbi kérés egy API-hibával kapcsolatos problémát küld a fenti ügyfélszolgálati profilon keresztül.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

A döntési modell a sikertelen API-hívásokat a technical_issue útvonalhoz rendelte, ezért az Orchestrator a GPT-6.1 Sol modellnek küldte a kérést. A válasz tartalmazza a kiválasztott útvonalat és a választ adó modellt:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

Az x-perplexity-autoroute-route a kiválasztott útvonalat azonosítja, vagy azt, hogy nem volt ilyen. Az x-perplexity-autoroute-outcome azt jelzi, hogyan lett kezelve a kérés, beleértve azt is, hogy útválasztásra került-e, vagy az alapértelmezett modelledre esett vissza. A model mező a választ adó modellt azonosítja.

Útválasztás egy beszélgetésen belül

Ahogy a beszélgetés egyik feladatról a másikra halad, előfordulhat, hogy az egyik kört kezelő modell nem a legjobb választás a következőhöz. A további kéréseid tartalmazzák a beszélgetés előzményeit, így a döntési modell és a kiválasztott modell is el tudja olvasni a korábbi köröket, beleértve más modellek válaszait is. Három valós, négy körből álló beszélgetést futtattunk le: egy ügyfélszolgálati, egy kódolási és egy kutatási beszélgetést.

Ügyfélszolgálat

A fenti példában tegyük fel, hogy ugyanaz a beszélgetés egy fiókkal kapcsolatos kérdésről egy számlázási vitára, majd egy meghibásodott integrációra tér át. Ahogy a feladat változik, a döntési modell kiválasztja a megfelelő útvonalat; amikor a felhasználó záró köszönetet küld, az Orchestrator visszatér a GLM-5.3 Flash modellhez.

Ügyfélszolgálati beszélgetés: az útvonal és a modell az egyes körökben.

Promptgyorsítótárazás modellváltások között

Minden kérés a teljes üzenetelőzményt tartalmazza, de minden modell saját gyorsítótárat tart fenn. Amikor a beszélgetés a 4. körben visszatér a GLM Flash modellhez, az újra felhasználhatja az 1. körből származó egyező előtagot, amíg az még a gyorsítótárban van, majd feldolgozza az Opus és a Sol által a 2. és a 3. körben hozzáadott válaszokat. Ugyanez érvényes az Opusra vagy a Solra is, ha az 5. körben őket választja ki a rendszer.

Az Orchestrator lehetőség szerint ugyanazon a telepítésen tartja az összetartozó kéréseket, hogy megőrizze a promptgyorsítótárazást. Használj egy állandó prompt_cache_key értéket a beszélgetéshez, hogy segítsd ennek az affinitásnak a fenntartását.

Promptgyorsítótárazás modellváltások között: a GLM Flash újra felhasználhatja a korábbi előtagját, miközben a közbeeső beszélgetést új bemenetként dolgozza fel.

Kódolási asszisztens

A kódolási beszélgetés 4. körében a GLM-5.3 Flash a Claude Opus 5.5 hibadiagnózisából és a GPT-6.1 Sol implementációs tervéből származó kontextus alapján ír egy docstringet.

Az útválasztási profil az átnevezéseket és a kisebb szerkesztéseket a GLM-5.3 Flash modellhez, a hibadiagnózist a Claude Opus 5.5 modellhez, a több modult érintő módosítások tervezését pedig a GPT-6.1 Sol modellhez rendeli:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
Kódolási beszélgetés: az útvonal és a modell az egyes körökben.

Kutatási asszisztens

A kutatási példában egy ténykérdésből számítás lesz, amely aztán egy feljegyzés alapjául szolgál. A profil a ténykérdéseket a GLM-5.3 Flash modellhez, a számításokat a GPT-6.1 Sol modellhez, a feljegyzések megírását pedig a Claude Opus 5.5 modellhez rendeli:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

A 3. körben készült feljegyzés a GPT-6.1 Sol előző válaszában szereplő számításokat használja fel, és kerekíti a számadatokat anélkül, hogy a felhasználónak meg kellene ismételnie őket.

Kutatási beszélgetés: az útvonal és a modell az egyes körökben.

Első lépések az Orchestratorral

Csatlakoztasd a meglévő OpenAI vagy Anthropic SDK-dat egy Perplexity API-kulccsal, a megfelelő Orchestrator alap-URL-lel és egy modellel a katalógusból.

A gyors kezdési útmutató ismerteti a beállítást, valamint a jelenlegi elérhetőséget és hozzáférést. Kérdés esetén írj az api@perplexity.ai címre.