Orchestrator: један API за поуздану инференцију
Повежите се с AI моделима отворених тежина и власничким AI моделима преко једног API-ја, уз јединствени обрачун и аутоматско пребацивање на другог провајдера уз задржавање истог модела.

Orchestrator обједињује моделе отворених тежина и власничке моделе у један API с јединственим обрачуном. Аутоматски бира провајдера на основу доступности, капацитета и латенције, а неуспјеле захтјеве може поново покушати на другој доступној инстанци истог модела.
Једна интеграција за моделе отворених тежина и власничке моделе
Orchestrator опслужује моделе отворених тежина хостоване на инфраструктури за инференцију компаније Perplexity, упоредо с власничким моделима других провајдера. Тренутни каталог наводи доступне моделе.
Подржава захтјеве у форматима OpenAI Chat Completions, OpenAI Responses и Anthropic Messages, па се можете повезати преко постојећег OpenAI или Anthropic SDK-а.
Водич за брзи почетак и водич за рутирање садрже примјере за SDK и опис тренутног понашања рутирања.
Поузданост и брзина код различитих провајдера
Поузданост
Избор модела Claude не мора значити ослањање на једног провајдера: захтјев који не успије код компаније Anthropic и даље може успјети на платформи AWS Bedrock. Пребацивање на другог провајдера омогућава промјену инстанце која обрађује захтјев без промјене модела.
Orchestrator користи уочено стање и капацитет да расподијели захтјеве међу инстанцама модела. Ако провајдер врати грешку, достигне ограничење броја захтјева или му истекне вријеме, Orchestrator поново покушава на другој инстанци тог модела, уз ограничења времена до првог токена и укупног трајања сваког покушаја.
У мјерењима од 4. октобра до 2. новембра 2026, захтјеви за Claude и GPT преко платформе Perplexity чешће су били успјешни од захтјева упућених било ком појединачном провајдеру којег смо мјерили. Њихове дневне стопе успјешности такође су мање варирале током инцидената код провајдера.
Захтјев смо рачунали као неуспјешан када је Orchestrator исцрпио доступне инстанце или је слој за опслуживање вратио грешку, али смо искључили грешке на страни клијента, као што су неважећи захтјеви и прекорачења ограничења броја захтјева на страни клијента.
Брзина генерисања излаза
Радимо на адаптивном рутирању које узима у обзир брзину модела, како би Orchestrator могао прилагођавати избор провајдера како се перформансе мијењају.
Најбржи провајдер за било који модел мијења се током времена. За Claude Opus 5.5, Anthropic је био најбржи 15 од 30 дана, а AWS Bedrock осталих 15.
У истих 30 дана, медијана брзине генерисања модела GPT-5.6 Sol на платформи Azure била је 27% већа него код компаније OpenAI.
Један рачун за све моделе
Сваки захтјев се обрачунава само према потрошњи токена модела који је одговорио. Orchestrator наплаћује објављене цијене по токену за сваки модел без обзира на то који провајдер обрађује захтјев, тако да пребацивање на другог провајдера не мијења ту цијену. Потрошња се одбија од истих унапријед плаћених кредита као и остатак вашег Perplexity API пројекта.
У API Console можете видјети потрошњу по моделу и филтрирати коришћење по API кључу. Кредите можете купити и преко AWS Marketplace.
Аутоматско рутирање (пробна верзија): одговарајући модел за сваки задатак
Orchestrator нуди аутоматско рутирање, опционалну функцију доступну у пробној верзији. Она бира модел за сваки захтјев помоћу профила који повезује описе задатака на обичном језику с моделима. Можете дефинисати сопствени профил или користити уграђени подразумијевани профил који нуди Orchestrator.
Захтјеви за аутоматско рутирање користе perplexity/auto као модел. За прилагођени профил, укључите објекат за рутирање са default_model и routes. Свака рута наводи назив, опис и модел.
За сваки захтјев, perplexity/auto позива наш модел за одлучивање, који чита разговор и упоређује га с описима рута, не видећи називе модела. Orchestrator затим шаље захтјев моделу додијељеном изабраној рути или вашем подразумијеваном моделу ако ниједна рута не одговара. Orchestrator користи ваш подразумијевани модел и када модел за одлучивање не успије или му истекне вријеме.
Примјери у наставку обухватају рутирање ради заобилажења одбијања модела, врсте проблема у корисничкој подршци и промјене задатака унутар разговора.
Рутирање ради заобилажења одбијања
Агент може користити аутоматско рутирање да избјегне предвидива одбијања, а да задржи жељени модел за остали рад. Anthropic наводи да заштитни механизми модела Claude Fable 5.2 могу блокирати безопасан рад у области сајбер безбједности и наука о животу. Овај случај коришћења тестирали смо на подскупу од 63 задатка из Terminal-Bench 4.1.
Покренули смо Claude Code само с моделом Fable и с два прилагођена профила рутирања. Оба профила задржала су Fable као подразумијевани модел и додијелила руте за сајбер безбједност, биологију и after_refusal моделу GPT-6 Astra или GPT-6.1 Sol. Ради поређења, укључили смо и самостална покретања модела Astra и Sol у алату Codex.
У овом прилагођеном поређењу, обје рутиране конфигурације Claude Code рјешавају 41 од 63 задатка, у односу на 38 са самим моделом Fable, уз већи процијењени трошак по задатку. Графикон приказује овај компромис упоредо с моделима Astra и Sol покренутим у алату Codex.
Примјер у наставку користи Sol: руте за безбједност и биологију бирају га прије него што дође до одбијања, а after_refusal га бира када разговор већ садржи одбијање.
"routing": {
"default_model": "anthropic/claude-fable-5-2",
"routes": [
{"name": "security",
"description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.",
"model": "openai/gpt-6.1-sol"},
{"name": "biology",
"description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.",
"model": "openai/gpt-6.1-sol"},
{"name": "after_refusal",
"description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.",
"model": "openai/gpt-6.1-sol"}
]
}Рутирање према врсти проблема
Асистенту за корисничку подршку за већину питања довољан је брз и јефтин модел. Спор око наплате захтијева пажљив, емпатичан одговор. Покварена интеграција захтијева рјешавање проблема. Асистент може користити двије руте, за спорове око наплате и за техничке проблеме, а рутинска питања препустити свом подразумијеваном моделу:
Рута | Опис задатка | Модел |
default_model | Све остало, на примјер како промијенити имејл адресу налога | GLM-5.3 Flash |
billing_dispute | Клијент оспорава трошак, тражи поврат новца или је незадовољан износом који му је наплаћен. | Claude Opus 5.5 |
technical_issue | Клијент пријављује грешку у раду, поруку о грешци или интеграцију која је престала да ради и захтијева рјешавање проблема. | GPT-6.1 Sol |
Слање рутираног захтјева
Захтјев у наставку шаље проблем с неуспјелим API позивима кроз горенаведени профил за корисничку подршку.
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \
-H "Authorization: Bearer $PERPLEXITY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7",
"model": "perplexity/auto",
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "billing_dispute",
"description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.",
"model": "anthropic/claude-opus-5-5"},
{"name": "technical_issue",
"description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.",
"model": "openai/gpt-6.1-sol"}
]
},
"messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}]
}'Модел за одлучивање повезао је неуспјеле API позиве с рутом technical_issue, па је Orchestrator послао захтјев моделу GPT-6.1 Sol. Одговор садржи изабрану руту и модел који је одговорио:
HTTP/2 200
x-perplexity-autoroute-outcome: routed
x-perplexity-autoroute-route: technical_issue
{"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}x-perplexity-autoroute-route означава изабрану руту или да ниједна није изабрана. x-perplexity-autoroute-outcome извјештава како је захтјев обрађен, укључујући то да ли је рутиран или је враћен на ваш подразумијевани модел. Поље model означава модел који је одговорио.
Рутирање унутар разговора
Како разговор прелази с једног задатка на други, модел који је обрадио један корак можда није прави избор за сљедећи. Ваши наредни захтјеви садрже историју разговора, па и модел за одлучивање и изабрани модел могу прочитати раније кораке, укључујући одговоре других модела. Покренули смо три стварна разговора од по четири корака: корисничку подршку, кодирање и истраживање.
Корисничка подршка
У горњем примјеру, претпоставимо да исти разговор прелази с питања о налогу на спор око наплате, а затим на покварену интеграцију. Како се задатак мијења, модел за одлучивање бира одговарајућу руту; када корисник пошаље завршну захвалницу, Orchestrator се враћа на модел GLM-5.3 Flash.
Кеширање упита при преласку између модела
Сваки захтјев носи комплетну историју порука, али сваки модел одржава сопствени кеш. Када се разговор у 4. кораку врати на GLM Flash, он може поново искористити одговарајући префикс из 1. корака док је још у кешу, а затим обрадити одговоре које су Opus и Sol додали у 2. и 3. кораку. Исто важи за Opus или Sol ако буду изабрани у 5. кораку.
Orchestrator задржава повезане захтјеве на истој инстанци кад год је могуће, како би очувао кеширање упита. Користите стабилан prompt_cache_key за разговор да бисте помогли у одржавању те повезаности.
Асистент за кодирање
У 4. кораку разговора о кодирању, GLM-5.3 Flash пише docstring користећи контекст из дијагнозе грешке коју је поставио Claude Opus 5.5 и из плана имплементације модела GPT-6.1 Sol.
Профил рутирања додјељује преименовања и мање измјене моделу GLM-5.3 Flash, дијагнозу грешака моделу Claude Opus 5.5, а планирање измјена у више модула моделу GPT-6.1 Sol:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "hard_debugging",
"description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.",
"model": "anthropic/claude-opus-5-5"},
{"name": "design_change",
"description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.",
"model": "openai/gpt-6.1-sol"}
]
}Асистент за истраживање
У примјеру истраживања, чињенично питање води до прорачуна, који затим постаје основа за меморандум. Профил додјељује чињенична питања моделу GLM-5.3 Flash, прорачуне моделу GPT-6.1 Sol, а писање меморандума моделу Claude Opus 5.5:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "quantitative_analysis",
"description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.",
"model": "openai/gpt-6.1-sol"},
{"name": "long_form_writing",
"description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.",
"model": "anthropic/claude-opus-5-5"}
]
}Меморандум у 3. кораку користи прорачуне из претходног одговора модела GPT-6.1 Sol и заокружује бројке, без тражења од корисника да их понови.
Почните да користите Orchestrator
Повежите постојећи OpenAI или Anthropic SDK помоћу Perplexity API кључа, одговарајућег основног URL-а за Orchestrator и модела из каталога.
Водич за брзи почетак обухвата подешавање, тренутну доступност и приступ. За питања се обратите на api@perplexity.ai.