Orchestrator: један API за поуздану инференцију

Повежите се с AI моделима отворених тежина и власничким AI моделима преко једног API-ја, уз јединствени обрачун и аутоматско пребацивање на другог провајдера уз задржавање истог модела.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator обједињује моделе отворених тежина и власничке моделе у један API с јединственим обрачуном. Аутоматски бира провајдера на основу доступности, капацитета и латенције, а неуспјеле захтјеве може поново покушати на другој доступној инстанци истог модела.

Једна интеграција за моделе отворених тежина и власничке моделе

Orchestrator опслужује моделе отворених тежина хостоване на инфраструктури за инференцију компаније Perplexity, упоредо с власничким моделима других провајдера. Тренутни каталог наводи доступне моделе.

Подржава захтјеве у форматима OpenAI Chat Completions, OpenAI Responses и Anthropic Messages, па се можете повезати преко постојећег OpenAI или Anthropic SDK-а.

Водич за брзи почетак и водич за рутирање садрже примјере за SDK и опис тренутног понашања рутирања.

Поузданост и брзина код различитих провајдера

Поузданост

Избор модела Claude не мора значити ослањање на једног провајдера: захтјев који не успије код компаније Anthropic и даље може успјети на платформи AWS Bedrock. Пребацивање на другог провајдера омогућава промјену инстанце која обрађује захтјев без промјене модела.

Orchestrator користи уочено стање и капацитет да расподијели захтјеве међу инстанцама модела. Ако провајдер врати грешку, достигне ограничење броја захтјева или му истекне вријеме, Orchestrator поново покушава на другој инстанци тог модела, уз ограничења времена до првог токена и укупног трајања сваког покушаја.

У мјерењима од 4. октобра до 2. новембра 2026, захтјеви за Claude и GPT преко платформе Perplexity чешће су били успјешни од захтјева упућених било ком појединачном провајдеру којег смо мјерили. Њихове дневне стопе успјешности такође су мање варирале током инцидената код провајдера.

Стопе успјешности захтјева, од 4. октобра до 2. новембра 2026: Claude лијево; GPT модели доступни и преко компаније OpenAI и преко платформе Azure десно.
Дневне стопе успјешности захтјева у истом периоду: Claude лијево, GPT десно.

Захтјев смо рачунали као неуспјешан када је Orchestrator исцрпио доступне инстанце или је слој за опслуживање вратио грешку, али смо искључили грешке на страни клијента, као што су неважећи захтјеви и прекорачења ограничења броја захтјева на страни клијента.

Брзина генерисања излаза

Радимо на адаптивном рутирању које узима у обзир брзину модела, како би Orchestrator могао прилагођавати избор провајдера како се перформансе мијењају.

Најбржи провајдер за било који модел мијења се током времена. За Claude Opus 5.5, Anthropic је био најбржи 15 од 30 дана, а AWS Bedrock осталих 15.

Медијана брзине генерисања модела Claude Opus 5.5 по провајдеру и дану, од 4. октобра до 2. новембра 2026. Истакнута линија сваког дана прати бржег провајдера и илуструје циљ рутирања у реалном времену које узима у обзир брзину.

У истих 30 дана, медијана брзине генерисања модела GPT-5.6 Sol на платформи Azure била је 27% већа него код компаније OpenAI.

Медијана брзине генерисања модела GPT-5.6 Sol након првог токена, од 4. октобра до 2. новембра 2026.

Један рачун за све моделе

Сваки захтјев се обрачунава само према потрошњи токена модела који је одговорио. Orchestrator наплаћује објављене цијене по токену за сваки модел без обзира на то који провајдер обрађује захтјев, тако да пребацивање на другог провајдера не мијења ту цијену. Потрошња се одбија од истих унапријед плаћених кредита као и остатак вашег Perplexity API пројекта.

У API Console можете видјети потрошњу по моделу и филтрирати коришћење по API кључу. Кредите можете купити и преко AWS Marketplace.

Аутоматско рутирање (пробна верзија): одговарајући модел за сваки задатак

Orchestrator нуди аутоматско рутирање, опционалну функцију доступну у пробној верзији. Она бира модел за сваки захтјев помоћу профила који повезује описе задатака на обичном језику с моделима. Можете дефинисати сопствени профил или користити уграђени подразумијевани профил који нуди Orchestrator.

Захтјеви за аутоматско рутирање користе perplexity/auto као модел. За прилагођени профил, укључите објекат за рутирање са default_model и routes. Свака рута наводи назив, опис и модел.

За сваки захтјев, perplexity/auto позива наш модел за одлучивање, који чита разговор и упоређује га с описима рута, не видећи називе модела. Orchestrator затим шаље захтјев моделу додијељеном изабраној рути или вашем подразумијеваном моделу ако ниједна рута не одговара. Orchestrator користи ваш подразумијевани модел и када модел за одлучивање не успије или му истекне вријеме.

Примјери у наставку обухватају рутирање ради заобилажења одбијања модела, врсте проблема у корисничкој подршци и промјене задатака унутар разговора.

Рутирање ради заобилажења одбијања

Агент може користити аутоматско рутирање да избјегне предвидива одбијања, а да задржи жељени модел за остали рад. Anthropic наводи да заштитни механизми модела Claude Fable 5.2 могу блокирати безопасан рад у области сајбер безбједности и наука о животу. Овај случај коришћења тестирали смо на подскупу од 63 задатка из Terminal-Bench 4.1.

Покренули смо Claude Code само с моделом Fable и с два прилагођена профила рутирања. Оба профила задржала су Fable као подразумијевани модел и додијелила руте за сајбер безбједност, биологију и after_refusal моделу GPT-6 Astra или GPT-6.1 Sol. Ради поређења, укључили смо и самостална покретања модела Astra и Sol у алату Codex.

У овом прилагођеном поређењу, обје рутиране конфигурације Claude Code рјешавају 41 од 63 задатка, у односу на 38 са самим моделом Fable, уз већи процијењени трошак по задатку. Графикон приказује овај компромис упоредо с моделима Astra и Sol покренутим у алату Codex.

Terminal-Bench 4.1, прилагођено поређење на 63 задатка. Astra Codex укључује један претпостављени успјешан пролаз; трошкови су процијењени.

Примјер у наставку користи Sol: руте за безбједност и биологију бирају га прије него што дође до одбијања, а after_refusal га бира када разговор већ садржи одбијање.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

Рутирање према врсти проблема

Асистенту за корисничку подршку за већину питања довољан је брз и јефтин модел. Спор око наплате захтијева пажљив, емпатичан одговор. Покварена интеграција захтијева рјешавање проблема. Асистент може користити двије руте, за спорове око наплате и за техничке проблеме, а рутинска питања препустити свом подразумијеваном моделу:

Рута

Опис задатка

Модел

default_model

Све остало, на примјер како промијенити имејл адресу налога

GLM-5.3 Flash

billing_dispute

Клијент оспорава трошак, тражи поврат новца или је незадовољан износом који му је наплаћен.

Claude Opus 5.5

technical_issue

Клијент пријављује грешку у раду, поруку о грешци или интеграцију која је престала да ради и захтијева рјешавање проблема.

GPT-6.1 Sol

Слање рутираног захтјева

Како perplexity/auto обрађује захтјев: модел за одлучивање бира руту или враћа да нема подударања, а Orchestrator позива изабрани модел или ваш подразумијевани модел. Заглавља одговора извјештавају о исходу рутирања.

Захтјев у наставку шаље проблем с неуспјелим API позивима кроз горенаведени профил за корисничку подршку.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

Модел за одлучивање повезао је неуспјеле API позиве с рутом technical_issue, па је Orchestrator послао захтјев моделу GPT-6.1 Sol. Одговор садржи изабрану руту и модел који је одговорио:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route означава изабрану руту или да ниједна није изабрана. x-perplexity-autoroute-outcome извјештава како је захтјев обрађен, укључујући то да ли је рутиран или је враћен на ваш подразумијевани модел. Поље model означава модел који је одговорио.

Рутирање унутар разговора

Како разговор прелази с једног задатка на други, модел који је обрадио један корак можда није прави избор за сљедећи. Ваши наредни захтјеви садрже историју разговора, па и модел за одлучивање и изабрани модел могу прочитати раније кораке, укључујући одговоре других модела. Покренули смо три стварна разговора од по четири корака: корисничку подршку, кодирање и истраживање.

Корисничка подршка

У горњем примјеру, претпоставимо да исти разговор прелази с питања о налогу на спор око наплате, а затим на покварену интеграцију. Како се задатак мијења, модел за одлучивање бира одговарајућу руту; када корисник пошаље завршну захвалницу, Orchestrator се враћа на модел GLM-5.3 Flash.

Разговор с подршком: рута и модел за сваки корак.

Кеширање упита при преласку између модела

Сваки захтјев носи комплетну историју порука, али сваки модел одржава сопствени кеш. Када се разговор у 4. кораку врати на GLM Flash, он може поново искористити одговарајући префикс из 1. корака док је још у кешу, а затим обрадити одговоре које су Opus и Sol додали у 2. и 3. кораку. Исто важи за Opus или Sol ако буду изабрани у 5. кораку.

Orchestrator задржава повезане захтјеве на истој инстанци кад год је могуће, како би очувао кеширање упита. Користите стабилан prompt_cache_key за разговор да бисте помогли у одржавању те повезаности.

Кеширање упита при преласку између модела: GLM Flash може поново искористити свој ранији префикс, док дио разговора између тога обрађује као нови улаз.

Асистент за кодирање

У 4. кораку разговора о кодирању, GLM-5.3 Flash пише docstring користећи контекст из дијагнозе грешке коју је поставио Claude Opus 5.5 и из плана имплементације модела GPT-6.1 Sol.

Профил рутирања додјељује преименовања и мање измјене моделу GLM-5.3 Flash, дијагнозу грешака моделу Claude Opus 5.5, а планирање измјена у више модула моделу GPT-6.1 Sol:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
Разговор о кодирању: рута и модел за сваки корак.

Асистент за истраживање

У примјеру истраживања, чињенично питање води до прорачуна, који затим постаје основа за меморандум. Профил додјељује чињенична питања моделу GLM-5.3 Flash, прорачуне моделу GPT-6.1 Sol, а писање меморандума моделу Claude Opus 5.5:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

Меморандум у 3. кораку користи прорачуне из претходног одговора модела GPT-6.1 Sol и заокружује бројке, без тражења од корисника да их понови.

Истраживачки разговор: рута и модел за сваки корак.

Почните да користите Orchestrator

Повежите постојећи OpenAI или Anthropic SDK помоћу Perplexity API кључа, одговарајућег основног URL-а за Orchestrator и модела из каталога.

Водич за брзи почетак обухвата подешавање, тренутну доступност и приступ. За питања се обратите на api@perplexity.ai.