Orchestrator: один API для надійного інференсу
Підключайтеся до моделей ШІ з відкритими вагами та пропрієтарних моделей через один API з єдиним виставленням рахунків і автоматичним перемиканням на інші розгортання тієї самої моделі в разі збою.

Orchestrator об’єднує моделі з відкритими вагами та пропрієтарні моделі в одному API з єдиним виставленням рахунків. Він автоматично вибирає постачальника з огляду на доступність, потужності й затримку, а також може повторювати невдалі запити в іншому доступному розгортанні тієї самої моделі.
Одна інтеграція для моделей з відкритими вагами та пропрієтарних моделей
Orchestrator обслуговує моделі з відкритими вагами, розміщені в інфраструктурі інференсу Perplexity, а також пропрієтарні моделі інших постачальників. У поточному каталозі наведено доступні моделі.
Він приймає запити у форматах OpenAI Chat Completions, OpenAI Responses та Anthropic Messages, тож ви можете підключитися через наявний SDK OpenAI або Anthropic.
Посібник зі швидкого старту та посібник із маршрутизації містять приклади для SDK і описують поточну поведінку маршрутизації.
Надійність і швидкість у різних постачальників
Надійність
Вибір Claude не обов’язково означає залежність від одного постачальника: запит, який не вдався в Anthropic, усе ще може бути успішно виконаний в AWS Bedrock. Перемикання між постачальниками дає змогу змінити розгортання, що обслуговує запит, без зміни моделі.
Orchestrator розподіляє запити між розгортаннями моделі з урахуванням спостережуваного стану та потужностей. Якщо постачальник повертає помилку, досягає ліміту запитів або не відповідає вчасно, Orchestrator повторює спробу в іншому розгортанні цієї моделі з обмеженнями на час до першого токена та загальну тривалість кожної спроби.
За вимірюваннями з 4 жовтня по 2 листопада 2026 року запити до Claude та GPT через Perplexity були успішними частіше, ніж запити до будь-якого окремого постачальника, якого ми вимірювали. Їхня щоденна частка успішних запитів також менше коливалася під час інцидентів у постачальників.
Ми вважали запит невдалим, якщо Orchestrator вичерпав доступні розгортання або рівень обслуговування повернув помилку, але не враховували помилки клієнта, як-от недійсні запити та перевищення клієнтських лімітів запитів.
Швидкість виведення
Ми працюємо над адаптивною маршрутизацією з урахуванням швидкості моделей, щоб Orchestrator міг коригувати вибір постачальника в міру зміни продуктивності.
Найшвидший постачальник для будь-якої моделі змінюється з часом. Для Claude Opus 5.5 Anthropic лідирував 15 із 30 днів, а AWS Bedrock — решту 15.
За ті самі 30 днів медіанна швидкість виведення GPT-5.6 Sol в Azure була на 27% вищою, ніж в OpenAI.
Один рахунок за всі моделі
Кожен запит зараховується лише до використання токенів моделі, яка відповіла. Orchestrator стягує плату за опублікованими тарифами моделі за токен незалежно від того, який постачальник обслуговує запит, тому перемикання на іншого постачальника не змінює цей тариф. Використання списується з тих самих передплачених кредитів, що й решта вашого проєкту Perplexity API.
В API Console можна переглядати витрати за моделями та фільтрувати використання за ключем API. Також можна купити кредити через AWS Marketplace.
Автоматична маршрутизація (попередня версія): вибір відповідної моделі для кожного завдання
Orchestrator пропонує автоматичну маршрутизацію — необов’язкову функцію, доступну в попередній версії. Вона вибирає модель для кожного запиту за профілем, який зіставляє описи завдань простою мовою з моделями. Ви можете визначити власний профіль або використати вбудований профіль Orchestrator за замовчуванням.
У запитах з автоматичною маршрутизацією як модель указується perplexity/auto. Для користувацького профілю додайте об’єкт маршрутизації з default_model і routes. Для кожного маршруту вказуються назва, опис і модель.
Для кожного запиту perplexity/auto викликає нашу модель ухвалення рішень, яка читає розмову та зіставляє її з описами маршрутів, не бачачи назв моделей. Потім Orchestrator надсилає запит моделі, призначеній для вибраного маршруту, або вашій моделі за замовчуванням, якщо жоден маршрут не підходить. Orchestrator також використовує вашу модель за замовчуванням, якщо модель ухвалення рішень дає збій або не відповідає вчасно.
Наведені нижче приклади охоплюють маршрутизацію в обхід відмов моделей, типи проблем у підтримці клієнтів і зміну завдань у межах розмови.
Маршрутизація в обхід відмов
Агент може використовувати автоматичну маршрутизацію, щоб уникати передбачуваних відмов, зберігаючи свою бажану модель для інших завдань. Anthropic зазначає, що захисні механізми Claude Fable 5.2 можуть блокувати нешкідливу роботу у сферах кібербезпеки та наук про життя. Ми перевірили цей сценарій на підмножині Terminal-Bench 4.1 із 63 завдань.
Ми запустили Claude Code лише з Fable, а також із двома користувацькими профілями маршрутизації. Обидва профілі залишали Fable моделлю за замовчуванням і призначали маршрути для кібербезпеки, біології та after_refusal або GPT-6 Astra, або GPT-6.1 Sol. Для порівняння ми також додали окремі запуски Astra та Sol у Codex.
У цьому скоригованому порівнянні обидві конфігурації Claude Code з маршрутизацією розв’язують 41 із 63 завдань порівняно з 38 для самої лише Fable, але з вищою орієнтовною вартістю за завдання. На діаграмі цей компроміс показано поряд з Astra та Sol, запущеними в Codex.
У наведеному нижче прикладі використовується Sol: маршрути для безпеки та біології вибирають його ще до відмови, а after_refusal — коли розмова вже містить відмову.
"routing": {
"default_model": "anthropic/claude-fable-5-2",
"routes": [
{"name": "security",
"description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.",
"model": "openai/gpt-6.1-sol"},
{"name": "biology",
"description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.",
"model": "openai/gpt-6.1-sol"},
{"name": "after_refusal",
"description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.",
"model": "openai/gpt-6.1-sol"}
]
}Маршрутизація за типом проблеми
Для асистента підтримки клієнтів більшості запитань достатньо швидкої та недорогої моделі. Суперечка щодо оплати потребує уважної, емпатичної відповіді. Несправна інтеграція вимагає усунення неполадок. Асистент може використовувати два маршрути — для суперечок щодо оплати та технічних проблем, — залишаючи звичайні запитання моделі за замовчуванням:
Маршрут | Опис завдання | Модель |
default_model | Усе інше, наприклад, як змінити електронну пошту облікового запису | GLM-5.3 Flash |
billing_dispute | Клієнт оскаржує списання, просить повернути кошти або незадоволений сумою, яку йому виставили до оплати. | Claude Opus 5.5 |
technical_issue | Клієнт повідомляє про збій, повідомлення про помилку або інтеграцію, яка перестала працювати й потребує усунення несправностей. | GPT-6.1 Sol |
Надсилання запиту з маршрутизацією
Наведений нижче запит надсилає проблему зі збоєм API через описаний вище профіль підтримки клієнтів.
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \
-H "Authorization: Bearer $PERPLEXITY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7",
"model": "perplexity/auto",
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "billing_dispute",
"description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.",
"model": "anthropic/claude-opus-5-5"},
{"name": "technical_issue",
"description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.",
"model": "openai/gpt-6.1-sol"}
]
},
"messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}]
}'Модель ухвалення рішень зіставила невдалі виклики API з маршрутом technical_issue, тож Orchestrator надіслав запит до GPT-6.1 Sol. Відповідь містить вибраний маршрут і модель, яка відповіла:
HTTP/2 200
x-perplexity-autoroute-outcome: routed
x-perplexity-autoroute-route: technical_issue
{"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}x-perplexity-autoroute-route визначає вибраний маршрут або його відсутність. x-perplexity-autoroute-outcome повідомляє, як було оброблено запит, зокрема чи його спрямовано за маршрутом, чи передано вашій моделі за замовчуванням. Поле model визначає модель, яка відповіла.
Маршрутизація в межах розмови
Коли розмова переходить від одного завдання до іншого, модель, яка обробила один хід, може виявитися не найкращим вибором для наступного. Ваші подальші запити містять історію розмови, тож і модель ухвалення рішень, і вибрана модель можуть читати попередні ходи, зокрема відповіді інших моделей. Ми провели три реальні розмови по чотири ходи: підтримка клієнтів, програмування та дослідження.
Служба підтримки клієнтів
Припустімо, що в наведеному вище прикладі та сама розмова переходить від запитання про обліковий запис до суперечки щодо оплати, а потім до несправної інтеграції. Коли завдання змінюється, модель ухвалення рішень вибирає відповідний маршрут; коли користувач наприкінці дякує, Orchestrator повертається до GLM-5.3 Flash.
Кешування промптів під час передавання між моделями
Кожен запит містить повну історію повідомлень, але кожна модель має власний кеш. Коли на 4-му ході розмова повертається до GLM Flash, модель може повторно використати відповідний префікс із 1-го ходу, поки він ще в кеші, а потім обробити відповіді, додані Opus і Sol на 2-му та 3-му ходах. Те саме стосується Opus або Sol, якщо їх буде вибрано на 5-му ході.
Orchestrator по можливості залишає пов’язані запити в тому самому розгортанні, щоб зберегти кешування промптів. Використовуйте для розмови стабільний prompt_cache_key, щоб підтримувати цю прив’язку.
Асистент для програмування
На 4-му ході розмови про програмування GLM-5.3 Flash пише рядок документації (docstring), використовуючи контекст із діагностики помилки від Claude Opus 5.5 та плану реалізації від GPT-6.1 Sol.
Профіль маршрутизації призначає перейменування та невеликі правки GLM-5.3 Flash, діагностику помилок — Claude Opus 5.5, а планування змін у кількох модулях — GPT-6.1 Sol:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "hard_debugging",
"description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.",
"model": "anthropic/claude-opus-5-5"},
{"name": "design_change",
"description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.",
"model": "openai/gpt-6.1-sol"}
]
}Асистент для досліджень
У прикладі з дослідженням фактичне запитання приводить до обчислення, яке потім стає основою для службової записки. Профіль призначає фактичні запитання GLM-5.3 Flash, обчислення — GPT-6.1 Sol, а написання записок — Claude Opus 5.5:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "quantitative_analysis",
"description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.",
"model": "openai/gpt-6.1-sol"},
{"name": "long_form_writing",
"description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.",
"model": "anthropic/claude-opus-5-5"}
]
}Записка на 3-му ході використовує обчислення з попередньої відповіді GPT-6.1 Sol і округлює цифри, не просячи користувача повторити їх.
Початок роботи з Orchestrator
Підключіть наявний SDK OpenAI або Anthropic, указавши ключ API Perplexity, відповідну базову URL-адресу Orchestrator і модель із каталогу.
Посібник зі швидкого старту описує налаштування, поточну доступність і доступ. З питаннями звертайтеся на api@perplexity.ai.