Orchestrator: un singur API pentru inferență fiabilă
Conectați-vă la modele de IA cu ponderi deschise și proprietare printr-un singur API, cu facturare unificată și comutare automată între furnizori pentru același model.

Orchestrator reunește modele cu ponderi deschise și modele proprietare într-un singur API, cu facturare unificată. Alege automat un furnizor în funcție de disponibilitate, capacitate și latență și poate reîncerca solicitările eșuate pe o altă implementare disponibilă a aceluiași model.
O singură integrare pentru modele cu ponderi deschise și modele proprietare
Orchestrator oferă modele cu ponderi deschise găzduite pe infrastructura de inferență a Perplexity, alături de modele proprietare de la alți furnizori. Catalogul actual enumeră modelele disponibile.
Acceptă solicitări OpenAI Chat Completions, OpenAI Responses și Anthropic Messages, astfel încât vă puteți conecta prin SDK-ul OpenAI sau Anthropic existent.
Ghidul de pornire rapidă și ghidul de rutare includ exemple de SDK și descriu comportamentul actual al rutării.
Fiabilitate și viteză la diferiți furnizori
Fiabilitate
Alegerea lui Claude nu înseamnă neapărat dependența de un singur furnizor: o solicitare care eșuează pe Anthropic poate reuși în continuare pe AWS Bedrock. Comutarea automată între furnizori permite schimbarea implementării care deservește o solicitare fără a schimba modelul.
Orchestrator folosește starea de funcționare și capacitatea observate pentru a distribui solicitările între implementările unui model. Dacă un furnizor returnează o eroare, atinge o limită de rată sau depășește timpul de răspuns, Orchestrator reîncearcă pe o altă implementare a acelui model, cu limite pentru timpul până la primul token și pentru durata totală a fiecărei încercări.
În măsurătorile efectuate între 4 octombrie și 2 noiembrie 2026, solicitările către Claude și GPT trimise prin Perplexity au reușit mai des decât solicitările către oricare dintre furnizorii individuali pe care i-am măsurat. De asemenea, ratele lor zilnice de succes au variat mai puțin în timpul incidentelor furnizorilor.
Am considerat că o solicitare a eșuat atunci când Orchestrator a epuizat implementările disponibile sau când stratul de deservire a returnat o eroare, dar am exclus erorile clientului, cum ar fi solicitările nevalide și depășirile limitelor de rată ale clientului.
Viteza de generare
Lucrăm la o rutare adaptivă care ține cont de viteza modelelor, astfel încât Orchestrator să poată ajusta selecția furnizorilor pe măsură ce performanța se schimbă.
Cel mai rapid furnizor pentru orice model se schimbă în timp. Pentru Claude Opus 5.5, Anthropic a fost cel mai rapid în 15 din cele 30 de zile, iar AWS Bedrock în celelalte 15.
În aceleași 30 de zile, viteza mediană de generare a lui GPT-5.6 Sol pe Azure a fost cu 27% mai mare decât pe OpenAI.
O singură factură pentru toate modelele
Fiecare solicitare se contabilizează doar în utilizarea de tokenuri a modelului care răspunde. Orchestrator percepe tarifele publicate per token ale fiecărui model, indiferent de furnizorul care deservește solicitarea, așa că comutarea automată între furnizori nu modifică acest tarif. Utilizarea se deduce din aceleași credite preplătite ca restul proiectului dvs. din API-ul Perplexity.
În Consola API, puteți vizualiza cheltuielile pe model și puteți filtra utilizarea după cheia API. De asemenea, puteți cumpăra credite prin AWS Marketplace.
Rutare automată (previzualizare): alocați fiecărei sarcini modelul potrivit
Orchestrator oferă rutare automată, o funcție opțională disponibilă în previzualizare. Aceasta selectează un model pentru fiecare solicitare folosind un profil care asociază descrieri ale sarcinilor, formulate în limbaj natural, cu modele. Vă puteți defini propriul profil sau puteți folosi profilul implicit integrat în Orchestrator.
Solicitările cu rutare automată folosesc perplexity/auto ca model. Pentru un profil personalizat, includeți un obiect de rutare cu default_model și routes. Fiecare rută specifică un nume, o descriere și un model.
Pentru fiecare solicitare, perplexity/auto apelează modelul nostru de decizie, care citește conversația și o compară cu descrierile rutelor, fără să vadă numele modelelor. Apoi, Orchestrator trimite solicitarea modelului atribuit rutei selectate sau modelului dvs. implicit, dacă nicio rută nu se potrivește. Orchestrator folosește modelul implicit și atunci când modelul de decizie eșuează sau depășește timpul de răspuns.
Exemplele de mai jos acoperă rutarea pentru evitarea refuzurilor modelelor, tipurile de probleme din asistența pentru clienți și schimbările de sarcină în cadrul unei conversații.
Rutarea pentru evitarea refuzurilor
Un agent poate folosi rutarea automată pentru a evita refuzurile previzibile, păstrându-și modelul preferat pentru restul sarcinilor. Anthropic documentează faptul că măsurile de siguranță ale Claude Fable 5.2 pot bloca activități benigne din domeniul securității cibernetice și al științelor vieții. Am testat acest caz de utilizare pe un subset de 63 de sarcini din Terminal-Bench 4.1.
Am rulat Claude Code doar cu Fable și cu două profiluri de rutare personalizate. Ambele profiluri au păstrat Fable ca model implicit și au atribuit rutele pentru securitate cibernetică, biologie și after_refusal fie lui GPT-6 Astra, fie lui GPT-6.1 Sol. Pentru comparație, am inclus și rulări independente ale Astra și Sol în Codex.
În această comparație ajustată, ambele configurații Claude Code cu rutare rezolvă 41 din 63 de sarcini, față de 38 în cazul lui Fable singur, la un cost estimat per sarcină mai mare. Graficul prezintă acest compromis alături de Astra și Sol rulate în Codex.
Exemplul de mai jos folosește Sol: rutele pentru securitate și biologie îl selectează înainte de apariția unui refuz, iar after_refusal îl selectează atunci când conversația conține deja un refuz.
"routing": {
"default_model": "anthropic/claude-fable-5-2",
"routes": [
{"name": "security",
"description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.",
"model": "openai/gpt-6.1-sol"},
{"name": "biology",
"description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.",
"model": "openai/gpt-6.1-sol"},
{"name": "after_refusal",
"description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.",
"model": "openai/gpt-6.1-sol"}
]
}Rutare în funcție de tipul problemei
Pentru un asistent de suport pentru clienți, majoritatea întrebărilor necesită doar un model rapid și ieftin. O dispută privind facturarea cere un răspuns atent și empatic. O integrare defectă necesită depanare. Asistentul poate folosi două rute, pentru disputele de facturare și pentru problemele tehnice, lăsând întrebările de rutină în seama modelului său implicit:
Rută | Descrierea sarcinii | Model |
default_model | Orice altceva, de exemplu cum se schimbă adresa de e-mail a unui cont | GLM-5.3 Flash |
billing_dispute | Un client contestă o taxare, solicită o rambursare sau este nemulțumit de o sumă care i-a fost facturată. | Claude Opus 5.5 |
technical_issue | Un client raportează o defecțiune, un mesaj de eroare sau o integrare care nu mai funcționează și care necesită depanare. | GPT-6.1 Sol |
Trimiterea unei solicitări cu rutare
Solicitarea de mai jos trimite o problemă de tip eroare API prin profilul de asistență pentru clienți de mai sus.
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \
-H "Authorization: Bearer $PERPLEXITY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7",
"model": "perplexity/auto",
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "billing_dispute",
"description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.",
"model": "anthropic/claude-opus-5-5"},
{"name": "technical_issue",
"description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.",
"model": "openai/gpt-6.1-sol"}
]
},
"messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}]
}'Modelul de decizie a asociat apelurile API eșuate cu technical_issue, așa că Orchestrator a trimis solicitarea către GPT-6.1 Sol. Răspunsul include ruta selectată și modelul care a răspuns:
HTTP/2 200
x-perplexity-autoroute-outcome: routed
x-perplexity-autoroute-route: technical_issue
{"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}x-perplexity-autoroute-route identifică ruta selectată sau indică faptul că nu există niciuna. x-perplexity-autoroute-outcome arată cum a fost gestionată solicitarea, inclusiv dacă a fost rutată sau a revenit la modelul dvs. implicit. Câmpul model identifică modelul care a răspuns.
Rutarea în cadrul unei conversații
Pe măsură ce o conversație trece de la o sarcină la alta, modelul care a gestionat o rundă poate să nu fie alegerea potrivită pentru următoarea. Solicitările dvs. ulterioare includ istoricul conversației, astfel încât atât modelul de decizie, cât și modelul selectat pot citi rundele anterioare, inclusiv răspunsurile altor modele. Am rulat trei conversații reale de câte patru runde: asistență pentru clienți, programare și cercetare.
Asistență pentru clienți
În exemplul de mai sus, să presupunem că aceeași conversație trece de la o întrebare despre cont la o dispută privind facturarea și apoi la o integrare defectă. Pe măsură ce sarcina se schimbă, modelul de decizie selectează ruta corespunzătoare; când utilizatorul trimite un mesaj final de mulțumire, Orchestrator revine la GLM-5.3 Flash.
Memorarea în cache a prompturilor la transferul între modele
Fiecare solicitare conține întregul istoric al mesajelor, dar fiecare model își păstrează propriul cache. Când conversația revine la GLM Flash în runda 4, acesta poate reutiliza un prefix corespunzător din runda 1, cât timp prefixul se află încă în cache, apoi procesează răspunsurile adăugate de Opus și Sol în rundele 2 și 3. Același lucru este valabil pentru Opus sau Sol, dacă sunt selectate în runda 5.
Orchestrator păstrează solicitările asociate pe aceeași implementare, ori de câte ori este posibil, pentru a menține memorarea în cache a prompturilor. Reutilizați un prompt_cache_key stabil pentru conversație, pentru a contribui la menținerea acestei afinități.
Asistent de programare
În runda 4 a conversației de programare, GLM-5.3 Flash scrie un docstring folosind contextul din diagnosticul erorii realizat de Claude Opus 5.5 și din planul de implementare al lui GPT-6.1 Sol.
Profilul de rutare atribuie redenumirile și modificările minore lui GLM-5.3 Flash, diagnosticarea erorilor lui Claude Opus 5.5, iar planificarea modificărilor care afectează mai multe module lui GPT-6.1 Sol:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "hard_debugging",
"description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.",
"model": "anthropic/claude-opus-5-5"},
{"name": "design_change",
"description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.",
"model": "openai/gpt-6.1-sol"}
]
}Asistent de cercetare
În exemplul de cercetare, o întrebare factuală duce la un calcul, care devine apoi baza unei note. Profilul atribuie întrebările factuale lui GLM-5.3 Flash, calculele lui GPT-6.1 Sol și redactarea notei lui Claude Opus 5.5:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "quantitative_analysis",
"description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.",
"model": "openai/gpt-6.1-sol"},
{"name": "long_form_writing",
"description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.",
"model": "anthropic/claude-opus-5-5"}
]
}Nota din runda 3 folosește calculele din răspunsul anterior al lui GPT-6.1 Sol, rotunjind cifrele fără a-i cere utilizatorului să le repete.
Începeți să folosiți Orchestrator
Conectați SDK-ul OpenAI sau Anthropic existent folosind o cheie API Perplexity, URL-ul de bază Orchestrator corespunzător și un model din catalog.
Ghidul de pornire rapidă acoperă configurarea, disponibilitatea actuală și accesul. Pentru întrebări, contactați api@perplexity.ai.