Orchestrator: un’unica API per un’inferenza affidabile

Connettiti a modelli di IA a pesi aperti e proprietari tramite un’unica API, con fatturazione unificata e failover automatico sullo stesso modello.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator riunisce modelli a pesi aperti e proprietari in un’unica API con fatturazione unificata. Sceglie automaticamente un provider in base a disponibilità, capacità e latenza, e può ripetere le richieste non riuscite su un altro deployment disponibile dello stesso modello.

Un’unica integrazione per modelli a pesi aperti e proprietari

Orchestrator offre modelli a pesi aperti ospitati sull’infrastruttura di inferenza di Perplexity insieme a modelli proprietari di altri provider. Il catalogo attuale elenca i modelli disponibili.

Accetta richieste OpenAI Chat Completions, OpenAI Responses e Anthropic Messages, quindi puoi connetterti tramite il tuo SDK OpenAI o Anthropic esistente.

La guida rapida e la guida all’instradamento includono esempi di SDK e descrivono il comportamento attuale dell’instradamento.

Affidabilità e velocità tra i provider

Affidabilità

Scegliere Claude non significa necessariamente affidarsi a un unico provider: una richiesta che non va a buon fine su Anthropic può comunque riuscire su AWS Bedrock. Il failover tra provider consente di cambiare il deployment che gestisce una richiesta senza cambiare modello.

Orchestrator usa lo stato di salute e la capacità osservati per distribuire le richieste tra i deployment di un modello. Se un provider restituisce un errore, raggiunge un limite di frequenza o va in timeout, Orchestrator riprova su un altro deployment dello stesso modello, con limiti sul tempo al primo token e sulla durata totale di ogni tentativo.

Nelle misurazioni effettuate dal 4 ottobre al 2 novembre 2026, le richieste a Claude e GPT tramite Perplexity sono andate a buon fine più spesso delle richieste inviate a qualsiasi singolo provider da noi misurato. Anche i loro tassi di successo giornalieri hanno mostrato una variabilità minore durante gli incidenti dei provider.

Tassi di successo delle richieste, dal 4 ottobre al 2 novembre 2026: Claude a sinistra; a destra i modelli GPT disponibili sia tramite OpenAI sia tramite Azure.
Tassi di successo giornalieri delle richieste nello stesso periodo: Claude a sinistra e GPT a destra.

Abbiamo considerato non riuscita una richiesta quando Orchestrator ha esaurito i deployment disponibili o il livello di servizio ha restituito un errore, escludendo però gli errori lato client, come le richieste non valide e le violazioni dei limiti di frequenza del client.

Velocità di output

Stiamo lavorando a un instradamento adattivo che tenga conto della velocità dei modelli, in modo che Orchestrator possa adeguare la selezione dei provider al variare delle prestazioni.

Il provider più veloce per un determinato modello cambia nel tempo. Per Claude Opus 5.5, Anthropic è stato il più veloce in 15 dei 30 giorni e AWS Bedrock negli altri 15.

Velocità di output mediana di Claude Opus 5.5 per provider e per giorno, dal 4 ottobre al 2 novembre 2026. La linea evidenziata segue il provider più veloce di ogni giorno, a illustrare l’obiettivo di un instradamento in tempo reale basato sulla velocità.

Negli stessi 30 giorni, la velocità di output mediana di GPT-5.6 Sol su Azure è stata superiore del 27% rispetto a quella su OpenAI.

Velocità di output mediana di GPT-5.6 Sol dopo il primo token, dal 4 ottobre al 2 novembre 2026.

Un’unica fattura per tutti i modelli

Ogni richiesta viene conteggiata solo nell’utilizzo di token del modello che risponde. Orchestrator applica le tariffe per token pubblicate di ciascun modello indipendentemente dal provider che gestisce la richiesta, quindi il failover tra provider non modifica la tariffa. L’utilizzo attinge agli stessi crediti prepagati del resto del tuo progetto API di Perplexity.

Nell’API Console puoi visualizzare la spesa per modello e filtrare l’utilizzo per chiave API. Puoi anche acquistare crediti tramite AWS Marketplace.

Instradamento automatico (anteprima): abbina ogni attività al modello giusto

Orchestrator offre l’instradamento automatico, una funzionalità facoltativa disponibile in anteprima. Seleziona un modello per ogni richiesta usando un profilo che associa descrizioni delle attività in linguaggio semplice a determinati modelli. Puoi definire un profilo personalizzato o usare quello predefinito integrato di Orchestrator.

Le richieste di instradamento automatico usano perplexity/auto come modello. Per un profilo personalizzato, includi un oggetto routing con default_model e routes. Ogni percorso specifica un nome, una descrizione e un modello.

Per ogni richiesta, perplexity/auto chiama il nostro modello decisionale per leggere la conversazione e confrontarla con le descrizioni dei percorsi, senza vedere i nomi dei modelli. Orchestrator invia quindi la richiesta al modello assegnato al percorso selezionato oppure al tuo modello predefinito se nessun percorso corrisponde. Orchestrator usa il modello predefinito anche se il modello decisionale non riesce a rispondere o va in timeout.

Gli esempi seguenti riguardano l’instradamento per aggirare i rifiuti dei modelli, i tipi di problemi dell’assistenza clienti e i cambi di attività all’interno di una conversazione.

Instradamento per aggirare i rifiuti

Un agente può usare l’instradamento automatico per evitare rifiuti prevedibili, mantenendo il modello preferito per il resto del lavoro. Anthropic documenta che le misure di sicurezza di Claude Fable 5.2 possono bloccare attività legittime di sicurezza informatica e scienze della vita. Abbiamo testato questo caso d’uso su un sottoinsieme di 63 attività di Terminal-Bench 4.1.

Abbiamo eseguito Claude Code con Fable da solo e con due profili di instradamento personalizzati. Entrambi i profili hanno mantenuto Fable come modello predefinito e assegnato i percorsi per sicurezza informatica, biologia e after_refusal a GPT-6 Astra o a GPT-6.1 Sol. Per confronto, abbiamo incluso anche esecuzioni autonome di Astra e Sol in Codex.

In questo confronto corretto, entrambe le configurazioni di Claude Code con instradamento risolvono 41 attività su 63, contro le 38 di Fable da solo, a fronte di un costo stimato per attività più elevato. Il grafico mostra questo compromesso insieme ad Astra e Sol eseguiti in Codex.

Terminal-Bench 4.1, confronto corretto su 63 attività. Astra Codex include un superamento presunto; i costi sono stimati.

L’esempio seguente usa Sol: i percorsi per sicurezza e biologia lo selezionano prima che si verifichi un rifiuto, mentre after_refusal lo seleziona quando la conversazione contiene già un rifiuto.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

Instradamento per tipo di problema

Per un assistente dedicato all’assistenza clienti, la maggior parte delle domande richiede solo un modello veloce ed economico. Una contestazione di addebito richiede una risposta attenta ed empatica. Un’integrazione non funzionante richiede la risoluzione dei problemi. L’assistente può usare due percorsi per le contestazioni di addebito e i problemi tecnici, lasciando le domande di routine al proprio modello predefinito:

Percorso

Descrizione dell’attività

Modello

default_model

Tutto il resto, ad esempio come cambiare l’email dell’account

GLM-5.3 Flash

billing_dispute

Un cliente contesta un addebito, chiede un rimborso o è scontento per un importo che gli è stato addebitato.

Claude Opus 5.5

technical_issue

Un cliente segnala un bug, un messaggio di errore o un’integrazione che ha smesso di funzionare e che richiede la risoluzione dei problemi.

GPT-6.1 Sol

Invio di una richiesta instradata

Come perplexity/auto gestisce una richiesta: il modello decisionale seleziona un percorso o non restituisce alcuna corrispondenza, e Orchestrator chiama il modello selezionato o il tuo modello predefinito. Le intestazioni della risposta riportano l’esito dell’instradamento.

La richiesta seguente invia un problema di errore dell’API tramite il profilo di assistenza clienti illustrato sopra.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

Il modello decisionale ha associato le chiamate API non riuscite a technical_issue, quindi Orchestrator ha inviato la richiesta a GPT-6.1 Sol. La risposta include il percorso selezionato e il modello che ha risposto:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route identifica il percorso selezionato, oppure nessuno. x-perplexity-autoroute-outcome indica come è stata gestita la richiesta, incluso se è stata instradata o se è ricaduta sul tuo modello predefinito. Il campo model identifica il modello che ha risposto.

Instradamento all’interno di una conversazione

Man mano che una conversazione passa da un’attività all’altra, il modello che ha gestito un turno potrebbe non essere la scelta giusta per quello successivo. Le richieste successive includono la cronologia della conversazione, quindi sia il modello decisionale sia il modello selezionato possono leggere i turni precedenti, comprese le risposte di altri modelli. Abbiamo eseguito tre conversazioni reali di quattro turni: assistenza clienti, programmazione e ricerca.

Assistenza clienti

Nell’esempio precedente, supponiamo che la stessa conversazione passi da una domanda sull’account a una contestazione di addebito e poi a un’integrazione non funzionante. Man mano che l’attività cambia, il modello decisionale seleziona il percorso corrispondente; quando l’utente invia un ringraziamento di chiusura, Orchestrator torna a GLM-5.3 Flash.

Conversazione di assistenza: percorso e modello per ogni turno.

Caching dei prompt nei passaggi da un modello all’altro

Ogni richiesta contiene l’intera cronologia dei messaggi, ma ogni modello mantiene la propria cache. Quando la conversazione torna a GLM Flash nel turno 4, questo può riutilizzare un prefisso corrispondente del turno 1 finché è ancora nella cache, quindi elaborare le risposte aggiunte da Opus e Sol nei turni 2 e 3. Lo stesso vale per Opus o Sol se vengono selezionati nel turno 5.

Ove possibile, Orchestrator mantiene le richieste correlate sullo stesso deployment per preservare il caching dei prompt. Per la conversazione, riutilizza un valore stabile di prompt_cache_key per contribuire a mantenere questa affinità.

Caching dei prompt nei passaggi da un modello all’altro: GLM Flash può riutilizzare il proprio prefisso precedente elaborando come nuovo input la parte di conversazione intermedia.

Assistente di programmazione

Nel turno 4 della conversazione di programmazione, GLM-5.3 Flash scrive una docstring usando il contesto della diagnosi del bug di Claude Opus 5.5 e del piano di implementazione di GPT-6.1 Sol.

Il profilo di instradamento assegna le ridenominazioni e le piccole modifiche a GLM-5.3 Flash, la diagnosi dei bug a Claude Opus 5.5 e la pianificazione di modifiche su più moduli a GPT-6.1 Sol:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
Conversazione di programmazione: percorso e modello per ogni turno.

Assistente di ricerca

Nell’esempio di ricerca, una domanda fattuale porta a un calcolo, che diventa poi la base per un memo. Il profilo assegna le domande fattuali a GLM-5.3 Flash, i calcoli a GPT-6.1 Sol e la stesura dei memo a Claude Opus 5.5:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

Il memo nel turno 3 usa i calcoli della risposta precedente di GPT-6.1 Sol, arrotondando i valori senza chiedere all’utente di ripeterli.

Conversazione di ricerca: percorso e modello per ogni turno.

Inizia a usare Orchestrator

Collega il tuo SDK OpenAI o Anthropic esistente con una chiave API di Perplexity, l’URL di base di Orchestrator appropriato e un modello del catalogo.

La guida rapida illustra la configurazione, la disponibilità attuale e l’accesso. Per domande, contatta api@perplexity.ai.