Orchestrator: విశ్వసనీయ ఇన్ఫరెన్స్ కోసం ఒకే API
ఏకీకృత బిల్లింగ్, ఆటోమేటిక్ అదే-మోడల్ ఫెయిల్ఓవర్తో, ఒకే API ద్వారా ఓపెన్-వెయిట్, యాజమాన్య AI మోడల్లకు కనెక్ట్ అవ్వండి.

Orchestrator ఓపెన్-వెయిట్, యాజమాన్య మోడల్లను ఏకీకృత బిల్లింగ్తో ఒకే APIలోకి తీసుకువస్తుంది. ఇది లభ్యత, కెపాసిటీ, లేటెన్సీ ఆధారంగా ప్రొవైడర్ను ఆటోమేటిక్గా ఎంచుకుంటుంది, విఫలమైన రిక్వెస్ట్లను అదే మోడల్ యొక్క అందుబాటులో ఉన్న మరొక డిప్లాయ్మెంట్లో మళ్లీ ప్రయత్నించగలదు.
ఓపెన్-వెయిట్, యాజమాన్య మోడల్ల కోసం ఒకే ఇంటిగ్రేషన్
Orchestrator ఇతర ప్రొవైడర్ల యాజమాన్య మోడల్లతో పాటు, Perplexity ఇన్ఫరెన్స్ ఇన్ఫ్రాస్ట్రక్చర్పై హోస్ట్ చేసిన ఓపెన్-వెయిట్ మోడల్లను కూడా అందిస్తుంది. అందుబాటులో ఉన్న మోడల్ ఎంపికలను ప్రస్తుత కేటలాగ్ జాబితా చేస్తుంది.
ఇది OpenAI Chat Completions, OpenAI Responses, Anthropic Messages రిక్వెస్ట్లను అంగీకరిస్తుంది, కాబట్టి మీరు మీ ప్రస్తుత OpenAI లేదా Anthropic SDK ద్వారా కనెక్ట్ కావచ్చు.
క్విక్స్టార్ట్, రూటింగ్ గైడ్ SDK ఉదాహరణలను, ప్రస్తుత రూటింగ్ ప్రవర్తనను వివరిస్తాయి.
ప్రొవైడర్లన్నింటిలో విశ్వసనీయత, వేగం
విశ్వసనీయత
Claudeను ఎంచుకోవడం అంటే ఒకే ప్రొవైడర్పై ఆధారపడాలని కాదు: Anthropicలో విఫలమైన రిక్వెస్ట్ కూడా AWS Bedrockలో విజయవంతం కావచ్చు. ప్రొవైడర్ ఫెయిల్ఓవర్ మోడల్ను మార్చకుండానే రిక్వెస్ట్ను అందిస్తున్న డిప్లాయ్మెంట్ను మార్చడానికి వీలు కల్పిస్తుంది.
మోడల్ డిప్లాయ్మెంట్ల మధ్య రిక్వెస్ట్లను పంపిణీ చేయడానికి Orchestrator గమనించిన హెల్త్, కెపాసిటీని ఉపయోగిస్తుంది. ఒక ప్రొవైడర్ ఎర్రర్ను తిరిగి ఇచ్చినా, రేట్ లిమిట్ను చేరుకున్నా లేదా టైమ్ అవుట్ అయినా, Orchestrator ఆ మోడల్ యొక్క మరొక డిప్లాయ్మెంట్లో మళ్లీ ప్రయత్నిస్తుంది; ప్రతి ప్రయత్నానికి మొదటి టోకెన్ వచ్చే సమయం, మొత్తం వ్యవధిపై పరిమితులు ఉంటాయి.
2026 అక్టోబర్ 4 నుండి నవంబర్ 2 వరకు జరిపిన కొలతలలో, మేము కొలిచిన ఏ ఒక్క ప్రొవైడర్కు పంపిన రిక్వెస్ట్ల కంటే Perplexity ద్వారా పంపిన Claude, GPT రిక్వెస్ట్లు ఎక్కువసార్లు విజయవంతమయ్యాయి. ప్రొవైడర్ అంతరాయాల సమయంలో వాటి రోజువారీ విజయ రేట్లలో హెచ్చుతగ్గులు కూడా తక్కువగా ఉన్నాయి.
Orchestrator అందుబాటులో ఉన్న డిప్లాయ్మెంట్లన్నింటినీ ప్రయత్నించి విఫలమైనప్పుడు లేదా సర్వింగ్ లేయర్ ఎర్రర్ను తిరిగి ఇచ్చినప్పుడు మేము ఆ రిక్వెస్ట్ను విఫలమైనదిగా లెక్కించాము, కానీ చెల్లని రిక్వెస్ట్లు, క్లయింట్ రేట్-లిమిట్ ఉల్లంఘనలు వంటి క్లయింట్ ఎర్రర్లను మినహాయించాము.
అవుట్పుట్ వేగం
పనితీరు మారుతున్న కొద్దీ Orchestrator ప్రొవైడర్ ఎంపికను సర్దుబాటు చేయగలిగేలా, మోడల్ వేగాన్ని పరిగణనలోకి తీసుకునే అడాప్టివ్ రూటింగ్పై మేము పనిచేస్తున్నాము.
ఏ మోడల్కైనా అత్యంత వేగవంతమైన ప్రొవైడర్ కాలక్రమేణా మారుతుంది. Claude Opus 5.5 విషయంలో, 30 రోజుల్లో 15 రోజులు Anthropic ముందంజలో ఉంది, మిగతా 15 రోజులు AWS Bedrock ముందంజలో ఉంది.
అదే 30 రోజుల్లో, GPT-5.6 Solకు Azure అందించిన మీడియన్ అవుట్పుట్ వేగం OpenAI కంటే 27% ఎక్కువగా ఉంది.
అన్ని మోడల్లకు ఒకే బిల్లు
ప్రతి రిక్వెస్ట్ సమాధానం ఇచ్చిన మోడల్ టోకెన్ వినియోగంలో మాత్రమే లెక్కించబడుతుంది. ఏ ప్రొవైడర్ రిక్వెస్ట్ను అందించినా, Orchestrator ప్రతి మోడల్ ప్రచురించిన పర్-టోకెన్ రేట్లను వసూలు చేస్తుంది, కాబట్టి ప్రొవైడర్ ఫెయిల్ఓవర్ ఆ రేటును మార్చదు. వినియోగం మీ Perplexity API ప్రాజెక్ట్లోని మిగతా వాటి లాగానే అదే ప్రీపెయిడ్ క్రెడిట్స్ నుండి తీసివేయబడుతుంది.
API Consoleలో, మీరు మోడల్ వారీగా ఖర్చును చూడవచ్చు, API కీ వారీగా వినియోగాన్ని ఫిల్టర్ చేయవచ్చు. మీరు AWS Marketplace ద్వారా క్రెడిట్స్ను కూడా కొనుగోలు చేయవచ్చు.
ఆటోమేటిక్ రూటింగ్ (ప్రివ్యూ): ప్రతి టాస్క్ను సరైన మోడల్తో జత చేయండి
Orchestrator ఆటోమేటిక్ రూటింగ్ను అందిస్తుంది, ఇది ప్రివ్యూలో అందుబాటులో ఉన్న ఐచ్ఛిక ఫీచర్. సాధారణ భాషలో రాసిన టాస్క్ వివరణలను మోడల్లతో జత చేసే ప్రొఫైల్ను ఉపయోగించి, ఇది ప్రతి రిక్వెస్ట్కు ఒక మోడల్ను ఎంచుకుంటుంది. మీరు మీ సొంత ప్రొఫైల్ను నిర్వచించవచ్చు లేదా Orchestrator అంతర్నిర్మిత డిఫాల్ట్ ప్రొఫైల్ను ఉపయోగించవచ్చు.
ఆటోమేటిక్ రూటింగ్ రిక్వెస్ట్లు మోడల్గా perplexity/autoను ఉపయోగిస్తాయి. కస్టమ్ ప్రొఫైల్ కోసం, default_model, routesతో కూడిన రూటింగ్ ఆబ్జెక్ట్ను చేర్చండి. ప్రతి రూట్ ఒక పేరు, వివరణ, మోడల్ను నిర్దేశిస్తుంది.
ప్రతి రిక్వెస్ట్ కోసం, perplexity/auto మా నిర్ణయ మోడల్ను పిలుస్తుంది; అది మోడల్ పేర్లను చూడకుండానే సంభాషణను చదివి, దాన్ని రూట్ వివరణలతో సరిపోల్చుతుంది. ఆ తర్వాత Orchestrator ఎంచుకున్న రూట్కు కేటాయించిన మోడల్కు రిక్వెస్ట్ను పంపుతుంది, లేదా ఏ రూట్ సరిపోలకపోతే మీ డిఫాల్ట్ మోడల్కు పంపుతుంది. నిర్ణయ మోడల్ విఫలమైనా లేదా టైమ్ అవుట్ అయినా కూడా Orchestrator మీ డిఫాల్ట్ మోడల్నే ఉపయోగిస్తుంది.
కింది ఉదాహరణలు మోడల్ తిరస్కరణలను దాటవేసే రూటింగ్, కస్టమర్-సపోర్ట్ సమస్య రకాలు, సంభాషణలో టాస్క్ మార్పులను వివరిస్తాయి.
తిరస్కరణలను దాటవేసే రూటింగ్
ఒక ఏజెంట్ ఇతర పనుల కోసం తనకు ఇష్టమైన మోడల్ను కొనసాగిస్తూనే, ఊహించదగిన తిరస్కరణలను నివారించడానికి ఆటోమేటిక్ రూటింగ్ను ఉపయోగించవచ్చు. Claude Fable 5.2 సేఫ్గార్డ్లు హానిరహితమైన సైబర్సెక్యూరిటీ, లైఫ్ సైన్సెస్ పనులను బ్లాక్ చేయవచ్చని Anthropic డాక్యుమెంట్ చేసింది. మేము ఈ యూజ్ కేస్ను Terminal-Bench 4.1 యొక్క 63 టాస్క్ల సబ్సెట్పై పరీక్షించాము.
మేము Claude Codeను Fable ఒక్కదానితో, అలాగే రెండు కస్టమ్ రూటింగ్ ప్రొఫైల్లతో రన్ చేశాము. రెండు ప్రొఫైల్లూ Fableను డిఫాల్ట్గా ఉంచి, సైబర్సెక్యూరిటీ, బయాలజీ, after_refusal రూట్లను GPT-6 Astra లేదా GPT-6.1 Solకు కేటాయించాయి. పోలిక కోసం Codexలో Astra, Sol స్వతంత్ర రన్లను కూడా చేర్చాము.
ఈ సర్దుబాటు చేసిన పోలికలో, రూటింగ్ చేసిన రెండు Claude Code సెటప్లు 63 టాస్క్లలో 41 టాస్క్లను పరిష్కరిస్తాయి, Fable ఒక్కటే 38 పరిష్కరిస్తుంది; అయితే ఒక్కో టాస్క్కు అంచనా వ్యయం ఎక్కువ. Codexలో రన్ అవుతున్న Astra, Solలతో పాటు ఈ ట్రేడ్-ఆఫ్ను చార్ట్ చూపుతుంది.
కింది ఉదాహరణ Solను ఉపయోగిస్తుంది: తిరస్కరణ జరగకముందే సెక్యూరిటీ, బయాలజీ రూట్లు దాన్ని ఎంచుకుంటాయి; సంభాషణలో ఇప్పటికే తిరస్కరణ ఉన్నప్పుడు after_refusal దాన్ని ఎంచుకుంటుంది.
"routing": {
"default_model": "anthropic/claude-fable-5-2",
"routes": [
{"name": "security",
"description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.",
"model": "openai/gpt-6.1-sol"},
{"name": "biology",
"description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.",
"model": "openai/gpt-6.1-sol"},
{"name": "after_refusal",
"description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.",
"model": "openai/gpt-6.1-sol"}
]
}సమస్య రకం ఆధారంగా రూటింగ్
కస్టమర్-సపోర్ట్ అసిస్టెంట్కు, చాలా ప్రశ్నలకు వేగవంతమైన, తక్కువ ఖర్చుతో కూడిన మోడల్ సరిపోతుంది. బిల్లింగ్ వివాదానికి జాగ్రత్తగా, సానుభూతితో కూడిన ప్రత్యుత్తరం అవసరం. పనిచేయని ఇంటిగ్రేషన్కు ట్రబుల్షూటింగ్ అవసరం. అసిస్టెంట్ బిల్లింగ్ వివాదాలు, సాంకేతిక సమస్యల కోసం రెండు రూట్లను ఉపయోగించి, సాధారణ ప్రశ్నలను తన డిఫాల్ట్ మోడల్కు వదిలివేయవచ్చు:
రూట్ | టాస్క్ వివరణ | మోడల్ |
default_model | ఖాతా ఇమెయిల్ను ఎలా మార్చాలి వంటి మిగతా అన్నీ | GLM-5.3 Flash |
billing_dispute | కస్టమర్ ఒక ఛార్జీని వివాదం చేస్తారు, రీఫండ్ అడుగుతారు, లేదా తమకు బిల్ చేసిన మొత్తం గురించి అసంతృప్తిగా ఉంటారు. | Claude Opus 5.5 |
technical_issue | కస్టమర్ ఒక బగ్ను, ఎర్రర్ మెసేజ్ను, లేదా పనిచేయడం ఆగిపోయి ట్రబుల్షూటింగ్ అవసరమైన ఇంటిగ్రేషన్ను నివేదిస్తారు. | GPT-6.1 Sol |
రూట్ చేసిన రిక్వెస్ట్ను పంపడం
కింది రిక్వెస్ట్ ఒక API వైఫల్య సమస్యను పైన ఉన్న కస్టమర్-సపోర్ట్ ప్రొఫైల్ ద్వారా పంపుతుంది.
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \
-H "Authorization: Bearer $PERPLEXITY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7",
"model": "perplexity/auto",
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "billing_dispute",
"description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.",
"model": "anthropic/claude-opus-5-5"},
{"name": "technical_issue",
"description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.",
"model": "openai/gpt-6.1-sol"}
]
},
"messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}]
}'నిర్ణయ మోడల్ విఫలమైన API కాల్స్ను technical_issueతో సరిపోల్చింది, కాబట్టి Orchestrator రిక్వెస్ట్ను GPT-6.1 Solకు పంపింది. ప్రతిస్పందనలో ఎంచుకున్న రూట్, సమాధానం ఇచ్చిన మోడల్ ఉంటాయి:
HTTP/2 200
x-perplexity-autoroute-outcome: routed
x-perplexity-autoroute-route: technical_issue
{"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}x-perplexity-autoroute-route ఎంచుకున్న రూట్ను గుర్తిస్తుంది, లేదా ఏ రూట్ ఎంచుకోలేదని సూచిస్తుంది. x-perplexity-autoroute-outcome రిక్వెస్ట్ ఎలా నిర్వహించబడిందో నివేదిస్తుంది, అది రూట్ చేయబడిందా లేదా మీ డిఫాల్ట్ మోడల్కు ఫాల్బ్యాక్ అయిందా అనే దానితో సహా. సమాధానం ఇచ్చిన మోడల్ను model ఫీల్డ్ గుర్తిస్తుంది.
సంభాషణలో రూటింగ్
సంభాషణ ఒక టాస్క్ నుండి మరొక టాస్క్కు మారుతున్నప్పుడు, ఒక టర్న్ను నిర్వహించిన మోడల్ తదుపరి టర్న్కు సరైన ఎంపిక కాకపోవచ్చు. మీ ఫాలో-అప్ రిక్వెస్ట్లలో సంభాషణ చరిత్ర ఉంటుంది, కాబట్టి నిర్ణయ మోడల్, ఎంచుకున్న మోడల్ రెండూ ఇతర మోడల్ల ప్రత్యుత్తరాలతో సహా మునుపటి టర్న్లను చదవగలవు. మేము నాలుగు టర్న్లు ఉన్న మూడు నిజమైన సంభాషణలను రన్ చేశాము: కస్టమర్ సపోర్ట్, కోడింగ్, పరిశోధన.
కస్టమర్ సపోర్ట్
పై ఉదాహరణలో, అదే సంభాషణ ఒక ఖాతా ప్రశ్న నుండి బిల్లింగ్ వివాదానికి, ఆ తర్వాత పనిచేయని ఇంటిగ్రేషన్కు మారుతుందని అనుకుందాం. టాస్క్ మారుతున్న కొద్దీ, నిర్ణయ మోడల్ సరిపోలే రూట్ను ఎంచుకుంటుంది; యూజర్ ముగింపుగా ధన్యవాదాలు చెప్పినప్పుడు, Orchestrator తిరిగి GLM-5.3 Flashకు మారుతుంది.
మోడల్ హ్యాండ్ఆఫ్ల మధ్య ప్రాంప్ట్ క్యాషింగ్
ప్రతి రిక్వెస్ట్ పూర్తి మెసేజ్ చరిత్రను తీసుకువెళ్తుంది, కానీ ప్రతి మోడల్ తన సొంత క్యాష్ను నిర్వహిస్తుంది. 4వ టర్న్లో సంభాషణ GLM Flashకు తిరిగి వచ్చినప్పుడు, 1వ టర్న్ నుండి సరిపోలే ప్రిఫిక్స్ ఇంకా క్యాష్లో ఉంటే దాన్ని మళ్లీ ఉపయోగించుకుని, ఆ తర్వాత 2, 3 టర్న్లలో Opus, Sol జోడించిన ప్రతిస్పందనలను ప్రాసెస్ చేయగలదు. 5వ టర్న్లో Opus లేదా Sol ఎంపికైతే వాటికీ ఇదే వర్తిస్తుంది.
ప్రాంప్ట్ క్యాషింగ్ను కాపాడటానికి, సాధ్యమైనప్పుడల్లా Orchestrator సంబంధిత రిక్వెస్ట్లను అదే డిప్లాయ్మెంట్లో ఉంచుతుంది. ఆ అనుబంధాన్ని కొనసాగించడంలో సహాయపడటానికి, సంభాషణ కోసం స్థిరమైన prompt_cache_keyను మళ్లీ ఉపయోగించండి.
కోడింగ్ అసిస్టెంట్
కోడింగ్ సంభాషణలోని 4వ టర్న్లో, Claude Opus 5.5 చేసిన బగ్ డయాగ్నసిస్, GPT-6.1 Sol రూపొందించిన ఇంప్లిమెంటేషన్ ప్లాన్ నుండి వచ్చిన సందర్భాన్ని ఉపయోగించి GLM-5.3 Flash ఒక docstringను రాస్తుంది.
రూటింగ్ ప్రొఫైల్ పేరు మార్పులు, చిన్న ఎడిట్లను GLM-5.3 Flashకు, బగ్ డయాగ్నసిస్ను Claude Opus 5.5కు, మాడ్యూల్స్ అంతటా మార్పుల ప్లానింగ్ను GPT-6.1 Solకు కేటాయిస్తుంది:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "hard_debugging",
"description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.",
"model": "anthropic/claude-opus-5-5"},
{"name": "design_change",
"description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.",
"model": "openai/gpt-6.1-sol"}
]
}పరిశోధన అసిస్టెంట్
పరిశోధన ఉదాహరణలో, ఒక వాస్తవ ప్రశ్న ఒక గణనకు దారితీస్తుంది, ఆ గణన తర్వాత ఒక మెమోకు ఆధారమవుతుంది. ప్రొఫైల్ వాస్తవ ప్రశ్నలను GLM-5.3 Flashకు, గణనలను GPT-6.1 Solకు, మెమో రాయడాన్ని Claude Opus 5.5కు కేటాయిస్తుంది:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "quantitative_analysis",
"description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.",
"model": "openai/gpt-6.1-sol"},
{"name": "long_form_writing",
"description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.",
"model": "anthropic/claude-opus-5-5"}
]
}3వ టర్న్లోని మెమో GPT-6.1 Sol మునుపటి ప్రత్యుత్తరంలోని గణనలను ఉపయోగిస్తుంది, యూజర్ను వాటిని మళ్లీ చెప్పమని అడగకుండానే గణాంకాలను రౌండ్ చేస్తుంది.
Orchestratorతో ప్రారంభించండి
Perplexity API కీ, తగిన Orchestrator బేస్ URL, కేటలాగ్ నుండి ఎంచుకున్న ఒక మోడల్తో మీ ప్రస్తుత OpenAI లేదా Anthropic SDKను కనెక్ట్ చేయండి.
క్విక్స్టార్ట్ సెటప్, ప్రస్తుత లభ్యత, యాక్సెస్ గురించి వివరిస్తుంది. ప్రశ్నల కోసం, దయచేసి api@perplexity.ai ని సంప్రదించండి.