Orchestrator: நம்பகமான இன்ஃபரன்ஸுக்கு ஒரே API
ஒருங்கிணைந்த பில்லிங் மற்றும் அதே மாடலுக்கான தானியங்கி ஃபெயில்ஓவருடன், ஒரே API மூலம் ஓபன்-வெயிட் மற்றும் தனியுரிம AI மாடல்களுடன் இணையுங்கள்.

Orchestrator ஓபன்-வெயிட் மற்றும் தனியுரிம மாடல்களை ஒருங்கிணைந்த பில்லிங்குடன் ஒரே API-க்குள் கொண்டுவருகிறது. இது கிடைக்கும்தன்மை, திறன், லேட்டன்சி ஆகியவற்றின் அடிப்படையில் தானாகவே ஒரு வழங்குநரைத் தேர்ந்தெடுக்கிறது; தோல்வியடைந்த கோரிக்கைகளை அதே மாடலின் கிடைக்கக்கூடிய மற்றொரு டிப்ளாய்மென்ட்டில் மீண்டும் முயற்சிக்கவும் முடியும்.
ஓபன்-வெயிட் மற்றும் தனியுரிம மாடல்களுக்கு ஒரே ஒருங்கிணைப்பு
பிற வழங்குநர்களின் தனியுரிம மாடல்களுடன், Perplexity-இன் இன்ஃபரன்ஸ் உள்கட்டமைப்பில் ஹோஸ்ட் செய்யப்பட்ட ஓபன்-வெயிட் மாடல்களையும் Orchestrator வழங்குகிறது. கிடைக்கக்கூடிய மாடல் தேர்வுகளை தற்போதைய கேட்டலாக் பட்டியலிடுகிறது.
இது OpenAI Chat Completions, OpenAI Responses மற்றும் Anthropic Messages கோரிக்கைகளை ஏற்கிறது; எனவே உங்கள் தற்போதைய OpenAI அல்லது Anthropic SDK மூலம் இணைக்கலாம்.
விரைவுத் தொடக்க வழிகாட்டி மற்றும் ரூட்டிங் வழிகாட்டி ஆகியவை SDK எடுத்துக்காட்டுகளையும் தற்போதைய ரூட்டிங் நடத்தையையும் விளக்குகின்றன.
வழங்குநர்களிடையே நம்பகத்தன்மையும் வேகமும்
நம்பகத்தன்மை
Claude-ஐத் தேர்ந்தெடுப்பது என்பது ஒரே வழங்குநரைச் சார்ந்திருக்க வேண்டும் என்று பொருளல்ல: Anthropic-இல் தோல்வியடையும் கோரிக்கை AWS Bedrock-இல் வெற்றிபெறக்கூடும். வழங்குநர் ஃபெயில்ஓவர், மாடலை மாற்றாமலேயே கோரிக்கையைக் கையாளும் டிப்ளாய்மென்ட்டை மாற்ற அனுமதிக்கிறது.
ஒரு மாடலின் டிப்ளாய்மென்ட்களிடையே கோரிக்கைகளைப் பகிர்ந்தளிக்க, Orchestrator கண்காணிக்கப்பட்ட நிலை (health) மற்றும் திறனைப் பயன்படுத்துகிறது. ஒரு வழங்குநர் பிழையைத் திருப்பினாலோ, ரேட் லிமிட்டை அடைந்தாலோ, நேரம் முடிந்துவிட்டாலோ, Orchestrator அந்த மாடலின் மற்றொரு டிப்ளாய்மென்ட்டில் மீண்டும் முயற்சிக்கிறது; ஒவ்வொரு முயற்சிக்கும் முதல் டோக்கனுக்கான நேரம் மற்றும் மொத்தக் கால அளவுக்கு வரம்புகள் உண்டு.
2026 அக்டோபர் 4 முதல் நவம்பர் 2 வரையிலான அளவீடுகளில், Perplexity வழியாக அனுப்பப்பட்ட Claude மற்றும் GPT கோரிக்கைகள், நாங்கள் அளவிட்ட எந்தவொரு தனிப்பட்ட வழங்குநருக்கான கோரிக்கைகளை விடவும் அடிக்கடி வெற்றி பெற்றன. வழங்குநர் சம்பவங்களின்போது அவற்றின் தினசரி வெற்றி விகிதங்களும் குறைவாகவே மாறுபட்டன.
Orchestrator கிடைக்கக்கூடிய டிப்ளாய்மென்ட்கள் அனைத்தையும் முயன்று தீர்த்தபோதோ, சர்விங் லேயர் பிழையைத் திருப்பியபோதோ ஒரு கோரிக்கையைத் தோல்வியடைந்ததாகக் கணக்கிட்டோம்; ஆனால் தவறான கோரிக்கைகள், கிளையன்ட் ரேட் லிமிட் மீறல்கள் போன்ற கிளையன்ட் பிழைகளை விலக்கினோம்.
வெளியீட்டு வேகம்
செயல்திறன் மாறும்போது Orchestrator வழங்குநர் தேர்வைச் சரிசெய்யும் வகையில், மாடல் வேகத்தைக் கணக்கில் கொள்ளும் தகவமைப்பு ரூட்டிங்கில் நாங்கள் பணியாற்றி வருகிறோம்.
எந்த மாடலுக்கும் மிக வேகமான வழங்குநர் காலப்போக்கில் மாறுகிறது. Claude Opus 5.5-க்கு, 30 நாட்களில் 15 நாட்கள் Anthropic முன்னிலையில் இருந்தது; மீதமுள்ள 15 நாட்கள் AWS Bedrock முன்னிலையில் இருந்தது.
அதே 30 நாட்களில், GPT-5.6 Sol-க்கான Azure-இன் இடைநிலை (median) வெளியீட்டு வேகம் OpenAI-ஐ விட 27% அதிகமாக இருந்தது.
அனைத்து மாடல்களுக்கும் ஒரே பில்
ஒவ்வொரு கோரிக்கையும் பதிலளிக்கும் மாடலின் டோக்கன் பயன்பாட்டில் மட்டுமே கணக்கிடப்படுகிறது. எந்த வழங்குநர் கோரிக்கையைக் கையாண்டாலும், Orchestrator ஒவ்வொரு மாடலின் வெளியிடப்பட்ட ஒரு-டோக்கன் கட்டணங்களையே வசூலிக்கிறது; எனவே வழங்குநர் ஃபெயில்ஓவர் அந்தக் கட்டணத்தை மாற்றாது. உங்கள் Perplexity API திட்டத்தின் மற்ற பகுதிகள் பயன்படுத்தும் அதே ப்ரீபெய்ட் கிரெடிட்களிலிருந்தே பயன்பாடு கழிக்கப்படுகிறது.
API Console-இல், மாடல் வாரியாகச் செலவினத்தைப் பார்க்கலாம் மற்றும் API கீ வாரியாகப் பயன்பாட்டை வடிகட்டலாம். AWS Marketplace மூலமாகவும் கிரெடிட்களை வாங்கலாம்.
தானியங்கி ரூட்டிங் (முன்னோட்டம்): ஒவ்வொரு பணியையும் சரியான மாடலுடன் பொருத்துங்கள்
Orchestrator தானியங்கி ரூட்டிங்கை வழங்குகிறது; இது முன்னோட்டத்தில் கிடைக்கும் ஒரு விருப்ப அம்சம். எளிய மொழியிலான பணி விளக்கங்களை மாடல்களுடன் இணைக்கும் ப்ரொஃபைலைப் பயன்படுத்தி, இது ஒவ்வொரு கோரிக்கைக்கும் ஒரு மாடலைத் தேர்ந்தெடுக்கிறது. நீங்கள் உங்கள் சொந்த ப்ரொஃபைலை வரையறுக்கலாம் அல்லது Orchestrator-இன் உள்ளமைந்த இயல்புநிலை ப்ரொஃபைலைப் பயன்படுத்தலாம்.
தானியங்கி ரூட்டிங் கோரிக்கைகள் perplexity/auto-ஐ மாடலாகப் பயன்படுத்துகின்றன. தனிப்பயன் ப்ரொஃபைலுக்கு, default_model மற்றும் routes கொண்ட ரூட்டிங் ஆப்ஜெக்ட்டைச் சேர்க்கவும். ஒவ்வொரு ரூட்டும் ஒரு பெயர், விளக்கம், மாடல் ஆகியவற்றைக் குறிப்பிடுகிறது.
ஒவ்வொரு கோரிக்கைக்கும், perplexity/auto எங்கள் முடிவு மாடலை அழைத்து, மாடல் பெயர்களைப் பார்க்காமலேயே உரையாடலைப் படித்து, அதை ரூட் விளக்கங்களுடன் பொருத்துகிறது. பின்னர் Orchestrator, தேர்ந்தெடுக்கப்பட்ட ரூட்டுக்கு ஒதுக்கப்பட்ட மாடலுக்குக் கோரிக்கையை அனுப்புகிறது; எந்த ரூட்டும் பொருந்தவில்லை என்றால் உங்கள் இயல்புநிலை மாடலுக்கு அனுப்புகிறது. முடிவு மாடல் தோல்வியடைந்தாலோ நேரம் முடிந்துவிட்டாலோ கூட Orchestrator உங்கள் இயல்புநிலை மாடலையே பயன்படுத்துகிறது.
மாடல் மறுப்புகளைத் தவிர்க்கும் ரூட்டிங், வாடிக்கையாளர் ஆதரவுச் சிக்கல் வகைகள், உரையாடலுக்குள் பணி மாற்றங்கள் ஆகியவற்றைக் கீழே உள்ள எடுத்துக்காட்டுகள் விளக்குகின்றன.
மறுப்புகளைத் தவிர்க்கும் ரூட்டிங்
ஒரு ஏஜென்ட், பிற பணிகளுக்குத் தனது விருப்பமான மாடலைத் தக்கவைத்துக்கொண்டே, கணிக்கக்கூடிய மறுப்புகளைத் தவிர்க்கத் தானியங்கி ரூட்டிங்கைப் பயன்படுத்தலாம். Claude Fable 5.2-இன் பாதுகாப்பு வழிமுறைகள் தீங்கற்ற சைபர் பாதுகாப்பு மற்றும் உயிர் அறிவியல் பணிகளைத் தடுக்கக்கூடும் என்று Anthropic ஆவணப்படுத்தியுள்ளது. Terminal-Bench 4.1-இன் 63-பணி துணைத்தொகுப்பில் இந்தப் பயன்பாட்டைச் சோதித்தோம்.
Claude Code-ஐ Fable உடன் மட்டும், மற்றும் இரண்டு தனிப்பயன் ரூட்டிங் ப்ரொஃபைல்களுடன் இயக்கினோம். இரண்டு ப்ரொஃபைல்களும் Fable-ஐ இயல்புநிலையாக வைத்து, சைபர் பாதுகாப்பு, உயிரியல், after_refusal ஆகிய ரூட்களை GPT-6 Astra அல்லது GPT-6.1 Sol-க்கு ஒதுக்கின. ஒப்பீட்டுக்காக, Codex-இல் தனித்து இயங்கும் Astra மற்றும் Sol ஓட்டங்களையும் சேர்த்தோம்.
இந்தச் சரிசெய்யப்பட்ட ஒப்பீட்டில், ரூட் செய்யப்பட்ட இரண்டு Claude Code அமைப்புகளும் 63 பணிகளில் 41-ஐத் தீர்க்கின்றன; Fable மட்டும் 38-ஐத் தீர்க்கிறது. ஆனால் ஒரு பணிக்கான மதிப்பிடப்பட்ட செலவு அதிகம். Codex-இல் இயங்கும் Astra மற்றும் Sol உடன் இந்தச் சமரசத்தை விளக்கப்படம் காட்டுகிறது.
கீழே உள்ள எடுத்துக்காட்டு Sol-ஐப் பயன்படுத்துகிறது: மறுப்பு ஏற்படுவதற்கு முன்பே பாதுகாப்பு மற்றும் உயிரியல் ரூட்கள் அதைத் தேர்ந்தெடுக்கின்றன; உரையாடலில் ஏற்கெனவே மறுப்பு இருக்கும்போது after_refusal அதைத் தேர்ந்தெடுக்கிறது.
"routing": {
"default_model": "anthropic/claude-fable-5-2",
"routes": [
{"name": "security",
"description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.",
"model": "openai/gpt-6.1-sol"},
{"name": "biology",
"description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.",
"model": "openai/gpt-6.1-sol"},
{"name": "after_refusal",
"description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.",
"model": "openai/gpt-6.1-sol"}
]
}சிக்கல் வகையின்படி ரூட்டிங்
வாடிக்கையாளர் ஆதரவு உதவியாளருக்கு, பெரும்பாலான கேள்விகளுக்கு வேகமான, மலிவான மாடலே போதுமானது. பில்லிங் தகராறுக்குக் கவனமான, பரிவுமிக்க பதில் தேவை. செயலிழந்த ஒருங்கிணைப்புக்குச் சரிசெய்தல் தேவை. இந்த உதவியாளர் பில்லிங் தகராறுகளுக்கும் தொழில்நுட்பச் சிக்கல்களுக்கும் இரண்டு ரூட்களைப் பயன்படுத்தி, வழக்கமான கேள்விகளைத் தனது இயல்புநிலை மாடலிடம் விட்டுவிடலாம்:
ரூட் | பணி விளக்கம் | மாடல் |
default_model | கணக்கு மின்னஞ்சலை எப்படி மாற்றுவது போன்ற மற்ற அனைத்தும் | GLM-5.3 Flash |
billing_dispute | ஒரு வாடிக்கையாளர் ஒரு கட்டணத்தை மறுக்கிறார், பணத்தைத் திரும்பக் கேட்கிறார் அல்லது தன்னிடம் வசூலிக்கப்பட்ட தொகை குறித்து அதிருப்தியில் இருக்கிறார். | Claude Opus 5.5 |
technical_issue | ஒரு வாடிக்கையாளர் ஒரு பிழை, பிழைச் செய்தி அல்லது செயல்படுவது நின்றுபோன, சரிசெய்தல் தேவைப்படும் ஒருங்கிணைப்பு குறித்துப் புகாரளிக்கிறார். | GPT-6.1 Sol |
ரூட் செய்யப்பட்ட கோரிக்கையை அனுப்புதல்
கீழே உள்ள கோரிக்கை, ஒரு API தோல்விச் சிக்கலை மேலே உள்ள வாடிக்கையாளர் ஆதரவு ப்ரொஃபைல் வழியாக அனுப்புகிறது.
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \
-H "Authorization: Bearer $PERPLEXITY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7",
"model": "perplexity/auto",
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "billing_dispute",
"description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.",
"model": "anthropic/claude-opus-5-5"},
{"name": "technical_issue",
"description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.",
"model": "openai/gpt-6.1-sol"}
]
},
"messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}]
}'முடிவு மாடல் தோல்வியடைந்த API அழைப்புகளை technical_issue உடன் பொருத்தியதால், Orchestrator கோரிக்கையை GPT-6.1 Sol-க்கு அனுப்பியது. பதிலில் தேர்ந்தெடுக்கப்பட்ட ரூட்டும் பதிலளித்த மாடலும் இடம்பெற்றுள்ளன:
HTTP/2 200
x-perplexity-autoroute-outcome: routed
x-perplexity-autoroute-route: technical_issue
{"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}x-perplexity-autoroute-route தேர்ந்தெடுக்கப்பட்ட ரூட்டைக் குறிக்கிறது, அல்லது எந்த ரூட்டும் இல்லை என்பதைக் குறிக்கிறது. x-perplexity-autoroute-outcome கோரிக்கை எவ்வாறு கையாளப்பட்டது என்பதை, அது ரூட் செய்யப்பட்டதா அல்லது உங்கள் இயல்புநிலை மாடலுக்குத் திரும்பியதா என்பது உட்படத் தெரிவிக்கிறது. model புலம் பதிலளித்த மாடலைக் குறிக்கிறது.
ஓர் உரையாடலுக்குள் ரூட்டிங்
ஒரு உரையாடல் ஒரு பணியிலிருந்து மற்றொன்றுக்கு நகரும்போது, ஒரு சுற்றைக் கையாண்ட மாடல் அடுத்த சுற்றுக்குச் சரியான தேர்வாக இல்லாமல் போகலாம். உங்கள் தொடர் கோரிக்கைகளில் உரையாடல் வரலாறும் சேர்க்கப்படுவதால், முடிவு மாடலும் தேர்ந்தெடுக்கப்பட்ட மாடலும் பிற மாடல்களின் பதில்கள் உட்பட முந்தைய சுற்றுகளைப் படிக்க முடியும். வாடிக்கையாளர் ஆதரவு, கோடிங், ஆய்வு ஆகிய மூன்று உண்மையான நான்கு-சுற்று உரையாடல்களை நாங்கள் இயக்கினோம்.
வாடிக்கையாளர் ஆதரவு
மேலே உள்ள எடுத்துக்காட்டில், அதே உரையாடல் ஒரு கணக்குக் கேள்வியிலிருந்து பில்லிங் தகராறுக்கும், பின்னர் செயலிழந்த ஒருங்கிணைப்புக்கும் நகர்வதாக வைத்துக்கொள்வோம். பணி மாறும்போது, முடிவு மாடல் பொருத்தமான ரூட்டைத் தேர்ந்தெடுக்கிறது; பயனர் இறுதியாக நன்றி தெரிவிக்கும்போது, Orchestrator மீண்டும் GLM-5.3 Flash-க்குத் திரும்புகிறது.
மாடல் கைமாற்றங்களுக்கு இடையே ப்ராம்ப்ட் கேச்சிங்
ஒவ்வொரு கோரிக்கையும் முழுச் செய்தி வரலாற்றைக் கொண்டுசெல்கிறது, ஆனால் ஒவ்வொரு மாடலும் தனக்கெனத் தனி கேச்சைப் பராமரிக்கிறது. 4-ஆவது சுற்றில் உரையாடல் GLM Flash-க்குத் திரும்பும்போது, 1-ஆவது சுற்றின் பொருந்தும் முன்னொட்டு இன்னும் கேச்சில் இருந்தால் அதை மீண்டும் பயன்படுத்தி, பின்னர் 2 மற்றும் 3-ஆவது சுற்றுகளில் Opus, Sol சேர்த்த பதில்களைச் செயலாக்க முடியும். 5-ஆவது சுற்றில் Opus அல்லது Sol தேர்ந்தெடுக்கப்பட்டாலும் இதுவே பொருந்தும்.
ப்ராம்ப்ட் கேச்சிங்கைப் பாதுகாக்க, Orchestrator முடிந்தவரை தொடர்புடைய கோரிக்கைகளை அதே டிப்ளாய்மென்ட்டில் வைத்திருக்கிறது. அந்தத் தொடர்பைப் பராமரிக்க உதவ, உரையாடலுக்கு நிலையான prompt_cache_key-ஐ மீண்டும் பயன்படுத்தவும்.
கோடிங் உதவியாளர்
கோடிங் உரையாடலின் 4-ஆவது சுற்றில், Claude Opus 5.5-இன் பிழை கண்டறிதலிலிருந்தும் GPT-6.1 Sol-இன் செயல்படுத்தல் திட்டத்திலிருந்தும் கிடைத்த சூழலைப் பயன்படுத்தி GLM-5.3 Flash ஒரு docstring-ஐ எழுதுகிறது.
ரூட்டிங் ப்ரொஃபைல், பெயர் மாற்றங்களையும் சிறிய திருத்தங்களையும் GLM-5.3 Flash-க்கும், பிழை கண்டறிதலை Claude Opus 5.5-க்கும், பல மாட்யூல்களில் மாற்றங்களைத் திட்டமிடுவதை GPT-6.1 Sol-க்கும் ஒதுக்குகிறது:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "hard_debugging",
"description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.",
"model": "anthropic/claude-opus-5-5"},
{"name": "design_change",
"description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.",
"model": "openai/gpt-6.1-sol"}
]
}ஆய்வு உதவியாளர்
ஆய்வு எடுத்துக்காட்டில், ஓர் உண்மைக் கேள்வி ஒரு கணக்கீட்டுக்கு வழிவகுக்கிறது; அந்தக் கணக்கீடு பின்னர் ஒரு குறிப்பாணைக்கு (memo) அடிப்படையாகிறது. இந்த ப்ரொஃபைல் உண்மைக் கேள்விகளை GLM-5.3 Flash-க்கும், கணக்கீடுகளை GPT-6.1 Sol-க்கும், குறிப்பாணை எழுதுவதை Claude Opus 5.5-க்கும் ஒதுக்குகிறது:
"routing": {
"default_model": "perplexity/glm-5.3-flash",
"routes": [
{"name": "quantitative_analysis",
"description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.",
"model": "openai/gpt-6.1-sol"},
{"name": "long_form_writing",
"description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.",
"model": "anthropic/claude-opus-5-5"}
]
}3-ஆவது சுற்றில் உள்ள குறிப்பாணை, GPT-6.1 Sol-இன் முந்தைய பதிலில் உள்ள கணக்கீடுகளைப் பயன்படுத்துகிறது; பயனர் அவற்றை மீண்டும் தெரிவிக்க வேண்டிய அவசியமின்றி எண்களைத் தோராயமாக்குகிறது.
Orchestrator-ஐப் பயன்படுத்தத் தொடங்குங்கள்
Perplexity API கீ, பொருத்தமான Orchestrator அடிப்படை URL மற்றும் கேட்டலாக்கில் உள்ள ஒரு மாடல் ஆகியவற்றுடன் உங்கள் தற்போதைய OpenAI அல்லது Anthropic SDK-ஐ இணைக்கவும்.
அமைப்பு, தற்போதைய கிடைக்கும்தன்மை, அணுகல் ஆகியவற்றை விரைவுத் தொடக்க வழிகாட்டி விளக்குகிறது. கேள்விகளுக்கு, api@perplexity.ai-ஐத் தொடர்புகொள்ளவும்.