Orchestrator: വിശ്വസനീയമായ ഇൻഫറൻസിനായി ഒരൊറ്റ API

ഏകീകൃത ബില്ലിംഗും അതേ മോഡലിലേക്കുള്ള ഓട്ടോമാറ്റിക് ഫെയിൽഓവറും ഉള്ള ഒരൊറ്റ API വഴി ഓപ്പൺ-വെയ്റ്റ്, പ്രൊപ്രൈറ്ററി AI മോഡലുകളിലേക്ക് കണക്റ്റ് ചെയ്യുക.

Illuminated cubes connected by streams of light, representing model access through Orchestrator.

Orchestrator ഓപ്പൺ-വെയ്റ്റ്, പ്രൊപ്രൈറ്ററി മോഡലുകളെ ഏകീകൃത ബില്ലിംഗോടെ ഒരൊറ്റ API-യിലേക്ക് കൊണ്ടുവരുന്നു. ലഭ്യത, ശേഷി, ലേറ്റൻസി എന്നിവയെ അടിസ്ഥാനമാക്കി ഇത് സ്വയമേവ ഒരു പ്രൊവൈഡറെ തിരഞ്ഞെടുക്കുന്നു, കൂടാതെ പരാജയപ്പെട്ട അഭ്യർത്ഥനകൾ അതേ മോഡലിന്റെ ലഭ്യമായ മറ്റൊരു ഡിപ്ലോയ്‌മെന്റിൽ വീണ്ടും ശ്രമിക്കാനും കഴിയും.

ഓപ്പൺ-വെയ്റ്റ്, പ്രൊപ്രൈറ്ററി മോഡലുകൾക്കായി ഒരൊറ്റ ഇന്റഗ്രേഷൻ

മറ്റ് പ്രൊവൈഡർമാരിൽ നിന്നുള്ള പ്രൊപ്രൈറ്ററി മോഡലുകൾക്കൊപ്പം, Perplexity-യുടെ ഇൻഫറൻസ് ഇൻഫ്രാസ്ട്രക്ചറിൽ ഹോസ്റ്റ് ചെയ്തിരിക്കുന്ന ഓപ്പൺ-വെയ്റ്റ് മോഡലുകളും Orchestrator ലഭ്യമാക്കുന്നു. ലഭ്യമായ മോഡൽ ഓപ്ഷനുകൾ നിലവിലെ കാറ്റലോഗിൽ ലിസ്റ്റ് ചെയ്തിരിക്കുന്നു.

ഇത് OpenAI Chat Completions, OpenAI Responses, Anthropic Messages അഭ്യർത്ഥനകൾ സ്വീകരിക്കുന്നു, അതിനാൽ നിങ്ങളുടെ നിലവിലുള്ള OpenAI അല്ലെങ്കിൽ Anthropic SDK വഴി കണക്റ്റ് ചെയ്യാം.

ക്വിക്ക്സ്റ്റാർട്ടും റൂട്ടിംഗ് ഗൈഡും SDK ഉദാഹരണങ്ങളും നിലവിലെ റൂട്ടിംഗ് രീതിയും വിശദീകരിക്കുന്നു.

പ്രൊവൈഡർമാരിലുടനീളമുള്ള വിശ്വാസ്യതയും വേഗതയും

വിശ്വാസ്യത

Claude തിരഞ്ഞെടുക്കുന്നത് ഒരൊറ്റ പ്രൊവൈഡറെ ആശ്രയിക്കുക എന്നർത്ഥമാക്കേണ്ടതില്ല: Anthropic-ൽ പരാജയപ്പെടുന്ന ഒരു അഭ്യർത്ഥന AWS Bedrock-ൽ വിജയിച്ചേക്കാം. മോഡൽ മാറ്റാതെ തന്നെ ഒരു അഭ്യർത്ഥന കൈകാര്യം ചെയ്യുന്ന ഡിപ്ലോയ്‌മെന്റ് മാറ്റാൻ പ്രൊവൈഡർ ഫെയിൽഓവർ സഹായിക്കുന്നു.

ഒരു മോഡലിന്റെ ഡിപ്ലോയ്‌മെന്റുകൾക്കിടയിൽ അഭ്യർത്ഥനകൾ വിതരണം ചെയ്യാൻ Orchestrator നിരീക്ഷിച്ച ഹെൽത്തും ശേഷിയും ഉപയോഗിക്കുന്നു. ഒരു പ്രൊവൈഡർ പിശക് നൽകുകയോ, റേറ്റ് ലിമിറ്റിൽ എത്തുകയോ, ടൈം ഔട്ട് ആകുകയോ ചെയ്താൽ, Orchestrator ആ മോഡലിന്റെ മറ്റൊരു ഡിപ്ലോയ്‌മെന്റിൽ വീണ്ടും ശ്രമിക്കുന്നു; ഓരോ ശ്രമത്തിനും ആദ്യ ടോക്കണിലേക്കുള്ള സമയത്തിനും ആകെ ദൈർഘ്യത്തിനും പരിധികളുണ്ട്.

2026 ഒക്ടോബർ 4 മുതൽ നവംബർ 2 വരെയുള്ള അളവുകളിൽ, Perplexity വഴിയുള്ള Claude, GPT അഭ്യർത്ഥനകൾ ഞങ്ങൾ അളന്ന ഏതെങ്കിലും ഒറ്റ പ്രൊവൈഡറിലേക്കുള്ള അഭ്യർത്ഥനകളേക്കാൾ കൂടുതൽ തവണ വിജയിച്ചു. പ്രൊവൈഡർ സംഭവങ്ങൾക്കിടയിൽ അവയുടെ പ്രതിദിന വിജയ നിരക്കുകളിലെ വ്യതിയാനവും കുറവായിരുന്നു.

അഭ്യർത്ഥന വിജയ നിരക്കുകൾ, 2026 ഒക്ടോബർ 4 മുതൽ നവംബർ 2 വരെ: ഇടതുവശത്ത് Claude; വലതുവശത്ത് OpenAI, Azure എന്നിവ രണ്ടിലൂടെയും ലഭ്യമായ GPT മോഡലുകൾ.
ഇതേ കാലയളവിലെ പ്രതിദിന അഭ്യർത്ഥന വിജയ നിരക്കുകൾ: ഇടതുവശത്ത് Claude, വലതുവശത്ത് GPT.

Orchestrator ലഭ്യമായ ഡിപ്ലോയ്‌മെന്റുകൾ എല്ലാം ഉപയോഗിച്ചുതീർക്കുകയോ സെർവിംഗ് ലെയർ ഒരു പിശക് നൽകുകയോ ചെയ്തപ്പോൾ ഞങ്ങൾ ഒരു അഭ്യർത്ഥനയെ പരാജയപ്പെട്ടതായി കണക്കാക്കി; എന്നാൽ അസാധുവായ അഭ്യർത്ഥനകൾ, ക്ലയന്റ് റേറ്റ് ലിമിറ്റ് ലംഘനങ്ങൾ പോലുള്ള ക്ലയന്റ് പിശകുകൾ ഒഴിവാക്കി.

ഔട്ട്‌പുട്ട് വേഗത

പ്രകടനം മാറുന്നതിനനുസരിച്ച് Orchestrator-ന് പ്രൊവൈഡർ തിരഞ്ഞെടുപ്പ് ക്രമീകരിക്കാൻ കഴിയുന്ന തരത്തിൽ, മോഡൽ വേഗത കണക്കിലെടുക്കുന്ന അഡാപ്റ്റീവ് റൂട്ടിംഗിൽ ഞങ്ങൾ പ്രവർത്തിക്കുകയാണ്.

ഏതൊരു മോഡലിനും ഏറ്റവും വേഗതയേറിയ പ്രൊവൈഡർ കാലക്രമേണ മാറുന്നു. Claude Opus 5.5-ന്, 30 ദിവസങ്ങളിൽ 15 ദിവസം Anthropic മുന്നിലെത്തി, ബാക്കി 15 ദിവസം AWS Bedrock മുന്നിലെത്തി.

പ്രൊവൈഡറും ദിവസവും അനുസരിച്ചുള്ള Claude Opus 5.5-ന്റെ മീഡിയൻ ഔട്ട്‌പുട്ട് വേഗത, 2026 ഒക്ടോബർ 4 മുതൽ നവംബർ 2 വരെ. ഹൈലൈറ്റ് ചെയ്ത രേഖ ഓരോ ദിവസവും വേഗതയേറിയ പ്രൊവൈഡറെ പിന്തുടരുന്നു; തത്സമയ വേഗത-അധിഷ്ഠിത റൂട്ടിംഗിന്റെ ലക്ഷ്യം ഇത് വ്യക്തമാക്കുന്നു.

ഇതേ 30 ദിവസങ്ങളിൽ, GPT-5.6 Sol-നുള്ള Azure-ന്റെ മീഡിയൻ ഔട്ട്‌പുട്ട് വേഗത OpenAI-യുടേതിനേക്കാൾ 27% കൂടുതലായിരുന്നു.

ആദ്യ ടോക്കണിന് ശേഷമുള്ള GPT-5.6 Sol-ന്റെ മീഡിയൻ ഔട്ട്‌പുട്ട് വേഗത, 2026 ഒക്ടോബർ 4 മുതൽ നവംബർ 2 വരെ.

എല്ലാ മോഡലുകൾക്കും ഒരൊറ്റ ബിൽ

ഓരോ അഭ്യർത്ഥനയും ഉത്തരം നൽകുന്ന മോഡലിന്റെ ടോക്കൺ ഉപയോഗത്തിൽ മാത്രമാണ് കണക്കാക്കുന്നത്. ഏത് പ്രൊവൈഡർ അഭ്യർത്ഥന കൈകാര്യം ചെയ്താലും Orchestrator ഓരോ മോഡലിന്റെയും പ്രസിദ്ധീകരിച്ച ഓരോ-ടോക്കൺ നിരക്കുകൾ ഈടാക്കുന്നു, അതിനാൽ പ്രൊവൈഡർ ഫെയിൽഓവർ ആ നിരക്ക് മാറ്റുന്നില്ല. നിങ്ങളുടെ Perplexity API പ്രോജക്റ്റിന്റെ മറ്റ് ഭാഗങ്ങൾ ഉപയോഗിക്കുന്ന അതേ പ്രീപെയ്ഡ് ക്രെഡിറ്റുകളിൽ നിന്നാണ് ഉപയോഗത്തിനുള്ള തുക കുറയ്ക്കുന്നത്.

API Console-ൽ, മോഡൽ അനുസരിച്ചുള്ള ചെലവ് കാണാനും API കീ അനുസരിച്ച് ഉപയോഗം ഫിൽട്ടർ ചെയ്യാനും കഴിയും. AWS Marketplace വഴി ക്രെഡിറ്റുകൾ വാങ്ങാനും കഴിയും.

ഓട്ടോമാറ്റിക് റൂട്ടിംഗ് (പ്രിവ്യൂ): ഓരോ ടാസ്‌ക്കിനെയും അനുയോജ്യമായ മോഡലുമായി പൊരുത്തപ്പെടുത്തുക

പ്രിവ്യൂവിൽ ലഭ്യമായ ഓപ്ഷണൽ ഫീച്ചറായ ഓട്ടോമാറ്റിക് റൂട്ടിംഗ് Orchestrator വാഗ്ദാനം ചെയ്യുന്നു. ലളിതമായ ഭാഷയിലുള്ള ടാസ്‌ക് വിവരണങ്ങളെ മോഡലുകളുമായി ജോടിയാക്കുന്ന ഒരു പ്രൊഫൈൽ ഉപയോഗിച്ച് ഇത് ഓരോ അഭ്യർത്ഥനയ്ക്കും ഒരു മോഡൽ തിരഞ്ഞെടുക്കുന്നു. നിങ്ങൾക്ക് സ്വന്തം പ്രൊഫൈൽ നിർവചിക്കുകയോ Orchestrator-ന്റെ ബിൽറ്റ്-ഇൻ ഡിഫോൾട്ട് ഉപയോഗിക്കുകയോ ചെയ്യാം.

ഓട്ടോമാറ്റിക് റൂട്ടിംഗ് അഭ്യർത്ഥനകൾ മോഡലായി perplexity/auto ഉപയോഗിക്കുന്നു. ഒരു കസ്റ്റം പ്രൊഫൈലിനായി, default_model, routes എന്നിവ അടങ്ങിയ ഒരു റൂട്ടിംഗ് ഒബ്ജക്റ്റ് ഉൾപ്പെടുത്തുക. ഓരോ റൂട്ടും ഒരു പേര്, വിവരണം, മോഡൽ എന്നിവ വ്യക്തമാക്കുന്നു.

ഓരോ അഭ്യർത്ഥനയ്ക്കും, perplexity/auto ഞങ്ങളുടെ ഡിസിഷൻ മോഡലിനെ വിളിക്കുന്നു; അത് മോഡലുകളുടെ പേരുകൾ കാണാതെ തന്നെ സംഭാഷണം വായിച്ച് റൂട്ട് വിവരണങ്ങളുമായി പൊരുത്തപ്പെടുത്തുന്നു. തുടർന്ന് Orchestrator, തിരഞ്ഞെടുത്ത റൂട്ടിന് നിയോഗിച്ചിട്ടുള്ള മോഡലിലേക്കോ, ഒരു റൂട്ടും പൊരുത്തപ്പെടുന്നില്ലെങ്കിൽ നിങ്ങളുടെ ഡിഫോൾട്ട് മോഡലിലേക്കോ അഭ്യർത്ഥന അയയ്ക്കുന്നു. ഡിസിഷൻ മോഡൽ പരാജയപ്പെടുകയോ ടൈം ഔട്ട് ആകുകയോ ചെയ്താലും Orchestrator നിങ്ങളുടെ ഡിഫോൾട്ട് ഉപയോഗിക്കുന്നു.

മോഡൽ നിരസിക്കലുകൾ മറികടക്കുന്ന റൂട്ടിംഗ്, കസ്റ്റമർ സപ്പോർട്ട് പ്രശ്ന തരങ്ങൾ, ഒരു സംഭാഷണത്തിനുള്ളിലെ ടാസ്‌ക് മാറ്റങ്ങൾ എന്നിവ താഴെയുള്ള ഉദാഹരണങ്ങളിൽ ഉൾപ്പെടുന്നു.

നിരസിക്കലുകൾ മറികടക്കുന്ന റൂട്ടിംഗ്

മറ്റ് ജോലികൾക്കായി ഇഷ്ടപ്പെട്ട മോഡൽ നിലനിർത്തിക്കൊണ്ടുതന്നെ, പ്രവചിക്കാവുന്ന നിരസിക്കലുകൾ ഒഴിവാക്കാൻ ഒരു ഏജന്റിന് ഓട്ടോമാറ്റിക് റൂട്ടിംഗ് ഉപയോഗിക്കാം. Claude Fable 5.2-ന്റെ സുരക്ഷാ സംവിധാനങ്ങൾ ദോഷകരമല്ലാത്ത സൈബർ സുരക്ഷാ, ലൈഫ് സയൻസസ് ജോലികളെ തടഞ്ഞേക്കാമെന്ന് Anthropic രേഖപ്പെടുത്തിയിട്ടുണ്ട്. Terminal-Bench 4.1-ന്റെ 63 ടാസ്‌ക്കുകളുള്ള ഒരു ഉപസെറ്റിൽ ഞങ്ങൾ ഈ ഉപയോഗ സാഹചര്യം പരീക്ഷിച്ചു.

Fable മാത്രം ഉപയോഗിച്ചും രണ്ട് കസ്റ്റം റൂട്ടിംഗ് പ്രൊഫൈലുകൾ ഉപയോഗിച്ചും ഞങ്ങൾ Claude Code പ്രവർത്തിപ്പിച്ചു. രണ്ട് പ്രൊഫൈലുകളും Fable-നെ ഡിഫോൾട്ടായി നിലനിർത്തുകയും സൈബർ സുരക്ഷ, ബയോളജി, after_refusal റൂട്ടുകൾ GPT-6 Astra-യ്‌ക്കോ GPT-6.1 Sol-നോ നൽകുകയും ചെയ്തു. താരതമ്യത്തിനായി Codex-ലെ Astra, Sol എന്നിവയുടെ സ്വതന്ത്ര റണ്ണുകളും ഞങ്ങൾ ഉൾപ്പെടുത്തി.

ഈ ക്രമീകരിച്ച താരതമ്യത്തിൽ, റൂട്ട് ചെയ്ത രണ്ട് Claude Code സജ്ജീകരണങ്ങളും 63 ടാസ്‌ക്കുകളിൽ 41 എണ്ണം പരിഹരിക്കുന്നു, Fable മാത്രം ഉപയോഗിക്കുമ്പോൾ ഇത് 38 ആണ്; എന്നാൽ ഓരോ ടാസ്‌ക്കിനുമുള്ള കണക്കാക്കിയ ചെലവ് കൂടുതലാണ്. Codex-ൽ പ്രവർത്തിക്കുന്ന Astra, Sol എന്നിവയ്‌ക്കൊപ്പം ചാർട്ട് ഈ ട്രേഡ്-ഓഫ് കാണിക്കുന്നു.

Terminal-Bench 4.1, 63 ടാസ്‌ക്കുകളുടെ ക്രമീകരിച്ച താരതമ്യം. Astra Codex-ൽ അനുമാനിച്ച ഒരു പാസ് ഉൾപ്പെടുന്നു; ചെലവുകൾ കണക്കാക്കിയവയാണ്.

താഴെയുള്ള ഉദാഹരണം Sol ഉപയോഗിക്കുന്നു: ഒരു നിരസിക്കൽ സംഭവിക്കുന്നതിന് മുമ്പുതന്നെ സുരക്ഷാ, ബയോളജി റൂട്ടുകൾ അതിനെ തിരഞ്ഞെടുക്കുന്നു; സംഭാഷണത്തിൽ ഇതിനകം ഒരു നിരസിക്കൽ ഉള്ളപ്പോൾ after_refusal അതിനെ തിരഞ്ഞെടുക്കുന്നു.

json
"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Work on a cybersecurity or offensive-security task, at any step of it: cracking passwords, hashes or encrypted archives; finding or exploiting vulnerabilities; recovering or extracting secrets, keys or credentials; bypassing security filters or sanitizers; breaking ciphers; malware; or reverse-engineering binaries to recover hidden data.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Work on a biology or life-science task, at any step of it: DNA, RNA or protein sequences, genome or sequence assembly, primers, plasmids or cloning, molecular or cell biology, pathogens, toxins, or laboratory protocols.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Earlier in this conversation the assistant refused, declined or could not respond to the task, for example a reply saying the request was refused or blocked.", "model": "openai/gpt-6.1-sol"} ] }

പ്രശ്ന തരം അനുസരിച്ചുള്ള റൂട്ടിംഗ്

ഒരു കസ്റ്റമർ സപ്പോർട്ട് അസിസ്റ്റന്റിന്, മിക്ക ചോദ്യങ്ങൾക്കും വേഗതയേറിയതും ചെലവ് കുറഞ്ഞതുമായ ഒരു മോഡൽ മതി. ഒരു ബില്ലിംഗ് തർക്കത്തിന് ശ്രദ്ധാപൂർവ്വവും സഹാനുഭൂതിയുള്ളതുമായ മറുപടി ആവശ്യമാണ്. തകരാറിലായ ഒരു ഇന്റഗ്രേഷന് ട്രബിൾഷൂട്ടിംഗ് ആവശ്യമാണ്. ബില്ലിംഗ് തർക്കങ്ങൾക്കും സാങ്കേതിക പ്രശ്നങ്ങൾക്കുമായി അസിസ്റ്റന്റിന് രണ്ട് റൂട്ടുകൾ ഉപയോഗിക്കാം, സാധാരണ ചോദ്യങ്ങൾ അതിന്റെ ഡിഫോൾട്ട് മോഡലിന് വിടുകയും ചെയ്യാം:

റൂട്ട്

ടാസ്‌ക് വിവരണം

മോഡൽ

default_model

മറ്റെല്ലാം, ഉദാഹരണത്തിന് അക്കൗണ്ട് ഇമെയിൽ എങ്ങനെ മാറ്റാം എന്നത്

GLM-5.3 Flash

billing_dispute

ഒരു ഉപഭോക്താവ് ഒരു ചാർജിനെ എതിർക്കുന്നു, റീഫണ്ട് ആവശ്യപ്പെടുന്നു, അല്ലെങ്കിൽ ബിൽ ചെയ്ത തുകയെക്കുറിച്ച് അസ്വസ്ഥനാണ്.

Claude Opus 5.5

technical_issue

ഒരു ഉപഭോക്താവ് ഒരു ബഗ്, പിശക് സന്ദേശം, അല്ലെങ്കിൽ പ്രവർത്തനം നിലച്ച ഒരു ഇന്റഗ്രേഷൻ റിപ്പോർട്ട് ചെയ്യുന്നു; ഇതിന് ട്രബിൾഷൂട്ടിംഗ് ആവശ്യമാണ്.

GPT-6.1 Sol

റൂട്ട് ചെയ്ത അഭ്യർത്ഥന അയയ്ക്കൽ

perplexity/auto ഒരു അഭ്യർത്ഥന കൈകാര്യം ചെയ്യുന്ന വിധം: ഡിസിഷൻ മോഡൽ ഒരു റൂട്ട് തിരഞ്ഞെടുക്കുകയോ പൊരുത്തമൊന്നുമില്ലെന്ന് നൽകുകയോ ചെയ്യുന്നു, തുടർന്ന് Orchestrator തിരഞ്ഞെടുത്ത മോഡലിനെയോ നിങ്ങളുടെ ഡിഫോൾട്ടിനെയോ വിളിക്കുന്നു. റെസ്‌പോൺസ് ഹെഡറുകൾ റൂട്ടിംഗ് ഫലം റിപ്പോർട്ട് ചെയ്യുന്നു.

താഴെയുള്ള അഭ്യർത്ഥന, മുകളിലുള്ള കസ്റ്റമർ സപ്പോർട്ട് പ്രൊഫൈലിലൂടെ ഒരു API പരാജയ പ്രശ്നം അയയ്ക്കുന്നു.

bash
curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "A customer disputes a charge, asks for a refund, or is upset about money they were billed.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "A customer reports a bug, an error message, or an integration that stopped working and needs troubleshooting.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "Since this morning every API call returns a 401, even though my key is unchanged."}] }'

ഡിസിഷൻ മോഡൽ പരാജയപ്പെട്ട API കോളുകളെ technical_issue-മായി പൊരുത്തപ്പെടുത്തി, അതിനാൽ Orchestrator അഭ്യർത്ഥന GPT-6.1 Sol-ലേക്ക് അയച്ചു. പ്രതികരണത്തിൽ തിരഞ്ഞെടുത്ത റൂട്ടും ഉത്തരം നൽകിയ മോഡലും ഉൾപ്പെടുന്നു:

plaintext
HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

x-perplexity-autoroute-route തിരഞ്ഞെടുത്ത റൂട്ട് തിരിച്ചറിയുന്നു, അല്ലെങ്കിൽ റൂട്ട് ഒന്നുമില്ലെന്ന് കാണിക്കുന്നു. x-perplexity-autoroute-outcome അഭ്യർത്ഥന എങ്ങനെ കൈകാര്യം ചെയ്തുവെന്ന് റിപ്പോർട്ട് ചെയ്യുന്നു, അത് റൂട്ട് ചെയ്തോ അതോ നിങ്ങളുടെ ഡിഫോൾട്ട് മോഡലിലേക്ക് ഫോൾബാക്ക് ചെയ്തോ എന്നതുൾപ്പെടെ. model ഫീൽഡ് ഉത്തരം നൽകിയ മോഡലിനെ തിരിച്ചറിയുന്നു.

ഒരു സംഭാഷണത്തിനുള്ളിലെ റൂട്ടിംഗ്

ഒരു സംഭാഷണം ഒരു ടാസ്‌ക്കിൽ നിന്ന് മറ്റൊന്നിലേക്ക് നീങ്ങുമ്പോൾ, ഒരു ടേൺ കൈകാര്യം ചെയ്ത മോഡൽ അടുത്തതിന് അനുയോജ്യമായിരിക്കണമെന്നില്ല. നിങ്ങളുടെ തുടർ അഭ്യർത്ഥനകളിൽ സംഭാഷണ ചരിത്രം ഉൾപ്പെടുന്നതിനാൽ, ഡിസിഷൻ മോഡലിനും തിരഞ്ഞെടുത്ത മോഡലിനും മറ്റ് മോഡലുകളുടെ മറുപടികൾ ഉൾപ്പെടെ മുൻ ടേണുകൾ വായിക്കാനാകും. കസ്റ്റമർ സപ്പോർട്ട്, കോഡിംഗ്, ഗവേഷണം എന്നിങ്ങനെ നാല് ടേണുകളുള്ള മൂന്ന് യഥാർത്ഥ സംഭാഷണങ്ങൾ ഞങ്ങൾ നടത്തി.

കസ്റ്റമർ സപ്പോർട്ട്

മുകളിലുള്ള ഉദാഹരണത്തിൽ, അതേ സംഭാഷണം ഒരു അക്കൗണ്ട് ചോദ്യത്തിൽ നിന്ന് ഒരു ബില്ലിംഗ് തർക്കത്തിലേക്കും തുടർന്ന് തകരാറിലായ ഒരു ഇന്റഗ്രേഷനിലേക്കും നീങ്ങുന്നുവെന്ന് കരുതുക. ടാസ്‌ക് മാറുന്നതിനനുസരിച്ച്, ഡിസിഷൻ മോഡൽ പൊരുത്തപ്പെടുന്ന റൂട്ട് തിരഞ്ഞെടുക്കുന്നു; ഉപയോക്താവ് അവസാനമായി നന്ദി അറിയിക്കുമ്പോൾ, Orchestrator GLM-5.3 Flash-ലേക്ക് മടങ്ങുന്നു.

സപ്പോർട്ട് സംഭാഷണം: ഓരോ ടേണിനുമുള്ള റൂട്ടും മോഡലും.

മോഡൽ ഹാൻഡ്ഓഫുകളിലുടനീളമുള്ള പ്രോംപ്റ്റ് കാഷിംഗ്

ഓരോ അഭ്യർത്ഥനയും പൂർണ്ണ സന്ദേശ ചരിത്രം വഹിക്കുന്നു, എന്നാൽ ഓരോ മോഡലും സ്വന്തം കാഷ് നിലനിർത്തുന്നു. ടേൺ 4-ൽ സംഭാഷണം GLM Flash-ലേക്ക് മടങ്ങുമ്പോൾ, ടേൺ 1-ൽ നിന്നുള്ള പൊരുത്തപ്പെടുന്ന പ്രിഫിക്സ് കാഷിൽ ഉള്ളിടത്തോളം അതിന് വീണ്ടും ഉപയോഗിക്കാം, തുടർന്ന് ടേൺ 2-ലും 3-ലും Opus-ഉം Sol-ഉം ചേർത്ത പ്രതികരണങ്ങൾ പ്രോസസ്സ് ചെയ്യാം. ടേൺ 5-ൽ Opus അല്ലെങ്കിൽ Sol തിരഞ്ഞെടുക്കപ്പെട്ടാൽ അവയ്ക്കും ഇത് ബാധകമാണ്.

പ്രോംപ്റ്റ് കാഷിംഗ് നിലനിർത്താൻ, സാധ്യമാകുമ്പോഴെല്ലാം Orchestrator ബന്ധപ്പെട്ട അഭ്യർത്ഥനകൾ ഒരേ ഡിപ്ലോയ്‌മെന്റിൽ തന്നെ നിലനിർത്തുന്നു. ആ അഫിനിറ്റി നിലനിർത്താൻ സഹായിക്കുന്നതിന്, സംഭാഷണത്തിനായി സ്ഥിരമായ ഒരു prompt_cache_key വീണ്ടും ഉപയോഗിക്കുക.

മോഡൽ ഹാൻഡ്ഓഫുകളിലുടനീളമുള്ള പ്രോംപ്റ്റ് കാഷിംഗ്: ഇടയ്ക്കുള്ള സംഭാഷണം പുതിയ ഇൻപുട്ടായി പ്രോസസ്സ് ചെയ്യുമ്പോൾ തന്നെ, GLM Flash-ന് അതിന്റെ മുൻ പ്രിഫിക്സ് വീണ്ടും ഉപയോഗിക്കാം.

കോഡിംഗ് അസിസ്റ്റന്റ്

കോഡിംഗ് സംഭാഷണത്തിന്റെ ടേൺ 4-ൽ, Claude Opus 5.5-ന്റെ ബഗ് നിർണ്ണയത്തിൽ നിന്നും GPT-6.1 Sol-ന്റെ ഇംപ്ലിമെന്റേഷൻ പ്ലാനിൽ നിന്നുമുള്ള സന്ദർഭം ഉപയോഗിച്ച് GLM-5.3 Flash ഒരു docstring എഴുതുന്നു.

റൂട്ടിംഗ് പ്രൊഫൈൽ റീനെയിമുകളും ചെറിയ എഡിറ്റുകളും GLM-5.3 Flash-നും, ബഗ് നിർണ്ണയം Claude Opus 5.5-നും, മൊഡ്യൂളുകളിലുടനീളമുള്ള മാറ്റങ്ങളുടെ ആസൂത്രണം GPT-6.1 Sol-നും നൽകുന്നു:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Diagnosing a failing test, crash, deadlock, race condition or performance regression from code, logs or a stack trace.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Planning or reviewing a change that spans several modules, such as an API redesign, a migration or a concurrency model.", "model": "openai/gpt-6.1-sol"} ] }
കോഡിംഗ് സംഭാഷണം: ഓരോ ടേണിനുമുള്ള റൂട്ടും മോഡലും.

ഗവേഷണ അസിസ്റ്റന്റ്

ഗവേഷണ ഉദാഹരണത്തിൽ, ഒരു വസ്തുതാപരമായ ചോദ്യം ഒരു കണക്കുകൂട്ടലിലേക്ക് നയിക്കുന്നു, അത് പിന്നീട് ഒരു മെമ്മോയുടെ അടിസ്ഥാനമാകുന്നു. പ്രൊഫൈൽ വസ്തുതാപരമായ ചോദ്യങ്ങൾ GLM-5.3 Flash-നും, കണക്കുകൂട്ടലുകൾ GPT-6.1 Sol-നും, മെമ്മോ എഴുത്ത് Claude Opus 5.5-നും നൽകുന്നു:

json
"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Questions that need calculation, statistics, a financial model or a step-by-step quantitative comparison.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Writing a polished memo, report or explanation for a reader, synthesizing earlier findings into a coherent argument.", "model": "anthropic/claude-opus-5-5"} ] }

ടേൺ 3-ലെ മെമ്മോ GPT-6.1 Sol-ന്റെ മുൻ മറുപടിയിലെ കണക്കുകൂട്ടലുകൾ ഉപയോഗിക്കുന്നു; ഉപയോക്താവിനോട് അവ ആവർത്തിക്കാൻ ആവശ്യപ്പെടാതെ കണക്കുകൾ റൗണ്ട് ചെയ്യുന്നു.

ഗവേഷണ സംഭാഷണം: ഓരോ ടേണിനുമുള്ള റൂട്ടും മോഡലും.

Orchestrator ഉപയോഗിച്ച് തുടങ്ങുക

നിങ്ങളുടെ നിലവിലുള്ള OpenAI അല്ലെങ്കിൽ Anthropic SDK, ഒരു Perplexity API കീ, അനുയോജ്യമായ Orchestrator ബേസ് URL, കാറ്റലോഗിൽ നിന്നുള്ള ഒരു മോഡൽ എന്നിവ ഉപയോഗിച്ച് കണക്റ്റ് ചെയ്യുക.

ക്വിക്ക്സ്റ്റാർട്ട് സജ്ജീകരണം, നിലവിലെ ലഭ്യത, ആക്‌സസ് എന്നിവ വിശദീകരിക്കുന്നു. ചോദ്യങ്ങൾക്ക്, ദയവായി api@perplexity.ai-ൽ ബന്ധപ്പെടുക.