Orchestrator അവതരിപ്പിക്കുന്നു: ഫ്രണ്ടിയർ, ഓപ്പൺ-വെയ്റ്റ് മോഡലുകൾക്കായി ഒരൊറ്റ API

ഏകീകൃത ബില്ലിംഗും ഫെയിൽഓവറും സഹിതം, ഒരൊറ്റ API-യിൽ ഫ്രണ്ടിയർ, ഓപ്പൺ-വെയ്റ്റ് മോഡലുകളിലേക്ക് Perplexity Orchestrator ആക്‌സസ് നൽകുന്നു.

An orchestra conductor surrounded by sweeping trails of light against a dark background.

Perplexity അടിസ്ഥാനപരമായി മൾട്ടി-മോഡലാണ്; ഏറ്റവും പുതിയ ഫ്രോണ്ടിയർ, ഓപ്പൺ-വെയ്റ്റ് മോഡലുകൾ അവരുടെ ജോലിക്കായി തിരഞ്ഞെടുക്കാനുള്ള സ്വാതന്ത്ര്യം ഇത് ആളുകൾക്ക് നൽകുന്നു. ഈ മൾട്ടി-മോഡൽ സമീപനം ഓരോ മോഡലിന്റെയും ശക്തികൾ പ്രയോജനപ്പെടുത്തുന്നു, ഒരു ടാസ്‌ക്കിന് ഏറ്റവും ശക്തമായ മോഡൽ ആവശ്യമില്ലാത്തപ്പോൾ ചെലവ് കുറയ്ക്കാനും ഇതിന് കഴിയും. പശ്ചാത്തലത്തിൽ, ഒരൊറ്റ ജോലി പൂർത്തിയാക്കാൻ ഞങ്ങളുടെ ഓർക്കസ്ട്രേഷൻ സാങ്കേതികവിദ്യയ്ക്ക് നിരവധി മോഡലുകൾ ഉപയോഗിക്കാൻ കഴിയും.

പ്രകടനം, ചെലവ്, വഴക്കം എന്നിവ സന്തുലിതമാക്കാൻ ബിസിനസുകളും സമാനമായ സമീപനമാണ് സ്വീകരിക്കുന്നത്. ഓരോ പുതിയ മോഡൽ റിലീസും ചെലവ് കുറയ്ക്കാനോ ഗുണനിലവാരം മെച്ചപ്പെടുത്താനോ ഉള്ള ഒരു അവസരമാണ്. ഈ വർഷം മാത്രം, Anthropic, OpenAI പോലുള്ള ലാബുകൾ ഒരു ഡസനിലധികം പുതിയ മോഡലുകൾ പുറത്തിറക്കിയിട്ടുണ്ട്. 100-ലധികം ഓപ്പൺ-വെയ്റ്റ് മോഡലുകളും പുറത്തിറങ്ങിയിട്ടുണ്ട്. ഇത് ഓരോ വർക്ക്‌ലോഡിനും ടീമുകൾക്ക് കൂടുതൽ ഓപ്ഷനുകൾ നൽകുന്നുണ്ടെങ്കിലും, കൈകാര്യം ചെയ്യേണ്ട പ്രൊവൈഡർമാരുടെയും കരാറുകളുടെയും ഇൻവോയ്‌സുകളുടെയും എണ്ണവും വർദ്ധിപ്പിക്കുന്നു.

AI ആപ്ലിക്കേഷനുകൾ നിർമ്മിക്കുന്ന ഡെവലപ്പർമാർക്കും ടീമുകൾക്കും ഞങ്ങളുടെ മോഡൽ-അഗ്നോസ്റ്റിക് സാങ്കേതികവിദ്യ ലഭ്യമാക്കിക്കൊണ്ട്, ഇന്ന് ഞങ്ങൾ Perplexity Orchestrator API അവതരിപ്പിക്കുന്നു. ഒരൊറ്റ API വഴി, ലളിതവും ഉയർന്ന അളവിലുള്ളതുമായ ടാസ്‌ക്കുകൾ കുറഞ്ഞ ചെലവുള്ള മോഡലുകളിൽ പ്രവർത്തിപ്പിക്കാനും, കൂടുതൽ ശക്തമായ മോഡലുകൾ കൂടുതൽ സങ്കീർണ്ണമായ ജോലികൾക്കായി മാറ്റിവയ്ക്കാനും ടീമുകൾക്ക് കഴിയും.

Orchestrator ഉപയോഗിച്ച്, പ്രകടനത്തിലോ അപ്‌ടൈമിലോ വിട്ടുവീഴ്ച ചെയ്യാതെ തന്നെ ടീമുകൾക്ക് AI ചെലവ് കുറയ്ക്കാനും കേന്ദ്രീകരിക്കാനും, പുതിയ മോഡലുകൾ പുറത്തിറങ്ങുന്ന മുറയ്ക്ക് അവ സ്വീകരിക്കാനും കഴിയും. ഓരോ വർക്ക്‌ലോഡും ഏത് മോഡൽ കൈകാര്യം ചെയ്യണമെന്ന് ടീമുകൾക്ക് തിരഞ്ഞെടുക്കാം; വിശ്വസനീയമായ ഇൻഫറൻസ് ഉറപ്പാക്കാൻ പ്രൊവൈഡർ റൂട്ടിംഗും ഫെയിൽഓവറും Perplexity കൈകാര്യം ചെയ്യുന്നു.

Perplexity-യുടെ പ്രൊഡക്ഷൻ മോഡൽ ലെയറിൽ നിർമ്മിച്ചത്

Perplexity എല്ലാ ദിവസവും ഓപ്പൺ-വെയ്റ്റ്, ഫ്രോണ്ടിയർ മോഡലുകൾ പ്രൊഡക്ഷനിൽ പ്രവർത്തിപ്പിക്കുന്നു. ഞങ്ങളുടെ മോഡൽ ലെയർ 85-ലധികം മോഡലുകളിലും ഒരു ഡസനിലധികം പ്രൊവൈഡർമാരിലുമായി കോടിക്കണക്കിന് അഭ്യർത്ഥനകൾ റൂട്ട് ചെയ്യുന്നു.

പ്രൊവൈഡർമാരുടെ വേഗത കുറയുമ്പോഴോ, ശേഷി തികയാതെ വരുമ്പോഴോ, അവർ വില മാറ്റുമ്പോഴോ ഓരോ അഭ്യർത്ഥനയും വേഗതയുള്ളതും താങ്ങാനാവുന്നതുമായി നിലനിർത്തുന്നതിനേക്കാൾ എളുപ്പമാണ് ഒരു മോഡൽ തിരഞ്ഞെടുക്കുന്നത്. ഓരോ ടാസ്‌ക്കിനും ഏറ്റവും അനുയോജ്യമായ മോഡലുകളിലേക്ക് വർക്ക്‌ലോഡുകൾ മാറ്റി ഞങ്ങൾ സ്വന്തം സെർവിംഗ് ചെലവുകൾ കുറച്ചു.

ആ സമീപനത്തിന് പിന്നിലെ പങ്കിട്ട ഇൻഫ്രാസ്ട്രക്ചറിലേക്ക് Orchestrator ഡെവലപ്പർമാർക്ക് ആക്‌സസ് നൽകുന്നു.

Orchestrator ആ ഇൻഫറൻസ് ലെയർ ഒരൊറ്റ API വഴി ലഭ്യമാക്കുന്നു. GLM, Kimi, DeepSeek പോലുള്ള ഓപ്പൺ-വെയ്റ്റ് മോഡലുകൾക്കൊപ്പം OpenAI, Anthropic, Google, xAI എന്നിവയിൽ നിന്നുള്ള മോഡലുകളും ഇതിൽ ഉൾപ്പെടുന്നു. ഓപ്പൺ-വെയ്റ്റ് മോഡലുകൾ Perplexity നേരിട്ടോ ഇൻഫറൻസ് പങ്കാളികൾ വഴിയോ ആണ് ലഭ്യമാക്കുന്നത്.

OpenAI Chat Completions, OpenAI Responses, Anthropic Messages ഫോർമാറ്റുകളെ Orchestrator പിന്തുണയ്ക്കുന്നു. ടീമുകൾക്ക് പരിചിതമായ സോഫ്റ്റ്‌വെയർ ഡെവലപ്‌മെന്റ് കിറ്റുകൾ (SDK-കൾ) തുടർന്നും ഉപയോഗിക്കാം. മിക്ക ടീമുകൾക്കും, തുടങ്ങാൻ API കീയും ബേസ് URL-ഉം അപ്‌ഡേറ്റ് ചെയ്യുകയും ലഭ്യമായ ഒരു മോഡൽ തിരഞ്ഞെടുക്കുകയും ചെയ്താൽ മതി.

അധിക പ്ലാറ്റ്‌ഫോം ഫീസില്ലാതെ ഏകീകൃത ബില്ലിംഗ്

നിരവധി ലാബുകളിൽ നിന്നും ഇൻഫറൻസ് പ്രൊവൈഡർമാരിൽ നിന്നുമുള്ള മോഡലുകൾ പ്രവർത്തിപ്പിക്കുന്നതിന് പ്രത്യേക അക്കൗണ്ടുകൾ, API കീകൾ, കരാറുകൾ, സുരക്ഷാ അവലോകനങ്ങൾ, ഇൻവോയ്‌സുകൾ എന്നിവ ആവശ്യമായി വന്നേക്കാം. ആഴ്ചകൾക്കുള്ളിൽ മാറിയേക്കാവുന്ന ഒരു മോഡൽ മിശ്രിതത്തെ അടിസ്ഥാനമാക്കി പ്രത്യേക വാർഷിക പ്രതിബദ്ധതകൾ ഏറ്റെടുക്കേണ്ടിയും വന്നേക്കാം.

പിന്തുണയ്ക്കുന്ന മോഡലുകളെ Orchestrator ഒരൊറ്റ വെണ്ടറിനും ഒരൊറ്റ ബില്ലിനും കീഴിൽ കൊണ്ടുവരുന്നു, അതിനാൽ ഓരോ പ്രൊവൈഡറുമായും പ്രത്യേകം കമ്മിറ്റ്മെന്റ് ചർച്ച ചെയ്യാതെ തന്നെ ടീമുകൾക്ക് അവരുടെ മോഡൽ മിശ്രണം മാറ്റാനാകും. ക്രെഡിറ്റുകൾക്ക് പുറമെ അധിക പ്ലാറ്റ്‌ഫോം ഫീസൊന്നുമില്ല.

API Console വഴി ടീമുകൾക്ക് ഉപയോഗം ട്രാക്ക് ചെയ്യാനും ചെലവ് നിയന്ത്രിക്കാനും കഴിയും:

  • ഉപയോഗ റിപ്പോർട്ടിംഗ്: മോഡൽ, പ്രോജക്റ്റ്, API കീ, തീയതി എന്നിവ അനുസരിച്ച് തരംതിരിച്ച ചെലവ്
  • API കീകൾ: പ്രോജക്റ്റ് അല്ലെങ്കിൽ ടീം അനുസരിച്ച് ഉപയോഗം ട്രാക്ക് ചെയ്യാൻ പ്രത്യേക API കീകൾ
  • അഡ്മിൻ നിയന്ത്രണങ്ങൾ: ഓർഗനൈസേഷൻ തലത്തിലുള്ള അനുവദനീയ മോഡൽ ലിസ്റ്റുകൾ, ഉപയോക്തൃ നിയന്ത്രണങ്ങൾ, ചെലവ് പരിധികൾ, ശേഷി അഭ്യർത്ഥനകൾ

പ്രൊവൈഡർമാരിലുടനീളം കൂടുതൽ വിശ്വസനീയമായ അഭ്യർത്ഥനകൾ

ഒന്നിലധികം പ്രൊവൈഡർമാർ വഴി ലഭ്യമായ മോഡലുകൾ, ഒരു അഭ്യർത്ഥന കൈകാര്യം ചെയ്യാൻ ടീമുകൾക്ക് ഒന്നിലധികം വഴികൾ നൽകുന്നു.

ഏറ്റവും മികച്ച പ്രകടനം കാഴ്ചവയ്ക്കുന്ന പ്രൊവൈഡർമാരിലുടനീളം ട്രാഫിക് വിതരണം ചെയ്യുന്നതിനായി Orchestrator ഓരോ പ്രൊവൈഡറിന്റെയും ആരോഗ്യസ്ഥിതി, ശേഷി, ലേറ്റൻസി എന്നിവ നിരീക്ഷിക്കുന്നു. ഒരു അഭ്യർത്ഥന പരാജയപ്പെട്ടാൽ, അതേ മോഡലിന്റെ മറ്റൊരു ഡിപ്ലോയ്‌മെന്റിൽ അത് വീണ്ടും ശ്രമിക്കാനാകും; അങ്ങനെ, ടീമുകൾ സ്വയം ലോജിക് നിർമ്മിക്കേണ്ട ആവശ്യമില്ലാതെ തന്നെ ഫെയിൽഓവർ കൈകാര്യം ചെയ്യപ്പെടുന്നു.

പ്രതിദിനം ദശലക്ഷക്കണക്കിന് അഭ്യർത്ഥനകൾ പ്രവർത്തിപ്പിക്കുന്ന ടീമുകൾക്ക്, അഭ്യർത്ഥന വിജയനിരക്കിലെ ചെറിയൊരു വ്യത്യാസം പോലും, അതായത് 99.0%-നും 99.99%-നും ഇടയിലുള്ള അന്തരം പോലും, ആയിരക്കണക്കിന് പ്രതികരണങ്ങളെ ബാധിക്കും. Orchestrator ഉപയോഗിച്ച്, ടീമുകൾ സ്വയം ഫെയിൽഓവർ കോഡ് നിർമ്മിക്കുകയോ പരിപാലിക്കുകയോ ചെയ്യേണ്ടതില്ല.

Orchestrator-ലെ ഒരു മാസത്തെ പ്രൊഡക്ഷൻ ട്രാഫിക്കിൽ, Perplexity വഴിയുള്ള Claude, GPT അഭ്യർത്ഥനകൾക്ക് അളന്ന ഏതൊരു വ്യക്തിഗത പ്രൊവൈഡറിനെക്കാളും ഉയർന്ന വിജയനിരക്ക് ഉണ്ടായിരുന്നു; പ്രൊവൈഡർ തകരാറുകളുടെ സമയത്ത് ദൈനംദിന വ്യതിയാനവും കുറവായിരുന്നു.

പ്രിവ്യൂവിൽ: Routes, Auto effort

ഓരോ മോഡലും ഏതൊക്കെ അഭ്യർത്ഥനകൾ കൈകാര്യം ചെയ്യണമെന്ന് ലളിതമായ ഭാഷയിൽ വിവരിക്കാനും ഒരു ഡിഫോൾട്ട് മോഡൽ സജ്ജമാക്കാനും Routes ടീമുകളെ അനുവദിക്കുന്നു. Lower cost, Balanced, അല്ലെങ്കിൽ Higher quality എന്ന ബിൽറ്റ്-ഇൻ പ്രൊഫൈലിൽ നിന്ന് ടീമുകൾക്ക് തുടങ്ങാം. അല്ലെങ്കിൽ അവർക്ക് ഒരു കസ്റ്റം പ്രൊഫൈൽ നിർമ്മിക്കാം. ടീമുകൾ ഒരു വിവരണം നൽകുകയോ ലക്ഷ്യം വ്യക്തമാക്കുകയോ ചെയ്യുന്നില്ലെങ്കിൽ, ഡിഫോൾട്ട് മോഡൽ അഭ്യർത്ഥന കൈകാര്യം ചെയ്യുന്നു.

പ്രിവ്യൂവിൽ ലഭ്യമായ മറ്റൊന്നായ Auto effort, ഡെവലപ്പർ നിർവചിക്കുന്ന ഒരു പോളിസി അനുസരിച്ച്, പിന്തുണയ്ക്കുന്ന ഒരു മോഡൽ അതിന്റെ അടുത്ത ടേണിൽ എത്രമാത്രം റീസണിംഗ് ഉപയോഗിക്കണമെന്ന് ക്രമീകരിക്കുന്നു. മോഡലുകൾ മാറ്റാതെ തന്നെ, ഒരു ടൂൾ പിശകിൽ നിന്ന് കരകയറാൻ ഒരു ഏജന്റിന് കൂടുതൽ എഫർട്ട് ചെലവഴിക്കാം.

ഇന്റലിജന്റ് മോഡൽ ഓർക്കസ്ട്രേഷൻ ഉപയോഗിച്ച് ആരംഭിക്കുക

ഇന്റലിജന്റ് മോഡൽ ഓർക്കസ്ട്രേഷനായുള്ള Perplexity-യുടെ API പ്ലാറ്റ്‌ഫോമിലെ ആദ്യ ചുവടാണ് Orchestrator. മോഡൽ റൂട്ടിംഗ് ശരിയായി ചെയ്യാൻ ബുദ്ധിമുട്ടുള്ളത് എന്തുകൊണ്ടാണെന്നതുൾപ്പെടെ, ഞങ്ങൾ Routes എങ്ങനെ നിർമ്മിക്കുകയും വിലയിരുത്തുകയും ചെയ്തുവെന്ന് അറിയുക.

ആരംഭിക്കാൻ, API Console-ൽ ഒരു API കീ സൃഷ്ടിക്കുക, നിലവിലുള്ള ഒരു OpenAI അല്ലെങ്കിൽ Anthropic SDK-യെ Orchestrator ബേസ് URL-ലേക്ക് പോയിന്റ് ചെയ്യുക, തുടർന്ന് മോഡൽ കാറ്റലോഗിൽ നിന്ന് തിരഞ്ഞെടുക്കുക.

മിനിറ്റുകൾക്കുള്ളിൽ ആദ്യ അഭ്യർത്ഥന നടത്താൻ ക്വിക്ക്‌സ്റ്റാർട്ട് സഹായിക്കും. വലുതോ ദീർഘകാല പ്രതിബദ്ധതയുള്ളതോ ആയ വർക്ക്‌ലോഡുകളുള്ള ടീമുകൾക്ക് വോളിയം പ്രൈസിംഗിനെയും ശേഷിയെയും കുറിച്ചുള്ള കൂടുതൽ വിവരങ്ങൾക്കായി api@perplexity.ai എന്ന വിലാസത്തിലേക്ക് ഇമെയിൽ ചെയ്യാം.

ഇന്നുതന്നെ ഒരു API കീ സൃഷ്ടിക്കുക.