Perplexity Decider

ഞങ്ങൾ ഇത് എങ്ങനെ പരിശീലിപ്പിക്കുന്നു, വിലയിരുത്തുന്നു, ഉപയോഗിക്കുന്നു.

രചയിതാക്കൾPerplexity Research

Decider v1.3, Decider Flash v1.3 എന്നിവ ഞങ്ങൾ പുറത്തിറക്കുന്നു; ഞങ്ങളുടെ മുൻ തീരുമാന മോഡലുകളായ v1, v1.1, v1.2, Flash v1.2 എന്നിവയുടെ പിൻഗാമികളാണ് ഇവ.

Decider v1.3-ൽ നിന്ന് ഡിസ്റ്റിൽ ചെയ്ത ഒരു ചെറിയ മോഡലാണ് Decider Flash v1.3. രണ്ട് മോഡലുകളും Apache ലൈസൻസിന് കീഴിൽ Hugging Face-ലും, OpenRouter വഴിയും, Perplexity Decisions API വഴിയും ലഭ്യമാണ്.

TypeSafe AI-യുടെ System One Model ആയ Jev-ൽ നിന്നാണ് Perplexity Decider പ്രചോദനം ഉൾക്കൊണ്ടിരിക്കുന്നത്. ക്രമമുള്ളതോ ക്രമമില്ലാത്തതോ ആയ ലേബലുകളോടുകൂടിയ ബൈനറി, മൾട്ടി-ക്ലാസ് വർഗ്ഗീകരണത്തെ ഇത് പിന്തുണയ്ക്കുന്നു; ഇൻപുട്ടുകളെ വർഗ്ഗീകരിക്കാനും റൂട്ട് ചെയ്യാനും റാങ്ക് ചെയ്യാനും വിലയിരുത്താനും ആപ്ലിക്കേഷനുകൾക്ക് ഉപയോഗിക്കാവുന്ന പ്രോബബിലിറ്റികൾ ഇത് നൽകുന്നു.

ദ്വിദിശ അറ്റൻഷൻ, മികച്ച രീതിയിൽ ക്രമീകരിച്ച പരിശീലന ഡാറ്റ, മെച്ചപ്പെടുത്തിയ പരിശീലന രീതി എന്നിവയിലൂടെ രണ്ട് v1.3 മോഡലുകളും വിപുലമായ ടെക്സ്റ്റ്, വിഷൻ ടാസ്ക്കുകളിൽ പ്രകടനവും ദൃഢതയും മെച്ചപ്പെടുത്തുന്നു. നെയിംഡ് എന്റിറ്റി റെക്കഗ്നിഷൻ, വ്യക്തിഗത വിവരങ്ങൾ തിരിച്ചറിയൽ, എക്സ്ട്രാക്റ്റീവ് ചോദ്യോത്തര ടാസ്ക്കുകൾ എന്നിവയ്ക്കായി തിരഞ്ഞെടുത്ത ഉള്ളടക്കം ഹൈലൈറ്റ് ചെയ്യുന്ന locate എന്ന പുതിയ ഫീച്ചറും ഞങ്ങൾ അവതരിപ്പിക്കുന്നു.

Decider-നെ ഞങ്ങൾ എങ്ങനെ പരിശീലിപ്പിക്കുകയും വിലയിരുത്തുകയും ചെയ്യുന്നുവെന്ന് ഈ പോസ്റ്റിൽ വിശദീകരിക്കുകയും Perplexity-യിൽ ആന്തരികമായി അത് എങ്ങനെ ഉപയോഗിക്കുന്നുവെന്ന് പങ്കുവെക്കുകയും ചെയ്യുന്നു.

എന്താണ് ഒരു തീരുമാന മോഡൽ?

ഒരു തീരുമാന മോഡൽ ഒരു പൊതു-ഉദ്ദേശ്യ ക്ലാസിഫയറാണ്. നിങ്ങൾ അതിന് ഒരു ഇൻപുട്ടും, ഓരോന്നിനും സാധ്യമായ ഉത്തരങ്ങൾ സഹിതമുള്ള ഒരു കൂട്ടം ചോദ്യങ്ങളും നൽകുന്നു. ഓരോ ചോദ്യത്തിനും, ഉത്തരങ്ങളിന്മേലുള്ള ഒരു പ്രോബബിലിറ്റി ഡിസ്ട്രിബ്യൂഷൻ അത് നൽകുന്നു. ഇത് 3 ചോദ്യ തരങ്ങളെ പിന്തുണയ്ക്കുന്നു:

  • അതെ / ഇല്ല: ബൈനറി തീരുമാനങ്ങൾ.
  • മൾട്ടിപ്പിൾ ചോയ്സ്: ഇഷ്ടാനുസൃത മൾട്ടി-ക്ലാസ് ലേബലുകൾ.
  • സ്കോർ: ക്രമീകരിച്ച ലെവലുകൾ.

വർഗ്ഗീകരണവും സ്കോറിംഗുമായി ബന്ധപ്പെട്ട വിപുലമായ ടാസ്ക്കുകളെ തീരുമാന മോഡലുകൾ പിന്തുണയ്ക്കുന്നു:

  • ഔട്ട്‌പുട്ടുകൾ വിലയിരുത്തൽ: വിശ്വസ്തത, ഗുണനിലവാരം, സുരക്ഷ എന്നിവ വിലയിരുത്തൽ.
  • റൂട്ടിംഗ്: ബുദ്ധിമുട്ടിന്റെ അടിസ്ഥാനത്തിൽ അഭ്യർത്ഥനകളെ ചെറിയതോ വലിയതോ ആയ മോഡലുകളിലേക്ക് നയിക്കൽ.
  • മോഡറേഷനും സുരക്ഷയും: ടൂൾ ഔട്ട്‌പുട്ടുകളിലെ ദോഷകരമായ ഉള്ളടക്കം, ഫിഷിംഗ്, പ്രോംപ്റ്റ് ഇൻജക്ഷൻ എന്നിവ കണ്ടെത്തൽ.
  • ഫിൽട്ടറിംഗും ടാഗിംഗും: വലിയ ഉള്ളടക്ക ശേഖരങ്ങൾ ക്രമീകരിക്കൽ.
  • റിട്രീവലും റീറാങ്കിംഗും: പ്രസക്തി അനുസരിച്ച് സെർച്ച് ഫലങ്ങൾ സ്കോർ ചെയ്യൽ.

ഫ്രീ-ഫോം ടെക്സ്റ്റ് ജനറേഷൻ ആവശ്യമില്ലെങ്കിലും, ഈ ടാസ്ക്കുകളിൽ പലതും മുമ്പ് LLM-കൾ പോലുള്ള ജനറേറ്റീവ് മോഡലുകളാണ് കൈകാര്യം ചെയ്തിരുന്നത്. ഡിസിഷൻ മോഡലുകൾ LLM-കൾക്കും ടാസ്ക്-നിർദ്ദിഷ്ട ക്ലാസിഫയറുകൾക്കും ഇടയിലാണ് സ്ഥാനം പിടിക്കുന്നത്. ഒരേ ഇൻപുട്ടിനെക്കുറിച്ചുള്ള ഒന്നിലധികം ചോദ്യങ്ങൾക്കുള്ള സാധ്യതകൾ ഒരൊറ്റ ഫോർവേഡ് പാസിൽ അവ നൽകുന്നു; ഇത് ടോക്കൺ-ബൈ-ടോക്കൺ ഉത്തര ജനറേഷൻ ഒഴിവാക്കുകയും ചോദ്യങ്ങൾക്കിടയിൽ കമ്പ്യൂട്ടേഷൻ പങ്കിടുകയും ചെയ്യുന്നു. ടാസ്ക്-നിർദ്ദിഷ്ട ക്ലാസിഫയറുകളിൽ നിന്ന് വ്യത്യസ്തമായി, സ്വാഭാവിക ഭാഷാ പ്രോംപ്റ്റുകളിലൂടെ പുതിയ ടാസ്ക്കുകൾ കൈകാര്യം ചെയ്യാൻ അവയ്ക്ക് കഴിയും; പങ്കിട്ട ചോദ്യോത്തര ഫോർമാറ്റിൽ വൈവിധ്യമാർന്ന ടാസ്ക്കുകളിലുടനീളമുള്ള പരിശീലനത്തിൽ നിന്നാണ് ഈ വഴക്കം അവ നേടുന്നത്.

പരിശീലനം

ഒരു ജനറേറ്റീവ് LLM-നെ തീരുമാന മോഡലാക്കി മാറ്റുന്നു

ശക്തമായ ജനറേറ്റീവ് LLM ബാക്ക്‌ബോണുകൾ അനുരൂപമാക്കിയാണ് ഞങ്ങൾ Decider നിർമ്മിക്കുന്നത്. ഈ അനുരൂപീകരണം വിശദീകരിക്കാൻ, ഒരു അഭ്യർത്ഥന എങ്ങനെ പ്രതിനിധീകരിക്കപ്പെടുന്നു എന്ന് ആദ്യം വിവരിക്കാം. താഴെ കാണിച്ചിരിക്കുന്നതുപോലെ, ഒരു അഭ്യർത്ഥനയിൽ ഒരു പങ്കിട്ട സന്ദർഭവും (സ്റ്റേറ്റ്) നിരവധി ചോദ്യങ്ങളും അടങ്ങിയിരിക്കുന്നു. എല്ലാ ചോദ്യങ്ങളും സ്റ്റേറ്റ് വീണ്ടും ഉപയോഗിക്കും.

ഉദാഹരണത്തിന്, ഒരു ഡോക്യുമെന്റും അതിന്റെ സംഗ്രഹവും നൽകിയാൽ, സംഗ്രഹം ഡോക്യുമെന്റിനെ വിശ്വസ്തമായി പ്രതിനിധീകരിക്കുന്നുണ്ടോ എന്നും അത് ഒരു വിദഗ്ദ്ധനെയാണോ പൊതു പ്രേക്ഷകരെയാണോ ഉദ്ദേശിച്ചിട്ടുള്ളത് എന്നും ഒരൊറ്റ അഭ്യർത്ഥനയിൽ ചോദിക്കാം. സ്റ്റേറ്റിന് ശേഷം, ഓരോ ചോദ്യ ബ്ലോക്കിലും ഒരു ചോദ്യവും അതിന്റെ സാധ്യമായ ഉത്തരങ്ങളും അടങ്ങിയിരിക്കുന്നു; ഓരോ ഉത്തരത്തിനും A, B, അല്ലെങ്കിൽ C പോലുള്ള മുൻകൂട്ടി നിശ്ചയിച്ച ഒരു ലേബൽ ടോക്കൺ നൽകിയിരിക്കുന്നു. മോഡലിന്റെ പ്രവചനം എവിടെ നിന്ന് വായിക്കണമെന്ന് ഒരു പ്രത്യേക <|marker|> ടോക്കൺ സൂചിപ്പിക്കുന്നു. ഈ സ്ഥാനത്ത്, പഠിച്ചെടുത്ത ഒരു ലീനിയർ ഔട്ട്‌പുട്ട് ലെയർ (ഒരു ഡിസിഷൻ ഹെഡ്) ഹിഡൻ സ്റ്റേറ്റിനെ ചോദ്യത്തിന്റെ ഉത്തര ഓപ്ഷനുകൾക്കുള്ള സ്കോറുകളിലേക്ക് മാപ്പ് ചെയ്യുന്നു; അവ പിന്നീട് പ്രോബബിലിറ്റികളാക്കി മാറ്റുന്നു.

സാധാരണയായി മുഴുവൻ പദാവലിയിൽ നിന്നും അടുത്ത ടോക്കൺ സ്കോർ ചെയ്യുന്ന ബേസ് മോഡലിൽ നിന്നാണ് ഞങ്ങൾ ഔട്ട്‌പുട്ട് ലെയർ ഇനിഷ്യലൈസ് ചെയ്യുന്നത്; A, B, അല്ലെങ്കിൽ C പോലുള്ള മുൻകൂട്ടി നിശ്ചയിച്ച ഓപ്ഷൻ ടോക്കണുകൾക്ക് അനുയോജ്യമായ വരികൾ മാത്രം നിലനിർത്തുന്നു. തുടർന്ന്, <|marker|> എന്ന ടോക്കണിന്റെ ഹിഡൻ സ്റ്റേറ്റിനെ ഉത്തര സ്കോറുകളാക്കി മാറ്റാൻ ഈ പ്രൂൺ ചെയ്ത ലെയർ പരിശീലിപ്പിക്കപ്പെടുന്നു. എല്ലാ വർഗ്ഗീകരണ ചോദ്യങ്ങളെയും മൾട്ടിപ്പിൾ ചോയ്സ് ആയി രൂപപ്പെടുത്താൻ കഴിയുന്നതിനാൽ ഈ സമീപനം അവയെല്ലാം ഉൾക്കൊള്ളുന്നു.

പരിശീലനത്തിനായി, വൈവിധ്യമാർന്ന ടാസ്ക്കുകൾ (സെന്റിമെന്റ്, നാച്ചുറൽ ലാംഗ്വേജ് ഇൻഫറൻസ്, ഇന്റന്റ് ഡിറ്റക്ഷൻ, എന്റിറ്റി മാച്ചിംഗ്, മോഡറേഷൻ, ഫാക്ട് ചെക്കിംഗ്, റേറ്റിംഗുകൾ മുതലായവ) ഉൾക്കൊള്ളുന്ന നൂറുകണക്കിന് പൊതു ഡാറ്റാസെറ്റുകൾ എടുത്ത് ഓരോ ഉദാഹരണവും മുകളിൽ വിവരിച്ച ഏകീകൃത ഫോർമാറ്റിലേക്ക് ഞങ്ങൾ മാറ്റുന്നു: ഒരു സ്റ്റേറ്റ്, ഒന്നോ അതിലധികമോ ചോദ്യങ്ങൾ, അവയുടെ ഓപ്ഷനുകൾ, ഒരു ടാർഗെറ്റ്. ഗോൾഡ് ലേബലുകൾ ഉണ്ടെങ്കിൽ ടാർഗെറ്റ് ഒരൊറ്റ ശരിയായ ഓപ്ഷനാകാം, അല്ലെങ്കിൽ ഓപ്ഷനുകളിന്മേലുള്ള ഒരു പ്രോബബിലിറ്റി ഡിസ്ട്രിബ്യൂഷനാകാം.

v1.3-ൽ, മുൻകൂട്ടി നിശ്ചയിച്ച ഓപ്ഷനുകളിൽ നിന്ന് തിരഞ്ഞെടുക്കുന്നതിന് പകരം സ്റ്റേറ്റിൽ നിന്ന് ടെക്സ്റ്റ് എക്സ്ട്രാക്റ്റ് ചെയ്യുന്ന locate ഞങ്ങൾ അവതരിപ്പിക്കുന്നു. എന്താണ് കണ്ടെത്തേണ്ടതെന്ന് ഒരു locate ചോദ്യം വിവരിക്കുന്നു; ഇതിനായി “സ്ഥലം” പോലുള്ള ഒരു ചെറിയ ലേബലോ “ജോലി സ്ഥിതിചെയ്യുന്ന നഗരത്തിന്റെ പേര് എക്സ്ട്രാക്റ്റ് ചെയ്യുക.” പോലുള്ള ഒരു നിർദ്ദേശമോ ഉപയോഗിക്കാം. മോഡൽ സ്റ്റേറ്റിൽ നിന്ന് കൃത്യമായി പൊരുത്തപ്പെടുന്ന ടെക്സ്റ്റും അതിന്റെ ആരംഭ, അവസാന ക്യാരക്ടർ സ്ഥാനങ്ങളും നൽകുന്നു. പൊരുത്തങ്ങളൊന്നും കണ്ടെത്തിയില്ലെങ്കിൽ, അത് ഒരു ശൂന്യമായ ലിസ്റ്റ് നൽകുന്നു.

പങ്കിട്ട സ്റ്റേറ്റ് കാരണം, ഒരേ ഇൻപുട്ടിനെക്കുറിച്ചുള്ള locate, വർഗ്ഗീകരണം, സ്കോറിംഗ് ചോദ്യങ്ങൾ ഒരൊറ്റ അഭ്യർത്ഥനയിൽ സംയോജിപ്പിക്കാൻ കഴിയും. ഉദാഹരണത്തിന്, ഒരു ജോലിക്ക് സീനിയർ തലത്തിലുള്ള പരിചയം ആവശ്യമുണ്ടോ എന്ന് ചോദിക്കാനും ആവശ്യമായ കഴിവുകൾ എക്സ്ട്രാക്റ്റ് ചെയ്യാനും ഇതിന് കഴിയും.

ദ്വിദിശ അറ്റൻഷൻ: മോഡലിനെ ഇരുവശത്തേക്കും വായിക്കാൻ അനുവദിക്കുന്നു

ഞങ്ങളുടെ മോഡലുകൾ ശക്തമായ പ്രീട്രെയിൻഡ് ജനറേറ്റീവ് ബാക്ക്‌ബോണുകളിൽ നിന്നാണ് ആരംഭിക്കുന്നത്; അവയുടെ കോസൽ അറ്റൻഷൻ ഓരോ ടോക്കണിനെയും അതിലേക്കും മുമ്പുള്ള ടോക്കണുകളിലേക്കും മാത്രം ശ്രദ്ധിക്കാൻ അനുവദിക്കുന്നു. ബാക്ക്‌ബോണിന്റെ ഫുൾ-അറ്റൻഷൻ ലെയറുകളെ ദ്വിദിശയാക്കുന്നത് പ്രകടനം മെച്ചപ്പെടുത്തുന്നുവെന്ന് ഞങ്ങളുടെ അബ്ലേഷൻ പഠനങ്ങൾ കാണിച്ചു; അതിനാൽ മുഴുവൻ ഇൻപുട്ടിൽ നിന്നുമുള്ള സന്ദർഭം ഓരോ ടോക്കണിനും ഉൾക്കൊള്ളാൻ കഴിയുന്ന ഈ ഡിസൈൻ ഞങ്ങൾ സ്വീകരിക്കുന്നു.

ദ്വിദിശ അറ്റൻഷൻ മറ്റൊരു ഡിസൈൻ തിരഞ്ഞെടുപ്പ് കൂടി കൊണ്ടുവരുന്നു: സ്റ്റേറ്റും ചോദ്യങ്ങളും എങ്ങനെ പരസ്പരം പ്രവർത്തിക്കണം? പ്രകടനം, ഉത്തരത്തിന്റെ സ്ഥിരത, കാഷ് പുനരുപയോഗം എന്നിവയിൽ വ്യത്യസ്ത സ്വാധീനങ്ങളുള്ള മൂന്ന് അറ്റൻഷൻ പാറ്റേണുകൾ ഞങ്ങൾ പരിഗണിച്ചു:

  • എല്ലാം എല്ലാറ്റിനെയും കാണുന്നു (v1.2): സ്റ്റേറ്റും എല്ലാ ചോദ്യങ്ങളും പൂർണ്ണ ദ്വിദിശ അറ്റൻഷനോടെ ഒരുമിച്ച് പ്രോസസ്സ് ചെയ്യപ്പെടുന്നു. സ്റ്റേറ്റിന്മേലുള്ള കമ്പ്യൂട്ടേഷൻ പങ്കിടപ്പെടുന്നു, പക്ഷേ ഒരു ചോദ്യത്തിനുള്ള ഉത്തരം മറ്റെന്തെല്ലാം ചോദിക്കുന്നു എന്നതിനെ ആശ്രയിച്ച് മാറാം.
  • ഒറ്റപ്പെട്ട ചോദ്യങ്ങൾ (v1.3): സ്റ്റേറ്റ് എല്ലാ ചോദ്യങ്ങളിലേക്കും ശ്രദ്ധിക്കുന്നു, അതേസമയം ഓരോ ചോദ്യവും സ്റ്റേറ്റിലേക്കും സ്വന്തം ടോക്കണുകളിലേക്കും മാത്രം ശ്രദ്ധിക്കുന്നു. പങ്കിട്ട സ്റ്റേറ്റിലൂടെ ചോദ്യങ്ങൾക്ക് പരസ്പരം പരോക്ഷമായി സ്വാധീനിക്കാൻ ഇപ്പോഴും കഴിയും, പക്ഷേ ഫലങ്ങൾ കൂടുതൽ സ്ഥിരതയുള്ളതാണ്.
  • പൂർണ്ണമായി കാഷ് ചെയ്യാവുന്നത്: സ്റ്റേറ്റ് തന്നിലേക്ക് മാത്രം അറ്റൻഡ് ചെയ്യുന്നു, അതേസമയം ഓരോ ചോദ്യവും സ്റ്റേറ്റിലേക്കും സ്വന്തം ടോക്കണുകളിലേക്കും അറ്റൻഡ് ചെയ്യുന്നു. സ്റ്റേറ്റ് ചോദ്യങ്ങളെ ആശ്രയിക്കാത്തതായതിനാൽ, പ്രോംപ്റ്റ് കാഷിംഗ് പ്രയോജനപ്പെടുത്താൻ അഭ്യർത്ഥനകളിലുടനീളം അത് വീണ്ടും ഉപയോഗിക്കാം. സ്റ്റേറ്റിന് ചോദ്യങ്ങൾ കാണാൻ കഴിയുന്നത് പല ടാസ്ക്കുകൾക്കും വളരെ പ്രധാനമായതിനാൽ ഞങ്ങൾ ഇത് ഡിഫോൾട്ടായി ഉപയോഗിക്കുന്നില്ല, എന്നാൽ ചെറിയൊരു ഫൈൻ-ട്യൂണിംഗിലൂടെ ഒരു മോഡലിനെ ഇതിലേക്ക് മാറ്റാനാകും.

മികച്ച പ്രകടനവും സ്ഥിരതയും കാരണം ഒടുവിൽ ഞങ്ങൾ ഒറ്റപ്പെട്ട ചോദ്യങ്ങൾ തിരഞ്ഞെടുത്തു.

പരിശീലന രീതി

രണ്ട് മോഡൽ വലുപ്പങ്ങൾക്കും പരിശീലനം മൂന്ന് ഘട്ടങ്ങളായാണ് നടക്കുന്നത്. ആദ്യം Qwen3.8-27B അടിസ്ഥാനമാക്കിയുള്ള വലിയ മോഡലിനെ വലിയ ഡാറ്റാസെറ്റുകളിൽ ക്രോസ്-എൻട്രോപ്പി ഉപയോഗിച്ച് ഞങ്ങൾ പരിശീലിപ്പിക്കുന്നു, തുടർന്ന് അതിനെ ചെറിയ Qwen3.5-4B മോഡലിലേക്ക് ഡിസ്റ്റിൽ ചെയ്യുന്നു.

ആദ്യ ഘട്ടം ജനറലിസ്റ്റ് പരിശീലനമാണ്; ഇതിൽ വലിയ തോതിലുള്ള കോർപ്പറകളിൽ ഞങ്ങൾ മോഡലിനെ പൂർണ്ണമായി ഫൈൻ-ട്യൂൺ ചെയ്യുന്നു. ഈ ഘട്ടത്തിൽ, എല്ലാ മേഖലകളിലും മോഡലിനെ സഹായിക്കുന്നതും ഏതെങ്കിലും ബെഞ്ച്മാർക്കിന് മാത്രമായി പ്രത്യേകമല്ലാത്തതുമായ ഡാറ്റ മാത്രമേ ഞങ്ങൾ സ്വീകരിക്കുന്നുള്ളൂ; അതിനാൽ ബെഞ്ച്മാർക്ക് ട്രെയിനിംഗ് സ്പ്ലിറ്റുകളൊന്നും ഞങ്ങൾ ഉൾപ്പെടുത്തുന്നില്ല.

ഈ ജനറലിസ്റ്റ് മോഡൽ പരിശീലിപ്പിച്ച ശേഷം, LoRA ഉപയോഗിച്ച് കൂടുതൽ സൂക്ഷ്മമായ രണ്ടാം ഘട്ടം ഞങ്ങൾ നടത്തുന്നു. ഈ ഘട്ടത്തിൽ ഉപയോഗിക്കുന്ന ഡാറ്റ നിർദ്ദിഷ്ട ഡൊമെയ്‌നുകളെയും ടാസ്ക്കുകളെയും ലക്ഷ്യമിട്ടുള്ളതാണ്. പരിമിതമായ നേട്ടങ്ങൾ മാത്രം കാണുകയോ മറ്റ് ടാസ്ക്കുകളിൽ ചില റിഗ്രഷനുകൾ കാണുകയോ ചെയ്താൽ, ആദ്യ ഘട്ടത്തിന് പകരം രണ്ടാം ഘട്ടത്തിലാണ് ഞങ്ങൾ ഡാറ്റ ചേർക്കുന്നത്. ആ നിർദ്ദിഷ്ട ഡൊമെയ്‌നുകൾക്ക് അനുയോജ്യമാക്കുന്നതിനിടയിൽ ജനറലിസ്റ്റ് മോഡലിൽ നിന്ന് അമിതമായി വ്യതിചലിക്കുന്നതും പ്രകടനം നഷ്ടപ്പെടുന്ന അപകടസാധ്യതയും ഒഴിവാക്കാനാണ് ഞങ്ങൾ LoRA ഉപയോഗിക്കുന്നത്. ബാക്ക്‌ബോണിന്റെ പൊതുവിജ്ഞാനം നിലനിർത്തിക്കൊണ്ട് പ്രകടനം മെച്ചപ്പെടുത്തുക എന്നതാണ് ലക്ഷ്യം. വ്യതിചലനം കൂടുതൽ കൃത്യമായി നിയന്ത്രിക്കാനും ഇൻ-ഡൊമെയ്ൻ നേട്ടങ്ങളെക്കാൾ ഹെൽഡ്-ഔട്ട് മെട്രിക്കുകൾക്ക് മുൻഗണന നൽകാനും, LoRA-യെ ബേസ് മോഡലിലേക്ക് തിരികെ ലയിപ്പിക്കുമ്പോൾ ഞങ്ങൾ ഒരു വെയ്റ്റും ഉപയോഗിക്കുന്നു.

അവസാനമായി, ഞങ്ങൾ ഒരു വിഷൻ-നിർദ്ദിഷ്ട ഘട്ടം ചേർക്കുന്നു. രണ്ടാം ഘട്ടത്തിന് സമാനമായി, വിഷൻ ഘട്ടവും മറ്റൊരു സൂക്ഷ്മ സ്പെഷ്യലൈസേഷൻ ഘട്ടമായി കണക്കാക്കുന്നു; ഇതിനായി ഒരു വെയ്റ്റോടെ ബേസ് മോഡലിലേക്ക് തിരികെ ലയിപ്പിക്കുന്ന ഒരു LoRA അഡാപ്റ്റർ ഉപയോഗിക്കുന്നു. ചില വിഷൻ കഴിവുകൾ ടെക്സ്റ്റ് പ്രകടനത്തിന്റെ വിലയിൽ വന്നേക്കാം. മോഡലുകളുടെ ഉപയോഗം ടെക്സ്റ്റിലാണ് വളരെ കൂടുതലായി കാണുന്നത് എന്നതിനാൽ, വിഷൻ മെട്രിക്കുകളേക്കാൾ ടെക്സ്റ്റ് മെട്രിക്കുകൾക്ക് ഞങ്ങൾ മുൻഗണന നൽകുന്നു.

രണ്ട് ടെക്സ്റ്റ് ഘട്ടങ്ങൾക്കും, ഓരോന്നും വ്യത്യസ്ത റാൻഡം സീഡ് ഉപയോഗിക്കുന്ന മൂന്ന് റണ്ണുകളിൽ നിന്നുള്ള ശരാശരി വെയ്റ്റുകളാണ് ഞങ്ങൾ ഉപയോഗിക്കുന്നത്. ഇത് സംയോജിത മോഡലിന്റെ പ്രകടനവും ദൃഢതയും മെച്ചപ്പെടുത്തുന്നതായി ഞങ്ങൾ കണ്ടെത്തി.

അന്തിമ വലിയ മോഡൽ ലഭിച്ചുകഴിഞ്ഞാൽ, അതേ മൂന്ന്-ഘട്ട പരിശീലന നടപടിക്രമം ഞങ്ങൾ ചെറിയ മോഡലിലും പ്രയോഗിക്കുന്നു. ഇവിടെ വലിയ മോഡൽ ടീച്ചറായി പ്രവർത്തിക്കുന്നു: അതിന്റെ പ്രവചിത ഔട്ട്‌പുട്ട് ഡിസ്ട്രിബ്യൂഷൻ ഗോൾഡ് ലേബലുകൾക്ക് പകരമാകുന്നു, കൂടാതെ ചെറിയ മോഡലിന്റെ പ്രവചനങ്ങളും ടീച്ചറുടെ പ്രവചനങ്ങളും തമ്മിലുള്ള KL ഡൈവർജൻസ് കുറയ്ക്കുന്ന രീതിയിൽ ചെറിയ മോഡലിനെ പരിശീലിപ്പിക്കുന്നു. അതേ പരിശീലന ഡാറ്റയിൽ ഈ ഡിസ്റ്റിലേഷൻ ലക്ഷ്യം ക്രോസ്-എൻട്രോപ്പിയെക്കാൾ മികച്ച പ്രകടനം കാഴ്ചവയ്ക്കുന്നു. പ്രത്യേക പരിശീലന ഡാറ്റയുള്ള ബെഞ്ച്മാർക്കുകളിൽ ക്രോസ്-എൻട്രോപ്പി മികച്ച പ്രകടനം കാഴ്ചവയ്ക്കുന്നുണ്ടെങ്കിലും, ഹെൽഡ്-ഔട്ട് ഡാറ്റയിലേക്ക് അത് അത്ര നന്നായി സാമാന്യവൽക്കരിക്കുന്നില്ല. നോൺ-ഗോൾഡ് ബദലുകളിലുള്ള ആത്മവിശ്വാസം ഉൾപ്പെടെ ടീച്ചറുടെ ഔട്ട്‌പുട്ട് ഡിസ്ട്രിബ്യൂഷൻ ഡിസ്റ്റിലേഷൻ കൂടുതൽ നന്നായി കൈമാറുന്നുവെന്നും, ക്രോസ്-എൻട്രോപ്പി ബെഞ്ച്മാർക്ക്-നിർദ്ദിഷ്ട പരിശീലന ഡിസ്ട്രിബ്യൂഷനിലേക്ക് ഓവർഫിറ്റ് ചെയ്യുന്നതിനെ പ്രോത്സാഹിപ്പിക്കുന്നുവെന്നുമാണ് ഞങ്ങളുടെ അനുമാനം. അതിനാൽ ഞങ്ങൾ KL അടിസ്ഥാനമാക്കിയുള്ള ഡിസ്റ്റിലേഷൻ ലക്ഷ്യം സ്വീകരിക്കുന്നു.

ട്രെയിൻ-ടെസ്റ്റ് കണ്ടാമിനേഷൻ കുറയ്ക്കാൻ, ഞങ്ങൾ ഉപയോഗിക്കുന്ന ഏതെങ്കിലും ഇവാല്യുവേഷനുമായി ഓവർലാപ്പ് ചെയ്യാൻ സാധ്യതയുള്ള എല്ലാ പരിശീലന സാമ്പിളുകളും ഞങ്ങൾ നീക്കം ചെയ്യുന്നു. ചില പൊതു പരിശീലന ഡാറ്റാസെറ്റുകളിൽ ചില ഇവാല്യുവേഷൻ ഡാറ്റാസെറ്റുകളുടെ വലിയ ഭാഗങ്ങൾ അടങ്ങിയിരിക്കുന്നതിനാൽ ഇത് പ്രധാനമാണ്. ഞങ്ങളുടെ നേട്ടങ്ങൾ വിശ്വസനീയമാണെന്നും പഠിച്ചെടുത്ത പക്ഷപാതങ്ങൾ മാത്രമല്ല അവയ്ക്ക് കാരണമെന്നും ഉറപ്പാക്കാൻ ഞങ്ങൾ വിപുലമായ പക്ഷപാത ഓഡിറ്റുകളും നീക്കം ചെയ്യലും നടത്തുന്നു.

വിവരങ്ങൾ എക്സ്ട്രാക്റ്റ് ചെയ്യാനുള്ള കഴിവ് ചേർക്കുന്നു

locate ഫീച്ചർ സാധാരണ അഭ്യർത്ഥനകൾക്ക് ഉത്തരം നൽകുന്ന രീതിയിൽ മാറ്റം വരുത്താതെ, ടെക്സ്റ്റിൽ നിന്ന് നെയിംഡ് എന്റിറ്റികൾ പോലുള്ള വിവരങ്ങൾ എക്സ്ട്രാക്റ്റ് ചെയ്യുന്നു. ഇതിനായി, ഞങ്ങൾ ഒരു അധിക പരിശീലന ഘട്ടം അവതരിപ്പിക്കുന്നു: Decider-ലേക്ക് ഒരു പുതിയ പ്രത്യേക ടോക്കണായ <|locate|>, ഒരു സ്പാൻ ഹെഡ്, ഒരു LoRA അഡാപ്റ്റർ എന്നിവ ഞങ്ങൾ ചേർക്കുന്നു.

<|locate|>-ന്റെ എംബെഡിംഗ്, മുൻ പരിശീലന ഘട്ടങ്ങളിൽ പഠിച്ച <|marker|>-ൽ നിന്നാണ് ഞങ്ങൾ ഇനിഷ്യലൈസ് ചെയ്യുന്നത്. ഈ പുതിയ എംബെഡിംഗ്, സ്പാൻ ഹെഡ്, LoRA അഡാപ്റ്ററുകൾ എന്നിവ മാത്രമാണ് ഞങ്ങൾ പരിശീലിപ്പിക്കുന്നത്; യഥാർത്ഥ ബാക്ക്‌ബോൺ വെയ്റ്റുകളും ഡിസിഷൻ ഹെഡും ഫ്രീസ് ചെയ്ത നിലയിൽ നിലനിർത്തുന്നു. അഭ്യർത്ഥിക്കുന്ന ഓരോ ഫീൽഡിനും സ്വന്തമായി ഒരു <|locate|> ടോക്കൺ ലഭിക്കുന്നു.

പൊരുത്തപ്പെടുന്ന സ്പാനുകൾ എവിടെ തുടങ്ങുന്നു, എവിടെ അവസാനിക്കുന്നു, ഏതെല്ലാം സ്റ്റാർട്ട്-എൻഡ് ജോഡികൾ ഒന്നിച്ചുള്ളതാണ് എന്നിവ സ്കോർ ചെയ്യാൻ സ്പാൻ ഹെഡ് <|locate|> ടോക്കണിന്റെ പ്രാതിനിധ്യവും സ്റ്റേറ്റ്-ടോക്കൺ പ്രാതിനിധ്യങ്ങളും ഒരുമിച്ച് ഉപയോഗിക്കുന്നു. ഈ സ്കോറുകൾക്കുള്ള ഫീൽഡ്-നിർദ്ദിഷ്ട ത്രെഷോൾഡുകൾ പ്രവചിക്കാനും ഇത് <|locate|> ടോക്കണിന്റെ പ്രാതിനിധ്യം ഉപയോഗിക്കുന്നു. തിരഞ്ഞെടുത്ത സ്പാനുകൾ യഥാർത്ഥ ടെക്സ്റ്റിലെ ക്യാരക്ടർ സ്ഥാനങ്ങളായി തിരികെ നൽകുന്നു.

ഓരോ ഗോൾഡ് സ്പാനിനെയും ത്രെഷോൾഡിന് മുകളിലേക്കും, ത്രെഷോൾഡിനെ മറ്റെല്ലാ സ്പാനുകൾക്കും മുകളിലേക്കും തള്ളുന്ന, അനുരൂപമാക്കിയ ഒരു InfoNCE ലോസ് ഉപയോഗിച്ചാണ് ഞങ്ങൾ സ്പാൻ ഹെഡിനെ പരിശീലിപ്പിക്കുന്നത്. ഈ ലോസിന് രണ്ട് ടേമുകളുണ്ട്: ആദ്യത്തേത് ശരിയായ സ്പാനുകളുടെ സ്കോറുകളെ ത്രെഷോൾഡിനും തെറ്റായ സ്പാനുകൾക്കും മുകളിലേക്ക് തള്ളുന്നു. രണ്ടാമത്തെ ടേം ത്രെഷോൾഡിനെ തെറ്റായ സ്പാനുകളുടെ സ്കോറുകൾക്ക് മുകളിലേക്ക് തള്ളുന്നു. ഉത്തരമില്ലാത്ത ഫീൽഡുകൾക്ക് രണ്ടാമത്തെ ടേം മാത്രമേ ലഭിക്കൂ, ഇത് ഒരു ശൂന്യ ലിസ്റ്റ് തിരികെ നൽകാൻ മോഡലിനെ പഠിപ്പിക്കുന്നു.

നെയിംഡ് എന്റിറ്റി റെക്കഗ്നിഷൻ, PII ഡിറ്റക്ഷൻ, എക്സ്ട്രാക്റ്റീവ് ക്വസ്റ്റ്യൻ ആൻസറിംഗ് എന്നിവയുൾപ്പെടെയുള്ള സ്പാൻ എക്സ്ട്രാക്ഷൻ ടാസ്ക്കുകളുടെ ഒരു മിശ്രണത്തിലാണ് ഞങ്ങൾ പരിശീലിപ്പിക്കുന്നത്. ഫീൽഡ് വിവരണങ്ങൾ ചെറിയ ലേബലുകൾ മുതൽ വിശദമായ നിർദ്ദേശങ്ങൾ വരെ ഞങ്ങൾ വ്യത്യാസപ്പെടുത്തുന്നു; അതിനാൽ ഒരു നിശ്ചിത ലേബൽ സെറ്റ് മനഃപാഠമാക്കുന്നതിന് പകരം അഭ്യർത്ഥന പിന്തുടരാൻ മോഡൽ പഠിക്കുന്നു.

Locate മോഡലിനെ ഘടനാപരമായി വ്യത്യസ്തമായ ഒരു ടാസ്ക് പഠിപ്പിക്കുന്നു, മോഡൽ ഇതിനകം നന്നായി ചെയ്യുന്ന കാര്യങ്ങൾ നഷ്ടപ്പെടുത്താതെ അത് ചേർക്കാനാണ് ഞങ്ങൾ ആഗ്രഹിക്കുന്നത്. locate അഡാപ്റ്ററുകൾ ബാക്ക്‌ബോണിലേക്ക് ലയിപ്പിക്കുന്നത് ഡിസിഷൻ അഭ്യർത്ഥനകളിൽ ചില റിഗ്രഷനുകൾക്ക് കാരണമാകുന്നു. ഇത് പരിമിതപ്പെടുത്താൻ, മുൻ ഘട്ടങ്ങളിൽ നിന്നുള്ള കൂടുതൽ റീപ്ലേ ഡാറ്റ, ഡിസിഷൻ അഭ്യർത്ഥനകളിൽ മോഡലിന്റെ ഔട്ട്‌പുട്ടുകൾ യഥാർത്ഥ മോഡലിന്റേതിനോട് അടുത്ത് നിലനിർത്തുന്ന ഓക്സിലറി ലക്ഷ്യങ്ങൾ തുടങ്ങിയ അന്വേഷണങ്ങൾ ഞങ്ങൾ നടത്തിക്കൊണ്ടിരിക്കുകയാണ്. എന്നിരുന്നാലും, ലയിപ്പിക്കൽ ഇപ്പോഴും നഷ്ടരഹിതമല്ലെന്ന് ഞങ്ങൾ കണ്ടെത്തുന്നു, അതിനാൽ ഞങ്ങൾ അഡാപ്റ്ററുകൾ ലയിപ്പിക്കാതെ സൂക്ഷിക്കുകയും locate അഭ്യർത്ഥനകൾക്ക് മാത്രം അവ സജീവമാക്കുകയും ചെയ്യുന്നു.

മൂല്യനിർണ്ണയം

Hugging Face Decision Index, Vals AI-യുടെ ClaimBench, Artificial Analysis Decision Index എന്നിവയിൽ നിന്നുള്ള ബാഹ്യ ബെഞ്ച്മാർക്കുകളിൽ ഞങ്ങൾ Decider v1.3, Decider Flash v1.3 എന്നിവ വിലയിരുത്തുന്നു.

ഈ ഇവാല്യുവേഷനുകളിലുടനീളം ഞങ്ങളുടെ മോഡലുകൾ ശക്തമായ പ്രകടനം കാഴ്ചവയ്ക്കുന്നു. ഈ ലീഡർബോർഡുകളിൽ സ്വകാര്യമായി സൂക്ഷിക്കുന്ന ടാസ്ക്കുകൾ ഉൾപ്പെടുന്നുണ്ടെങ്കിലും, ആവർത്തിച്ചുള്ള സമർപ്പണങ്ങളിലൂടെയും ലീഡർബോർഡ് ഫീഡ്‌ബാക്കിനെ അടിസ്ഥാനമാക്കിയുള്ള ആവർത്തിത ട്യൂണിംഗിലൂടെയും അവയെ ഇപ്പോഴും കൃത്രിമമായി സ്വാധീനിക്കാനാകും. ഈ ലീഡർബോർഡുകൾക്ക് പൂരകമായി, സ്വകാര്യ പ്രൊഡക്ഷൻ ടാസ്ക്കുകളും പൊതു നോൺ-ബെഞ്ച്മാർക്ക് ഡാറ്റാസെറ്റുകളിൽ നിന്നെടുത്ത ഹെൽഡ്-ഔട്ട് ഇവാല്യുവേഷനുകളും സംയോജിപ്പിക്കുന്ന ഒരു ആന്തരിക സ്യൂട്ടിൽ ഞങ്ങൾ മോഡലുകളെ വിലയിരുത്തുന്നു. പൊതു ബെഞ്ച്മാർക്കുകൾക്കപ്പുറമുള്ള സാമാന്യവൽക്കരണത്തിന് ഈ ഇവാല്യുവേഷനുകൾ ഒരു അധിക പരിശോധന നൽകുന്നു, പരിചിതമായ ഇവാല്യുവേഷൻ സ്യൂട്ടുകൾക്ക് മാത്രമുള്ള നേട്ടങ്ങളിൽ നിന്ന് വിശാലമായ മെച്ചപ്പെടുത്തലുകളെ വേർതിരിച്ചറിയാൻ ഇത് ഞങ്ങളെ സഹായിക്കുന്നു.

ആന്തരികമായി, വർഗ്ഗീകരണം, സ്കോറിംഗ്, റീറാങ്കിംഗ്, എന്റിറ്റി എക്സ്ട്രാക്ഷൻ തുടങ്ങി വിവിധ ഡൊമെയ്നുകളിലും ടാസ്ക്കുകളിലുമായി വ്യാപിച്ചുകിടക്കുന്ന 200-ലധികം ടാസ്ക്കുകളുടെ ഒരു ശേഖരം ഞങ്ങൾ നിർമ്മിച്ചു. Decider-ന്റെ യഥാർത്ഥ ലോക പ്രകടനം സത്യസന്ധമായി വിലയിരുത്തുന്നതിന്, എല്ലാ മൂല്യനിർണ്ണയങ്ങളും ടാസ്ക്-നിർദ്ദിഷ്ട ഫൈൻ-ട്യൂണിംഗ് ഇല്ലാതെ സീറോ-ഷോട്ട് ആയാണ് നടത്തുന്നത്; മോഡൽ എവിടെയാണ് മെച്ചപ്പെടുത്തേണ്ടതെന്നതിന്റെ വ്യക്തമായ സൂചന ഇത് നൽകുന്നു.

ക്വറി വർഗ്ഗീകരണം

Perplexity-യിൽ, ഓരോ ഉപയോക്തൃ ക്വറിയും പ്രോസസ്സ് ചെയ്യാൻ ഞങ്ങൾ ഒരു മൾട്ടി-ഹെഡ് വർഗ്ഗീകരണ സംവിധാനം ഉപയോഗിക്കുന്നു. ഓരോ ക്വറിയും ആദ്യം ഒരു ഫീച്ചർ എക്സ്ട്രാക്ടറായി പ്രവർത്തിക്കുന്ന ഒരു എംബെഡിംഗ് മോഡലിലൂടെ കടത്തിവിടുന്നു. തുടർന്ന് ലഭിക്കുന്ന എംബെഡിംഗ്, ബൈനറി, മൾട്ടി-ലേബൽ ക്ലാസിഫയറുകൾ ഉൾപ്പെടെയുള്ള ഒന്നിലധികം വേറിട്ട വർഗ്ഗീകരണ ഹെഡുകളിലേക്ക് നൽകുന്നു. ഉദാഹരണത്തിന്, ഒരു ഉപയോക്തൃ ക്വറി വെബ് സെർച്ച് ട്രിഗർ ചെയ്യണമോ എന്ന് ഒരു ഹെഡ് നിർണ്ണയിക്കുന്നു.

ഒരു ഫ്രണ്ടിയർ LLM സ്വതന്ത്രമായി റീലേബൽ ചെയ്ത റഫറൻസുകളുള്ള 63 വർഗ്ഗീകരണ ടാസ്ക്കുകളിലുടനീളം Decider v1.3 91.6% ശരാശരി കൃത്യത കൈവരിക്കുന്നു; ഇത് ഞങ്ങളുടെ പ്രൊഡക്ഷൻ ക്ലാസിഫയറുകളേക്കാൾ 6.54 ശതമാന പോയിന്റ് കൂടുതലാണ്. Decider Flash v1.3-ഉം പ്രൊഡക്ഷൻ ബേസ്‌ലൈനിനെ മറികടക്കുന്നു, അതേസമയം Decider v1.3 Jev 1.14-നെ മറികടക്കുന്നു.

ഡൊമെയ്ൻ-നിർദ്ദിഷ്ട വർഗ്ഗീകരണം

ഏഴ് ഡൊമെയ്നുകളിലുടനീളം തീരുമാന മോഡലുകളുടെ വർഗ്ഗീകരണ പ്രകടനം വിലയിരുത്തുന്നതിനായി പൊതു ഡാറ്റാസെറ്റുകളിൽ നിന്ന് ഞങ്ങൾ ഒരു ഡൊമെയ്ൻ-നിർദ്ദിഷ്ട മൂല്യനിർണ്ണയ ശേഖരം തയ്യാറാക്കി: ക്ലെയിം പരിശോധന (6 ടാസ്ക്കുകൾ), ആരോഗ്യപരിപാലനം (7), സൈബർ സുരക്ഷ (8), പ്രോഗ്രാമിംഗ് (16), സർക്കാർ (7), നിയമം (9), ധനകാര്യം (9).

ഉദാഹരണത്തിന്, “ഒരു Python പ്രോഗ്രാമിന്റെ ടൈം കോംപ്ലക്സിറ്റി വിലയിരുത്തുക”, അല്ലെങ്കിൽ “ഒരു കമ്പനിയുടെ സ്വതന്ത്രമായി വിനിയോഗിക്കാവുന്ന പണം അടുത്ത പന്ത്രണ്ട് മാസത്തിനുള്ളിൽ അടയ്‌ക്കേണ്ട കടത്തിന്റെ മുതൽ തുകയ്ക്ക് മതിയാകുമോ എന്ന് നിർണ്ണയിക്കാൻ വാർഷിക സാമ്പത്തിക റിപ്പോർട്ട് ഉപയോഗിക്കുക”. ഏഴ് ഡൊമെയ്നുകളിലും Decider v1.3 മുന്നിലാണ്; ധനകാര്യത്തിൽ 12.9 ശതമാന പോയിന്റ് വരെയും നിയമത്തിൽ 9.3 പോയിന്റും Jev 1.14-നെ മറികടക്കുന്നു. ധനകാര്യം, പ്രോഗ്രാമിംഗ്, നിയമം എന്നിവയിൽ Decider Flash v1.3 Jev 1.14-ന് പിന്നിലാണ്, മറ്റ് ഡൊമെയ്നുകളിൽ സമാനമായ പ്രകടനം കാഴ്ചവെക്കുന്നു.

റിട്രീവലും റീറാങ്കിംഗും

Perplexity-യുടെ കാതൽ സെർച്ചാണ്. ഞങ്ങളുടെ മോഡലുകളുടെ റീറാങ്കിംഗ് പ്രകടനം വിലയിരുത്താൻ ഞങ്ങൾ റിട്രീവൽ ടാസ്ക്കുകളുടെ വിപുലമായ ഒരു ശേഖരം നിലനിർത്തുന്നു. ഓരോ ടാസ്ക്കിനും, ഓരോ കോർപ്പസിൽ നിന്നും മികച്ച 50 കാൻഡിഡേറ്റ് ഡോക്യുമെന്റുകൾ വീണ്ടെടുക്കാൻ ഞങ്ങൾ ആദ്യം ഒരു കൂട്ടം എംബെഡിംഗ് മോഡലുകൾ ഉപയോഗിക്കുന്നു. തുടർന്ന് Decider ഉപയോഗിച്ച് ഈ കാൻഡിഡേറ്റുകളെ റീറാങ്ക് ചെയ്യുകയും അതിന്റെ പ്രകടനം ശക്തമായ ഒരു റീറാങ്കർ ബേസ്‌ലൈനായ Qwen3-Reranker-8B-യുമായി താരതമ്യം ചെയ്യുകയും ചെയ്യുന്നു.

സീറോ-ഷോട്ട്, പോയിന്റ്‌വൈസ് ക്രമീകരണത്തിലാണ് ഞങ്ങൾ Decider വിലയിരുത്തുന്നത്; ഓരോ ക്വറി–ഡോക്യുമെന്റ് ജോഡിയെയും സ്വതന്ത്രമായി നേരിട്ട് സ്കോർ ചെയ്യാനും പ്രസക്തി അനുസരിച്ച് ഡോക്യുമെന്റുകൾ റാങ്ക് ചെയ്യാനും മോഡൽ ഉപയോഗിക്കുന്നു. 72 റിട്രീവൽ ടാസ്ക്കുകളിലുടനീളം Decider v1.3 83.99 എന്ന ശരാശരി nDCG@10 കൈവരിക്കുന്നു; Qwen3-Reranker-8B-യെ 1.81 പോയിന്റും Jev 1.14-നെ 2.24 പോയിന്റും മറികടക്കുന്നു.

BEIR ബെഞ്ച്മാർക്കിൽ, രണ്ട് മോഡലുകളും Qwen3-Reranker-8B-യെ യഥാക്രമം 8.78, 7.05 nDCG@10 വ്യത്യാസത്തിൽ മറികടക്കുന്നു. Jev 1.14-നെ അപേക്ഷിച്ച് Decider v1.3 1.33 പോയിന്റ് ഉയർന്നതാണ്, അതേസമയം Flash പതിപ്പ് 0.4 പോയിന്റ് കുറവാണ് സ്കോർ ചെയ്യുന്നത്.

ബഹുഭാഷാ വർഗ്ഗീകരണം

ഇംഗ്ലീഷിനപ്പുറം തീരുമാന മോഡലുകളെ വിലയിരുത്തുന്നതിനായി, 8 പൊതു ഡാറ്റാസെറ്റുകളിൽ നിന്നുള്ള 19 ഭാഷാ-നിർദ്ദിഷ്ട ടാസ്ക്കുകൾ ഉൾക്കൊള്ളുന്ന ഒരു ബഹുഭാഷാ വർഗ്ഗീകരണ ബെഞ്ച്മാർക്ക് ഞങ്ങൾ തയ്യാറാക്കി; ഇതിൽ എട്ട് ഭാഷകളിലായി 46,484 ഉദാഹരണങ്ങളുണ്ട്: ജർമ്മൻ, സ്പാനിഷ്, ഫ്രഞ്ച്, ഇറ്റാലിയൻ, റഷ്യൻ, ജാപ്പനീസ്, കൊറിയൻ, ചൈനീസ്. ഇന്റന്റ് ഡിറ്റക്ഷൻ, വിഷയ വർഗ്ഗീകരണം, സെന്റിമെന്റ് അനാലിസിസ്, നാച്ചുറൽ ലാംഗ്വേജ് ഇൻഫറൻസ്, പാരാഫ്രേസ് ഡിറ്റക്ഷൻ, കുറ്റകരമായ ഭാഷ കണ്ടെത്തൽ, വ്യാകരണപരമായ സ്വീകാര്യത എന്നിവ ഈ ബെഞ്ച്മാർക്കിൽ ഉൾപ്പെടുന്നു.

ഓരോ ടാസ്ക്കിനും തുല്യ പ്രാധാന്യം നൽകി, ഓരോ ഭാഷയിലെയും ടാസ്ക്കുകളിലുടനീളമുള്ള ശരാശരി കൃത്യത ഞങ്ങൾ റിപ്പോർട്ട് ചെയ്യുന്നു. എട്ട് ഭാഷകളിലും Decider v1.3 Jev 1.14-നെ മറികടക്കുന്നു, Decider Flash v1.3 ആറ് ഭാഷകളിലും; Jev 1.14-ന്റെ 85.41%-നെ അപേക്ഷിച്ച് Decider v1.3-ന് 88.16%-ഉം Decider Flash v1.3-ന് 86.50%-ഉം ആണ് ശരാശരി ടാസ്ക് കൃത്യത.

NER, PII, എക്സ്ട്രാക്റ്റീവ് QA

വിവിധ ഡൊമെയ്നുകൾ, ഇൻപുട്ട് ഫോർമാറ്റുകൾ (ടെക്സ്റ്റ്, പട്ടികകൾ, ഘടനാപരമായ ഡോക്യുമെന്റുകൾ), നിർദ്ദേശങ്ങൾ (ചെറിയ ലേബലുകൾ, ചോദ്യങ്ങൾ, വിശദമായ വിവരണങ്ങൾ) എന്നിവയിലുടനീളമുള്ള എക്സ്ട്രാക്ഷൻ പരിശോധിക്കുന്ന 17 ഔട്ട്-ഓഫ്-ഡൊമെയ്ൻ ടാസ്ക്കുകളിൽ ഞങ്ങൾ locate ഫീച്ചർ വിലയിരുത്തുന്നു. Wikipedia മുതൽ ശാസ്ത്രീയ പ്രബന്ധങ്ങൾ, സൈബർ-ഭീഷണി റിപ്പോർട്ടുകൾ, ടെക്നിക്കൽ സപ്പോർട്ട്, സ്വകാര്യതാ നയങ്ങൾ, റെസ്യൂമെകൾ, നിയമപരമായ കരാറുകൾ വരെ ഡൊമെയ്നുകൾ വ്യാപിച്ചുകിടക്കുന്നു. “വ്യക്തി” അല്ലെങ്കിൽ “ഇമെയിൽ വിലാസം” പോലുള്ള ചെറിയ ലേബൽ പേരുകൾ മുതൽ, ഒരു പട്ടികയെക്കുറിച്ചോ സപ്പോർട്ട് ടിക്കറ്റിനെക്കുറിച്ചോ ഉള്ള ചോദ്യങ്ങളിലൂടെ, ഒരു NDA-യിലെ കക്ഷികൾ അല്ലെങ്കിൽ ഒരു ഇൻവോയ്സിലെ ആകെ തുക പോലുള്ള ഘടനാപരമായ എക്സ്ട്രാക്ഷനുള്ള വിശദമായ ഫീൽഡ് വിവരണങ്ങൾ വരെ അഭ്യർത്ഥനകൾ വ്യാപിച്ചുകിടക്കുന്നു.

എക്സാക്ട്-സ്പാൻ F1 ഉപയോഗിച്ചാണ് ഞങ്ങൾ NER, PII എന്നിവ വിലയിരുത്തുന്നത്; പ്രവചിച്ച സ്പാനുകൾ റഫറൻസ് അതിരുകളുമായി കൃത്യമായി പൊരുത്തപ്പെടണമെന്ന് ഇത് ആവശ്യപ്പെടുന്നു. എക്സ്ട്രാക്റ്റീവ് QA ക്യാരക്ടർ-ലെവൽ F1 ഉപയോഗിക്കുന്നു, ഇത് ഓവർലാപ്പ് ചെയ്യുന്ന ഉത്തര ടെക്സ്റ്റിന് ഭാഗിക ക്രെഡിറ്റ് നൽകുന്നു; അതേസമയം ഘടനാപരമായ എക്സ്ട്രാക്ഷൻ ഫീൽഡ് കൃത്യത, അതായത് ശരിയായി എക്സ്ട്രാക്റ്റ് ചെയ്ത ഫീൽഡുകളുടെ അനുപാതം, ഉപയോഗിക്കുന്നു. CV പാഴ്സിംഗിനായി, ഞങ്ങൾ NER, PII എന്നിവയുടെ എക്സാക്ട്-സ്പാൻ F1 സ്കോറുകളുടെ ശരാശരി എടുക്കുന്നു.

വ്യത്യസ്ത വലുപ്പങ്ങളിലുള്ള പൊതു-ഉദ്ദേശ്യ എക്സ്ട്രാക്ഷൻ മോഡലുകളുമായി ഞങ്ങൾ ഞങ്ങളുടെ മോഡലുകളെ താരതമ്യം ചെയ്യുന്നു: GLiNER large v2.5 (0.5B), Liquid d1 (2B), Cloudflare-ന്റെ Clairic (വെളിപ്പെടുത്തിയിട്ടില്ല). Decider v1.3 69.0 എന്ന ശരാശരി സ്കോറിൽ (ഓരോ ടാസ്ക്കിന്റെയും പ്രാഥമിക മെട്രിക് ഉപയോഗിച്ച്) എത്തുന്നു, Decider Flash v1.3 63.6-ൽ എത്തുന്നു; Liquid d1-ന് 43.3, Clairic-ന് 41.5, GLiNER large v2.5-ന് 33.6 എന്നിങ്ങനെയാണ് സ്കോറുകൾ. എല്ലാ വിഭാഗങ്ങളിലും രണ്ട് Decider മോഡലുകളും മുന്നിലാണ്.

ഇമേജ് ക്ലാസിഫിക്കേഷൻ

v1 മുതൽ Decider വിഷൻ ടാസ്ക്കുകളെ നേറ്റീവായി പിന്തുണയ്ക്കുന്നു. ടെക്സ്റ്റിനപ്പുറമുള്ള അതിന്റെ പ്രകടനം വിലയിരുത്തുന്നതിനായി, ഇൻവോയ്സുകൾ, കത്തുകൾ, റെസ്യൂമെകൾ എന്നിവയുൾപ്പെടെയുള്ള ഡോക്യുമെന്റ് വർഗ്ഗീകരണത്തിന് പ്രത്യേക ഊന്നൽ നൽകി അഞ്ച് ടാസ്ക്കുകളുള്ള ഒരു ബെഞ്ച്മാർക്ക് ശേഖരം ഞങ്ങൾ തയ്യാറാക്കി. സാറ്റലൈറ്റ് ഇമേജ് വർഗ്ഗീകരണം, ടെക്സ്ചർ വർഗ്ഗീകരണം, വളർത്തുമൃഗ ഇനം വർഗ്ഗീകരണം, മൃഗങ്ങളെ എണ്ണൽ എന്നിവയും ഈ ശേഖരത്തിൽ ഉൾപ്പെടുന്നു.

അഞ്ച് വിഷ്വൽ ടാസ്ക്കുകളിലുടനീളം Decider v1.3 76.99% ശരാശരി കൃത്യത കൈവരിക്കുന്നു; Jev 1.14-നെ 1.47 ശതമാന പോയിന്റ് മറികടക്കുന്നു. Decider Flash v1.3 72.77% കൈവരിക്കുന്നു, ഇത് ഒരു ചെറിയ മോഡലിലെ വിഷ്വൽ വർഗ്ഗീകരണ ശേഷി തെളിയിക്കുന്നു.

യഥാർത്ഥ ലോകത്തിലെ തീരുമാന അഭ്യർത്ഥനകൾ

Perplexity Decision API ലഭ്യമായ ആദ്യ 18 ദിവസങ്ങളിൽ അതിലേക്ക് സമർപ്പിച്ച, ഡ്യൂപ്ലിക്കേറ്റുകൾ നീക്കം ചെയ്തതും PII മാസ്ക് ചെയ്തതുമായ പത്ത് ലക്ഷം അഭ്യർത്ഥനകൾ ഞങ്ങൾ സാമ്പിൾ ചെയ്തു. ഓരോ അഭ്യർത്ഥനയിലും ഒരേ സ്റ്റേറ്റിനെക്കുറിച്ചുള്ള ഒന്നിലധികം ചോദ്യങ്ങൾ ഉണ്ടാകാമെന്നതിനാൽ, സാമ്പിളിൽ 23,18,887 വ്യക്തിഗത ചോദ്യങ്ങൾ ഉൾപ്പെടുന്നു. ഗവേഷണത്തിനായി ഉപയോക്താവിന്റെ വ്യക്തമായ അനുമതിയോടെയാണ് എല്ലാ അഭ്യർത്ഥനകളും ഉൾപ്പെടുത്തിയത്.

പ്രൊഡക്ഷൻ അഭ്യർത്ഥനകൾക്കൊപ്പം ഗ്രൗണ്ട്-ട്രൂത്ത് ലേബലുകൾ ലഭിക്കാത്തതിനാൽ, റഫറൻസ് ഉത്തരങ്ങൾ സൃഷ്ടിക്കാൻ ഞങ്ങൾ ഫ്രണ്ടിയർ LLM ജഡ്ജുകളെ ഉപയോഗിക്കുകയും അവയുമായുള്ള ഓരോ മോഡലിന്റെയും യോജിപ്പ് അളക്കുകയും ചെയ്യുന്നു. ഇൻഫർമേഷൻ എക്സ്ട്രാക്ഷൻ, ഡൊമെയ്ൻ വർഗ്ഗീകരണം, സെന്റിമെന്റ് അനാലിസിസ്, ഇന്റന്റും റൂട്ടിംഗും, പ്രസക്തി റാങ്കിംഗ്, ഉള്ളടക്ക മോഡറേഷൻ, ഗുണനിലവാര-കംപ്ലയൻസ് അവലോകനം, എന്റിറ്റി മാച്ചിംഗ്, ബിസിനസ് അനാലിസിസ്, ഒരു “മറ്റുള്ളവ” വിഭാഗം എന്നിവ ഉൾപ്പെടെ 10 ടാസ്ക് വിഭാഗങ്ങളായി ഞങ്ങൾ അഭ്യർത്ഥനകളെ തരംതിരിക്കുകയും ചെയ്യുന്നു. യഥാർത്ഥ ലോക ഉപയോഗ സാഹചര്യങ്ങളിൽ പ്രകടനം എങ്ങനെ വ്യത്യാസപ്പെടുന്നുവെന്ന് ഈ വിഭജനം കാണിക്കുന്നു.

ടാസ്ക് മിശ്രണം അസന്തുലിതമാണ്: ഇൻഫർമേഷൻ എക്സ്ട്രാക്ഷൻ 4,25,402 ചോദ്യങ്ങളും, ഡൊമെയ്ൻ വർഗ്ഗീകരണം 4,09,564 ചോദ്യങ്ങളും, സെന്റിമെന്റ് അനാലിസിസ് 3,44,158 ചോദ്യങ്ങളും ഉൾക്കൊള്ളുന്നു. ഈ മൂന്ന് വിഭാഗങ്ങളും ചേർന്ന് സാമ്പിൾ ചെയ്ത ചോദ്യങ്ങളുടെ 50.8% വരും.

93.98% എന്ന നിരക്കിൽ ജഡ്ജുകളുമായി ഏറ്റവും ഉയർന്ന യോജിപ്പ് Decider v1.3 കൈവരിക്കുന്നു; Decider v1.2-ന് ഇത് 93.68%-ഉം Jev 1.14-ന് 93.35%-ഉം ആണ്. ഡൊമെയ്ൻ വർഗ്ഗീകരണത്തിലും സെന്റിമെന്റ് അനാലിസിസിലും Decider v1.3-ഉം Jev 1.14-ഉം ഏറെക്കുറെ തുല്യമാണ്, യഥാക്രമം 0.34, 0.07 ശതമാന പോയിന്റ് വ്യത്യാസം മാത്രം. പ്രസക്തി റാങ്കിംഗിൽ Jev 0.69 പോയിന്റ് മുന്നിലാണ്, അതേസമയം ഇൻഫർമേഷൻ എക്സ്ട്രാക്ഷനിൽ (സാമ്പിളിലെ ഏറ്റവും സാധാരണമായ ടാസ്ക്) 0.93 പോയിന്റും ഇന്റന്റ്, റൂട്ടിംഗ് എന്നിവയിൽ 1.21 പോയിന്റും Decider v1.3 മുന്നിലാണ്.

ഒരേ പത്ത് ലക്ഷം പ്രൊഡക്ഷൻ അഭ്യർത്ഥനകൾ പ്രവർത്തിപ്പിക്കുന്നതിന്റെ റിപ്പോർട്ട് ചെയ്യപ്പെട്ട ചെലവ് താഴെയുള്ള ചാർട്ട് താരതമ്യം ചെയ്യുന്നു. ഓരോ അഭ്യർത്ഥനയിലും ഒന്നിലധികം ചോദ്യങ്ങൾ ഉണ്ടാകാം, അതിനാൽ ഇവിടെ യൂണിറ്റ് വ്യക്തിഗത ചോദ്യങ്ങളല്ല, അഭ്യർത്ഥനകളാണ്.

Decider ലോക്കലായി പ്രവർത്തിപ്പിച്ചു; GLM-നും DeepSeek-നും llm-api ഉപയോഗിച്ചു; Jev-ന് OpenRouter ഉപയോഗിച്ചു. റിപ്പോർട്ട് ചെയ്ത ചെലവുകൾ ഈ വർക്ക്‌ലോഡിന് മാത്രം ബാധകമാണ്; ലോക്കൽ ഹാർഡ്‌വെയർ ചെലവ് എങ്ങനെ കണക്കാക്കിയെന്ന് വ്യക്തമാക്കിയിട്ടില്ല, പൊരുത്തപ്പെടുത്തിയ ലേറ്റൻസി താരതമ്യവുമില്ല.

ദൃഢത

372 മൾട്ടിപ്പിൾ-ചോയ്സ് ചോദ്യങ്ങളിൽ ഓരോ മോഡലിനും 4,788 അഭ്യർത്ഥനകൾ നടത്തി ഞങ്ങൾ ലേബൽ സെൻസിറ്റിവിറ്റി വിലയിരുത്തി. ഓരോ ചോദ്യത്തിന്റെയും അർത്ഥം നിലനിർത്തിക്കൊണ്ട് ഞങ്ങൾ ഓപ്ഷനുകൾ പുനഃക്രമീകരിക്കുകയും ഉത്തര ടെക്സ്റ്റുകൾക്ക് ലേബലുകൾ പുനർനിയമിക്കുകയും ലേബലുകളുടെ പേര് മാറ്റുകയും ചെയ്തു, തുടർന്ന് മോഡലിന്റെ അർത്ഥപരമായ ഉത്തരം മാറിയോ എന്ന് പരിശോധിച്ചു. കുറഞ്ഞ ഫ്ലിപ്പ് നിരക്കുകൾ കൂടുതൽ സ്ഥിരതയെ സൂചിപ്പിക്കുന്നു.

ഓരോ രൂപാന്തരണത്തിലും Decider v1.3 വെറും 0.27% ചോദ്യങ്ങളിൽ മാത്രമാണ് ഉത്തരം മാറ്റിയത്, അതേസമയം Jev 1.14-ന് ഇത് 2.69–4.84% ആയിരുന്നു. സെർവിംഗ് വ്യതിയാനം അളക്കാൻ ഞങ്ങൾ ഒരേ ഇൻപുട്ടുകൾ ആവർത്തിക്കുകയും ചെയ്തു: Decider v1.3 ഒരു മാറ്റവും കാണിച്ചില്ല, അതേസമയം Jev 1.14 1.88% ചോദ്യങ്ങളിൽ മാറി.

ഞങ്ങൾ Decider എങ്ങനെ ഉപയോഗിക്കുന്നു

വേഗതയേറിയതും ഘടനാപരവുമായ തീരുമാനങ്ങൾ ആവശ്യമുള്ള വർക്ക്ഫ്ലോകൾക്കായാണ് Decider നിർമ്മിച്ചിരിക്കുന്നത്. ഞങ്ങൾ പ്രവർത്തിക്കുന്ന രീതിയിൽ അർത്ഥവത്തായ സ്വാധീനം ചെലുത്താൻ അവ എങ്ങനെ പ്രയോജനപ്പെടുത്താമെന്ന് ഈ വിഭാഗത്തിൽ ഞങ്ങൾ പരിശോധിക്കുന്നു. ശ്രദ്ധേയമായ ചിലത് ഇതാ.

സ്വയം മെച്ചപ്പെടുന്ന സുരക്ഷാ നിയമങ്ങൾ

ഞങ്ങളുടെ സുരക്ഷാ നയങ്ങൾ മെച്ചപ്പെടുത്താൻ ഞങ്ങൾ ഇതിനകം തന്നെ ആന്തരികമായി Decider ഉപയോഗിക്കുന്നുണ്ട്.

ഞങ്ങളുടെ ഏജന്റുകളുടെ പ്രവർത്തനം രേഖപ്പെടുത്തുകയും പ്രശ്നകരമായ ഏതെങ്കിലും പെരുമാറ്റം തിരിച്ചറിയുന്നതിനായി നിയമാധിഷ്ഠിത പരിശോധനകളുടെ ഒരു പരമ്പര നടത്തുകയും ചെയ്യുന്നു. നിയമാധിഷ്ഠിത സമീപനമായതിനാൽ, നിസ്സാരമായ ലേറ്റൻസി മാത്രം ചേർത്ത് ഞങ്ങളുടെ ഏജന്റുകളെ തത്സമയം നിരീക്ഷിക്കാൻ ഞങ്ങൾക്ക് കഴിയും. ഓഫ്‌ലൈനായി, രേഖപ്പെടുത്തിയ ഈ ഏജന്റ് ലോഗുകളിൽ നിന്നുള്ള സാമ്പിളുകൾ പരിശോധിക്കാൻ ഞങ്ങൾ Decider ഉപയോഗിക്കുന്നു. പ്രശ്നകരമായ പെരുമാറ്റമൊന്നും ഫ്ലാഗ് ചെയ്യപ്പെട്ടിട്ടില്ലെങ്കിൽ, ഞങ്ങളുടെ നിയമങ്ങൾ വിട്ടുപോയ എന്തെങ്കിലും ഉണ്ടോ എന്ന് Decider പരിശോധിക്കുന്നു; ഒരു അലാറം ഉയർന്നിട്ടുണ്ടെങ്കിൽ, അത് തെറ്റായ അലാറമാണോ എന്ന് Decider പരിശോധിക്കുന്നു. ഏതെങ്കിലും സാഹചര്യത്തിൽ ഞങ്ങളുടെ നിയമങ്ങൾ പരാജയപ്പെടുന്ന രേഖകൾ ട്രയാജിനായി ഒരു ഏജന്റിന് അയയ്ക്കുകയും നിയമങ്ങളിൽ ഒരു തിരുത്തൽ നിർദ്ദേശിക്കുകയും ചെയ്യുന്നു; ഞങ്ങളുടെ സുരക്ഷാ ടീമിലെ ഒരു അംഗമാണ് അത് അംഗീകരിക്കേണ്ടത്.

ഒരു ദിവസം കൊണ്ട്, 7,000 ഏജന്റ് സെഷനുകളിലായി 100 കോടി ടോക്കണുകൾ Decider വായിക്കുകയും 14 നിയമ തിരുത്തലുകളിലേക്ക് നയിച്ച പിഴവുകൾ തിരിച്ചറിയുകയും ചെയ്തു; അവയിൽ 6 എണ്ണം രണ്ട് ദിവസത്തിനുള്ളിൽ അംഗീകരിക്കപ്പെടുകയും ഷിപ്പ് ചെയ്യപ്പെടുകയും ചെയ്തു. ഒരാഴ്ചത്തെ ലോഗുകളിൽ റീപ്ലേ ചെയ്തപ്പോൾ, ഈ തിരുത്തലുകൾ ഞങ്ങളുടെ ഏറ്റവും തിരക്കേറിയ നിയമത്തിന്റെ അളവ് 52% കുറച്ചു; വിപുലീകരിച്ച നിയമങ്ങൾ അന്വേഷിക്കേണ്ട നിയമാനുസൃത പ്രവർത്തനങ്ങൾ ഏകദേശം 40% കൂടുതൽ കണ്ടെത്തുകയും ചെയ്തു.

RL റോൾഔട്ടുകൾ നിരീക്ഷിക്കൽ

റീഇൻഫോഴ്സ്മെന്റ് ലേണിംഗ് ഉപയോഗിച്ച് ഞങ്ങൾ മോഡലുകളെ പോസ്റ്റ്-ട്രെയിൻ ചെയ്യുമ്പോൾ, ടെർമിനൽ റിവാർഡ് പോലുള്ള സംയോജിത മെട്രിക്കുകൾ ഒരു റോൾഔട്ട് (ഒരു ടാസ്ക്കിലെ ഒരു വ്യക്തിഗത ശ്രമം) എന്തുകൊണ്ട് വിജയിച്ചു അല്ലെങ്കിൽ പരാജയപ്പെട്ടു എന്ന് വിശദീകരിക്കുന്നില്ല. ഒരു ടൂൾ സേവനമോ സാൻഡ്‌ബോക്സോ പരാജയപ്പെട്ടതിനാൽ അതിന് അന്യായമായി റിവാർഡ് നഷ്ടപ്പെടാം; അല്ലെങ്കിൽ ഒരു ടൂളും നൽകാത്ത കെട്ടിച്ചമച്ച ഒരു മൂല്യം പോലുള്ള പിന്തുണയില്ലാത്ത ഒരു അവകാശവാദം ഇവാല്യുവേറ്റർ ശ്രദ്ധിക്കാതെ പോയാൽ അർഹിക്കാത്ത റിവാർഡ് ലഭിക്കാം.

ഇത്തരം സാഹചര്യങ്ങൾക്കായി റോൾഔട്ടുകൾ നിരീക്ഷിക്കാൻ ഞങ്ങൾ Decider ഉപയോഗിക്കുന്നു. സൂക്ഷ്മ പരിശോധന ആവശ്യമുള്ള ഒരു റോൾഔട്ടിന്റെ ഭാഗങ്ങൾ ആദ്യം കോഡ് തിരിച്ചറിയുന്നു: പരാജയപ്പെട്ട ഒരു ടൂൾ കോളും അതിനു ചുറ്റുമുള്ള റീസണിംഗും, പിശകുകളില്ലാതെ പ്രവർത്തിച്ച കോഡ്, അല്ലെങ്കിൽ അന്തിമ ഉത്തരം. തുടർന്ന് ഓരോ ഭാഗത്തെക്കുറിച്ചും Decider മൾട്ടിപ്പിൾ-ചോയ്സ് ചോദ്യങ്ങൾക്ക് ഉത്തരം നൽകുന്നു; ഉദാഹരണത്തിന്, ഒരു ഘട്ടത്തിൽ എന്താണ് പരാജയപ്പെട്ടത് (ഒരു ടൂൾ സേവനം, ഒരു ബാഹ്യ സൈറ്റ്, സാൻഡ്‌ബോക്സ്, harness, അല്ലെങ്കിൽ ഏജന്റിന്റെ സ്വന്തം കോഡ്), ഏജന്റ് ഫലം ശരിയായി വ്യാഖ്യാനിച്ചോ എന്നിവ. ഒരു ഭാഗത്തെക്കുറിച്ചുള്ള എല്ലാ ചോദ്യങ്ങളും ഞങ്ങൾ ഒരൊറ്റ അഭ്യർത്ഥനയിലേക്ക് ബണ്ടിൽ ചെയ്യുകയും ഒരു വിധിക്ക് പകരം പ്രോബബിലിറ്റികൾ സംഭരിക്കുകയും ചെയ്യുന്നു; അതിനാൽ Decider-നോട് വീണ്ടും ക്വറി ചെയ്യാതെ തന്നെ പിന്നീട് ത്രെഷോൾഡുകൾ ക്രമീകരിക്കാൻ ഞങ്ങൾക്ക് കഴിയും. മോണിറ്റർ നിരീക്ഷിക്കുകയും പ്രശ്നനിർണ്ണയം നടത്തുകയും മാത്രമേ ചെയ്യുന്നുള്ളൂ: അത് ഒരിക്കലും റിവാർഡ് മാറ്റുകയോ റൺ നിർത്തുകയോ ചെയ്യുന്നില്ല.

പേജ് ഗുണനിലവാര ഫിൽട്ടറിംഗ്

ഉപയോക്താക്കൾക്കായി ഇൻഡക്സ് ചെയ്യാനും ലഭ്യമാക്കാനും വെബ് പേജുകൾ ക്രോൾ ചെയ്യുമ്പോൾ, പല പേജുകളും ഒരു പ്രയോജനവുമില്ലാത്തവിധം ഗുണനിലവാരം കുറഞ്ഞവയാണ്. ആന്റി-ബോട്ട് വാളുകൾ, CAPTCHA-കൾ, എറർ പേജുകൾ എന്നിവയും, ശരിയായി ലോഡ് ചെയ്തെങ്കിലും സ്പാം, SEO ഫില്ലർ അല്ലെങ്കിൽ നാവിഗേഷൻ മാത്രമുള്ള പേജുകൾ പോലെ സഹായകരമായ വിവരങ്ങളൊന്നും ഇല്ലാത്ത വെബ് പേജുകളും ഇതിൽ ഉൾപ്പെടുന്നു. ഗുണനിലവാരം കുറഞ്ഞ ഈ പേജുകൾ തിരിച്ചറിഞ്ഞ് ഞങ്ങളുടെ ഇൻഡക്സിൽ നിന്ന് ഫിൽട്ടർ ചെയ്ത് നീക്കേണ്ടതുണ്ട്.

Decider ഉപയോഗിച്ച്, പേജുകൾ ക്രോൾ ചെയ്യുമ്പോൾ തന്നെ അവയുടെ ഗുണനിലവാരം ഞങ്ങൾക്ക് വിലയിരുത്താനാകും. അതേ ഫോർവേഡ് പാസിൽ, ഉള്ളടക്കത്തിന്റെ ഡൊമെയ്‌നും ഉദ്ദേശിച്ച പ്രേക്ഷകരും തിരിച്ചറിയുക, അതിൽ ഹാനികരമോ നിയമവിരുദ്ധമോ വ്യക്തിയെ തിരിച്ചറിയാൻ സഹായിക്കുന്നതോ ആയ വിവരങ്ങൾ അടങ്ങിയിട്ടുണ്ടോ എന്ന് കണ്ടെത്തുക തുടങ്ങിയ മറ്റ് നിരവധി ക്ലാസിഫിക്കേഷൻ ടാസ്ക്കുകളും ഞങ്ങൾ നിർവഹിക്കുന്നു. ഒരു LLM ജഡ്ജ് ഉപയോഗിക്കുന്നതുമായി താരതമ്യം ചെയ്യുമ്പോൾ, Decider ഗണ്യമായി വേഗതയേറിയതും ചെലവ് കുറഞ്ഞതുമാണ്.

പേജ്-ഗുണനിലവാര അഭ്യർത്ഥനയുടെ ഉദാഹരണം: ഉപയോഗപ്രദമായ വിവരങ്ങൾ, ഉദ്ദേശിച്ച പ്രേക്ഷകർ, ദോഷകരമോ നിയമവിരുദ്ധമോ ആയ ഉള്ളടക്കം, വ്യക്തിഗതമായി തിരിച്ചറിയാവുന്ന വിവരങ്ങൾ എന്നിവ ഒരേ പേജിൽ നിന്ന് വിലയിരുത്തപ്പെടുന്നു.

ഈ ആന്തരിക ഉപയോഗങ്ങൾക്കപ്പുറം, താഴെപ്പറയുന്നതുപോലുള്ള വർക്ക്ഫ്ലോകൾക്കും Decider അനുയോജ്യമാണ്.

വിഷ്വൽ QA

Decider ചിത്രങ്ങൾ വായിക്കുന്നതിനാൽ, വെബ് പേജുകളിലെയോ ആപ്പുകളിലെയോ സ്റ്റൈൽ മാറ്റങ്ങൾ അവലോകനം ചെയ്യുകയും പിഴവുകൾ തിരിച്ചറിയുകയും ചെയ്യുന്ന ഒരു വിഷ്വൽ ചെക്കറായും ഇത് പ്രവർത്തിക്കുന്നു. ഒരു മാറ്റം ഷിപ്പ് ചെയ്യുന്നതിന് മുമ്പ് മുറിഞ്ഞുപോയ ടെക്സ്റ്റ്, ഓവർലാപ്പ് ചെയ്യുന്ന ഘടകങ്ങൾ, തകർന്ന ലേഔട്ടുകൾ എന്നിവയ്ക്കായി പേജ് സ്ക്രീൻഷോട്ടുകൾ അവലോകനം ചെയ്യാനോ, വായനക്കാരനെ തെറ്റിദ്ധരിപ്പിക്കാനോ ബ്രാൻഡ് ഗൈഡ് ലംഘിക്കാനോ സാധ്യതയുള്ള ഡിസൈനുള്ള ചാർട്ടുകൾ ഫ്ലാഗ് ചെയ്യാനോ ഇതിന് കഴിയും.

ബ്രൗസർ നാവിഗേഷൻ

വലിയ ടാസ്ക്കുകൾക്കുള്ളിലെ ചെറിയ തീരുമാനങ്ങൾക്കായി ഏജന്റുകൾക്ക് Decider ഉപയോഗിക്കാം. ഒരു ബ്രൗസർ ഏജന്റിന് ഓരോ ഘട്ടത്തിലും ഒരു സ്ക്രീൻഷോട്ട് അയയ്ക്കാനും പേജിന്റെ അവസ്ഥയെക്കുറിച്ചും സാധ്യമായ ഓരോ പ്രവർത്തനത്തിന്റെയും പ്രതീക്ഷിത ഫലത്തെക്കുറിച്ചുമുള്ള വിശദമായ വിവരങ്ങൾ സ്വീകരിക്കാനും കഴിയും.

ശോധനം ടാസ്ക്കുകൾ ആസൂത്രണം ചെയ്യൽ

ഉപയോക്താക്കളുടെ ചോദ്യങ്ങളുടെ സങ്കീർണ്ണത വളരെയധികം വ്യത്യാസപ്പെടാം, ഉത്തരം കണ്ടെത്താൻ നടത്തേണ്ട തിരയലിന്റെ ആഴവും അതുപോലെ തന്നെ. തിരയൽ ആരംഭിക്കുന്നതിന് മുമ്പുതന്നെ Decider-ന് ഇത് കണക്കാക്കാൻ കഴിയും, അതിനാൽ ലളിതമായ ചോദ്യങ്ങൾക്കായി കുറച്ച് റിസോഴ്സുകൾ മാത്രം ചെലവഴിച്ചാൽ മതി.

ആരംഭിക്കാം

Decider പ്രോബബിലിറ്റികളാണ് നൽകുന്നത്. ഉചിതമായ ഡിസിഷൻ ത്രെഷോൾഡ് ആപ്ലിക്കേഷനെ ആശ്രയിച്ചിരിക്കുന്നു. ലേബൽ ആവൃത്തികളും ഫാൾസ് പോസിറ്റീവുകളുടെയും ഫാൾസ് നെഗറ്റീവുകളുടെയും ആപേക്ഷിക ചെലവുകളും ഓരോ ഉപയോഗ സാഹചര്യത്തിലും വ്യത്യാസപ്പെടുന്നു. അതിനാൽ, ഒരു നിശ്ചിത കട്ട്ഓഫ് എല്ലാ ടാസ്ക്കുകളിലും ഒരുപോലെ പ്രവർത്തിക്കുമെന്ന് കരുതുന്നതിന് പകരം, ചെറുതും പ്രാതിനിധ്യ സ്വഭാവമുള്ളതുമായ, ലേബൽ ചെയ്ത ഒരു ഡെവലപ്‌മെന്റ് സെറ്റിൽ ത്രെഷോൾഡുകൾ ട്യൂൺ ചെയ്യാൻ ഞങ്ങൾ ഉപയോക്താക്കളെ പ്രോത്സാഹിപ്പിക്കുന്നു.

സൂക്ഷ്മമായ വിലയിരുത്തലുകൾക്കും വിശദമായ റൂബ്രിക്കുകൾക്കും പിഴവുകൾക്ക് വലിയ വില നൽകേണ്ടിവരുന്ന വർക്ക്ഫ്ലോകൾക്കും Decider v1.3 ഉപയോഗിക്കാൻ ഞങ്ങൾ ശുപാർശ ചെയ്യുന്നു. ലേറ്റൻസിയും ചെലവും പ്രധാന പരിമിതികളായ ഉയർന്ന അളവിലുള്ള റൂട്ടിംഗ്, ലേബലിംഗ്, ഫിൽട്ടറിംഗ് എന്നിവയ്ക്ക് Decider Flash v1.3 തിരഞ്ഞെടുക്കുക. നിങ്ങളുടെ വർക്ക്‌ലോഡിൽ നിന്നുള്ള പ്രാതിനിധ്യ സ്വഭാവമുള്ള ഉദാഹരണങ്ങളിൽ രണ്ട് മോഡലുകളും വിലയിരുത്തുക, തുടർന്ന് നിങ്ങളുടെ ഗുണനിലവാരം, ലേറ്റൻസി, ബജറ്റ് ആവശ്യകതകൾ നിറവേറ്റുന്ന മോഡൽ തിരഞ്ഞെടുക്കുക.

രണ്ട് മോഡലുകളും Apache ലൈസൻസിന് കീഴിൽ Hugging Face-ൽ ഡൗൺലോഡ് ചെയ്യാവുന്ന വെയ്റ്റുകളായും, OpenRouter വഴിയും, Perplexity Decisions API വഴിയും ലഭ്യമാണ്.

ഉദ്ധരണി

BibTeX
@online{perplexity2026PerplexityDecider,
  author = {{Perplexity} and Antoine Chaffin and Jonas Golde and Louis Milliken and Sarah Eslami and Markus Krimmel and Nandor Licker and Aleksandr Nikolenko and Ron Heichman and Bo Wang and Jarrod Bryan and Jeremy Yang and Denis Yarats},
  title = {{Perplexity Decider}},
  date = {2026-11-12},
  url = {https://www.perplexity.ai/hub/blog/perplexity-decider}
}