യഥാർത്ഥ ലോക അനുഭവത്തിൽ നിന്ന് പഠിക്കുന്നു

യഥാർത്ഥ ലോകത്ത് ഉപയോക്താക്കൾ ഞങ്ങളുടെ ഉൽപ്പന്നങ്ങളുമായി എങ്ങനെ സംവദിക്കുന്നു എന്നത് മോഡൽ പരിശീലനത്തിനുള്ള വിലപ്പെട്ട ഉറവിടമാണ്. ഡാറ്റ സമൃദ്ധമാണ്, ഉപയോക്തൃ ടാസ്കുകളുടെ യഥാർത്ഥ വിതരണത്തെ പ്രതിഫലിപ്പിക്കുന്നു, കൂടാതെ സിന്തറ്റിക് എൻവയോൺമെന്റുകൾക്ക് നഷ്ടമായേക്കാവുന്ന ഉപയോക്തൃ തിരുത്തലുകളും ടൂൾ പരാജയങ്ങളും പിടിച്ചെടുക്കുകയും ചെയ്യുന്നു.

യഥാർത്ഥ ലോക ഡാറ്റയിൽ നിന്ന് പഠിക്കാനുള്ള ഒരു സാധാരണ മാർഗ്ഗം റിജക്ഷൻ സാമ്പിളിംഗ് ഫൈൻ-ട്യൂണിംഗാണ്: ഓരോ സെഷന്റെയും ഫലം വിലയിരുത്തുക, വിജയിച്ചവ സൂക്ഷിക്കുക, അവ അനുകരിക്കാൻ മോഡലിനെ പരിശീലിപ്പിക്കുക. എന്നാൽ വിജയകരമായ ഒരു ഫലം അർത്ഥമാക്കുന്നത് എല്ലാ ഘട്ടങ്ങളും ശരിയായിരുന്നു എന്നല്ല, അതിനാൽ മുഴുവൻ പാതയും അനുകരിക്കുന്നത് നല്ല ഇടനില പെരുമാറ്റങ്ങൾക്ക് പുറമെ മോശമായവയും ശക്തിപ്പെടുത്താൻ സാധ്യതയുണ്ട്. പരാജയപ്പെട്ട സെഷനങ്ങൾ ഒഴിവാക്കുന്നത് മോഡൽ എവിടെയാണ് പരാജയപ്പെടുന്നത് എന്നതിന്റെ നിർണായക തെളിവുകളും നഷ്ടപ്പെടുത്തുന്നു.

വിജയകരമായതും വിജയിക്കാത്തതുമായ സെഷനുകളിൽ നിന്നുമുള്ള പഠനത്തിനായി ഞങ്ങൾ rejection sampling fine-tuning നെ hint-guided self-distillation നോടൊപ്പം സംയോജിപ്പിക്കുന്നു. ഒരു hint എന്നത്, മോഡൽ പിശക് ചെയ്തപ്പോൾ അതിന് ഇതിനകം ഉണ്ടായിരുന്ന വിവരങ്ങളെ അടിസ്ഥാനമാക്കിയുള്ള ഒരു ചുരുങ്ങിയ തിരുത്തൽ നിർദ്ദേശമാണ്. വിജയകരമായ സെഷനുകളിൽ നിന്നുള്ള പ്രയോജനകരമായ പടികൾ imitation targets ആയി നിലനിൽക്കും, grounded hints ഒഴിവാക്കാനാകുന്ന പിശകുകളെ correction targets ആക്കി മാറ്റുന്നു.

ടാസ്ക് ആത്യന്തികമായി വിജയിച്ചോ എന്നതിന് പുറമേ, വഴിയിൽ എവിടെയാണ് തെറ്റുണ്ടായത് എന്നതിനെക്കുറിച്ചുള്ള സൂപ്പർവിഷൻ ഉപയോക്തൃ തിരുത്തലുകളും ടൂൾ പിശകുകളും നൽകുന്നു. സിന്തറ്റിക് എൻവയോൺമെന്റുകളിലെ റീഇൻഫോഴ്‌സ്‌മെന്റ് ലേണിംഗിന് ശേഷം ഞങ്ങൾ ഈ ഘട്ടം പ്രയോഗിക്കുന്നു, ആ എൻവയോൺമെന്റുകളും യഥാർത്ഥ ലോക ഉപയോഗവും തമ്മിലുള്ള അന്തരം നികത്താൻ ഇത് സഹായിക്കുന്നു.

ലൈവ് ഉപയോഗത്തിൽ, പിന്നീടുള്ള പോസ്റ്റ്-ട്രെയിൻഡ് GLM-5.2 ചെക്ക്പോയിന്റ്, മുമ്പത്തെ ട്രെയിൻഡ് ചെക്ക്പോയിന്റുമായി താരതമ്യം ചെയ്യുമ്പോൾ ടൂൾ-കോൾ പരാജയങ്ങൾ 21.2% കുറച്ചു. GLM-5.3-ന്റെ കാര്യത്തിൽ, സ്റ്റോക്ക് മോഡലുമായി താരതമ്യം ചെയ്യുമ്പോൾ പോസ്റ്റ്-ട്രെയിനിംഗ് ടൂൾ-കോൾ പരാജയങ്ങൾ 33.0% ആയും ഇടത്തരം അല്ലെങ്കിൽ ഉയർന്ന ഉപയോക്തൃ അസംതൃപ്തിയുടെ ശരാശരി കണക്കാക്കിയ സാധ്യത 17.2% ആയും കുറച്ചു.

സിന്തറ്റിക് ടാസ്കുകൾ പരിശോധിക്കാൻ എളുപ്പമുള്ള ഫലങ്ങളുള്ള നിയന്ത്രിത പ്രശ്നങ്ങൾ സൃഷ്ടിക്കാൻ ഞങ്ങളെ അനുവദിക്കുന്നു, എന്നാൽ അവ സാധാരണയായി ഒരു പ്രോംപ്റ്റിൽ പരിമിതപ്പെടുത്തിയിരിക്കുന്നു കൂടാതെ ഞങ്ങൾ വ്യക്തമായി രൂപകൽപ്പന ചെയ്യുന്ന സാഹചര്യങ്ങൾ മാത്രമേ ഉൾക്കൊള്ളാൻ കഴിയൂ.

നേരെമറിച്ച്, യഥാർത്ഥ ലോക സെഷനുകളിലെ ഉപയോക്താക്കൾ ഒന്നിലധികം ടേൺ സംഭാഷണങ്ങളിലായി വികസിക്കുന്ന സെഷനുകളിലേക്ക് വൈവിധ്യമാർന്ന നിർദ്ദേശങ്ങളും സന്ദർഭവും ടൂൾ കോമ്പിനേഷനുകളും കൊണ്ടുവരുന്നു. അത്തരം യഥാർത്ഥ ലോക ഉപയോഗം സ്വാഭാവികമായും തെറ്റുകളുടെ രണ്ട് വിലപ്പെട്ട സിഗ്നലുകൾ നൽകുന്നു: ഉപയോക്തൃ തിരുത്തലുകൾ ഏജന്റ് തങ്ങൾ ആഗ്രഹിച്ചത് നൽകുന്നതിൽ എവിടെ പരാജയപ്പെട്ടു എന്ന് വെളിപ്പെടുത്തുന്നു, കൂടാതെ യഥാർത്ഥ പരിതസ്ഥിതികളിൽ അതിന്റെ പ്രവർത്തനങ്ങൾ എവിടെ തകർന്നുവെന്ന് ടൂൾ പിശകുകൾ കാണിക്കുന്നു. വ്യക്തിഗതമായി തിരിച്ചറിയാൻ കഴിയുന്ന വിവരങ്ങൾ (PII) ഉള്ള സെഷനുകളും ഒഴിവാക്കിക്കൊണ്ട് ഞങ്ങളുടെ സാമ്പിളിംഗ് പൈപ്പ്‌ലൈൻ ഉപയോക്താക്കളുടെ സ്വകാര്യതയും പരിശീലന തിരഞ്ഞെടുപ്പുകളും മാനിക്കുന്നു.

അതിനാൽ യഥാർത്ഥ ലോക ഡാറ്റ ഞങ്ങൾക്ക് പരാജയ കേസുകൾ നൽകുന്നു, അത് ഒരു സിന്തറ്റിക് എൻവയോൺമെന്റ് തുറന്നുകാട്ടാനിടയില്ല, കൂടാതെ പരാജയം സംഭവിച്ച സ്ഥലം ഇതിനകം ഉൾപ്പെടുത്തിയിട്ടുള്ളതുമാണ്.

യഥാർത്ഥ ലോക ഡാറ്റയിൽ പരിശീലനം നൽകുമ്പോൾ, സ്റ്റാൻഡേർഡ് റിജക്ഷൻ സാമ്പിളിംഗ് ഫൈൻ-ട്യൂണിംഗ് (RFT) നല്ല ഇടനില പ്രവർത്തനങ്ങളെ മോശമായവയിൽ നിന്ന് വേർതിരിച്ചറിയാൻ ഉപയോക്തൃ, ടൂൾ ഫീഡ്‌ബാക്ക് വ്യക്തമായി ഉപയോഗിക്കാതെ, അന്തിമ ഫലങ്ങളെ അടിസ്ഥാനമാക്കി വിജയകരമായ സെഷനുകൾ തിരഞ്ഞെടുക്കുന്നു. ഒരു ഏജന്റിന് മോശമായ ടൂൾ കോളിൽ നിന്ന് കരകയറാനോ ഉപയോക്തൃ ഫീഡ്‌ബാക്കിന് ശേഷം തെറ്റ് തിരുത്താനും അവസാനം ശരിയായ ഔട്ട്‌പുട്ട് നൽകാനും കഴിഞ്ഞേക്കാം.

പരാജയപ്പെട്ട സെഷനുകൾ ഒഴിവാക്കുന്നത് സാമ്പിൾ കാര്യക്ഷമതയും പരിമിതപ്പെടുത്തുന്നു. നല്ല ഫലത്തിലെത്താത്ത ഒരു സെഷന് പോലും ഉപയോഗപ്രദമായ പരിശീലന സിഗ്നലുകളായി വ്യക്തവും ഒഴിവാക്കാവുന്നതുമായ ഒരു തെറ്റ് വെളിപ്പെടുത്താൻ കഴിഞ്ഞേക്കും.

രണ്ട് തീരുമാനങ്ങൾ വേർതിരിച്ചുകൊണ്ട് ഞങ്ങൾ ഈ പരിമിതികളെ അഭിസംബോധന ചെയ്യുന്നു: അനുകരിക്കാൻ തക്കവണ്ണം ഏത് സെഷനുകളാണ് പെരുമാറ്റം അടങ്ങിയിരിക്കുന്നത്, തിരുത്താൻ തക്കവണ്ണം ഏത് ടേണുകളാണ് തെറ്റുകൾ അടങ്ങിയിരിക്കുന്നത്. ഡാറ്റാ പൈപ്പ്‌ലൈൻ ഈ തീരുമാനങ്ങൾ പ്രത്യേകം ചെയ്യുന്നു, തുടർന്ന് മോഡൽ ടേണുകൾക്ക് മൂന്ന് ചികിത്സകളിൽ ഒന്ന് നൽകുന്നു:

അനുകരിക്കുക: വിജയകരമായ സെഷനുകളിലെ പിശകില്ലാത്ത ടേണുകൾക്ക് സാധാരണ ക്രോസ്-എൻട്രോപ്പി (CE) ലോസ് ലഭിക്കുന്നു, ഇത് റെക്കോർഡുചെയ്‌ത ടോക്കണുകളുടെ സംഭവ്യത വർദ്ധിപ്പിക്കുന്നു.
ശരിയാണ്: വിജയകരവും വിജയകരമല്ലാത്തതുമായ സെഷനുകളിൽ, സാധുവായ സൂചനയുള്ള പിശക് ടേണുകൾക്ക് കുൽബാക്ക്-ലീബ്ലർ (KL) ഡൈവർജൻസ് ലോസ് ലഭിക്കുന്നു, ഇത് സൂചന കാണുമ്പോൾ അത് നടത്തുന്ന അടുത്ത-ടോക്കൺ പ്രവചങ്ങളിലേക്ക് മോഡലിനെ മാറ്റുന്നു.
സന്ദർഭമായി സൂക്ഷിക്കുക: സാധുവായ സൂചന ഇല്ലാത്ത വിജയകരമല്ലാത്ത സെഷനുകളിലെ ടേണുകളും, ഏതെങ്കിലും സെഷൻ തരത്തിൽ സാധുവായ സൂചന ഇല്ലാത്ത മോശമായി അടയാളപ്പെടുത്തിയ ടേണുകളും, സന്ദർഭമായി സേവിക്കുന്നു എന്നാൽ ലോസുകളിലൊന്നും ലഭിക്കുന്നില്ല.

തൽഫലമായി, വിജയകരമായ സെഷനുകൾക്ക് അനുകരണവും തിരുത്തൽ ലക്ഷ്യങ്ങളും നൽകാൻ കഴിയും, അതേസമയം വിജയകരമല്ലാത്ത സെഷനുകൾ തിരുത്തൽ ലക്ഷ്യങ്ങൾ മാത്രം നൽകുന്നു. സിസ്റ്റം, ഉപയോക്താവ്, ടൂൾ ഔട്ട്‌പുട്ട് എന്നിവ ഉൾപ്പെടെയുള്ള ബാക്കി എല്ലാ ടേണുകളും സന്ദർഭമായി തുടരുന്നു.

സെഷൻ-റൂട്ടിംഗ് ഡയഗ്രം: വിജയകരമായ സെഷനുകൾ CE അനുകരണവും യോഗ്യമായ സൂചന നൽകിയ തിരുത്തലുകളും നൽകുന്നു; വിജയകരമല്ലാത്ത സെഷനുകൾ യോഗ്യമായ തിരുത്തലുകൾ മാത്രം നൽകുന്നു. — നിലവിലെ സെഷൻ റൂട്ടിംഗും അസിസ്റ്റന്റ്-ഉള്ളടക്ക മാസ്കുകളും. വിജയകരമായ സെഷനുകൾ അനുകരണ ലക്ഷ്യങ്ങൾ നൽകുന്നു; സെഷൻ വിജയകരമല്ലെങ്കിൽ പോലും നിലനിർത്തിയ ഫീഡ്‌ബാക്ക് റെക്കോർഡുകൾ സൂചന നൽകിയ തിരുത്തലുകൾ നൽകാം. മറ്റ് ഉള്ളടക്കം സന്ദർഭമായി തുടരുന്നു. അപൂർണ്ണമായ സെഷനുകൾ ഒഴിവാക്കിയിരിക്കുന്നു. അവസാനമല്ലാത്ത യീൽഡ്/സ്റ്റോപ്പ്-ടോക്കൺ CE ഒഴിവാക്കൽ വരച്ചിട്ടില്ല, കൂടാതെ ഈ ഡയഗ്രം മുൻ ചെക്ക്‌പോയിന്റ് ഉപയോഗിച്ച മിശ്രിതം സ്ഥാപിക്കുന്നില്ല.

അനുകരണ ഭാഗം സ്റ്റാൻഡേർഡ് RFT ഉപയോഗിക്കുന്നു. തിരുത്തൽ ഭാഗം ഓൺ-പോളിസി സെൽഫ്-ഡിസ്റ്റിലേഷൻ (OPSD) ഉപയോഗിക്കുന്നു: അതേ മോഡൽ ടീച്ചറായും സ്റ്റുഡന്റായും പ്രവർത്തിക്കുന്നു, ടീച്ചർക്ക് പ്രത്യേക വിവരങ്ങൾ നൽകുന്നു. ഇവിടെ, ഒഴിവാക്കാവുന്ന ഒരു തെറ്റ് വിശദീകരിക്കുന്ന ഹ്രസ്വമായ സൂചനയാണ് ആ പ്രത്യേക വിവരം. സൂചന നൽകാതെ തന്നെ ടീച്ചറുടെ അടുത്ത-ടോക്കൺ പ്രവചനങ്ങൾ പൊരുത്തപ്പെടുത്താൻ ഞങ്ങൾ സ്റ്റുഡന്റിനെ പരിശീലിപ്പിക്കുന്നു.

രണ്ട് ഭാഗങ്ങളും പ്രധാനമാണ്. തിരുത്തൽ മാത്രം നൽകുന്ന പരിശീലനം ഒരു കുറുക്കുവഴി വെളിപ്പെടുത്താം: തിരുത്തൽ പഠിക്കുന്നതിന് പകരം സന്ദർഭം അവഗണിച്ചുകൊണ്ട് ടീച്ചർക്കും വിദ്യാർത്ഥികൾക്കും യോജിക്കാൻ കഴിയും. CE ടേം പരിശീലനത്തെ ഉപയോഗപ്രദമായ പെരുമാറ്റത്തിലേക്ക് നയിക്കുന്നു, സന്ദർഭം അവഗണിക്കുന്നതിൽ നിന്നുള്ള യോജിപ്പിനെ തടയാൻ സഹായിക്കുന്നു.

പോസ്റ്റ്-ട്രെയിൻഡ് ആയ സ്റ്റുഡന്റ് പിന്നീട് Computer-ലെ ഒരു മോഡൽ ഓപ്ഷനായി മാറുന്നു. തത്സമയ ഉപയോഗത്തിൽ നിന്നുള്ള പുതിയ സെഷനുകൾ പരിശീലന പൈപ്പ്‌ലൈനിന്റെ മറ്റൊരു ഘട്ടത്തിലേക്ക് പ്രവേശിക്കുന്നതിന് മുമ്പ് അതേ യോഗ്യതാ, സ്വകാര്യത ഫിൽട്ടറുകളിലൂടെ കടന്നുപോകുന്നു.

അടുത്തതായി, അനുകരണവും തിരുത്തലും അടങ്ങിയിരിക്കുന്ന ഒരു കൃത്യമായ ഉദാഹരണത്തിലൂടെ ഞങ്ങൾ കടന്നുപോകുന്നു.

ഔദ്യോഗിക ഡോക്യുമെന്റേഷൻ ഉപയോഗിച്ച് Python 3.13-ലെ asyncio മാറ്റങ്ങളുടെ താരതമ്യം ഉപയോക്താവ് ആവശ്യപ്പെടുന്ന ഒരു വിജയകരമായ സെഷൻ പരിഗണിക്കുക. ഓരോന്നിനും url ഫീൽഡുള്ള ഹിറ്റുകളുടെ ഒരു ലിസ്റ്റ് search.web നൽകുന്നുവെന്ന് ഞങ്ങളുടെ ടൂൾ ഡോക്യുമെന്റേഷൻ പറയുന്നു.

താരതമ്യത്തിനായി തെളിവുകൾ ശേഖരിക്കുന്നതിന്റെ ഭാഗമായി മോഡൽ ആദ്യം ഒരു പതിപ്പിനായി സാധുവായ തിരയൽ നടത്തുന്നു, ഇത് അനുകരിക്കേണ്ട നല്ലൊരു പെരുമാറ്റമാണ്.

എന്നിരുന്നാലും, അടുത്ത കോഡ്-എക്സിക്യൂഷൻ കോൾ ആ ലിസ്റ്റിനെ തെറ്റായി ഒരു ഡിക്ഷണറിയായി കണക്കാക്കുന്നു. കോഡ് ടൂൾ TypeError: list indices must be integers or slices, not str എന്ന് നൽകുന്നു. കോളിന് മുമ്പ് റിട്ടേൺ തരം രേഖപ്പെടുത്തിയതിനാൽ, മോഡൽ ഒഴിവാക്കേണ്ടിയിരുന്ന ഒരു തെറ്റാണിത്. ആ പ്രവർത്തനം തിരുത്താൻ ശരിയായ കോൾ അടങ്ങിയ ഒരു സൂചന സൃഷ്ടിക്കാൻ കഴിയും.

വിവരണാത്മക കോഡിംഗ് സെഷൻ: സിസ്റ്റവും ഉപയോക്തൃ ഇൻപുട്ടും ടൂൾ പിശകുകളും സന്ദർബ്രമായി തുടരുന്നു; വിജയകരമായ സെഷനിൽ ഉപയോഗപ്രദമായ റെക്കോർഡുചെയ്‌ത തിരയലും വീണ്ടെടുക്കൽ കോളുകൾക്കും CE ലഭിക്കുന്നു; അടയാളപ്പെടുത്തിയ പിശകുള്ള ലിസ്റ്റ് ലുക്ക്അപ്പിന് ഗ്രൗണ്ടഡ് സൂചന നൽകിയ ടീച്ചറിലേക്ക് KL ലഭിക്കുന്നു. — ഒരു വിവരണാത്മക കോഡിംഗ് സെഷൻ മൂന്ന് പരിശീലന റോളുകൾ കാണിക്കുന്നു: സന്ദർഭം-മാത്രമുള്ള ഇൻപുട്ടുകളും ടൂൾ ഔട്ട്‌പുട്ടുകളും (ചാരനിറം), ഉപയോഗപ്രദമായ റെക്കോർഡുചെയ്‌ത കോളുകളുടെ CE അനുകരണം (കറുപ്പ്), അടയാളപ്പെടുത്തിയ തെറ്റിന്റെ KL തിരുത്തൽ (ടീൽ). ഇവിടെ, മോഡൽ തെറ്റായി തിരയൽ ഹിറ്റുകളുടെ ഒരു ലിസ്റ്റിനെ ഒരു ഡിക്ഷണറിയായി കണക്കാക്കുന്നു; മുൻകാല ടൂൾ ഡോക്യുമെന്റേഷനിൽ അധിഷ്ഠിതമായ ടീച്ചർ-മാത്രം സൂചന തിരുത്തലിനെ നയിക്കുന്നു. പൂർത്തിയാക്കിയ സെഷൻ വിജയകരമാണെന്ന് വിലയിരുത്തുമ്പോൾ മാത്രമേ CE ലക്ഷ്യങ്ങൾ ബാധകമാകൂ, അതേസമയം വിജയകരമല്ലാത്ത സെഷന് യോഗ്യമായ ഒരു KL തിരുത്തൽ ലക്ഷ്യം നൽകാനും കഴിയും.

പരിശീലന പൈപ്പ്‌ലൈനിന് നാല് ഘട്ടങ്ങളുണ്ട്: സെഷനുകൾ തിരഞ്ഞെടുത്ത് അവയുടെ ഫലങ്ങൾ വിലയിരുത്തുക, ഉപയോക്തൃ ഫീഡ്‌ബാക്കിൽ നിന്നും ടൂൾ പിശകുകളിൽ നിന്നും തെറ്റുകൾ തിരിച്ചറിഞ്ഞ് സൂചനകൾ സൃഷ്ടിക്കുക, ടീച്ചറിൽ നിന്നും സ്റ്റുഡന്റിൽ നിന്നും അടുത്ത-ടോക്കൺ പ്രൊബബിലിറ്റികൾ ഉണ്ടാക്കുക, സംയോജിത CE, KL ലോസ് എന്നിവ ഉപയോഗിച്ച് മോഡലിനെ പരിശീലിപ്പിക്കുക.

GLM 5.2-ൽ സേവനം ലഭിക്കുന്ന, പരിശീലനത്തിന് യോഗ്യമായ യഥാർത്ഥ ലോക Computer സെഷനുകളുടെ ഒരു ഉപസമുച്ചയത്തിൽ നിന്നാണ് സാമ്പ്ലിംഗ് പൈപ്പ്‌ലൈൻ എടുത്തുപയോഗിക്കുന്നത്. ഈ വർക്ക്ഫ്ലോയ്ക്കായി ഉദാഹരണങ്ങൾ തിരഞ്ഞെടുക്കുന്നതിന് മുമ്പ് പരിശീലനത്തിൽ നിന്ന് ഒഴിവാകൽ തിരഞ്ഞെടുപ്പുകളും പൈപ്പ്‌ലൈനിന്റെ PII-ബന്ധിത ഒഴിവാക്കലുകളും പ്രയോഗിക്കുന്നു.

പ്രാരംഭ സ്ക്രീനിംഗ് പ്രക്രിയ ഒരു LLM ജഡ്ജി അഞ്ച് പോയിന്റ് ടാസ്ക്-ബുദ്ധിമുട്ട് സ്കെയിലിൽ 4 അല്ലെങ്കിൽ 5 എന്ന് റേറ്റുചെയ്ത കാൻഡിഡേറ്റുകളെ തിരഞ്ഞെടുക്കുകയും അവരെ 2 ഗ്രൂപ്പുകളായി തിരിക്കുകയും ചെയ്യുന്നു:

ഉപയോക്തൃ-ഫീഡ്‌ബാക്ക് ഗ്രൂപ്പിൽ യഥാർത്ഥ ഉപയോക്തൃ തുടർനടപടിയോ ഇടത്തരം മുതൽ ഉയർന്ന അതൃപ്തി ഫ്ലാഗോ ഉള്ള സെഷനുകൾ അടങ്ങിയിരിക്കുന്നു. ഈ ഉയർന്ന ഉദ്ദേശ്യമുള്ള തുടർനടപടികൾ പഠനത്തിന് വളരെ ഉപയോഗപ്രദമാണെന്ന് ഞങ്ങൾ കണ്ടെത്തി: ഉപയോക്താക്കൾ ഒരു ടാസ്ക് പൂർത്തിയാക്കാൻ സജീവമായി ശ്രമിക്കുന്നു, കൂടാതെ അവരുടെ തിരുത്തലുകൾ മോഡലിന് എന്താണ് നഷ്ടമായതെന്ന് കൃത്യമായി ചൂണ്ടിക്കാണിക്കുന്നു.
ടൂൾ-പിശക് ഗ്രൂപ്പിൽ അംഗീകരിക്കപ്പെട്ട ഇൻഫ്രാസ്ട്രക്ചർ പരാജയങ്ങളും നിരസിക്കപ്പെട്ട അംഗീകാരവും ഒഴികെ, റൂൾ-അധിഷ്ഠിത പരിശോധനകൾ ഫ്ലാഗ് ചെയ്ത പരാജയപ്പെട്ട കോളുകൾ അടങ്ങിയ സെഷനുകൾ അടങ്ങിയിരിക്കുന്നു.

രണ്ട് LLM ജഡ്ജിമാർ പിന്നീട് ഉപയോക്താവിന്റെ അഭ്യർത്ഥനയുമായി താരതമ്യം ചെയ്ത് അന്തിമ ഡെലിവറി വിലയിരുത്തുന്നു; സെഷൻ "വിജയകരമായത്" എന്ന് അടയാളപ്പെടുത്താൻ രണ്ട് ജഡ്ജിമാരും അനുകൂലമായ വിധി നൽകണം. ആർട്ടിഫാക്റ്റുകൾ നൽകുന്ന കേസുകൾക്ക്, ഔട്ട്‌കം ഘട്ടത്തിന് ഡെലിവറി പുനർനിർമ്മിക്കാനും പരിശോധിക്കാനും കഴിയും, ആ ഘട്ടം പരാജയപ്പെടുകയാണെങ്കിൽ അതിന്റെ ടെക്സ്റ്റ് അധിഷ്ഠിത വിലയിരുത്തലുകളിലേക്ക് മടങ്ങാം. ഉപയോക്താവിനായി കാത്തിരിക്കുന്ന ജോലി പോലെയുള്ള, അപൂർണ്ണമെന്ന് തരംതിരിച്ച സെഷനുകൾ ഒഴിവാക്കിയിരിക്കുന്നു.

ഈ ഘട്ടം പഠന സിഗ്നലുകളുടെ സാധ്യതയുള്ള ഉറവിടങ്ങൾ തിരിച്ചറിയുന്നു; എന്നിരുന്നാലും, എല്ലാ പിശകുകളും മോഡലിന്റെ കാരണത്താലല്ല, കാരണം ചിലത് അവ്യക്തമായ നിർദ്ദേശങ്ങളിൽ നിന്നോ അടിസ്ഥാന സൗകര്യ പരാജയങ്ങളിൽ നിന്നോ ഉണ്ടാകുന്നു. ഏത് കാൻഡിഡേറ്റ് തെറ്റുകളാണ് യഥാർത്ഥത്തിൽ ഒഴിവാക്കാവുന്നതും പരിശീലനത്തിന് അനുയോജ്യമായതും എന്ന് പിന്നീടുള്ള അനോട്ടേഷൻ നിർണ്ണയിക്കുന്നു.

ഉപയോക്തൃ-ഫീഡ്‌ബാക്ക് ഗ്രൂപ്പിലെ ഒരു മാതൃകാ സെഷൻ പരിഗണിക്കുക, അവിടെ ഉപയോക്താവ് "How do I find my w3 on paychex" എന്ന് ചോദിക്കുന്നു. മോഡൽ "w3" എന്നത് W-2-ന്റെ അക്ഷരത്തെറ്റായി കണക്കാക്കുകയും W-2 നിർദ്ദേശങ്ങൾക്കായി തിരയുകയും ആ ഫോം എങ്ങനെ കണ്ടെത്താമെന്ന് വിശദീകരിക്കുകയും ചെയ്യുന്നു. ഉപയോക്താവിന്റെ തുടർനടപടി, "I meant the W-3 transmittal form," സെഷൻ ആത്യന്തികമായി വിജയിച്ചെങ്കിൽ പോലും, തെറ്റ് തിരിച്ചറിയുന്നു.

പരാതി തെറ്റ് കണ്ടെത്താൻ സഹായിക്കുന്നു, എന്നാൽ "w3" എന്നത് W-2 ആയി പുനർവ്യാഖ്യാനം ചെയ്യാനുള്ള മുൻ തീരുമാനമാണ് മൂലകാരണം. യഥാർത്ഥ അഭ്യർത്ഥന തെറ്റ് ഒഴിവാക്കാവുന്നതാക്കുന്നു: മോഡലിന് W-3 സംരക്ഷിക്കാമോ അല്ലെങ്കിൽ വ്യക്തത ചോദിക്കാമോ ആയിരുന്നു. പരാതിക്ക് തൊട്ടുമുമ്പുള്ള അവസാന അസിസ്റ്റന്റ് ടേൺ പകുതിയോളം തവണ മാത്രമാണ് മൂലകാരണമാകുന്നതെന്ന് വ്യക്തമാകുന്നു.

ഞങ്ങളുടെ വ്യാഖ്യാന പൈപ്പ്‌ലൈൻ ഓരോ ഉപയോക്തൃ-ഫീഡ്‌ബാക്ക് സെഷനിലും കാരണവും ഫലവും വ്യവസ്ഥാപിതമായി മാപ്പ് ചെയ്യുന്നു. നഷ്ടപ്പെട്ട ആവശ്യകതയ്ക്കോ അല്ലെങ്കിൽ മുൻകാല സന്ദർഭം പിന്തുണയ്ക്കുന്ന ഉദ്ദേശ്യത്തിനോ വേണ്ടി അനോട്ടേറ്റർ ആദ്യം പരിശോധിക്കുന്നു. മൂന്ന് LLM ജഡ്ജിമാർ ഉത്തരവാദപ്പെട്ട ടേണുകൾ തിരിച്ചറിയുന്നു, ഒരു പ്രത്യേക ടേണിൽ യോജിക്കാൻ കുറഞ്ഞത് രണ്ട് പേരെങ്കിലും ആവശ്യമാണ്. ചിലപ്പോൾ മുൻ പ്രസ്താവന ആവശ്യകത വ്യക്തമായി സ്ഥാപിക്കുന്നു. മറ്റ് സന്ദർഭങ്ങളിൽ, മുൻകാല പ്രസ്താവനകളൊന്നും അങ്ങനെ ചെയ്യുന്നില്ല, എന്നാൽ മുൻകാല സംഭാഷണത്തിന്റെ ഒന്നിലധികം ഭാഗങ്ങൾ ഉദ്ദേശിച്ച പെരുമാറ്റം അനുമാനിക്കാൻ കഴിയുന്ന തരത്തിൽ സംയുക്തമായി പ്രവർത്തിക്കുന്നു. അവസാന ഉത്തരത്തിൽ മാത്രം ആട്രിബ്യൂട്ട് ചെയ്യുന്നതിന് പകരം ഒരു പരാടിയെ മുൻകാല റൂട്ട് തെറ്റുമായി ബന്ധിപ്പിക്കാൻ ഈ ഡിസൈൻ അവരെ അനുവദിക്കുന്നു.

ഒരു സൂചന സ്വീകരിക്കുന്നതിന് മുമ്പ്, അടയാളപ്പെടുത്തിയ ടേണിന് മുമ്പ് ലഭ്യമായ വിവരങ്ങളിൽ നിന്നാണ് അതിന്റെ തിരുത്തൽ അവകാശവാദങ്ങൾ ഉണ്ടാകുന്നത് എന്നും പൈപ്പ്‌ലൈൻ പരിശോധിക്കുന്നു. പരാതിയിൽ വെളിപ്പെടുത്തിയ ഒരു പുതിയ മുൻഗണന മോഡലിന് ഇതിനകം അറിയാമായിരുന്ന ഒന്നായി കണക്കാക്കുന്ന ഹിൻഡ്‌സൈറ്റ് ബയസ് കുറയ്ക്കാൻ ഈ പരിശോധനകൾ ലക്ഷ്യമിടുന്നു.

ഈ ഉദാഹരണത്തിൽ, W-2-ന് പകരം Paychex-ൽ W-3 ട്രാൻസ്മിറ്റൽ ഫോമിനായി തിരയാൻ സൂചന മോഡലിനോട് ആവശ്യപ്പെടുന്നു, അല്ലെങ്കിൽ അഭ്യർത്ഥന അവ്യക്തമാണെങ്കിൽ ഉപയോക്താവ് ഏത് ഫോമാണ് ഉദ്ദേശിക്കുന്നതെന്ന് ചോദിക്കുക. അന്തിമ ഉത്തരം മാത്രമല്ല, തിരുത്തൽ മുൻകാല വ്യാഖ്യാനത്തെയും തിരയൽ തീരുമാനത്തെയും ലക്ഷ്യമിടുന്നു. യഥാർത്ഥ ടേൺ മാറ്റമില്ലാതെ തുടരുന്നു; അനോട്ടേഷൻ is_bad_turn: true ഉം ശൂന്യമല്ലാത്ത hint-ഉം ചേർക്കുന്നു.

W-3 അഭ്യർത്ഥന തെറ്റായി W-2 ആയി വ്യാഖ്യാനിക്കപ്പെടുന്നു; പിന്നീടുള്ള പരാതി മുൻകാല തിരയൽ തീരുമാനത്തിലേക്ക് കണ്ടെത്തുകയും മുൻകാല തെളിവുകൾക്ക് എതിരായി പരിശോധിക്കുകയും ചെയ്യുന്നു. — അനോട്ടേഷൻ നടപടിക്രമം ഉൾപ്പെടുത്തിക്കൊണ്ട്, ഒരു പരാതി എങ്ങനെ മുൻകാല തെറ്റിലേക്ക് കണ്ടെത്താമെന്ന് കാണിക്കുന്ന ഒരു യഥാർത്ഥ സെഷൻ. ഉപയോക്താവ് പേചെക്സിൽ "w3" ആവശ്യപ്പെട്ടു, എന്നാൽ മോഡൽ അതിനെ W-2-ന്റെ അക്ഷരത്തെറ്റായി കണക്കാക്കുകയും തെറ്റായ ഫോമിനായി തിരയുകയും ചെയ്തു. പ്രൊപ്പോസർ കൺസെൻസസ് മൂലകാരണം കണ്ടെത്തുന്നു, അതേസമയം രണ്ട് ഗ്രൗണ്ടിംഗ് പരിശോധനകൾ തെറ്റിന് മുമ്പുള്ളതാണോ തെളിവുകൾ എന്നും ആ ഘട്ടത്തിൽ ലഭ്യമായ വിവരങ്ങളിൽ നിന്നാണോ സൂചനയുടെ അവകാശവാദങ്ങൾ ഉണ്ടായത് എന്നും വിലയിരുത്തുന്നു. സ്വീകരിച്ച അനോട്ടേഷനുകൾ യഥാർത്ഥ വാചകം സംരക്ഷിക്കുകയും തിരുത്തിയെഴുതിയ ലക്ഷ്യങ്ങൾക്ക് പകരം അടയാളങ്ങളും സൂചനകളും ചേർക്കുകയും ചെയ്യുന്നു.

ഏജന്റ് recency_filter: "year" ഉപയോഗിച്ച് തിരയുന്ന ഒരു തിരയൽ കോൾ ഉള്ള ടൂൾ-പിശക് ഗ്രൂപ്പിലെ മറ്റൊരു സെഷൻ പരിഗണിക്കുക, എന്നാൽ അനുവദനീയമായ മൂല്യങ്ങൾ “day,” “week,” അല്ലെങ്കിൽ “month” ആയതിനാൽ ടൂൾ അത് നിരസിക്കുന്നു. ഇത് വ്യക്തമായ സ്കീമ ലംഘനമാണ്.

ज्ञात പിശകുകൾക്കായി ടൂൾ-പിശക് പാത നിർണ്ണായക നിയമങ്ങളും അവ്യക്തമായ കേസുകൾക്കായി മോഡൽ ജഡ്ജ്‌മെന്റും ഉപയോഗിക്കുന്നു. മോഡലിനെ കുറ്റപ്പെടുത്താൻ ഒരു പിശക് സന്ദേശം മാത്രം പോരാ; ടൂൾ സ്കീമ, സിസ്റ്റം നിർദ്ദേശങ്ങൾ അല്ലെങ്കിൽ മുൻകാല സംഭാഷണം എന്നിവയിൽ നിന്ന് മോഡലിന് അറിയാൻ കഴിയുന്ന എന്തെങ്കിലും ഒരു ജഡ്ജ് ചെയ്ത തിരുത്തൽ ചൂണ്ടിക്കാണിക്കണം.

ഒരു തിരയൽ കോൾ അസാധുവായ recency_filter മൂല്യമായ year ഉപയോഗിക്കുന്നു; പട്ടികപ്പെടുത്തിയ മൂല്യം ഉപയോഗിക്കാനോ ഓപ്ഷണൽ ഫീൽഡ് ഒഴിവാക്കാനോ ഒരു ഗ്രൗണ്ടഡ് സൂചന മോഡലിന് നിർദ്ദേശം നൽകുന്നു. — റിപ്പോർട്ടിന്റെ അസാധുവായ തിരയൽ ആർഗ്യുമെന്റ് നിലവിലെ ടൂൾ-പിശക് നടപടിക്രമം വ്യക്തമാക്കുന്നു. സ്കീമ ഈ തെറ്റ് ഒഴിവാക്കാവുന്നതാക്കുന്നു; ഒരു ഔട്ടേജ് മാത്രം അങ്ങനെ ചെയ്യില്ല. യഥാർത്ഥ കോൾ റെക്കോർഡിൽ തന്നെ തുടരുകയും ഒരു ഗ്രൗണ്ടഡ് സൂചന ലഭിക്കുകയും ചെയ്യുന്നു. ഫീൽഡ് ഓപ്ഷണൽ ആണെങ്കിൽ ലിസ്റ്റ് ചെയ്ത മൂല്യമോ ഒഴിവാക്കലോ സൂചന അനുവദിക്കുന്നു; ഓരോ അഭ്യർത്ഥനയ്ക്കും "മാസം" എന്ന് അത് ആവശ്യപ്പെടുന്നില്ല.

ഇവിടെ, സൂചന പരാജയപ്പെട്ട കോൾ പേരിടുന്നു, സാധുത പിശക് ഉൾക്കൊള്ളുന്നു, കൂടാതെ അനുവദനീയമായ മൂല്യം ഉപയോഗിക്കാനോ ഫീൽഡ് ഓപ്ഷണൽ ആണെങ്കിൽ അത് ഒഴിവാക്കാനോ മോഡലിന് നിർദ്ദേശം നൽകുന്നു.

ഒരു ടേൺ അടയാളപ്പെടുത്തിക്കഴിഞ്ഞാൽ, ട്രെയിനർ അതേ ചെക്ക്‌പോയിന്റ് രണ്ട് തവണ പ്രവർത്തിപ്പിക്കുന്നു: ഒരിക്കൽ ടീച്ചറായും ഒരിക്കൽ സ്റ്റുഡന്റായും. ടീച്ചർ ഹിന്റ് കാണുന്നു; സ്റ്റുഡന്റ് കാണുന്നില്ല.

പുതിയ ടോക്കണുകൾ തിരഞ്ഞെടുക്കാൻ അനുവദിക്കുന്നതിന് പകരം റെക്കോർഡുചെയ്‌ത സെഷൻ മോഡലിന് നൽകുന്ന ടീച്ചർ ഫോഴ്‌സിംഗ് രണ്ട് പാസുകളും ഉപയോഗിക്കുന്നു. ഫോർവേഡ് പാസ് ഓരോ ഘട്ടത്തിലും മുഴുവൻ അടുത്ത-ടോക്കൺ ഡിസ്ട്രിബ്യൂഷൻ ഉത്പാദിപ്പിക്കുന്നു, എന്നാൽ ഇത് എല്ലായ്പ്പോഴും റെക്കോർഡിംഗിലെ സ്ഥിരമായ പ്രിഫിക്സിനെ അടിസ്ഥാനമാക്കിയുള്ളതാണ്, റോളൗട്ട് ടോക്കണുകളിലല്ല.

തിരയൽ ഉദാഹരണത്തിനായി, സൂചന നൽകുമ്പോൾ "മാസം" എന്നതിന് വളരെ ഉയർന്ന സംഭവ്യതയും "വർഷം" എന്നതിന് കുറഞ്ഞ സംഭവ്യതയും അതേ മോഡൽ നൽകുന്നു. പരിശീലനം ഈ ഡിസ്ട്രിബ്യൂഷണൽ ഷിഫ്റ്റിനെ ഒരു സോഫ്റ്റ് ലക്ഷ്യമായി ഉപയോഗിക്കുന്നു.

സൂചനയോടെയും അല്ലാതെയുമുള്ള ലോഗ് ചെയ്ത ടേണിന് അതേ മോഡൽ സ്കോർ നൽകുന്നു; ഡിറ്റാച്ചഡ് ടീച്ചർ പ്രൊബബിലിറ്റികൾ KL ലക്ഷ്യങ്ങൾ നൽകുമ്പോൾ CE അനുകരണത്തെ നയിക്കുന്നു. — രണ്ട് പാസുകൾ, ഒരു വെയിറ്റ് സെറ്റ്. രണ്ട് പാസുകളും ലോഗ് ചെയ്ത തുടർച്ച സ്കോർ ചെയ്യുന്നു; ടീച്ചർക്ക് മാത്രമേ സൂചനകൾ ലഭിക്കൂ. അതിന്റെ ഡിറ്റാച്ചഡ് അടുത്ത-ടോക്കൺ പ്രൊബബിലിറ്റികൾ ഫോർവേഡ് KL വഴി സ്റ്റുഡന്റിനെ നയിക്കുന്നു. പ്രത്യേക CE ലക്ഷ്യങ്ങൾ അനുകരണത്തെ നയിക്കുന്നു. രണ്ട് ലോസുകളും ഒരു വെയിറ്റ് അപ്‌ഡേറ്റിലേക്ക് നയിക്കുന്നു. ടീച്ചറുടെ നിലവിലെ സെഗ്‌മെന്റിൽ മുൻകാല സൂചനകൾ നിലനിന്നേക്കാം; രണ്ട് പാസുകളും മാറ്റിസ്ഥാപിക്കൽ പരിശീലന ഉത്തരവ് ഉണ്ടാക്കുന്നില്ല.

ടീച്ചറുടെ പ്രവചനങ്ങൾ വേർപെടുത്തിയവയാണ്, അല്ലെങ്കിൽ സ്റ്റോപ്പ്-ഗ്രേഡിയൻ്റാണ്: അവ ഒരു ലക്ഷ്യം നൽകുന്നുവെങ്കിലും ടീച്ചർ പാസിലൂടെ അപ്‌ഡേറ്റ് സ്വീകരിക്കുന്നില്ല. സ്റ്റുഡന്റ്സിന്റെ പാസിന് ശേഷം, ഒരു ഒപ്റ്റിമൈസർ ഘട്ടം പങ്കിട്ട മോഡൽ അപ്‌ഡേറ്റ് ചെയ്യുന്നു.

അനുകരണത്തിനായി തിരഞ്ഞെടുത്ത റെക്കോർഡുചെയ്‌ത ടോക്കണുകളെ CE ലോസ് ഗ്രൗണ്ട്-ട്രൂത്ത് ലക്ഷണങ്ങളായി കണക്കാക്കുകയും അവയ്ക്ക് കുറഞ്ഞ സംഭവ്യതകൾ നൽകുന്നതിന് മോഡലിനെ പെനാൽറ്റി ചെയ്യുകയും ചെയ്യുന്നു. ഇത് കഠിനമായ ഒരു അനുകരണ ലക്ഷ്യം സൃഷ്ടിക്കുന്നു.

ടോക്കൺ സ്ഥാനം -ൽ, മുഴുവൻ വൊക്കാബുലറി -ലും ടോക്കൺ -ന്റെ സ്റ്റുഡന്റിന്റെ പ്രൊബബിലിറ്റി ആകട്ടെ. റെസ്‌പോൺസിലോ ടൂൾ കോളിലോ റെക്കോർഡുചെയ്‌ത അടുത്ത ടോക്കൺ ആണ്, വൺ-ഹോട്ട് ടാർഗെറ്റ് ഡിസ്ട്രിബ്യൂഷൻ ആണ്. $i$ $p_i(v)$ $v$ $V$ $y_i$ $r_i$

r_i(v)=\mathbf{1}[v=y_i]

റെക്കോർഡുചെയ്‌ത ടോക്കൺ വിദ്യാർത്ഥി എത്ര നന്നായി പ്രവചിക്കുന്നു എന്ന് ക്രോസ്-എൻട്രോപ്പി അളക്കുന്നു. ഒരു വൺ-ഹോട്ട് ലക്ഷ്യത്തോടൊപ്പം, അത് $y_i$ -ലേക്ക് നൽകിയിരിക്കുന്ന നെഗറ്റീവ് ലോഗ്-പ്രൊബബിലിറ്റിയിലേക്ക് കുറയുന്നു.

H(r_i,p_i)=-\sum_{v\in V}r_i(v)\log p_i(v)=-\log p_i(y_i)

ടോക്കൺ അനുകരിക്കേണ്ടിടത്ത് CE മാസ്ക് $m_i^{\mathrm{CE}}$ എന്നത് $1$ ആണ്, അല്ലാത്തപക്ഷം അത് $0$ ആണ്. തിരഞ്ഞെടുത്ത സ്ഥാനങ്ങൾക്ക് മുകളിലുള്ള സംഗ്രഹം അനുകരണ നഷ്ടം നൽകുന്നു.

\mathcal{L}_{\mathrm{CE}}=\sum_i m_i^{\mathrm{CE}}H(r_i,p_i)

പകരം കെഎൽ ലോസ്, ഒരു സോഫ്റ്റ് തിരുത്തൽ ലക്ഷ്യമായി ടീച്ചറുടെ മുഴുവൻ അടുത്ത-ടോക്കൺ പ്രൊബബിലിറ്റി ഡിസ്ട്രിബ്യൂഷൻ $q_i$ ഉപയോഗിക്കുന്നു. ടീച്ചറുടെ സന്ദർഭത്തിൽ നിലവിലെ സൂചനയും ആ പരിശീലന വിഭാഗത്തിൽ നിലനിർത്തിയിട്ടുള്ള മുൻകാല സൂചനകളും ഉൾപ്പെടുന്നു; സ്റ്റുഡന്റിന്റെ സന്ദർഭം എപ്പോഴും സൂചനകളില്ലാത്തതാണ്.

ടോക്കൺ തിരുത്തേണ്ടിടത്ത് KL മാസ്ക് $m_i^{\mathrm{KL}}$ എന്നത് $1$ ആണ്, അല്ലാത്തപക്ഷം അത് $0$ ആണ്; CE, KL മാസ്കുകൾ ഓവർലാപ്പ് ചെയ്യുന്നില്ല. ഈ സ്ഥാനങ്ങളിൽ, ഫോർവേഡ് KL മുഴുവൻ വൊക്കാബുലറിയിലും ടീച്ചറും സ്റ്റുഡന്റും തമ്മിലുള്ള വിയോജിപ്പിന് പെനാൽറ്റി നൽകുന്നു:

\mathcal{L}_{\mathrm{KL}}=\sum_i m_i^{\mathrm{KL}}D_{\mathrm{KL}}(q_i\Vert p_i)=\sum_i m_i^{\mathrm{KL}}\sum_{v\in V}q_i(v)\log\frac{q_i(v)}{p_i(v)}

രണ്ട് ടേമുകളും പ്രത്യേകം നോർമലൈസ് ചെയ്യുന്നതിന് പകരം ഒരു ഡിനോമിനേറ്റർ പങ്കിടുന്നു. ഈ ഡിനോമിനേറ്റർ ആഗോള പരിശീലന ബാച്ചിലുടനീളം അനുകരണത്തിനായി തിരഞ്ഞെടുത്ത മൊത്തം ടോക്കണുകൾ കണക്കാക്കുന്നു. അനുകരണവുമായി ബന്ധപ്പെട്ട് തിരുത്തൽ പരിശീലനത്തിന്റെ സംഭാവനയെ വെയ്റ്റ് $\lambda$ നിയന്ത്രിക്കുന്നു.

ഈ പങ്കിട്ട നോർമലൈസേഷൻ ഞങ്ങളുടെ പരിശീലന അടിസ്ഥാന സൗകര്യത്തിന്റെ സിംഗിൾ-ഡിനോമിനേറ്റർ ഇന്റർഫേസുമായി യോജിക്കുകയും $\lambda=0$ ആകുമ്പോൾ സ്റ്റാൻഡേർഡ് SFT നഷ്ടം വീണ്ടെടുക്കുകയും ചെയ്യുന്നു, ഇത് അടിസ്ഥാന താരതമ്യങ്ങൾ ലളിതമാക്കുന്നു. CE ടോക്കണുകൾ KL ടോക്കണുകളേക്കാൾ വളരെ സമൃദ്ധമായതിനാൽ, ഒരു പങ്കിട്ട ഡിനോമിനേറ്റർ ഉപയോഗിക്കുന്നത് കുറഞ്ഞ അടയാളപ്പെടുത്തിയ ടോക്കണുകളുള്ള ബാച്ചുകളിൽ വ്യക്തിഗത KL ടോക്കണുകൾക്ക് ആനുപാതികമല്ലാത്ത വലിയ വെയ്റ്റുകൾ നൽകുന്നത് ഒഴിവാക്കുന്നു.

\mathcal{L}=\frac{\mathcal{L}_{\mathrm{CE}}+\lambda\mathcal{L}_{\mathrm{KL}}}{\sum_i m_i^{\mathrm{CE}}}

മുൻകാല ഉദാഹരണങ്ങൾക്ക് ബാധകമാക്കുമ്പോൾ, W-3/W-2 മിക്സ്-അപ്പും അസാധുവായ തിരയൽ കോളും അടങ്ങിയ ടേണുകൾക്ക് KL ലഭിക്കുന്നു. വിജയകരമായ സെഷനിലെ മറ്റ് അടയാളപ്പെടുത്താത്ത അസിസ്റ്റന്റ് ഉള്ളടക്കത്തിന് CE ലഭിക്കുന്നു. വിജയകരമല്ലാത്ത സെഷനിലെ മറ്റ് അസിസ്റ്റന്റ് ഉള്ളടക്കം സന്ദർഭമായി നിലനിർത്തുന്നു എന്നാൽ CE അല്ലെങ്കിൽ KL ലഭിക്കുന്നില്ല.

ഞങ്ങളുടെ മൂല്യനിർണ്ണയങ്ങൾ രണ്ട് വ്യത്യസ്ത ചോദ്യങ്ങൾക്ക് ഉത്തരം നൽകുന്നു. ഒന്നാമതായി, സൂചന موجود ഉള്ളപ്പോൾ ഒരു പിശക് തിരുത്താൻ സൂചന യഥാർത്ഥത്തിൽ മോഡലിനെ സഹായിക്കുന്നുണ്ടോ? രണ്ടാമതായി, സൂചന ഇല്ലാതെ തന്നെ ആ പിശക് പിന്നീട് ഒഴിവാക്കാൻ പരിശീലനം മോഡലിനെ സഹായിക്കുന്നുണ്ടോ? സൂചനകൾ ഉപയോഗപ്രദമായ പരിശീലന സിഗ്നലുകൾ നൽകുന്നുണ്ടോ എന്ന് ആദ്യത്തേത് പരിശോധിക്കുന്നു. മോഡൽ അവയിൽ നിന്ന് പഠിക്കുന്നുണ്ടോ എന്ന് രണ്ടാമത്തേത് പരിശോധിക്കുന്നു.

തെറ്റുകളിൽ നിന്ന് മോഡലിനെ വ്യതിചലിപ്പിക്കാൻ സൂചനകൾക്ക് കഴിയുമെന്ന് ഉറപ്പാക്കാൻ പരിശീലനം നടത്തുന്നതിന് മുമ്പ് ഞങ്ങൾ ആദ്യത്തെ ചോദ്യം പരിശോധിക്കുന്നു.

പൂജ്യം താപനിലയിൽ അതേ GLM-5.2 അടിസ്ഥാന മോഡൽ ഉപയോഗിച്ച്, സൂചനകളോടെയും അല്ലാതെയുമുള്ള അടയാളപ്പെടുത്തിയ ഉപയോക്തൃ-ഫീഡ്‌ബാക്ക് ടേണുകൾ ഞങ്ങൾ പുനർനിർമ്മിച്ചു. ഒരു ബ്ലൈൻഡ് ജഡ്ജി പിന്നീടുള്ള പരാതി കാണുന്നു, എന്നാൽ സൂചനയോ ഏത് അവസ്ഥയാണ് ഉത്തരം നൽകിയതെന്നോ കാണുന്നില്ല.

W-3 ഉദാഹരണത്തിൽ, "W-" പ്രിഫിക്സിന് ശേഷം സൂചന അടുത്ത-ടോക്കൺ പ്രൊബബിലിറ്റിയെ "3"-ലേക്കും "2"-ൽ നിന്നും മാറ്റുന്നു.

മാറ്റമില്ലാത്ത അടിസ്ഥാന മോഡലിന് സൂചന ലഭിക്കുമ്പോൾ W- ന് ശേഷമുള്ള അടുത്ത-ടോക്കൺ പ്രൊബബിലിറ്റികൾ 2-നേക്കാൾ 3-ലേക്ക് മാറുന്നു. — ഒരു സൂചന അഭ്യർത്ഥിച്ച W-3 ഫോം സംരക്ഷിക്കുന്നു. എട്ട് ഫോർവേഡ് പാസുകളിലുടനീളമുള്ള ശരാശരി അടുത്ത-ടോക്കൺ പ്രൊബബിലിറ്റികൾ ബാറുകൾ കാണിക്കുന്നു; വിസ്കറുകൾ നിരീക്ഷിച്ച പരിധി കാണിക്കുന്നു, കോൺഫിഡൻസ് ഇന്റർവെൽ അല്ല. രണ്ട് വ്യവസ്ഥകളും മാറ്റമില്ലാത്ത അടിസ്ഥാന മോഡൽ ഉപയോഗിക്കുന്നു.

വ്യക്തമായി പ്രസ്താവിച്ച മുൻകാല തെളിവുകൾ പിന്തുണയ്ക്കുന്ന വലിയ 40-ടേൺ ഹെൽഡ്-ഔട്ട് സാമ്പിളിൽ, സ്ഥിരീകരിച്ചതോ ട്രാക്കിലുള്ളതോ ആയി വിലയിരുത്തപ്പെട്ടതിന്റെ പങ്ക് സൂചനയില്ലാതെ 40.0%-ൽ നിന്ന് സൂചനയോടെ 75.0% ആയി ഉയരുന്നു. അനുമാനിക്കപ്പെട്ട ഉദ്ദേശ്യം പിന്തുണയ്ക്കുന്ന മറ്റൊരു 40 ടേണുകളിൽ, ഇത് 32.5%-ൽ നിന്ന് 80.0% ആയി ഉയരുന്നു.

സൂചന സാധുത പരിശോധന: വ്യക്തമായ തെളിവുകൾക്കായി സ്ഥിരമായ അല്ലെങ്കിൽ ട്രാക്കിലുള്ള നിരക്കുകൾ 40.0%-ൽ നിന്ന് 75.0% ആയും അനുമാനിക്കപ്പെട്ട ഉദ്ദേശ്യത്തിനായി 32.5%-ൽ നിന്ന് 80.0% ആയും വർദ്ധിക്കുന്നു. — പോസ്റ്റ്-ട്രെയിനിങ് മൂല്യനിർണ്ണയമല്ല, സൂചന സാധുത പരിശോധനയാണ്. ഓരോ തെളിവ് ഗ്രൂപ്പിലെയും അതേ 40 അടയാളപ്പെടുത്തിയ ടേണുകൾ പൂജ്യം താപനിലയിൽ മാറ്റമില്ലാത്ത GLM-5.2 ഉപയോഗിച്ച് സൂചനയോടെയും അല്ലാതെയുമായി പുനർനിർമ്മിക്കുന്നു. ജഡ്ജി പരാതി കാണുന്നു എന്നാൽ സൂചനയോ അവസ്ഥയോ കാണുന്നില്ല. റിപ്പോർട്ടിന്റെ നിരക്കുകളിൽ നിന്നും സാമ്പിൾ വലുപ്പങ്ങളിൽ നിന്നുമാണ് എണ്ണങ്ങൾ ഉരുത്തിരിഞ്ഞത്; കോൺഫിഡൻസ് ഇന്റർവെലുകൾ റിപ്പോർട്ട് ചെയ്തിട്ടില്ല.

തിരയൽ ടൂൾ പിശക് ഉദാഹരണത്തിൽ, ഒരു സൂചന വർഷം ടോക്കണിൽ നിന്ന് മാസം ടോക്കണിലേക്ക് പ്രൊബബിലിറ്റി മാസ് മാറ്റുന്നു.

ഒരു സൂചന, മാറ്റമില്ലാത്ത അടിസ്ഥാന മോഡലിന്റെ അടുത്ത-ടോക്കൺ പ്രൊബബിലിറ്റികളെ വർഷത്തിൽ നിന്നും അനുവദനീയമായ മൂല്യമായ മാസത്തിലേക്ക് മാറ്റുന്നു. — ഒരു സൂചന അനുവദനീയമായ മൂല്യത്തിലേക്ക് പ്രൊബബിലിറ്റി മാറ്റുന്നു. എട്ട് ഫോർവേഡ് പാസുകളിലുടനീളമുള്ള ശരാശരി അടുത്ത-ടോക്കൺ പ്രൊബബിലിറ്റികൾ ബാറുകൾ കാണിക്കുന്നു; വിസ്കറുകൾ നിരീക്ഷിച്ച പരിധി കാണിക്കുന്നു, കോൺഫിഡൻസ് ഇന്റർവെൽ അല്ല. രണ്ട് വ്യവസ്ഥകളും ഒരേ അടിസ്ഥാന മോഡൽ ഉപയോഗിക്കുന്നു; പരിശീലനം ലഭിച്ച ചെക്ക്‌പോയിന്റുകളൊന്നും താരതമ്യം ചെയ്യുന്നില്ല.

വലിയ 985-ടേൺ ഹെൽഡ്-ഔട്ട് സാമ്പിളിൽ, അതേ അടിസ്ഥാന മോഡൽ ഉപയോഗിച്ച് സൂചനയോടെയും അല്ലാതെയുമുള്ള ഓരോ ടേണും ഞങ്ങൾ നാല് തവണ വീണ്ടും ജനറേറ്റ് ചെയ്യുന്നു. ഓരോ പുനർജനറേഷനും യഥാർത്ഥ പരാജയം ഒഴിവാക്കുന്നുണ്ടോ എന്ന് ഒരു ബ്ലൈൻഡ് ജഡ്ജി വിലയിരുത്തുന്നു. സൂചനകൾ പരാജയം ഒഴിവാക്കൽ 75.1%-ൽ നിന്ന് 93.7% ആയി ഉയർത്തുന്നു, ജോഡിയാക്കിയ നേട്ടം 18.6 ശതമാനമാണ്, കൂടാതെ ശരിയായ നടപടി സ്വീകരിക്കുന്നതിന്റെ പങ്ക് 60.6%-ൽ നിന്ന് 82.3% ആയി വർദ്ധിപ്പിക്കുന്നു. ആവർത്തിച്ചുള്ള സാമ്പിൾ മാത്രം പരിഹരിക്കാൻ പാടുപെടുന്ന പിശകുകളിലാണ് നേട്ടങ്ങൾ ഏറ്റവും ഉയർന്നത്.

985 ഹെൽഡ്-ഔട്ട് മാർക്ക് ചെയ്ത ടൂൾ-പിശക് ടേണുകളിൽ, സൂചനകൾ പരാജയം ഒഴിവാക്കൽ 75.1%-ൽ നിന്ന് 93.7% ആയും തിരുത്തിയ നടപടി നിരക്കുകൾ 60.6%-ൽ നിന്ന് 82.3% ആയും ഉയർത്തുന്നു. — വ്യവസ്ഥയ്ക്ക് നാല് പുനർജനറേഷനുകൾ വീതമുള്ള, 985 ഹെൽഡ്-ഔട്ട് മാർക്ക് ചെയ്ത ടേണുകളിലെ ടൂൾ-പിശക് സൂചന സാധുത പരിശോധന. സൂചനകളോടെയും അല്ലാതെയുമുള്ള, മാറ്റമില്ലാത്ത അടിസ്ഥാന മോഡലിന്റെ പരാജയം ഒഴിവാക്കലും തിരുത്തിയ നടപടി നിരക്കുകളും ബാറുകൾ കാണിക്കുന്നു. ലക്ഷ്യമിട്ട തെറ്റ് ഒഴിവാക്കുന്നത് ടൂൾ-കോൾ അല്ലെങ്കിൽ ടാസ്ക് വിജയം സ്ഥാപിക്കുന്നില്ല.

പിന്നീട്, പരിശീലിത മോഡൽ സൂചനകൾ ലഭിക്കാതെ കുറച്ച് തെറ്റുകൾ ചെയ്യുന്നുണ്ടോ എന്ന് ഞങ്ങൾ പരിശോധിക്കുന്നു. ഓഫ്‌ലൈൻ ബെഞ്ച്മാർക്ക് ടാസ്‌ക്കുകളിലും തത്സമയ ഉപയോക്തൃ സെഷനുകളിലും, സ്റ്റോക്ക് മോഡലിനെയും വിവിധ പോസ്റ്റ്-ട്രെയിൻഡ് ചെക്ക്പോയിന്റുകളെയും ഞങ്ങൾ മൂല്യനിർണയം ചെയ്യുന്നു; ഇതിൽ കുറവ് ടൂൾ പരാജയങ്ങളും കുറഞ്ഞ ഉപയോക്തൃ അസന്തോഷവും പരിശോധിക്കുന്നു.

ഓഫ്‌ലൈൻ മൂല്യനിർണ്ണയത്തിനായി BrowseComp, Finch, WideSearch, DRACO, DSQA, SpreadsheetBench, HLE, ഒരു പ്രതിനിധി Computer ടാസ്ക് സെറ്റ് എന്നിവ ഉപയോഗിക്കുകയും നൈപുണ്യം ലോഡിംഗ്, ഡോക്യുമെന്റ് അവലോകനം, ഇൻലൈൻ സൈറ്റേഷനുകൾ എന്നിവ പരിശോധിക്കുകയും ചെയ്യുന്നു. മൂല്യനിർണ്ണയ പാതകളിൽ ഉടനീളം ഏത് ടൂൾ കോളുകളുടെ ഫലങ്ങളാണ് പിശകുകളായി വ്യക്തമായി ഫ്ലാഗ് ചെയ്യപ്പെട്ടിട്ടുള്ളതെന്ന് ഞങ്ങൾ അളക്കുന്നു.

ഈ മൂല്യനിർണ്ണയങ്ങളിൽ, റെക്കോർഡുചെയ്‌ത ടൂൾ-പിശക് നിരക്ക് സ്റ്റോക്ക് GLM 5.2-ന് 2.79%, RFT-മാത്രമുള്ള ചെക്ക്‌പോയിന്റിന് 1.35%, RFT-plus-OPSD ചെക്ക്‌പോയിന്റിന് 0.87% എന്നിങ്ങനെയായിരുന്നു. ഈ ചെക്ക്‌പോയിന്റുകൾ വ്യത്യസ്ത ഡാറ്റയിലാണ് പരിശീലിപ്പിച്ചത്, അതിനാൽ ഇതൊരു മാച്ച്ഡ്-ഡാറ്റ OPSD അബ്ലേഷൻ അല്ല. ടാസ്ക്-തല ബെഞ്ച്മാർക്ക് ഫലങ്ങൾ സമ്മിശ്രമായിരുന്നു, അതിനാൽ കുറഞ്ഞ ടൂൾ പിശകുകൾ മാത്രം ടാസ്ക് വിജയത്തിൽ വലിയ പുരോഗതിയിലേക്ക് നയിക്കണമെന്നില്ല.

ഓഫ്‌ലൈൻ റെക്കോർഡുചെയ്‌ത ടൂൾ-പിശക് നിരക്കുകൾ: സ്റ്റോക്ക് GLM 5.2-ന് 2.79%, RFT-മാത്രമായി 1.35%, RFT plus OPSD-ന് 0.87%; പരിശീലന ഡാറ്റ വ്യത്യാസപ്പെട്ടിരിക്കുന്നു. — സ്റ്റോക്ക് GLM-5.2, RFT-മാത്രം, RFT-plus-OPSD ചെക്ക്‌പോയിന്റുകൾക്കായുള്ള ഓഫ്‌ലൈൻ ടൂൾ-പിശക് നിരക്കുകൾ. ചെക്ക്‌പോയിന്റുകളിലുടനീളം പരിശീലന ഡാറ്റ വ്യത്യാസപ്പെടുന്നു; ഇതൊരു നിയന്ത്രിത അബ്ലേഷൻ അല്ല.

GLM-5.2-നായി, ഓരോ അവസ്ഥയിലും ഏകദേശം ഒരു ലക്ഷം ഉപയോക്താക്കളെവെച്ച് ഞങ്ങൾ രണ്ട് വെവ്വേറെ A/B ടെസ്റ്റുകൾ നടത്തി. ആദ്യത്തേതിൽ, ഒരു ആദ്യകാല RFT-plus-OPSD ചെക്ക്‌പോയിന്റിന് സ്റ്റോക്ക് GLM 5.2-നേക്കാൾ അൽപ്പം കുറഞ്ഞ ടൂൾ-പരാജയ നിരക്ക് ഉണ്ടായിരുന്നു (2.94% മായി താരതമ്യം ചെയ്യുമ്പോൾ 2.82%), എന്നാൽ വ്യത്യാസം സ്റ്റാറ്റിസ്റ്റിക്കൽ പ്രകാരം കാര്യമായതായിരുന്നില്ല.

പിന്നീടുള്ള പരിശോധനയിൽ, ഞങ്ങൾ രണ്ട് RFT-plus-OPSD ചെക്ക്‌പോയിന്റുകൾ താരതമ്യം ചെയ്തു: നേരത്തെയുള്ള ഒന്ന് (ചെക്ക്‌പോയിന്റ് ഒന്ന്), പിന്നീട് വന്ന ഒന്ന് (ചെക്ക്‌പോയിന്റ് രണ്ട്). റെക്കോർഡുചെയ്‌ത നിലവിലുള്ള കോളുകളിൽ ടൂൾ-കോൾ പരാജയങ്ങൾ 2.24%-ൽ നിന്ന് 1.77% ആയി കുറഞ്ഞു. ഇത് സ്ഥിതിവിവരക്കണക്കുകൾ പ്രകാരം കാര്യമായ 21.2% ആപേക്ഷിക കുറവാണ്. സ്റ്റോക്ക് GLM 5.2 ഓൺലൈനുമായി ഞങ്ങൾ ചെക്ക്‌പോയിന്റ് രണ്ട് നേരിട്ട് താരതമ്യം ചെയ്തിട്ടില്ല.

ഉപയോക്തൃ-ഫീഡ്‌ബാക്ക് ഫലങ്ങൾ അത്ര തീർപ്പുകൽപ്പിക്കുന്നവയായിരുന്നില്ല. രണ്ടാഴ്ചത്തെ GLM-5.2 പരീക്ഷണത്തിൽ, ശക്തമായ അസംതൃപ്തിയുടെ (ഇടത്തരം അല്ലെങ്കിൽ ഉയർന്നത്) ശരാശരി സാധ്യത ചെക്ക്‌പോയിന്റ് ഒന്നിന് 2.58% ഉം ചെക്ക്‌പോയിന്റ് രണ്ടിന് 2.54% ഉം ആയിരുന്നു, സ്റ്റാറ്റിസ്റ്റിക്കൽ പ്രകാരം കാര്യമായ വ്യത്യാസമൊന്നുമില്ല.

രണ്ട് വ്യത്യസ്ത ഓൺലൈൻ A/B പരിശോധനകൾ; പിന്നീടുള്ള ചെക്ക്‌പോയിന്റ് താരതമ്യത്തിൽ മാത്രമേ ടൂൾ-പരാജയം ഗണ്യമായി കുറയുന്നുള്ളൂ, MID+ അതൃപ്തിയിൽ കാര്യമായ മാറ്റമില്ല. — രണ്ട് വെവ്വേറെ GLM-5.2 ലൈവ് A/B ടെസ്റ്റുകൾ. ചെക്ക്‌പോയിന്റ് 1 സ്റ്റോക്ക് GLM-5.2-മായി താരതമ്യം ചെയ്യുന്നു; ചെക്ക്‌പോയിന്റ് 2 ചെക്ക്‌പോയിന്റ് 1-മായി താരതമ്യം ചെയ്യുന്നു. ഈ രണ്ട് ടെസ്റ്റുകളിൽ, പിന്നീടുള്ള ടൂൾ-പരാജയ കുറവ് മാത്രമാണ് സ്റ്റാറ്റിസ്റ്റിക്കൽ പ്രകാരം കാര്യമായുള്ളത്. MID+ നിരക്കുകൾ പരാതികളുടെ എണ്ണമല്ല, മറിച്ച് ഇടത്തരം അല്ലെങ്കിൽ ഉയർന്ന അസംതൃപ്തിയുടെ ശരാശരി കണക്കാക്കിയ സാധ്യതകളെയാണ് സൂചിപ്പിക്കുന്നത്.

GLM-5.3-നായി, ഞങ്ങൾ ഒരു പോസ്റ്റ്-ട്രെയിൻഡ് ചെക്ക്പോയിന്റ് സ്റ്റോക്ക് GLM-5.3-മായി നേരിട്ട് താരതമ്യം ചെയ്തു. റെക്കോർഡ് ചെയ്ത സ്റ്റാറ്റസ് ഉള്ള കോളുകളിൽ ടൂൾ-കോൾ പരാജയങ്ങൾ 3.56%-ൽ നിന്ന് 2.38% ആയി കുറഞ്ഞു, ഇത് 33.04%-ന്റെ ആപേക്ഷിക കുറവാണ്. ഇടത്തരം അല്ലെങ്കിൽ ഉയർന്ന അസംതൃപ്തിയുടെ ശരാശരി കണക്കാക്കിയ സാധ്യതയായ MID+ നിരക്ക് 4.12%-ൽ നിന്ന് 3.41% ആയി കുറഞ്ഞു, ഇത് 17.2%-ന്റെ ആപേക്ഷിക കുറവാണ്. രണ്ട് കുറവുകളും സ്ഥിതിവിവരക്കണക്കപരമായി പ്രധാനപ്പെട്ടവയാണ്.

GLM-5.3 A/B ടെസ്റ്റ്: ടൂൾ പരാജയ നിരക്ക് 3.56%-ൽ നിന്ന് 2.38% ആയി കുറയുന്നു, കൂടാതെ ഇടത്തരം അല്ലെങ്കിൽ ഉയർന്ന അസംതൃപ്തിയുടെ ശരാശരി കണക്കാക്കിയ സാധ്യതയായ MID+ നിരക്ക് 4.12%-ൽ നിന്ന് 3.41% ആയി കുറയുന്നു. CUPED-സർവ്വീസുകൾ ക്രമീകരിച്ച ആപേക്ഷിക കുറവുകൾ യഥാക്രമം 33.04%, 17.16% ആണ്. രണ്ട് 95% സീക്വൻഷ്യൽ ഇടവേളകളും പൂജ്യത്തെ ഒഴിവാക്കുന്നു; പ്രാഥമിക എൻഗേജ്മെന്റ് മെട്രിക് പ്രധാനപ്പെട്ടതല്ല. — ഒരു പ്രത്യേക ഓൺലൈൻ A/B പരിശോധനയിൽ സ്റ്റോക്ക് GLM-5.3-ന് എതിരെയുള്ള പോസ്റ്റ്-ട്രെയിൻഡ് GLM-5.3. ടൂൾ-പരാജയവും MID+ നിരക്കുകളും, ആപേക്ഷിക മാറ്റങ്ങളും, 95% സീക്വൻഷ്യൽ ആത്മവിശ്വാസ ഇടവേളകളും CUPED ക്രമീകരണം ഉപയോഗിക്കുന്നു. രണ്ട് കുറവുകളും സ്ഥിതിവിവരക്കണക്കപരമായി പ്രധാനപ്പെട്ടവയാണ്. പരാതികളുടെ എണ്ണമല്ല, അർഹതയുള്ള സ്കോർ ചെയ്ത ഫോളോ-അപ്പ് ത്രെഡുകളിലെ ഇടത്തരം അല്ലെങ്കിൽ ഉയർന്ന അസംതൃപ്തിയുടെ ശരാശരി കണക്കാക്കിയ സാധ്യതകളാണ് MID+ നിരക്കുകൾ. റെക്കോർഡ് ചെയ്ത വിജയമോ പരാജയമോ സ്റ്റാറ്റസ് ഇല്ലാത്ത കോളുകളെ ടൂൾ-പരാജയ നിരക്കുകൾ ഒഴിവാക്കുന്നു.

സെഷൻ തലത്തിൽ മാത്രമല്ല, തീരുമാനത്തിന്റെ തലത്തിൽ പഠിക്കുക എന്നതാണ് കേന്ദ്ര ആശയം.

വിജയകരമായ ഒരു ഫലത്തിന് തെറ്റുകൾ മറയ്ക്കാൻ കഴിയും, കൂടാതെ വിജയകരമല്ലാത്ത ഒരു സെഷന് എങ്ങനെ മെച്ചപ്പെടുത്തണമെന്ന് വെളിപ്പെടുത്താനും കഴിയും. വിജയകരമായ സെഷനുകളിൽ നിന്നുള്ള ഉപയോഗപ്രദമായ പെരുമാറ്റം ഞങ്ങൾ ഒരു ആങ്കറായി സൂക്ഷിക്കുന്നു, ഒഴിവാക്കാവുന്ന പരാജയങ്ങൾ തിരിച്ചറിയാൻ പരാതികളും ടൂൾ പിശകുകളും ഉപയോഗിക്കുന്നു, കൂടാതെ ആ തെറ്റുകളും തിരുത്തലുകളും വ്യക്തമാക്കുമ്പോൾ അത് നടത്തുന്ന പ്രവചനങ്ങൾ ലക്ഷ്യമാക്കി മോഡലിനെ പരിശീലിപ്പിക്കുന്നു. വിജയം സംരക്ഷിക്കാനുള്ള പെരുമാറ്റം നൽകുന്നു; പരാജയം മെച്ചപ്പെടുത്തുന്നതിനുള്ള ദിശ നൽകുന്നു.

യഥാർത്ഥ ലോക ഉപയോഗം ഈ സമീപനത്തെ പ്രത്യേകിച്ച് ഉപയോഗപ്രദമാക്കുന്നു. സിന്തറ്റിക് എൻവയോൺമെന്റിൽ മുൻകൂട്ടി കാണാൻ പ്രയാസമുള്ള ലക്ഷ്യങ്ങളും പരിമിതികളും വർക്ക്‌ഫ്ലോകളും യഥാർത്ഥ ഉപയോക്താക്കൾ കൊണ്ടുവരുന്നു. അവരുടെ തിരുത്തലുകൾ മോഡലിന് നഷ്ടമായ ആവശ്യകതകൾ വെളിപ്പെടുത്തുന്നു, അതേസമയം മോഡൽ ശ്രമിച്ചതും പരിസ്ഥിതി അനുവദിക്കുന്നതും തമ്മിലുള്ള അന്തരം ടൂൾ പിശകുകൾ തുറന്നുകാട്ടുന്നു. ഈ സിഗ്നലുകൾ ഔട്ട്‌കം-അധിഷ്ഠിത പരിശീലനത്തെ പൂരകമാക്കുന്നു: ഒരു ടാസ്ക് വിജയിച്ചോ എന്ന് മാത്രം ചോചിക്കുന്നതിന് പകരം, മോഡലിന് എവിടെയാണ് തെറ്റ് പറ്റിയതെന്നും മികച്ച തീരുമാനം എടുക്കാൻ ഏത് വിവരമാണ് സഹായിക്കാമായിരുന്നതെന്നും നമുക്ക് ചോദിക്കാം.

പരിധികളും അതുപോലെ തന്നെ പ്രധാനമാണ്. ജഡ്ജിമാർക്ക് തെറ്റായിരിക്കാം, ഒരു തിരുത്തൽ ഒരൊറ്റ പടി ശരിയാക്കുന്നതു കൊണ്ട് മുഴുവൻ ജോലി വിജയിക്കും എന്നുറപ്പ് ലഭിക്കില്ല. ലക്ഷ്യം, തിരുത്തലിന് ശേഷം മാത്രം വീണ്ടെടുക്കുന്ന ഒരു ഏജന്റ് മാത്രമല്ല. തിരുത്തൽ കുറച്ച് മാത്രം ആവശ്യമുള്ള ഒരു ഏജന്റാണ് അത്.

BibTeX

@online{perplexity2026LearningFromRealWorldExperience,
  author = {{Perplexity} and Senzeyu Zhang and Chuan Wang and Hang Wu and Hao Zhang and Yuan Liang and Yunfan Zhong and Phi Hoang and Claire Beamer and Jeremy Yang and Andrew Wilson and Denis Yarats},
  title = {{Learning from real-world experience}},
  date = {2026-09-21},
  url = {https://www.perplexity.ai/hub/blog/learning-from-real-world-experience}
}

സിന്തറ്റിക് ഡാറ്റയിൽ നിന്ന് യഥാർത്ഥ ലോക ഡാറ്റയിലേക്ക്

നല്ല ഘട്ടങ്ങൾ അനുകരിക്കുക, മോശമായവ തിരുത്തുക

ഒരു ഉദാഹരണം: ഒരു സെഷന് രണ്ട് പാഠങ്ങളും പഠിപ്പിക്കാൻ കഴിയും

പരിശീലനം എങ്ങനെ പ്രവർത്തിക്കുന്നു

സെഷനുകൾ തിരഞ്ഞെടുക്കുക, തുടർന്ന് ഫലം വിലയിരുത്തുക

ഉപയോക്തൃ ഫീഡ്‌ബാക്കിൽ നിന്ന് തെറ്റുകൾ കണ്ടെത്തുക

ടൂൾ പിശകുകളിൽ നിന്ന് തെറ്റുകൾ കണ്ടെത്തുക

രണ്ട് ഫോർവേഡ് പാസുകൾ

ലോസ് ഫങ്ഷൻ

CE ലോസ്

KL ലോസ്

സംയോജിത ലോസ്

മൂല്യനിർണ്ണയങ്ങൾ എന്താണ് കാണിക്കുന്നത്

തെറ്റുകളിൽ നിന്ന് മോഡലിനെ വ്യതിചലിപ്പിക്കാൻ സൂചനകൾക്ക് കഴിയും

ഉപയോക്തൃ ഫീഡ്‌ബാക്ക്

ടൂൾ പിശകുകൾ

പരിശീലനത്തിന് ശേഷമുള്ള ടൂൾ വിശ്വാസ്യതയും ഉപയോക്തൃ ഫീഡ്‌ബാക്കും

ഓഫ്‌ലൈൻ മൂല്യനിർണ്ണയം

ഓൺലൈൻ മൂല്യനിർണ്ണയം: GLM-5.2

ഓൺലൈൻ മൂല്യനിർണ്ണയം: GLM-5.3

ഉപസംഹാരം

ഉദ്ധരണി