AI ഏജന്റുകളെ എങ്ങനെ വിലയിരുത്താം: ടെസ്റ്റ് സെറ്റുകൾ, ഗ്രേഡറുകൾ, റിഗ്രഷൻ പരിശോധനകൾ

മികച്ച ഓരോ AI ഉൽപ്പന്നത്തിനും പിന്നിൽ, പിശകുകൾ നേരത്തേ കണ്ടെത്തുകയും ഏജന്റിന്റെ ശരിയായ പ്രവർത്തനം ഉറപ്പാക്കുകയും ചെയ്യുന്ന ശക്തമായ ഒരു AI ഏജന്റ് മൂല്യനിർണ്ണയ പ്രക്രിയയുണ്ട്; ഇവാൽസ് (evals) എന്നാണ് ഇത് അറിയപ്പെടുന്നത്. മറ്റൊരാൾക്കുവേണ്ടി റീഫണ്ടുകൾ നൽകുന്നതുപോലുള്ള ഉയർന്ന അപകടസാധ്യതയുള്ള പ്രവർത്തനങ്ങൾ നിർവഹിക്കുന്ന AI ഏജന്റുകൾക്ക് ഇവാൽസ് നിർണ്ണായകമാണ്.

ആ പ്രക്രിയ കെട്ടിപ്പടുക്കാൻ കുറച്ച് സാങ്കേതിക പരിജ്ഞാനവും ഡാറ്റ വിശകലന വൈദഗ്ധ്യവും ആവശ്യമാണ്. എന്നാൽ കേൾക്കുമ്പോൾ തോന്നുന്നത്ര ഭയപ്പെടുത്തുന്നതോ സമീപിക്കാൻ പ്രയാസമുള്ളതോ അല്ല അത്. തുടങ്ങാൻ നിങ്ങളെ സഹായിക്കുന്നതിനായി, AI ഏജന്റുകളെ വിലയിരുത്തുന്നതിനുള്ള ആറ് പ്രായോഗിക ഘട്ടങ്ങളും ഈ പ്രക്രിയയെ തകിടം മറിക്കുന്ന പൊതുവായ തെറ്റിദ്ധാരണകളും ഞങ്ങൾ ഇവിടെ വിവരിച്ചിട്ടുണ്ട്.

ഒരു AI ഏജന്റിനെ വിലയിരുത്തുക എന്നതിന്റെ അർത്ഥമെന്താണ്?

ഒരു AI ഏജന്റിനെ വിലയിരുത്തുക എന്നാൽ, ടാസ്‌ക്കുകൾ ശരിയായി പൂർത്തിയാക്കുന്നതിലെ അതിന്റെ പ്രകടനവും അതിന്റെ തീരുമാനങ്ങൾ സ്ഥാപനത്തിന്റെ ആവശ്യകതകൾ നിറവേറ്റുന്നുണ്ടോ എന്നതും വിലയിരുത്തുക എന്നാണ്. പ്രായോഗികമായി പറഞ്ഞാൽ, AI ഏജന്റ് മൂല്യനിർണ്ണയങ്ങൾ, അഥവാ ഇവാൽസ്, ഏജന്റ് അതിന്റെ ഉദ്ദേശിച്ച റോളിന് ആവശ്യമായത്ര വിശ്വസനീയമായി പ്രവർത്തിക്കുന്നുണ്ടോ എന്ന് നിർണ്ണയിക്കാൻ സ്ഥാപനങ്ങളെ സഹായിക്കുന്ന നിർദ്ദിഷ്ട മെട്രിക്കുകളാണ്.

സ്പെയർ പാർട്സ് ഇൻവെന്ററി പരിശോധിക്കുകയും സ്റ്റോക്ക് നിറയ്ക്കാനുള്ള അഭ്യർത്ഥനകൾ തയ്യാറാക്കുകയും ചെയ്യുന്ന, ഒരു നിർമ്മാണ പ്ലാന്റിലെ AI പർച്ചേസിംഗ് ഏജന്റിനെക്കുറിച്ച് ചിന്തിക്കുക. അംഗീകൃതമായ ഒരു പാർട്ട് ലഭ്യമല്ലെങ്കിലോ വിതരണക്കാരന്റെ വിവരങ്ങൾ കാലഹരണപ്പെട്ടതാണെങ്കിലോ, ഏജന്റ് ആ പ്രശ്നം ചൂണ്ടിക്കാണിക്കുമോ, അതോ അംഗീകാരമില്ലാത്ത ഒരു പകരം പാർട്ട് ശുപാർശ ചെയ്യുമോ?

ഇനി, ആ പ്രശ്നം പരിഹരിക്കാൻ നിങ്ങൾ അതിന്റെ സിസ്റ്റം പ്രോംപ്റ്റ് മാറ്റിയാൽ, പുതിയ മറ്റൊരു പ്രശ്നം അതുവഴി ഉണ്ടായിട്ടില്ലെന്ന് നിങ്ങൾ എങ്ങനെ അറിയും?

മൂല്യനിർണ്ണയം ഇല്ലെങ്കിൽ, പ്രോഡക്റ്റ് മാനേജർമാർക്ക് ഫലത്തിൽ ഊഹിക്കുകയല്ലാതെ മറ്റു വഴിയില്ല. അതിനാൽ, പ്രകടനം അളക്കാനും ആവർത്തിച്ചുണ്ടാകുന്ന പ്രശ്നങ്ങൾ കണ്ടെത്താനും കൂടുതൽ ആത്മവിശ്വാസത്തോടെ മാറ്റങ്ങൾ പരീക്ഷിക്കാനും സഹായിക്കുന്ന ഒരു ഫീഡ്‌ബാക്ക് സിഗ്നൽ ഇവാൽസ് നൽകുന്നു.

അങ്ങനെ നോക്കുമ്പോൾ, ഒരു ഏജന്റ് മൂല്യനിർണ്ണയത്തിന് ഒരു റണ്ണിന്റെ പല വശങ്ങളും പരിശോധിക്കാനാകും:

• അന്തിമ ഫലത്തിന്റെ ഗുണനിലവാരം
• ഏജന്റ് ഉപയോഗിച്ച വിവരങ്ങൾ
• അത് കോൾ ചെയ്ത ടൂളുകൾ
• അതിന്റെ പെരുമാറ്റം നിയന്ത്രിക്കുന്ന നിയമങ്ങൾ അത് പാലിച്ചോ എന്നത്

പൊതുവായ AI ഏജന്റ് മൂല്യനിർണ്ണയ മെട്രിക്കുകൾ

ഇവാൽസ് ഗുണാത്മകവും പരിമാണാത്മകവുമായ ഡാറ്റയിൽ പ്രവർത്തിക്കുന്നു. ഏജന്റിന്റെ തീരുമാനങ്ങൾ നേരിട്ട് അവലോകനം ചെയ്യുന്നത് ഉൾപ്പെടെ, എന്താണ് സംഭവിക്കുന്നതെന്നും എന്തുകൊണ്ടാണെന്നും മനസ്സിലാക്കാൻ ഗുണാത്മക മൂല്യനിർണ്ണയം നിങ്ങളെ സഹായിക്കുന്നു. നിർദ്ദിഷ്ട പരാജയ രീതികൾ എത്ര തവണ സംഭവിക്കുന്നു എന്ന് എണ്ണുകയോ ടാസ്‌ക് വിജയ നിരക്കുകൾ കണക്കാക്കുകയോ ചെയ്യുന്നതുപോലെ, ആ നിരീക്ഷണങ്ങളെ പരിമാണാത്മക മൂല്യനിർണ്ണയം അളക്കാവുന്ന സിഗ്നലുകളാക്കി മാറ്റുന്നു.

അടിസ്ഥാനപരമായ AI ഏജന്റ് മൂല്യനിർണ്ണയ മെട്രിക്കുകളുടെ പട്ടിക ഇതാ:

• ടാസ്‌ക് വിജയം ഏജന്റ് ഉദ്ദേശിച്ച ഫലം കൈവരിച്ചോ എന്ന് അളക്കുന്നു; സാധുവായ ഫലങ്ങൾ നൽകുന്ന റണ്ണുകളുടെ ശതമാനത്തിലാണ് സാധാരണയായി ഇത് അളക്കുന്നത്.
• പ്രവർത്തന കൃത്യത ഏജന്റ് ടൂളുകൾ ഉചിതമായി ഉപയോഗിച്ചോ, സാധുവായ ആർഗ്യുമെന്റുകൾ തിരഞ്ഞെടുത്തോ, അനുമതികൾ മാനിച്ചോ എന്ന് അളക്കുന്നു.
• ഉത്തരത്തിന്റെ ഗുണനിലവാരം അന്തിമ ഔട്ട്‌പുട്ട് കൃത്യവും സമ്പൂർണ്ണവും ഉപയോഗപ്രദവുമാണോ എന്ന് വിലയിരുത്തുന്നു. വസ്തുതാപരമായ കൃത്യത, നിർദ്ദേശങ്ങൾ പാലിക്കൽ, ലഭ്യമായ വിവരങ്ങൾ ഉപയോഗിച്ച് ഏജന്റ് അതിന്റെ തീരുമാനങ്ങളെ സാധൂകരിക്കുന്നുണ്ടോ എന്നിവ ഇതിൽ ഉൾപ്പെടാം.
• വിശ്വാസ്യത ആവർത്തിച്ചുള്ള ട്രയലുകൾ, വ്യത്യസ്ത ഇൻപുട്ടുകൾ, എഡ്ജ് കേസുകൾ എന്നിവയിലുടനീളമുള്ള സ്ഥിരത അളക്കുന്നു.
• ചെലവും ലേറ്റൻസിയും ഒരു വിജയകരമായ ഫലം കൈവരിക്കാൻ ആവശ്യമായ വിഭവങ്ങൾ അളക്കുന്നു; എക്സിക്യൂഷൻ സമയം, ടോക്കൺ ഉപഭോഗം, ടൂൾ കോളുകൾ എന്നിവ ഇതിൽ ഉൾപ്പെടുന്നു.

നിങ്ങൾ എന്താണ് അളക്കുന്നത് എന്നതിനെ ആശ്രയിച്ച്, ഇവാൽസിന് ഒരു ഏജന്റിന്റെ എൻഡ്-ടു-എൻഡ് പ്രകടനമോ, അതിന്റെ പ്രവർത്തന പാതയോ (execution trajectory), അല്ലെങ്കിൽ ടൂൾ കോളുകൾ, റിട്രീവൽ ഘട്ടങ്ങൾ പോലുള്ള വ്യക്തിഗത ഘടകങ്ങളോ വിലയിരുത്താനാകും.

ഘട്ടം 1: വിജയകരമായ ഒരു ഏജന്റ് റൺ എങ്ങനെയായിരിക്കണമെന്ന് തീരുമാനിക്കുക

ആദ്യം, ഏജന്റ് എന്താണ് നിർവഹിക്കേണ്ടതെന്ന് — അതായത് പ്രോഡക്റ്റ് ആവശ്യകതകൾ — വ്യക്തമായി വിവരിക്കുക. ഇത് സ്വയം വ്യക്തമാണെന്ന് തോന്നാമെങ്കിലും, അതിശയിപ്പിക്കുംവിധം ബുദ്ധിമുട്ടുള്ളതാകാം. ഇതിന് ഒരു പേരുപോലുമുണ്ട്: സ്പെസിഫിക്കേഷൻ ഗ്യാപ്പ്.

ഞങ്ങളുടെ സീനിയർ ഡാറ്റ സയന്റിസ്റ്റായ Andrey Khomutov പറയുന്നതനുസരിച്ച്, ഇതിനെ സമീപിക്കേണ്ടത് ഇങ്ങനെയാണ്:

“രണ്ട് ചോദ്യങ്ങളിൽ നിന്ന് തുടങ്ങുക: “ജോലി പൂർത്തിയാക്കി എന്ന് കണക്കാക്കാൻ എന്താണ് വേണ്ടത്?”, കൂടാതെ “വിജയകരമെന്ന് തോന്നുന്ന ഒരു റണ്ണിനെ അസ്വീകാര്യമാക്കുന്നത് എന്താണ്?”

സാങ്കേതിക കാഴ്ചപ്പാടിൽ, ഏജന്റുകളുടെ കാര്യത്തിൽ അതിനർത്ഥം ഫലവും ഏജന്റുകൾ അവിടെ എങ്ങനെ എത്തി എന്നതും ഒരുപോലെ പരിശോധിക്കുക എന്നാണ്.”

ചോർന്നുകിട്ടിയ ഒരു ഉത്തരസൂചിക ഉപയോഗിച്ച് ഒരു ഏജന്റ് ശരിയായ ഉത്തരം നൽകിയേക്കാം, അല്ലെങ്കിൽ ടാസ്‌ക് പൂർത്തിയാക്കുന്നതിനിടെ അനധികൃത പ്രവർത്തനങ്ങൾ നടത്തിയേക്കാം. അന്തിമ ഉത്തരം മാത്രം നോക്കി വിലയിരുത്താതിരിക്കാനുള്ള വ്യക്തമായ കാരണങ്ങളാണ് ഉത്തര ചോർച്ചയും മൂല്യനിർണ്ണയത്തിനിടയിലെ സുരക്ഷിതമല്ലാത്ത പ്രവർത്തനങ്ങളും എന്ന് Khomutov ചൂണ്ടിക്കാട്ടുന്നു.

“ഫലം സംശയാസ്പദമായി തോന്നുമ്പോൾ മാത്രം ചെയ്യുന്ന ഒന്നായിട്ടല്ല, മറിച്ച് ഏജന്റ് ഇവാൽ സ്യൂട്ടുകളുടെ ഒരു സ്റ്റാൻഡേർഡ് ഭാഗമായി പ്രവർത്തന പാത പരിശോധന മാറുമെന്ന് ഞാൻ പ്രതീക്ഷിക്കുന്നു,” അദ്ദേഹം കൂട്ടിച്ചേർക്കുന്നു.

തുടർന്ന്, നിങ്ങളുടെ വിജയ മാനദണ്ഡങ്ങൾ സാധൂകരിക്കാൻ ഒരു ഡൊമെയ്ൻ വിദഗ്ദ്ധനെ ഉൾപ്പെടുത്തുക. ഒരു AI ഏജന്റിനായി നമ്മൾ നിശ്ചയിക്കുന്ന വ്യവസ്ഥകൾ വിജയകരമായ ഒരു ഫലത്തെ പ്രതിഫലിപ്പിക്കുന്നുണ്ടോ എന്ന് ആ മേഖലയിൽ പ്രായോഗിക പരിജ്ഞാനമുള്ളവർക്ക് പറയാൻ കഴിയും.

ഘട്ടം 2. യഥാർത്ഥ ടാസ്‌ക്കുകളിൽ നിന്നും പരാജയങ്ങളിൽ നിന്നും ഒരു ടെസ്റ്റ് സെറ്റ് നിർമ്മിക്കുക

മികച്ചതും മോശവുമായ പ്രകടനം എങ്ങനെയിരിക്കുമെന്ന് മനസ്സിലാക്കാൻ ഏജന്റിന്റെ യഥാർത്ഥ പെരുമാറ്റം പരിശോധിക്കുക. എന്ത് തെറ്റ് സംഭവിച്ചേക്കാം എന്ന നിങ്ങളുടെ ഊഹത്തെ മാത്രം അടിസ്ഥാനമാക്കി ഡസൻ കണക്കിന് ടെസ്റ്റുകൾ സൃഷ്ടിച്ചുകൊണ്ട് തുടങ്ങാനുള്ള പ്രലോഭനത്തെ ചെറുക്കുക.

Parlance Lab-ലെ ML എഞ്ചിനീയറായ Hamel Husain, ML സിസ്റ്റംസ്, അപ്ലൈഡ് AI ഇവാൽസ് ഗവേഷകയായ Shreya Shankar എന്നിവർ ശുപാർശ ചെയ്യുന്നത്, മെഷീൻ ലേണിംഗിൽ നിന്നും ഡാറ്റ സയൻസിൽ നിന്നും കടമെടുത്ത ഒരു സാങ്കേതികതയായ പിശക് വിശകലനം ഉപയോഗിച്ച് തുടങ്ങാനാണ്. ഏജന്റിന്റെ എക്സിക്യൂഷൻ ട്രേസുകളുടെ ഗുണാത്മക വിശകലനത്തോടെയാണ് ഈ പ്രക്രിയ ആരംഭിക്കുന്നത് — ഉപയോക്താവിന്റെ ഇൻപുട്ട്, ടൂൾ കോളുകൾ, വീണ്ടെടുത്ത വിവരങ്ങൾ, ഏജന്റിന്റെ ഔട്ട്‌പുട്ട് എന്നിവ കാണിക്കുന്ന രേഖകളാണ് ഇവ.

1. ഓരോ ട്രേസും അവലോകനം ചെയ്ത് പിശകുകൾ രേഖപ്പെടുത്തുക (ഓപ്പൺ കോഡിംഗ്). ഏജന്റ് റണ്ണുകൾ പരിശോധിച്ച് എന്താണ് തെറ്റിയതെന്നതിനെക്കുറിച്ച് ചെറിയ നിരീക്ഷണങ്ങൾ എഴുതാൻ ഒരു ഡൊമെയ്ൻ വിദഗ്ദ്ധനെ ചുമതലപ്പെടുത്തുക. ആദ്യത്തെ അർത്ഥവത്തായ പിശകിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുക.
2. നിരീക്ഷണങ്ങളെ പരാജയ രീതികളായി ഗ്രൂപ്പ് ചെയ്യുക (ആക്സിയൽ കോഡിംഗ്). ആവശ്യത്തിന് കുറിപ്പുകൾ ലഭിച്ചുകഴിഞ്ഞാൽ, സമാനമായ പിശകുകൾക്ക് വിഭാഗങ്ങൾ നിർദ്ദേശിക്കാൻ ഒരു LLM ഉപയോഗിക്കുക. പൊരുത്തമില്ലാത്ത പാർട്ട് ശുപാർശകൾ, കൃത്യമല്ലാത്ത ഇൻവെന്ററി വീണ്ടെടുക്കൽ, മനുഷ്യരിലേക്കുള്ള പരാജയപ്പെട്ട കൈമാറ്റങ്ങൾ എന്നിവ ഇവയിൽ ഉൾപ്പെട്ടേക്കാം.
3. എണ്ണം കണക്കാക്കുക. ഓരോ നിരീക്ഷണത്തെയും ഒരു വിഭാഗത്തിലേക്ക് നിയോഗിക്കുക, തുടർന്ന് ഓരോ പരാജയ രീതിയും എത്ര തവണ പ്രത്യക്ഷപ്പെടുന്നു എന്ന് കണക്കാക്കാൻ ഒരു സ്പ്രെഡ്ഷീറ്റോ പിവറ്റ് ടേബിളോ ഉപയോഗിക്കുക.
4. എന്ത് പരിഹരിക്കണമെന്നതിന് മുൻഗണന നിശ്ചയിക്കുക; ആവൃത്തിയും ഗൗരവവും ഒരുപോലെ പരിഗണിക്കുക.
5. പ്രധാനപ്പെട്ട പരാജയങ്ങളെ ടെസ്റ്റ് കേസുകളാക്കി മാറ്റുക. ഇതേ സാഹചര്യത്തിൽ ഏജന്റിനെ വീണ്ടും പരീക്ഷിക്കാൻ കഴിയുന്ന തരത്തിൽ, പ്രസക്തമായ ഇൻപുട്ട്, പ്രാരംഭ വ്യവസ്ഥകൾ, പ്രതീക്ഷിക്കുന്ന ഫലം, ഗ്രേഡിംഗ് മാനദണ്ഡങ്ങൾ എന്നിവ സേവ് ചെയ്യുക.

എത്ര ട്രേസുകൾ നിങ്ങൾ പരിശോധിക്കണം? ഏകദേശം 100, എന്നാൽ കൃത്യമായ ഒരു മാന്ത്രിക സംഖ്യയില്ല. സൈദ്ധാന്തിക പൂരിതാവസ്ഥയിൽ (theoretical saturation) എത്തിയാൽ നേരത്തേ നിർത്തുക: കൂടുതൽ ട്രേസുകൾ അവലോകനം ചെയ്യുമ്പോൾ അർത്ഥവത്തായ പുതിയ പരാജയ പാറ്റേണുകളൊന്നും വെളിപ്പെടാത്ത ഘട്ടമാണിത്.

ആപ്ലിക്കേഷൻ ഇതുവരെ ലോഞ്ച് ചെയ്തിട്ടില്ലേ? ഒരു പ്രാരംഭ ടെസ്റ്റ് സെറ്റ് നിർമ്മിക്കാൻ സിന്തറ്റിക് ഉദാഹരണങ്ങൾ സഹായിക്കും, എന്നാൽ യഥാർത്ഥ ഉപയോക്തൃ ഡാറ്റ ലഭ്യമായാലുടൻ അത് ടെസ്റ്റ് സെറ്റിനെ രൂപപ്പെടുത്തണം.

AI ഏജന്റ് മൂല്യനിർണ്ണയത്തിൽ ബെഞ്ച്മാർക്കുകളുടെ ഉപയോഗം

സ്വന്തമായി ടെസ്റ്റ് കേസുകൾ സൃഷ്ടിക്കുന്നതിനു പുറമെ, ഏജന്റിന്റെ കഴിവുകൾ വിലയിരുത്താൻ ബെഞ്ച്മാർക്കുകൾ എന്നറിയപ്പെടുന്ന, സ്റ്റാൻഡേർഡ് മൂല്യനിർണ്ണയ ടാസ്‌ക്കുകളുടെ നിലവിലുള്ള ശേഖരങ്ങളും നിങ്ങൾക്ക് ഉപയോഗിക്കാം.

എന്നാൽ ബെഞ്ച്മാർക്കുകൾ പിഴവില്ലാത്തവയല്ല. പിഴവുള്ള ടാസ്‌ക്കുകളോ പ്രതീക്ഷിക്കുന്ന ഉത്തരങ്ങളോ മൂല്യനിർണ്ണയ ഫലങ്ങളെ എങ്ങനെ വികലമാക്കാമെന്ന് SWE-bench ഓഡിറ്റുകൾ, Epoch AI-യുടെ ബെഞ്ച്മാർക്ക് അവലോകനങ്ങൾ, TheoPhysEval-ൽ തുടക്കത്തിൽ നിരസിക്കപ്പെട്ട ശരിയായ ഉത്തരങ്ങൾ എന്നിവ വ്യക്തമാക്കുന്നു.

Khomutov നിർദ്ദേശിക്കുന്നതുപോലെ, നിങ്ങളുടെ മേഖലയ്ക്ക് പ്രസക്തമായ ഏറ്റവും പുതിയ ബെഞ്ച്മാർക്കുകൾ തിരഞ്ഞെടുക്കുക; സ്കോറുകളെ ഏജന്റ് പ്രകടനത്തിന്റെ വിശ്വസനീയമായ തെളിവായി കണക്കാക്കുന്നതിനു മുമ്പ്, അപ്രതീക്ഷിതമായ വിജയങ്ങളും പരാജയങ്ങളും അന്വേഷിക്കുകയും ചെയ്യുക.

ഘട്ടം 3. ആവർത്തിക്കാവുന്ന ഒരു ടെസ്റ്റ് എൻവയോൺമെന്റിൽ ഏജന്റിനെ റൺ ചെയ്യുക

ഒരേ ടെസ്റ്റ് കേസുകളിൽ, ഒരേ പ്രാരംഭ വ്യവസ്ഥകളിൽ ഒരു AI ഏജന്റിനെ റൺ ചെയ്ത് ഫലങ്ങൾ താരതമ്യം ചെയ്യാൻ കഴിയുന്ന നിയന്ത്രിതമായ ഒരു സജ്ജീകരണമാണ് ആവർത്തിക്കാവുന്ന ടെസ്റ്റ് എൻവയോൺമെന്റ്. ടെസ്റ്റ് കേസുകളുടെ ഒരു ഫോൾഡർ, ഏജന്റിനെ റൺ ചെയ്യുന്ന ഒരു Python സ്ക്രിപ്റ്റ്, അല്ലെങ്കിൽ ഫലങ്ങൾ വിലയിരുത്തുന്ന ഒരു കൂട്ടം പരിശോധനകൾ എന്നിവ ഇതിൽ ഉൾപ്പെടുന്നു.

പ്രാതിനിധ്യ സ്വഭാവമുള്ള ഇൻപുട്ടുകൾ JSON ഫയലുകളായി സംഭരിച്ച്, നിങ്ങളുടെ ഏജന്റിന്റെ വർക്ക്ഫ്ലോ എക്സിക്യൂട്ട് ചെയ്യാനും അസേർഷനുകൾ ഉപയോഗിച്ച് അതിന്റെ ഔട്ട്‌പുട്ടുകൾ പരിശോധിക്കാനും ഒരു Python സ്ക്രിപ്റ്റ് ഉപയോഗിച്ചുകൊണ്ട് നിങ്ങൾക്ക് തുടങ്ങാം. ഞങ്ങളുടെ നിർമ്മാണ പ്ലാന്റിലെ ഇൻവെന്ററി ഏജന്റിനായി, ആവർത്തിക്കാവുന്ന ഒരു ടെസ്റ്റ് എൻവയോൺമെന്റ് ഇങ്ങനെയായിരിക്കാം:

വലുതാക്കുക

ആവർത്തിക്കാവുന്ന ഒരു ടെസ്റ്റ് എൻവയോൺമെന്റ് സജ്ജീകരിക്കാൻ, ഈ ഘട്ടങ്ങൾ പിന്തുടരുക:

1. പ്രാതിനിധ്യ സ്വഭാവമുള്ള ഇൻപുട്ടുകൾ സേവ് ചെയ്യുക. പ്രൊഡക്ഷനിൽ നിങ്ങളുടെ ആപ്ലിക്കേഷന് ലഭിക്കുന്ന അതേ ഘടനയിൽ യഥാർത്ഥ ഇവന്റുകളോ ടെസ്റ്റ് കേസുകളോ സംഭരിക്കുക. ഞങ്ങളുടെ സാഹചര്യത്തിൽ, മെഷീൻ ID, ആവശ്യമായ സ്പെയർ പാർട്ട്, മെയിന്റനൻസ് തീയതി എന്നിവ അടങ്ങിയ ഒരു മെയിന്റനൻസ് അഭ്യർത്ഥന, ഇൻവെന്ററിയുടെയും അംഗീകൃത പാർട്ടുകളുടെ ഡാറ്റയുടെയും ഒരു സ്നാപ്പ്ഷോട്ടിനൊപ്പം JSON ഫയലായി നിങ്ങൾ സേവ് ചെയ്യും.
2. വർക്ക്ഫ്ലോ എക്സിക്യൂട്ട് ചെയ്യുക. റിട്രീവൽ ഘട്ടങ്ങൾ, ടൂൾ കോളുകൾ, പ്രതികരണം സൃഷ്ടിക്കൽ എന്നിവ ഉൾപ്പെടെ, ഓരോ ഇൻപുട്ടും ഏജന്റിലൂടെ റൺ ചെയ്യുക.
3. ഫലവും ട്രേസും രേഖപ്പെടുത്തുക. ഏജന്റ് പരാജയപ്പെട്ടോ എന്നു മാത്രമല്ല, എവിടെയാണ് പരാജയപ്പെട്ടതെന്നും കാണാൻ കഴിയുന്ന തരത്തിൽ, അന്തിമ ഔട്ട്‌പുട്ടും പ്രസക്തമായ ഇടക്കാല പ്രവർത്തനങ്ങളും (ഇൻവെന്ററി ലുക്കപ്പുകൾ പോലുള്ളവ) രേഖപ്പെടുത്തുക.
4. പരാജയത്തിന്റെ ഗൗരവം, ആവൃത്തി, പ്രശ്നം പരിഹരിക്കാനുള്ള ബുദ്ധിമുട്ട് എന്നിവയെ അടിസ്ഥാനമാക്കി കേസുകൾ ആവർത്തിക്കുക. LLM ആപ്ലിക്കേഷനുകൾ നോൺ-ഡിറ്റർമിനിസ്റ്റിക് ആണ് (ഒരേ ഇൻപുട്ടുകളിൽ നിന്ന് അവ വ്യത്യസ്ത ഫലങ്ങൾ നൽകിയേക്കാം), അതിനാൽ ഒരു റൺ വിജയിച്ചു എന്നതുകൊണ്ട് അടുത്തതും വിജയിക്കുമെന്ന് ഉറപ്പില്ല. വിജയകരമായ ട്രയലുകളുടെ അനുപാതം റിപ്പോർട്ട് ചെയ്യുകയും പരാജയങ്ങൾ പരിശോധിക്കുകയും ചെയ്യുക.

ഇതിനായി, pass@1 (ഒറ്റ ശ്രമത്തിൽ ഏജന്റ് എത്ര തവണ വിജയിക്കുന്നു), pass@k (നിശ്ചിത എണ്ണം ശ്രമങ്ങളിൽ ഒരിക്കലെങ്കിലും വിജയിക്കാനുള്ള സാധ്യത) എന്നിവ അളക്കാൻ Khomutov നിർദ്ദേശിക്കുന്നു. pass@k റിപ്പോർട്ട് ചെയ്യുകയാണെങ്കിൽ, ശ്രമങ്ങളുടെ എണ്ണം വ്യക്തമാക്കുക; കാരണം, പല ഉത്തരങ്ങളിൽ ഒന്ന് ശരിയായി എന്നതുകൊണ്ട് അവയിൽ ഏതാണ് തിരഞ്ഞെടുക്കേണ്ടതെന്ന് ഏജന്റിന് അറിയാമെന്ന് അർത്ഥമില്ല.

നിങ്ങളുടെ ആപ്ലിക്കേഷൻ വളരുന്നതിനനുസരിച്ച്, ടെസ്റ്റുകൾ ക്രമീകരിക്കാനും റൺ ചെയ്യാനും pytest പോലുള്ള ഒരു ടെസ്റ്റിംഗ് ഫ്രെയിംവർക്ക് ഉപയോഗിക്കുക; വലിയ ടെസ്റ്റ് ഡാറ്റാസെറ്റുകളും ഫലങ്ങളും ഒരു ഡാറ്റാബേസിൽ സംഭരിക്കുന്നതും പരിഗണിക്കുക.

ഘട്ടം 4. ഓരോ പരിശോധനയ്ക്കും അനുയോജ്യമായ ഗ്രേഡർ തിരഞ്ഞെടുക്കുക

ഒരു ഏജന്റിന്റെ ഔട്ട്‌പുട്ടോ പ്രവർത്തനമോ നിർവചിക്കപ്പെട്ട ഒരു മാനദണ്ഡവുമായി ഒത്തുനോക്കി പരിശോധിക്കുന്ന സംവിധാനമാണ് ഗ്രേഡർ (പലപ്പോഴും ഇവാലുവേറ്റർ എന്നും വിളിക്കപ്പെടുന്നു); ഇത് ഒരു കോഡ് ശകലമോ, ഒരു ഗ്രേഡിംഗ് റൂബ്രിക് അനുസരിച്ച് പ്രവർത്തിക്കുന്ന LLM-ഓ, ഒരു മനുഷ്യ അവലോകകനോ ആകാം. ഒരു ഗ്രേഡർ ഒരു പാസ്/ഫെയിൽ വിധിയും പ്രസക്തമായ തെളിവുകൾ ചൂണ്ടിക്കാട്ടുന്ന ഒരു വിശദീകരണവും നൽകുന്നു.

വിവരം: ശരിയോ സ്വീകാര്യമോ ആയ ഫലമായി കണക്കാക്കുന്നത് എന്താണെന്ന് നിർവചിക്കുന്ന മാനദണ്ഡങ്ങളുടെയും നിർദ്ദേശങ്ങളുടെയും ഒരു കൂട്ടമാണ് ഗ്രേഡിംഗ് റൂബ്രിക്.

നിങ്ങൾ എന്താണ് പരിശോധിക്കാൻ ശ്രമിക്കുന്നത് എന്നതിനെ ആശ്രയിച്ചാണ് ശരിയായ ഗ്രേഡർ തരം നിശ്ചയിക്കേണ്ടത്. മൂന്ന് സമീപനങ്ങളും തമ്മിലുള്ള താരതമ്യം ഇതാ:

ചിലപ്പോൾ ഒരേ റണ്ണിന്റെ വ്യത്യസ്ത വശങ്ങൾക്ക് വ്യത്യസ്ത മൂല്യനിർണ്ണയ രീതികൾ ആവശ്യമായി വന്നേക്കാം, അതിനാൽ നിങ്ങൾക്ക് ഗ്രേഡറുകൾ സംയോജിപ്പിക്കേണ്ടി വന്നേക്കാം.

ഗ്രേഡറുകൾ എങ്ങനെ സംയോജിപ്പിക്കാം?

നിങ്ങൾ ചോദിക്കേണ്ടത്: “അറിയപ്പെടുന്ന ഒരു നിയമവുമായോ പ്രതീക്ഷിക്കുന്ന മൂല്യവുമായോ ഒത്തുനോക്കി ഫലം പരിശോധിച്ചുറപ്പിക്കാൻ കഴിയുമോ, അതോ അതിന് മനുഷ്യസമാനമായ വിലയിരുത്തൽ ആവശ്യമുണ്ടോ?”

• ഫലം കൃത്യമായി പരിശോധിച്ചുറപ്പിക്കാൻ കഴിയുമെങ്കിൽ, ഒരു കോഡ് അധിഷ്ഠിത ഗ്രേഡർ ഉപയോഗിച്ച് തുടങ്ങുക. ഘടനാപരമായ ഔട്ട്‌പുട്ടുകൾ, സാധുവായ ഫീൽഡ് മൂല്യങ്ങൾ, ടൂൾ ആർഗ്യുമെന്റുകൾ, അല്ലെങ്കിൽ ഒരു ഡാറ്റാബേസിന്റെ അന്തിമ അവസ്ഥ എന്നിവയും കോഡ് അധിഷ്ഠിത ഗ്രേഡറുകൾക്ക് പരിശോധിച്ചുറപ്പിക്കാനാകും.
• പരിശോധനയ്ക്ക് സന്ദർഭം വ്യാഖ്യാനിക്കേണ്ടതുണ്ടെങ്കിൽ, LLM-as-a-judge ഉപയോഗിക്കുക.
• ഡൊമെയ്ൻ-നിർദ്ദിഷ്ടമോ തർക്കമുള്ളതോ ആയ തീരുമാനങ്ങൾക്ക് മനുഷ്യ അവലോകകരെ ഉപയോഗിക്കുക.

പ്രധാനം! ഒരു LLM ഗ്രേഡർ തെളിവുകൾ തെറ്റായി വ്യാഖ്യാനിക്കുകയോ ഒരു റൂബ്രിക് തെറ്റായി പ്രയോഗിക്കുകയോ ചെയ്തേക്കാം. അതിനാൽ അതിന് ഒരു അധിക മൂല്യനിർണ്ണയ ഘട്ടം ആവശ്യമാണ്: മനുഷ്യ വിധികളുമായി ഒത്തുനോക്കിയുള്ള കാലിബ്രേഷൻ.

മനുഷ്യ വിധികളുമായി ഒത്തുനോക്കി LLM ഗ്രേഡർ കാലിബ്രേറ്റ് ചെയ്യുക.

അടിസ്ഥാനപരമായി, കാലിബ്രേഷന് യഥാർത്ഥ ഏജന്റ് റണ്ണുകൾ വിലയിരുത്താൻ ഒരു ഡൊമെയ്ൻ വിദഗ്ദ്ധൻ ആവശ്യമാണ്. തുടർന്ന് വിദഗ്ദ്ധൻ തന്റെ വിധികളെ LLM-ന്റേതുമായി താരതമ്യം ചെയ്യുകയും വിയോജിപ്പുകളുടെ അടിസ്ഥാനത്തിൽ ഗ്രേഡിംഗ് റൂബ്രിക് മെച്ചപ്പെടുത്തുകയും ചെയ്യുന്നു.

അഞ്ച് ഘട്ടങ്ങളുള്ള ഒരു ഗ്രേഡർ കാലിബ്രേഷൻ പ്രക്രിയ ഇതാ:

1. ഏജന്റ് ഇൻപുട്ടുകൾ, ഔട്ട്‌പുട്ടുകൾ, പ്രസക്തമായ ട്രേസുകൾ എന്നിവയുടെ ഉദാഹരണങ്ങൾ ശേഖരിക്കുക.
2. ഓരോ ഉദാഹരണവും മൂല്യനിർണ്ണയ മാനദണ്ഡം പാലിക്കുന്നുണ്ടോ എന്ന് ഒരു ഡൊമെയ്ൻ വിദഗ്ദ്ധനെക്കൊണ്ട് സ്വതന്ത്രമായി വിലയിരുത്തിക്കുക.
3. ആ ഉദാഹരണങ്ങളിൽ LLM ഗ്രേഡർ റൺ ചെയ്യുക.
4. മനുഷ്യന്റെയും മോഡലിന്റെയും വിധികൾ താരതമ്യം ചെയ്യുക.
5. പുതിയ ഉദാഹരണങ്ങളിൽ പരീക്ഷിക്കുന്നതിന് മുമ്പ്, വിയോജിപ്പുകൾ അന്വേഷിക്കുകയും ഗ്രേഡറിന്റെ റൂബ്രിക് മെച്ചപ്പെടുത്തുകയും ചെയ്യുക.

LLM ഗ്രേഡറിന്റെ സ്ഥിരത പ്രത്യേകമായി പരിശോധിക്കേണ്ടതിന്റെ പ്രാധാന്യവും Khomutov ഊന്നിപ്പറയുന്നു:

“ഏജന്റിനെ വീണ്ടും റൺ ചെയ്യാതെ, സേവ് ചെയ്ത അതേ റണ്ണും ഫയലുകളും പലതവണ അതിന് നൽകുക. ഏജന്റിന്റെ പ്രവർത്തനത്തിലെ വ്യതിയാനവും ഗ്രേഡിംഗിലെ വ്യതിയാനവും വേർതിരിച്ചറിയാൻ ഇത് നിങ്ങളെ സഹായിക്കും.”

ഒരേ ഔട്ട്‌പുട്ടിന് വ്യത്യസ്ത വിധികൾ ലഭിക്കുന്നുണ്ടെങ്കിൽ, സ്കോറിലെ ഓരോ മാറ്റവും ഏജന്റിൽ നിന്നാണെന്ന് അനുമാനിക്കരുത്. പകരം, ഗ്രേഡർ എപ്പോഴാണ് പിശകുകൾ ശരിയായി തിരിച്ചറിഞ്ഞത്, എപ്പോഴാണ് അവ വിട്ടുപോയത്, എപ്പോഴാണ് സ്വീകാര്യമായ ഔട്ട്‌പുട്ടുകളെ തെറ്റായി ഫ്ലാഗ് ചെയ്തത് എന്ന് കാണിക്കുന്ന ഒരു കൺഫ്യൂഷൻ മാട്രിക്സ് പരിശോധിക്കുക.

റഫറൻസ് വിധികൾ സ്ഥാപിക്കുന്നതിനും, തർക്കമുള്ള കേസുകൾ പരിഹരിക്കുന്നതിനും, നിലവിലുള്ള ഗ്രേഡറുകൾ കണ്ടെത്താൻ രൂപകൽപ്പന ചെയ്തിട്ടില്ലാത്ത പുതിയ പരാജയ രീതികൾ കണ്ടെത്തുന്നതിനും മനുഷ്യ അവലോകനം ഇപ്പോഴും അനിവാര്യമാണ്.

ഘട്ടം 5. പതിപ്പുകൾ താരതമ്യം ചെയ്യുകയും റിഗ്രഷൻ പരിശോധനകൾ നടത്തുകയും ചെയ്യുക

നിങ്ങളുടെ ഇൻവെന്ററി ഏജന്റ് അംഗീകാരമില്ലാത്ത പകരം പാർട്ടുകൾ പതിവായി ശുപാർശ ചെയ്യുന്നുണ്ടെന്ന് പിശക് വിശകലനത്തിൽ വെളിപ്പെടുന്നു എന്ന് കരുതുക. വ്യക്തമായ ഒരു അനുയോജ്യതാ പരിശോധന നിർബന്ധമാക്കാൻ നിങ്ങൾ അതിന്റെ സിസ്റ്റം പ്രോംപ്റ്റ് പരിഷ്കരിക്കുന്നു. ആദ്യം പരാജയപ്പെട്ട കേസ് ഇപ്പോൾ പാസാകുന്നു. എന്നാൽ ഈ മാറ്റം മറ്റ് ടാസ്‌ക്കുകളെ ബാധിച്ചിട്ടില്ലെന്ന് നിങ്ങൾ എങ്ങനെ അറിയും?

അവിടെയാണ് റിഗ്രഷൻ ടെസ്റ്റിംഗ് പ്രസക്തമാകുന്നത്.

റിഗ്രഷൻ ടെസ്റ്റിംഗ് എന്നാൽ, ഒരു ഏജന്റിന്റെ പ്രോംപ്റ്റ്, മോഡൽ, അല്ലെങ്കിൽ വർക്ക്ഫ്ലോ മാറ്റിയതിനുശേഷം, ആ മാറ്റം പുതിയ പരാജയങ്ങൾ ഉണ്ടാക്കിയിട്ടില്ലെന്ന് ഉറപ്പാക്കാൻ മുമ്പ് വിജയിച്ച ടെസ്റ്റ് കേസുകൾ വീണ്ടും റൺ ചെയ്യുക എന്നാണ്.

1. ടെസ്റ്റ് സെറ്റിൽ നിന്ന് സേവ് ചെയ്ത ഒരു ഇൻപുട്ട് ഉപയോഗിച്ച് ആദ്യത്തെ പരാജയം പുനഃസൃഷ്ടിക്കുക.
2. പ്രോംപ്റ്റിലോ മോഡലിലോ വർക്ക്ഫ്ലോയിലോ ലക്ഷ്യം വെച്ചുള്ള ഒരു മാറ്റം വരുത്തുക.
3. പ്രശ്നം പരിഹരിക്കപ്പെട്ടോ എന്ന് പരിശോധിക്കാൻ പരാജയപ്പെടുന്ന ടെസ്റ്റ് വീണ്ടും റൺ ചെയ്യുക.
4. മുമ്പ് വിജയകരമായി പ്രവർത്തിച്ചിരുന്ന കാര്യങ്ങളെ മാറ്റം തകരാറിലാക്കിയിട്ടില്ലെന്ന് ഉറപ്പാക്കാൻ മറ്റ് ടെസ്റ്റുകളും പ്രവർത്തിപ്പിക്കുക.
5. ഫലങ്ങൾ പരിശോധിക്കുക, പുതിയ പരാജയങ്ങൾ ഉണ്ടെങ്കിൽ അവ അന്വേഷിക്കുക.

കൃത്യമായ ഫലങ്ങൾക്കായി, ഒരേ ടെസ്റ്റ് കേസുകളും ഗ്രേഡിംഗ് മാനദണ്ഡങ്ങളും ഉപയോഗിച്ച് ബേസ്‌ലൈൻ ഏജന്റിനെയും അപ്‌ഡേറ്റ് ചെയ്ത ഏജന്റിനെയും താരതമ്യം ചെയ്യുക.

ഘട്ടം 6: പ്രൊഡക്ഷനിൽ AI ഏജന്റിന്റെ പ്രകടനം നിരീക്ഷിക്കുക

ആപ്ലിക്കേഷൻ ഡിപ്ലോയ് ചെയ്തുകഴിഞ്ഞാലും ഏജന്റ് മൂല്യനിർണ്ണയം അവസാനിക്കുന്നില്ല. ഹുസൈനും ശങ്കറും വിശദീകരിക്കുന്നതുപോലെ, ഡെവലപ്‌മെന്റ് സമയത്ത് നിങ്ങൾ ഉപയോഗിക്കുന്ന അതേ ഇവാല്യുവേറ്ററുകൾ യഥാർത്ഥ പ്രൊഡക്ഷൻ ഡാറ്റയിലും പ്രവർത്തിപ്പിച്ച്, കാലക്രമേണ നിങ്ങളുടെ ഏജന്റ് എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്ന് അളക്കാൻ കഴിയും.

ഇതിനെ ഓൺലൈൻ മൂല്യനിർണ്ണയം എന്ന് വിളിക്കുന്നു. ആവർത്തിക്കുന്നതും മുമ്പ് അറിയപ്പെടാത്തതുമായ പരാജയങ്ങൾ കണ്ടെത്താൻ സഹായിക്കുന്ന വിപുലമായ പ്രൊഡക്ഷൻ നിരീക്ഷണ പ്രക്രിയയുടെ ഒരു ഭാഗമാണിത്.

ഇതൊരു ആവർത്തന പ്രക്രിയയാണ്, പരസ്പരം പൂരകമായ നാല് പ്രവർത്തനങ്ങൾ ഇതിൽ ഉൾപ്പെടുന്നു:

• പ്രൊഡക്ഷൻ ട്രേസുകളിൽ കാലിബ്രേറ്റ് ചെയ്ത LLM ജഡ്ജുകൾ പ്രവർത്തിപ്പിക്കുക. യഥാർത്ഥ ഏജന്റ് ഇടപെടലുകളുടെ സാമ്പിളുകൾ എടുത്ത്, മനുഷ്യ വിലയിരുത്തലുകളുമായി ഒത്തുനോക്കി നിങ്ങൾ ഇതിനകം സാധൂകരിച്ച ഇവാല്യുവേറ്ററുകൾ അവയിൽ പ്രയോഗിക്കുക.
• കാലക്രമേണയുള്ള പരാജയ നിരക്കുകൾ ട്രാക്ക് ചെയ്യുക. ആവർത്തിക്കുന്ന പ്രശ്നങ്ങളുടെ തോത് അളക്കാൻ, പിശക് വിശകലനത്തിനിടെ രൂപപ്പെടുത്തിയ പരാജയ വിഭാഗങ്ങൾ ഉപയോഗിക്കുക.
• ട്രേസുകൾ നേരിട്ട് അവലോകനം ചെയ്യുന്നത് തുടരുക. ഓട്ടോമേറ്റഡ് ഗ്രേഡറുകൾ, തിരിച്ചറിയാൻ രൂപകൽപ്പന ചെയ്യപ്പെട്ട പ്രശ്നങ്ങൾ മാത്രമേ കണ്ടെത്തൂ. പുതിയ പിശകുകളോ അസാധാരണമായ ഉപയോക്തൃ അഭ്യർത്ഥനകളോ കണ്ടെത്താൻ, യഥാർത്ഥ ഏജന്റ് ഇടപെടലുകളുടെ സാമ്പിളുകൾ നേരിട്ട് പരിശോധിക്കുക.
• ബിസിനസ് ഫലങ്ങൾ അളക്കാൻ A/B ടെസ്റ്റിംഗ് ഉപയോഗിക്കുക (ഉചിതമായ സാഹചര്യങ്ങളിൽ മാത്രം). ടാസ്‌ക് പൂർത്തീകരണം, ഉപയോക്തൃ സംതൃപ്തി, പ്രശ്നപരിഹാരത്തിനെടുക്കുന്ന സമയം തുടങ്ങിയ മെട്രിക്കുകൾ ഉപയോഗിച്ച് വ്യത്യസ്ത പ്രോംപ്റ്റുകൾ, മോഡലുകൾ, അല്ലെങ്കിൽ വർക്ക്ഫ്ലോകൾ താരതമ്യം ചെയ്യുക. ഓരോ ടെസ്റ്റും വിജയിക്കുന്നതിനപ്പുറം, ഒരു മാറ്റം യഥാർത്ഥ ഉൽപ്പന്ന അനുഭവം മെച്ചപ്പെടുത്തുന്നുണ്ടോ എന്ന് നിർണ്ണയിക്കാൻ ഈ പ്രക്രിയ സഹായിക്കുന്നു.

ഒരു പ്രധാന കാര്യം: ഇവാലുകൾ പൂർണ്ണതയിലേക്ക് മിനുക്കിയെടുക്കേണ്ടതില്ല. നിങ്ങളുടെ ഉൽപ്പന്നം മെച്ചപ്പെടുത്താൻ അവ പര്യാപ്തമായാൽ മാത്രം മതി.

AI ഏജന്റ് മൂല്യനിർണ്ണയത്തിലെ സാധാരണ തെറ്റിദ്ധാരണകൾ

• ഇവാലുകൾ വെറും യൂണിറ്റ് ടെസ്റ്റുകളാണ്. അങ്ങനെയല്ല; മൂല്യനിർണ്ണയത്തിന്റെ ഒരു ഭാഗം മാത്രമായ ചെറിയ, ഓട്ടോമേറ്റഡ് പരിശോധനകളാണ് യൂണിറ്റ് ടെസ്റ്റുകൾ. ഗുണപരമായ പിശക് വിശകലനം, മനുഷ്യ വിലയിരുത്തലുകൾ, പ്രൊഡക്ഷൻ നിരീക്ഷണം, ആപ്ലിക്കേഷന്റെ ഗുണനിലവാരം അളക്കാനുള്ള പരീക്ഷണങ്ങൾ എന്നിവയും ഇവാലുകളിൽ ഉൾപ്പെടുന്നു.
• ഒരു മൂല്യനിർണ്ണയ പ്ലാറ്റ്‌ഫോമിന് നിങ്ങൾക്കായി എല്ലാം ചെയ്യാൻ കഴിയും. റെഡിമെയ്ഡ് ടൂളുകൾക്ക് ചില പരിശോധനകൾ ഓട്ടോമേറ്റ് ചെയ്യാൻ കഴിയും, എന്നാൽ നിങ്ങളുടെ ഉൽപ്പന്നത്തിന് ഏതൊക്കെ ഫെയിലർ മോഡുകൾ (പിശകുകളുടെ തരങ്ങൾ അല്ലെങ്കിൽ ഏജന്റിന്റെ അനാവശ്യ പെരുമാറ്റങ്ങൾ) പ്രധാനമാണെന്ന് നിർണ്ണയിക്കാൻ അവയ്ക്ക് കഴിയില്ല.
• എല്ലാം വിലയിരുത്താൻ ഒരു LLM-നെ ഏൽപ്പിക്കാം. അതൊരു വലിയ മിഥ്യാധാരണയാണ്. എല്ലാ പ്രശ്നങ്ങളും കണ്ടെത്താൻ ആവശ്യമായ ബിസിനസ് സന്ദർഭം LLM-കൾക്ക് ഇല്ലാത്തതിനാൽ, മനുഷ്യർ നേതൃത്വം നൽകുന്ന പിശക് വിശകലനവും ഗ്രേഡർ കാലിബ്രേഷനും ഇപ്പോഴും അത്യാവശ്യമാണ്.
• A/B ടെസ്റ്റിംഗോ ഏജന്റിനെ വെറുതെ ഉപയോഗിച്ചുനോക്കുന്നതോ ഇവാലുകൾക്ക് പകരമാകും. തെറ്റാണ്. തിരഞ്ഞെടുത്ത മെട്രിക്കുകളിൽ ഏത് പതിപ്പാണ് മികച്ച പ്രകടനം കാഴ്ചവയ്ക്കുന്നതെന്ന് A/B ടെസ്റ്റുകൾക്ക് കാണിക്കാനാകും, എന്നാൽ അടിസ്ഥാനപരമായ പ്രശ്നങ്ങൾ സ്വന്തം നിലയിൽ വിശദീകരിക്കാൻ അവയ്ക്ക് കഴിയില്ല.

AI ഏജന്റ് മൂല്യനിർണ്ണയം: പതിവ് ചോദ്യങ്ങൾ

1. AI ഏജന്റ് മൂല്യനിർണ്ണയവും LLM മൂല്യനിർണ്ണയവും തമ്മിലുള്ള വ്യത്യാസം എന്താണ്?

LLM മൂല്യനിർണ്ണയം, ഒരു ചോദ്യത്തിന് ഉത്തരം നൽകുക, ഒരു ഡോക്യുമെന്റ് സംഗ്രഹിക്കുക, അല്ലെങ്കിൽ വിവരങ്ങൾ വേർതിരിച്ചെടുക്കുക തുടങ്ങിയ ഒരു നിശ്ചിത ടാസ്‌ക് ഒരു ലാംഗ്വേജ് മോഡൽ എത്ര നന്നായി നിർവഹിക്കുന്നു എന്ന് അളക്കുന്നു. ഒരു ടാസ്‌ക് പൂർത്തിയാക്കാൻ ഒന്നിലധികം ഘട്ടങ്ങൾ സ്വതന്ത്രമായി നിർവഹിക്കുന്ന ഒരു സിസ്റ്റത്തെയാണ് AI ഏജന്റ് മൂല്യനിർണ്ണയം വിലയിരുത്തുന്നത്.

സാധാരണ LLM മൂല്യനിർണ്ണയത്തിൽ നിന്ന് വ്യത്യസ്തമായി, ഏജന്റ് മൂല്യനിർണ്ണയം അന്തിമ ഫലവും അതിലേക്ക് എത്താൻ സ്വീകരിച്ച പ്രവർത്തനങ്ങളുടെ ക്രമവും പരിശോധിക്കുന്നു. ടൂൾ കോളുകൾ, തീരുമാനങ്ങൾ, മുൻകൂട്ടി നിശ്ചയിച്ച നിയമങ്ങൾ പാലിക്കുന്നുണ്ടോ എന്നത് എന്നിവയെല്ലാം ഇതിൽ ഉൾപ്പെടുന്നു.

2. AI ഏജന്റ് മൂല്യനിർണ്ണയത്തിനുള്ള പ്രധാന മെട്രിക്കുകൾ

AI ഏജന്റ് മൂല്യനിർണ്ണയ മെട്രിക്കുകളെ പ്രധാനമായും രണ്ട് വിഭാഗങ്ങളായി തിരിക്കാം:

• സാങ്കേതിക പ്രകടന മെട്രിക്കുകൾ: ടാസ്‌ക് വിജയ നിരക്ക്, പ്രവർത്തനങ്ങളുടെ കൃത്യത, ഉത്തരത്തിന്റെ ഗുണനിലവാരം, വിശ്വാസ്യത (pass@1, pass@k), ലേറ്റൻസി, ടോക്കൺ ഉപയോഗം, വിജയകരമായ ഓരോ ടാസ്‌ക്കിനുമുള്ള ചെലവ്.
• ബിസിനസ്, ഉപയോക്തൃ അനുഭവ മെട്രിക്കുകൾ: ഉപഭോക്തൃ സംതൃപ്തി (CSAT), പ്രശ്നപരിഹാര നിരക്ക്, എസ്കലേഷൻ നിരക്ക്, കൺവേർഷൻ നിരക്ക്, ടാസ്‌ക് പൂർത്തീകരണ സമയം, ഏജന്റിന്റെ റോളിന് മാത്രം ബാധകമായ മറ്റ് ഫലങ്ങൾ.

ഉദാഹരണത്തിന്, ഒരു കസ്റ്റമർ സപ്പോർട്ട് ഏജന്റിനെ പ്രശ്നങ്ങൾ വിജയകരമായി പരിഹരിക്കുന്നതിന്റെയും ഉപഭോക്തൃ സംതൃപ്തിയുടെയും അടിസ്ഥാനത്തിൽ വിലയിരുത്താം. അതേസമയം, ഒരു AI പർച്ചേസിംഗ് ഏജന്റിനെ സ്റ്റോക്ക് പുനർനിറയ്ക്കൽ അഭ്യർത്ഥനകളുടെ കൃത്യത, അംഗീകാര നിരക്കുകൾ, പ്രൊക്യൂർമെന്റ് സൈക്കിൾ സമയം എന്നിവ ഉപയോഗിച്ച് അളക്കാം.

ശരിയായ മെട്രിക്കുകൾ ഏജന്റ് എത്രത്തോളം വിശ്വസനീയമായി പ്രവർത്തിക്കുന്നുവെന്നും അതിന്റെ പ്രവർത്തനം ബിസിനസ് ഫലങ്ങൾ മെച്ചപ്പെടുത്തുന്നുണ്ടോ എന്നും പ്രതിഫലിപ്പിക്കണം.

3. AI ഏജന്റുകളെ വിലയിരുത്താനുള്ള മികച്ച ടൂളുകൾ ഏതൊക്കെയാണ്?

സാധാരണ ഓപ്ഷനുകളിൽ ഇവ ഉൾപ്പെടുന്നു:

• ടെസ്റ്റിംഗ് ഫ്രെയിംവർക്കുകൾ: ആവർത്തിക്കാവുന്ന ടെസ്റ്റ് കേസുകൾ പ്രവർത്തിപ്പിക്കുന്നതിനും, ഏജന്റ് ശരിയായ ടൂൾ തിരഞ്ഞെടുത്തോ സാധുവായ പാർട്ട് ID നൽകിയോ എന്നതുപോലുള്ള കൃത്യമായ വ്യവസ്ഥകൾ പരിശോധിക്കുന്നതിനും Python അസേർഷനുകളും pytest-ഉം ഉപയോഗപ്രദമാണ്.
• AI ഏജന്റ് മൂല്യനിർണ്ണയ ഫ്രെയിംവർക്കുകൾ: എക്സിക്യൂഷൻ ട്രേസുകൾ, LLM അധിഷ്ഠിത ഗ്രേഡറുകൾ, ഓട്ടോമേറ്റഡ് റിഗ്രഷൻ ടെസ്റ്റിംഗ് എന്നിവ ഉൾപ്പെടെയുള്ള കൂടുതൽ സങ്കീർണ്ണമായ മൂല്യനിർണ്ണയങ്ങളെ DeepEval-ഉം Google-ന്റെ agent-eval ടൂൾകിറ്റും പിന്തുണയ്ക്കുന്നു.
• മൂല്യനിർണ്ണയ, ഒബ്സർവബിലിറ്റി പ്ലാറ്റ്‌ഫോമുകൾ: ഏജന്റിന്റെ പെരുമാറ്റം പരിശോധിക്കാനും, മൂല്യനിർണ്ണയ ഡാറ്റാസെറ്റുകൾ കൈകാര്യം ചെയ്യാനും, ഏജന്റ് പതിപ്പുകൾ താരതമ്യം ചെയ്യാനും, പ്രൊഡക്ഷനിലെ പ്രകടനം നിരീക്ഷിക്കാനും LangSmith, Arize Phoenix, MLflow എന്നിവ ടീമുകളെ സഹായിക്കുന്നു.

4. AI ഏജന്റ് മൂല്യനിർണ്ണയങ്ങൾ എങ്ങനെ ഓട്ടോമേറ്റ് ചെയ്യാം?

ആവർത്തിക്കാവുന്ന ടെസ്റ്റുകൾ നിർമ്മിച്ചും, ഓട്ടോമേറ്റഡ് ഗ്രേഡറുകൾ പ്രയോഗിച്ചും, ആ പരിശോധനകൾ ഡെവലപ്‌മെന്റ്, പ്രൊഡക്ഷൻ വർക്ക്ഫ്ലോകളിലേക്ക് സംയോജിപ്പിച്ചും AI ഏജന്റ് മൂല്യനിർണ്ണയങ്ങൾ ഓട്ടോമേറ്റ് ചെയ്യാം:

1. ഒരു മൂല്യനിർണ്ണയ ഡാറ്റാസെറ്റ് സൃഷ്ടിക്കുക: പ്രാതിനിധ്യ സ്വഭാവമുള്ള ഉപയോക്തൃ ടാസ്‌ക്കുകൾ, പ്രതീക്ഷിക്കുന്ന ഫലങ്ങൾ, അറിയപ്പെടുന്ന പരാജയങ്ങൾ, ഏജന്റ് എക്സിക്യൂഷൻ ട്രേസുകൾ എന്നിവ ശേഖരിക്കുക. പരാജയപ്പെട്ട ടൂൾ കോളുകൾ, വിട്ടുപോയ വിവരങ്ങൾ, അനധികൃത പ്രവർത്തനങ്ങൾ തുടങ്ങിയ എഡ്ജ് കേസുകളും ഉൾപ്പെടുത്തുക.
2. ടെസ്റ്റ് എക്സിക്യൂഷനും ഗ്രേഡിംഗും ഓട്ടോമേറ്റ് ചെയ്യുക: ടെസ്റ്റ് കേസുകൾ പ്രവർത്തിപ്പിക്കാനും കോഡ് അധിഷ്ഠിത പരിശോധനകളോ LLM ഗ്രേഡറുകളോ പ്രയോഗിക്കാനും pytest അല്ലെങ്കിൽ DeepEval പോലുള്ള ഫ്രെയിംവർക്കുകൾ ഉപയോഗിക്കുക. LLM ഗ്രേഡറുകളുടെ സ്കോറുകളെ ആശ്രയിക്കുന്നതിന് മുമ്പ്, മനുഷ്യ വിലയിരുത്തലുകളുമായി ഒത്തുനോക്കി അവയെ സാധൂകരിക്കുക.
3. CI/CD-യിലേക്ക് മൂല്യനിർണ്ണയങ്ങൾ സംയോജിപ്പിക്കുക: ഡെവലപ്പർമാർ ഒരു ഏജന്റിന്റെ പ്രോംപ്റ്റുകൾ, മോഡലുകൾ, ടൂളുകൾ, അല്ലെങ്കിൽ വർക്ക്ഫ്ലോ അപ്‌ഡേറ്റ് ചെയ്യുമ്പോൾ റിഗ്രഷൻ ടെസ്റ്റുകൾ സ്വയമേവ വീണ്ടും പ്രവർത്തിപ്പിക്കുക. ഫലങ്ങൾ ഒരു ബേസ്‌ലൈനുമായി താരതമ്യം ചെയ്യുക, നിർണ്ണായക പരിശോധനകൾ പരാജയപ്പെടുമ്പോൾ റിലീസുകൾ തടയുന്ന ഗുണനിലവാര പരിധികൾ നിശ്ചയിക്കുക.
4. സാമ്പിൾ ചെയ്ത പ്രൊഡക്ഷൻ ട്രേസുകളിൽ കാലിബ്രേറ്റ് ചെയ്ത ഗ്രേഡറുകൾ പ്രയോഗിക്കുക, പരാജയ നിരക്കുകളും മറ്റ് പ്രകടന മെട്രിക്കുകളും ട്രാക്ക് ചെയ്യുക, നേരിട്ടുള്ള അവലോകനത്തിലൂടെ പുതിയ പിശകുകൾ അന്വേഷിക്കുക.