AI एजंट्सचे मूल्यमापन कसे करावे: चाचणी संच, ग्रेडर्स आणि रिग्रेशन तपासण्या

प्रत्येक उत्कृष्ट AI उत्पादनामागे एक भक्कम AI एजंट मूल्यमापन प्रक्रिया असते, जिला इव्हॅल्स (evals) म्हणतात. ही प्रक्रिया त्रुटी लवकर पकडते आणि एजंट योग्यरीत्या काम करत असल्याची खात्री करते. एखाद्याच्या वतीने परतावा देण्यासारख्या उच्च-जोखमीच्या कृती करणाऱ्या AI एजंटसाठी इव्हॅल्स अत्यंत महत्त्वाचे असतात.

ही प्रक्रिया उभारण्यासाठी काही तांत्रिक ज्ञान आणि डेटा विश्लेषणाची कौशल्ये लागतात. पण ती वाटते तितकी भीतीदायक किंवा अवघड नाही. तुम्हाला सुरुवात करण्यात मदत व्हावी म्हणून, आम्ही AI एजंटचे मूल्यमापन करण्याच्या सहा व्यावहारिक पायऱ्या आणि ही प्रक्रिया बिघडवणारे सामान्य गैरसमज येथे मांडले आहेत.

AI एजंटचे मूल्यमापन करणे म्हणजे काय?

AI एजंटचे मूल्यमापन करणे म्हणजे तो कामे किती अचूकपणे पूर्ण करतो आणि त्याचे निर्णय संस्थेच्या आवश्यकतांची पूर्तता करतात की नाही, याचे आकलन करणे. व्यावहारिक भाषेत सांगायचे तर, AI एजंट मूल्यमापने, म्हणजेच इव्हॅल्स, हे असे विशिष्ट मेट्रिक्स असतात, जे एजंट त्याच्या अपेक्षित भूमिकेसाठी पुरेशा विश्वासार्हतेने काम करतो की नाही हे ठरवण्यास संस्थांना मदत करतात.

एखाद्या उत्पादन कारखान्यातील AI खरेदी एजंटचा विचार करा, जो सुट्या भागांच्या इन्व्हेंटरीची तपासणी करतो आणि पुनर्भरणाच्या विनंत्या तयार करतो. एखादा मंजूर भाग उपलब्ध नसेल किंवा पुरवठादाराची माहिती जुनी असेल, तर एजंट ती समस्या निदर्शनास आणून देईल की एखाद्या अमंजूर पर्यायी भागाची शिफारस करेल?

आणि ती समस्या दूर करण्यासाठी तुम्ही त्याचा सिस्टम प्रॉम्प्ट बदलला, तर तुम्ही नवीन समस्या निर्माण केलेली नाही हे तुम्हाला कसे कळेल?

मूल्यमापनाची व्यवस्था नसेल, तर प्रॉडक्ट मॅनेजर्सना मुळात केवळ अंदाज बांधावे लागतात. म्हणूनच, इव्हॅल्स कामगिरी मोजण्यासाठी, वारंवार येणाऱ्या समस्या ओळखण्यासाठी आणि बदलांची अधिक आत्मविश्वासाने चाचणी घेण्यासाठी फीडबॅक सिग्नल देतात.

असे असले तरी, एजंट मूल्यमापनात एखाद्या रनच्या अनेक पैलूंची तपासणी करता येते:

• अंतिम निकालाचा दर्जा
• एजंटने वापरलेली माहिती
• त्याने कॉल केलेली टूल्स
• त्याच्या वर्तनाचे नियमन करणाऱ्या नियमांचे त्याने पालन केले की नाही

AI एजंट मूल्यमापनाचे सामान्य मेट्रिक्स

इव्हॅल्स गुणात्मक आणि संख्यात्मक डेटावर काम करतात. गुणात्मक मूल्यमापन तुम्हाला काय घडत आहे आणि का, हे समजून घेण्यास मदत करते; यात एजंटच्या निर्णयांचे मॅन्युअल पुनरावलोकन करणे समाविष्ट आहे. संख्यात्मक मूल्यमापन त्या निरीक्षणांचे मोजता येण्याजोग्या संकेतांमध्ये रूपांतर करते, जसे की विशिष्ट अपयश प्रकार किती वेळा घडतात हे मोजणे किंवा कार्य यशाचे दर काढणे.

AI एजंट मूल्यमापनाच्या मूलभूत मेट्रिक्सची यादी येथे आहे:

• कार्य यश हे एजंटने अपेक्षित परिणाम साध्य केला की नाही हे मोजते; ते सहसा वैध निकाल देणाऱ्या रन्सच्या टक्केवारीत मोजले जाते.
• कृतीची अचूकता हे एजंटने टूल्सचा योग्य वापर केला की नाही, वैध आर्ग्युमेंट्स निवडले की नाही आणि परवानग्यांचे पालन केले की नाही हे मोजते.
• उत्तराचा दर्जा अंतिम आउटपुट अचूक, परिपूर्ण आणि उपयुक्त आहे की नाही याचे मूल्यमापन करतो. यात तथ्यात्मक अचूकता, सूचनांचे पालन आणि एजंट उपलब्ध माहितीच्या आधारे आपल्या निर्णयांचे समर्थन करतो की नाही, यांचा समावेश असू शकतो.
• विश्वासार्हता वारंवार केलेल्या चाचण्या, बदलणारे इनपुट्स आणि एज केसेसमधील सातत्य मोजते.
• खर्च आणि लेटन्सी यशस्वी निकाल साध्य करण्यासाठी लागणारी संसाधने मोजतात, ज्यात अंमलबजावणीचा वेळ, टोकन वापर आणि टूल कॉल्स यांचा समावेश होतो.

तुम्ही काय मोजत आहात यावर अवलंबून, इव्हॅल्स एजंटच्या एंड-टू-एंड कामगिरीचे, त्याच्या अंमलबजावणीच्या मार्गाचे (trajectory) किंवा टूल कॉल्स आणि रिट्रीव्हल स्टेप्ससारख्या वैयक्तिक घटकांचे मूल्यमापन करू शकतात.

पायरी 1: एजंटचा यशस्वी रन कसा दिसतो ते ठरवा

सर्वप्रथम, एजंटने नेमके काय साध्य करणे अपेक्षित आहे — म्हणजेच प्रॉडक्ट आवश्यकता — याचे स्पष्ट वर्णन करा. हे सोपे वाटते, तरीही ते आश्चर्यकारकपणे कठीण असू शकते. याला एक नावदेखील आहे: स्पेसिफिकेशन गॅप.

आमचे वरिष्ठ डेटा सायंटिस्ट आंद्रे खोमुतोव्ह यांच्या मते, याकडे असे पाहावे:

“दोन प्रश्नांनी सुरुवात करा: “काय केल्यास काम पूर्ण झाले असे मानता येईल?” आणि “कोणत्या गोष्टीमुळे वरवर यशस्वी दिसणारा रन अस्वीकार्य ठरेल?”

एजंटच्या बाबतीत, तांत्रिक दृष्टिकोनातून याचा अर्थ निकाल आणि एजंट तिथपर्यंत कसा पोहोचला, या दोन्हींची तपासणी करणे.”

एखादा एजंट लीक झालेली उत्तरसूची वापरून योग्य उत्तर देऊ शकतो किंवा आपले काम पूर्ण करताना अनधिकृत कृती करू शकतो. खोमुतोव्ह नमूद करतात की उत्तर गळती (answer leakage) आणि मूल्यमापनादरम्यान केलेल्या असुरक्षित कृती ही केवळ अंतिम उत्तरावरून निर्णय न घेण्याची ठोस कारणे आहेत.

“मला अपेक्षा आहे की ट्रॅजेक्टरी तपासणी ही एखादा निकाल संशयास्पद वाटल्यावरच करण्याची गोष्ट न राहता, एजंट इव्हॅल सूट्सचा एक मानक भाग बनेल,” असे ते पुढे म्हणतात.

त्यानंतर तुमच्या यशाच्या निकषांची पडताळणी करण्यासाठी एखाद्या क्षेत्रतज्ज्ञाला सहभागी करून घ्या. त्या क्षेत्राचे प्रत्यक्ष ज्ञान असलेल्या व्यक्ती, आपण AI एजंटसाठी ठरवलेल्या अटी यशस्वी परिणाम दर्शवतात की नाही, हे सांगू शकतात.

पायरी 2. प्रत्यक्ष कार्ये आणि अपयशांमधून टेस्ट सेट तयार करा

चांगली आणि वाईट कामगिरी कशी दिसते हे समजून घेण्यासाठी एजंटच्या प्रत्यक्ष वर्तनाचे परीक्षण करा. काय चुकू शकते असे तुम्हाला वाटते, केवळ त्यावर आधारित डझनभर चाचण्या तयार करून सुरुवात करण्याचा मोह टाळा.

Parlance Lab मधील ML इंजिनिअर हॅमेल हुसैन आणि ML सिस्टम्स व अप्लाइड AI इव्हॅल्स संशोधक श्रेया शंकर हे शिफारस करतात की त्रुटी विश्लेषणापासून (error analysis) सुरुवात करावी; हे तंत्र मशीन लर्निंग आणि डेटा सायन्समधून घेतले आहे. ही प्रक्रिया एजंटच्या एक्झिक्युशन ट्रेसेसच्या गुणात्मक विश्लेषणाने सुरू होते — म्हणजेच वापरकर्त्याचा इनपुट, टूल कॉल्स, मिळवलेली माहिती आणि एजंटचा आउटपुट दर्शवणाऱ्या नोंदी.

1. वैयक्तिक ट्रेसेसचे पुनरावलोकन करा आणि त्रुटींची नोंद करा (ओपन कोडिंग). एखाद्या क्षेत्रतज्ज्ञाकडून एजंट रन्सची तपासणी करून घ्या आणि काय चुकले याबद्दल त्यांना थोडक्यात निरीक्षणे लिहायला सांगा. पहिल्या महत्त्वाच्या त्रुटीवर लक्ष केंद्रित करा.
2. निरीक्षणांचे अपयश प्रकारांनुसार गटीकरण करा (ॲक्सियल कोडिंग). पुरेशा नोंदी जमल्यानंतर, सारख्या त्रुटींसाठी श्रेणी सुचवण्यासाठी LLM वापरा. यात विसंगत भागांच्या शिफारसी, इन्व्हेंटरीची चुकीची माहिती मिळवणे आणि मानवी हस्तांतरणातील अपयश यांचा समावेश असू शकतो.
3. घटनांची संख्या मोजा. प्रत्येक निरीक्षण एका श्रेणीत नेमून द्या, आणि नंतर प्रत्येक अपयश प्रकार किती वेळा दिसतो हे काढण्यासाठी स्प्रेडशीट किंवा पिव्होट टेबल वापरा.
4. कशावर आधी काम करायचे याचा प्राधान्यक्रम ठरवा, यासाठी वारंवारता आणि गांभीर्य दोन्ही विचारात घ्या.
5. महत्त्वाच्या अपयशांचे टेस्ट केसेसमध्ये रूपांतर करा. संबंधित इनपुट, सुरुवातीच्या अटी, अपेक्षित परिणाम आणि ग्रेडिंग निकष जतन करा, जेणेकरून त्याच परिस्थितीत एजंटची पुन्हा चाचणी घेता येईल.

तुम्ही किती ट्रेसेस तपासावेत? साधारण 100, पण यासाठी कोणतीही जादुई संख्या नाही. सैद्धांतिक संपृक्तता (theoretical saturation) गाठल्यावर लवकर थांबा: म्हणजे असा टप्पा, जिथे अधिक ट्रेसेसचे पुनरावलोकन करूनही अपयशाचे कोणतेही महत्त्वपूर्ण नवीन पॅटर्न समोर येत नाहीत.

ॲप्लिकेशन अद्याप लाँच केले नाही? सिंथेटिक उदाहरणे सुरुवातीचा टेस्ट सेट तयार करण्यात मदत करू शकतात, मात्र प्रत्यक्ष वापरकर्त्यांचा डेटा उपलब्ध होताच त्याच्या आधारे टेस्ट सेट घडवायला हवा.

AI एजंट मूल्यमापनात बेंचमार्क्सचा वापर

स्वतःचे टेस्ट केसेस तयार करण्यापलीकडे, एजंटच्या क्षमतांचे मूल्यमापन करण्यासाठी तुम्ही बेंचमार्क्स म्हणून ओळखल्या जाणाऱ्या प्रमाणित मूल्यमापन कार्यांचे विद्यमान संग्रह वापरू शकता.

पण बेंचमार्क्स निर्दोषच असतात असे नाही. SWE-bench ऑडिट्स, Epoch AI ची बेंचमार्क पुनरावलोकने आणि TheoPhysEval मध्ये सुरुवातीला नाकारली गेलेली योग्य उत्तरे ही उदाहरणे दाखवतात की सदोष कार्ये किंवा अपेक्षित उत्तरे मूल्यमापनाचे निकाल कसे विकृत करू शकतात.

खोमुतोव्ह यांच्या सल्ल्यानुसार, तुमच्या क्षेत्राशी संबंधित अद्ययावत बेंचमार्क्स निवडा आणि स्कोअर्सना एजंटच्या कामगिरीचा विश्वासार्ह पुरावा मानण्यापूर्वी अनपेक्षित यश किंवा अपयशांची तपासणी करा.

पायरी 3. पुनरावृत्तीयोग्य टेस्ट वातावरणात एजंट चालवा

पुनरावृत्तीयोग्य टेस्ट वातावरण म्हणजे एक नियंत्रित रचना, जिथे तुम्ही AI एजंटला त्याच टेस्ट केसेसवर, त्याच सुरुवातीच्या अटींमध्ये चालवू शकता आणि निकालांची तुलना करू शकता. यात टेस्ट केसेसचे फोल्डर, एजंट चालवणारी Python स्क्रिप्ट किंवा निकालांचे मूल्यमापन करणाऱ्या तपासण्यांचा संच यांचा समावेश होतो.

तुम्ही प्रातिनिधिक इनपुट्स JSON फाइल्स म्हणून जतन करून आणि तुमच्या एजंटचा वर्कफ्लो चालवण्यासाठी व असर्शन्सच्या मदतीने त्याचे आउटपुट्स तपासण्यासाठी Python स्क्रिप्ट वापरून सुरुवात करू शकता. आमच्या उत्पादन कारखान्याच्या इन्व्हेंटरी एजंटसाठी पुनरावृत्तीयोग्य टेस्ट वातावरण असे दिसू शकते:

विस्तृत करा

पुनरावृत्तीयोग्य टेस्ट वातावरण सेट करण्यासाठी, या पायऱ्यांचे पालन करा:

1. प्रातिनिधिक इनपुट्स जतन करा. तुमच्या ॲप्लिकेशनला प्रोडक्शनमध्ये ज्या रचनेत डेटा मिळतो, त्याच रचनेत प्रत्यक्ष इव्हेंट्स किंवा टेस्ट केसेस साठवा. आमच्या उदाहरणात, तुम्ही मशीन ID, आवश्यक सुटा भाग आणि देखभालीची तारीख असलेली देखभाल विनंती JSON फाइल म्हणून जतन कराल, तसेच इन्व्हेंटरी आणि मंजूर भागांच्या डेटाचा स्नॅपशॉटही जतन कराल.
2. वर्कफ्लो चालवा. प्रत्येक इनपुट एजंटमधून चालवा, यात त्याच्या रिट्रीव्हल स्टेप्स, टूल कॉल्स आणि प्रतिसाद निर्मिती यांचा समावेश आहे.
3. निकाल आणि ट्रेस नोंदवा. अंतिम आउटपुट आणि संबंधित मधल्या टप्प्यातील कृती (जसे की इन्व्हेंटरी लुकअप्स) नोंदवा, जेणेकरून एजंट अयशस्वी झाला की नाही एवढेच नव्हे, तर तो कुठे अयशस्वी झाला हेही तुम्हाला दिसेल.
4. अपयशाचे गांभीर्य, वारंवारता आणि समस्या दुरुस्त करण्यातील अडचण यांच्या आधारे केसेसची पुनरावृत्ती करा. LLM ॲप्लिकेशन्स नॉनडिटर्मिनिस्टिक असतात (एकसारख्या इनपुट्समधून ते वेगवेगळे निकाल देऊ शकतात), त्यामुळे एक रन यशस्वी झाला म्हणजे पुढचाही यशस्वी होईल याची हमी नसते. यशस्वी चाचण्यांचे प्रमाण नोंदवा आणि अपयशांची तपासणी करा.

यासाठी, खोमुतोव्ह pass@1 (एजंट एकाच प्रयत्नात किती वेळा यशस्वी होतो) आणि pass@k (ठरावीक प्रयत्नांपैकी किमान एकदा यशस्वी होण्याची संभाव्यता) मोजण्याचा सल्ला देतात. pass@k नोंदवत असाल, तर प्रयत्नांची संख्या नमूद करा, कारण अनेक उत्तरांपैकी एक उत्तर योग्य असणे याचा अर्थ त्यातील कोणते निवडायचे हे एजंटला माहीत आहे असा होत नाही.

तुमचे ॲप्लिकेशन जसजसे वाढेल, तसतसे चाचण्या व्यवस्थित करण्यासाठी आणि चालवण्यासाठी pytest सारखे टेस्टिंग फ्रेमवर्क वापरा आणि मोठे टेस्ट डेटासेट्स व निकाल डेटाबेसमध्ये साठवण्याचा विचार करा.

पायरी 4. प्रत्येक तपासणीसाठी योग्य ग्रेडर निवडा

ग्रेडर (याला अनेकदा इव्हॅल्युएटर असेही म्हणतात) ही एक यंत्रणा असते — कोडचा एखादा भाग, ग्रेडिंग रुब्रिकच्या मार्गदर्शनाखाली काम करणारे LLM किंवा मानवी पुनरावलोकनकर्ता — जी एजंटचा आउटपुट किंवा कृती एखाद्या निश्चित निकषानुसार तपासते. ग्रेडर पास/फेल निर्णय आणि संबंधित पुरावा स्पष्ट करणारे स्पष्टीकरण देतो.

माहिती: ग्रेडिंग रुब्रिक म्हणजे योग्य किंवा स्वीकार्य निकाल कशाला म्हणावे हे ठरवणाऱ्या निकषांचा आणि सूचनांचा संच.

ग्रेडरचा योग्य प्रकार तुम्हाला काय पडताळायचे आहे यावर अवलंबून असतो. या तीन पद्धतींची तुलना अशी आहे:

कधीकधी एकाच रनच्या वेगवेगळ्या पैलूंसाठी वेगवेगळ्या मूल्यमापन पद्धतींची आवश्यकता असू शकते, त्यामुळे तुम्हाला ग्रेडर्स एकत्र वापरावे लागू शकतात.

ग्रेडर्स एकत्र कसे वापरावेत?

स्वतःला विचारा: “निकाल एखाद्या ज्ञात नियमाशी किंवा अपेक्षित मूल्याशी पडताळून पाहता येतो का, की त्यासाठी माणसासारख्या निर्णयक्षमतेची गरज आहे?”

• जर तुम्ही निकाल अचूकपणे पडताळू शकत असाल, तर कोडवर आधारित ग्रेडरने सुरुवात करा. कोडवर आधारित ग्रेडर्स संरचित आउटपुट्स, वैध फील्ड मूल्ये, टूल आर्ग्युमेंट्स किंवा डेटाबेसची अंतिम स्थितीदेखील पडताळू शकतात.
• जर तपासणीसाठी संदर्भाचा अर्थ लावणे आवश्यक असेल, तर LLM-as-a-judge वापरा.
• क्षेत्र-विशिष्ट किंवा वादग्रस्त निर्णयांसाठी मानवी पुनरावलोकनकर्त्यांचा वापर करा.

महत्त्वाचे! LLM ग्रेडर पुराव्याचा चुकीचा अर्थ लावू शकतो किंवा रुब्रिक चुकीच्या पद्धतीने लागू करू शकतो. त्यामुळे त्यासाठी एका अतिरिक्त मूल्यमापन टप्प्याची गरज असते: मानवी निर्णयांच्या तुलनेत कॅलिब्रेशन.

LLM ग्रेडरचे मानवी निर्णयांच्या तुलनेत कॅलिब्रेशन करा.

मूलतः, कॅलिब्रेशनसाठी एखाद्या क्षेत्रतज्ज्ञाने एजंटच्या प्रत्यक्ष रन्सचे मूल्यमापन करणे आवश्यक असते. त्यानंतर तज्ज्ञ आपल्या निर्णयांची LLM च्या निर्णयांशी तुलना करतो आणि मतभेदांच्या आधारे ग्रेडिंग रुब्रिकमध्ये सुधारणा करतो.

पाच पायऱ्यांची ग्रेडर कॅलिब्रेशन प्रक्रिया अशी आहे:

1. एजंटचे इनपुट्स, आउटपुट्स आणि संबंधित ट्रेसेसची उदाहरणे गोळा करा.
2. प्रत्येक उदाहरण मूल्यमापन निकषाची पूर्तता करते की नाही, याचे एखाद्या क्षेत्रतज्ज्ञाकडून स्वतंत्रपणे मूल्यमापन करून घ्या.
3. त्या उदाहरणांवर LLM ग्रेडर चालवा.
4. मानवी आणि मॉडेलच्या निर्णयांची तुलना करा.
5. मतभेदांची तपासणी करा आणि नवीन उदाहरणांवर चाचणी घेण्यापूर्वी ग्रेडरच्या रुब्रिकमध्ये सुधारणा करा.

खोमुतोव्ह LLM ग्रेडरच्या सातत्याची स्वतंत्रपणे चाचणी घेण्याच्या महत्त्वावरही भर देतात:

“एजंट पुन्हा न चालवता, ग्रेडरला तोच जतन केलेला रन आणि त्याच फाइल्स अनेक वेळा द्या. यामुळे एजंटच्या कामातील फरक आणि ग्रेडिंगमधील फरक वेगळे करता येतात.”

जर एकाच आउटपुटला वेगवेगळे निर्णय मिळत असतील, तर स्कोअरमधील प्रत्येक बदल एजंटमुळेच होतो असे गृहीत धरू नका. त्याऐवजी, कन्फ्युजन मॅट्रिक्स तपासा, जे ग्रेडरने त्रुटी केव्हा योग्यरीत्या ओळखल्या, केव्हा त्या चुकवल्या किंवा स्वीकार्य आउटपुट्सना केव्हा चुकीने त्रुटी म्हणून चिन्हांकित केले हे दाखवते.

संदर्भ निर्णय निश्चित करण्यासाठी, वादग्रस्त प्रकरणे सोडवण्यासाठी आणि विद्यमान ग्रेडर्स ज्यांना शोधण्यासाठी तयार केलेले नाहीत असे नवीन अपयश प्रकार शोधण्यासाठी मानवी पुनरावलोकन अत्यावश्यक राहते.

पायरी 5. आवृत्त्यांची तुलना करा आणि रिग्रेशन तपासण्या चालवा

समजा, त्रुटी विश्लेषणातून असे दिसून आले की तुमचा इन्व्हेंटरी एजंट वारंवार अमंजूर पर्यायी भागांची शिफारस करतो. स्पष्ट सुसंगतता तपासणी अनिवार्य करण्यासाठी तुम्ही त्याच्या सिस्टम प्रॉम्प्टमध्ये बदल करता. मूळ अयशस्वी केस आता पास होते. पण या बदलाचा इतर कार्यांवर परिणाम झालेला नाही हे तुम्हाला कसे कळेल?

इथेच रिग्रेशन टेस्टिंग उपयोगी पडते.

रिग्रेशन टेस्टिंग म्हणजे एजंटचा प्रॉम्प्ट, मॉडेल किंवा वर्कफ्लो बदलल्यानंतर, त्या बदलामुळे नवीन अपयश निर्माण झालेले नाहीत याची खात्री करण्यासाठी आधी यशस्वी झालेले टेस्ट केसेस पुन्हा चालवणे.

1. टेस्ट सेटमधील जतन केलेला इनपुट वापरून मूळ अपयश पुन्हा निर्माण करा.
2. प्रॉम्प्ट, मॉडेल किंवा वर्कफ्लोमध्ये लक्ष्यित बदल करा.
3. समस्या सुटली की नाही हे तपासण्यासाठी अयशस्वी टेस्ट पुन्हा चालवा.
4. इतर चाचण्या चालवा आणि या बदलामुळे पूर्वी यशस्वीपणे चालणाऱ्या वर्तनात कोणताही बिघाड झालेला नाही, याची खात्री करा.
5. निकाल तपासा आणि कोणत्याही नवीन अपयशांची चौकशी करा.

अचूक निकालांसाठी बेसलाइन आणि अपडेट केलेल्या एजंटची तुलना समान चाचणी प्रकरणे आणि मूल्यमापन निकष वापरून करा.

पायरी 6: प्रोडक्शनमधील AI एजंटच्या कामगिरीवर लक्ष ठेवा

तुम्ही तुमचे ॲप्लिकेशन डिप्लॉय केल्यानंतरही एजंटचे मूल्यमापन थांबत नाही. Husain आणि Shankar स्पष्ट करतात त्याप्रमाणे, डेव्हलपमेंटदरम्यान तुम्ही वापरत असलेले तेच मूल्यमापक प्रत्यक्ष प्रोडक्शन डेटावरही चालवता येतात, ज्यामुळे काळानुसार तुमचा एजंट कशी कामगिरी करतो हे मोजता येते.

याला ऑनलाइन मूल्यमापन म्हणतात, आणि हे प्रोडक्शन मॉनिटरिंगच्या एका व्यापक प्रक्रियेचा भाग आहे, जी वारंवार उद्भवणारी आणि पूर्वी माहीत नसलेली अपयशे उघड करण्यास मदत करते.

ही प्रक्रिया पुनरावर्ती स्वरूपाची आहे आणि तिच्यात चार परस्परपूरक क्रियांचा समावेश आहे:

• प्रोडक्शन ट्रेसवर कॅलिब्रेट केलेले LLM परीक्षक चालवा. प्रत्यक्ष एजंट संवादांचे नमुने घ्या आणि मानवी निर्णयांशी आधीच पडताळून पाहिलेले मूल्यमापक त्यांवर लागू करा.
• काळानुसार अपयश दरांचा मागोवा घ्या. वारंवार उद्भवणाऱ्या समस्यांचे प्रमाण मोजण्यासाठी त्रुटी विश्लेषणादरम्यान निश्चित केलेल्या अपयश श्रेणी वापरा.
• ट्रेसचे मॅन्युअल पुनरावलोकन सुरू ठेवा. स्वयंचलित ग्रेडर्स फक्त त्याच समस्या ओळखतात, ज्या ओळखण्यासाठी ते डिझाइन केलेले असतात. नवीन त्रुटी किंवा वापरकर्त्यांच्या असामान्य विनंत्या शोधण्यासाठी प्रत्यक्ष एजंट संवादांचे नमुने स्वतः तपासा.
• व्यावसायिक परिणाम मोजण्यासाठी A/B चाचणी वापरा (फक्त योग्य असेल तेव्हाच). कार्य पूर्णता, वापरकर्त्यांचे समाधान आणि निराकरणासाठी लागणारा वेळ यांसारख्या मेट्रिक्सचा वापर करून वेगवेगळे प्रॉम्प्ट्स, मॉडेल्स किंवा वर्कफ्लोची तुलना करा. वैयक्तिक चाचण्या उत्तीर्ण होण्यापलीकडे जाऊन, एखाद्या बदलामुळे प्रत्यक्ष उत्पादन अनुभव सुधारतो की नाही हे ठरवण्यास ही प्रक्रिया मदत करते.

एक महत्त्वाची गोष्ट लक्षात ठेवा: इव्हॅल्स अगदी परिपूर्ण असण्याची गरज नाही. तुमचे उत्पादन सुधारण्याइतके ते पुरेसे चांगले असले म्हणजे झाले.

AI एजंट मूल्यमापनाबद्दलचे सामान्य गैरसमज

• इव्हॅल्स म्हणजे फक्त युनिट चाचण्या. तसे नाही; युनिट चाचण्या या छोट्या, स्वयंचलित तपासण्या असतात आणि त्या मूल्यमापनाचा केवळ एक भाग आहेत. ॲप्लिकेशनची गुणवत्ता मोजण्यासाठी इव्हॅल्समध्ये गुणात्मक त्रुटी विश्लेषण, मानवी निर्णय, प्रोडक्शन मॉनिटरिंग आणि प्रयोग यांचाही समावेश असतो.
• मूल्यमापन प्लॅटफॉर्म तुमच्यासाठी सर्व काही करू शकतो. तयार टूल्स काही तपासण्या स्वयंचलित करू शकतात, परंतु तुमच्या उत्पादनासाठी कोणते फेल्युअर मोड्स (त्रुटींचे प्रकार किंवा एजंटचे अवांछित वर्तन) महत्त्वाचे आहेत, हे ती ठरवू शकत नाहीत.
• तुम्ही सर्व काही LLM कडून मूल्यमापन करून घेऊ शकता. हा एक मोठा गैरसमज आहे. मानवी नेतृत्वाखालील त्रुटी विश्लेषण आणि ग्रेडर कॅलिब्रेशन अजूनही अत्यावश्यक आहेत, कारण प्रत्येक समस्या शोधण्यासाठी आवश्यक असलेला व्यावसायिक संदर्भ LLM कडे नसतो.
• A/B चाचणी किंवा फक्त एजंट वापरणे इव्हॅल्सची जागा घेते. हे चुकीचे आहे. निवडलेल्या मेट्रिक्सच्या आधारे कोणती आवृत्ती अधिक चांगली कामगिरी करते हे A/B चाचण्या दाखवू शकतात, परंतु मूळ समस्या त्या स्वतःहून स्पष्ट करू शकत नाहीत.

AI एजंट मूल्यमापनाबद्दल वारंवार विचारले जाणारे प्रश्न

1. AI एजंट मूल्यमापन आणि LLM मूल्यमापन यांत काय फरक आहे?

LLM मूल्यमापन हे मोजते की एखादे भाषा मॉडेल प्रश्नाचे उत्तर देणे, दस्तऐवजाचा सारांश तयार करणे किंवा माहिती काढणे यांसारखे दिलेले कार्य किती चांगल्या प्रकारे करते. AI एजंट मूल्यमापन अशा प्रणालीचे मूल्यांकन करते, जी एखादे कार्य पूर्ण करण्यासाठी स्वतंत्रपणे अनेक पायऱ्या पार पाडते.

सामान्य LLM मूल्यमापनाच्या विपरीत, एजंट मूल्यमापनात अंतिम निकाल आणि तो साध्य करण्यासाठी केलेल्या कृतींचा क्रम, या दोन्हींची तपासणी केली जाते, ज्यामध्ये टूल कॉल्स, निर्णय आणि पूर्वनिर्धारित नियमांचे पालन यांचा समावेश आहे.

2. AI एजंट मूल्यमापनासाठी प्रमुख मेट्रिक्स

AI एजंट मूल्यमापन मेट्रिक्स दोन व्यापक श्रेणींमध्ये विभागले जातात:

• तांत्रिक कामगिरी मेट्रिक्स: कार्य यश दर, कृतींची अचूकता, उत्तरांची गुणवत्ता, विश्वासार्हता (pass@1 आणि pass@k), लेटन्सी, टोकन वापर आणि प्रत्येक यशस्वी कार्यामागील खर्च.
• व्यवसाय आणि वापरकर्ता अनुभव मेट्रिक्स: ग्राहक समाधान (CSAT), समस्या निराकरण दर, एस्कलेशन दर, रूपांतरण दर, कार्य पूर्ण होण्यास लागणारा वेळ आणि एजंटच्या भूमिकेशी संबंधित इतर परिणाम.

उदाहरणार्थ, ग्राहक सहाय्य एजंटचे मूल्यमापन समस्यांचे यशस्वी निराकरण आणि ग्राहक समाधान यांच्या आधारे केले जाऊ शकते, तर AI खरेदी एजंटचे मोजमाप पुनर्भरण विनंत्यांची अचूकता, मंजुरी दर आणि खरेदी चक्राचा कालावधी यांवरून केले जाऊ शकते.

योग्य मेट्रिक्सनी एजंट किती विश्वासार्हपणे काम करतो आणि त्याच्या कामामुळे व्यावसायिक परिणाम सुधारतात की नाही, या दोन्ही गोष्टी प्रतिबिंबित केल्या पाहिजेत.

3. AI एजंट्सचे मूल्यमापन करण्यासाठी सर्वोत्तम टूल्स कोणती आहेत?

सामान्य पर्यायांमध्ये यांचा समावेश आहे:

• टेस्टिंग फ्रेमवर्क्स: Python असर्शन्स आणि pytest हे पुनरावृत्ती करता येणारी चाचणी प्रकरणे चालवण्यासाठी आणि एजंटने योग्य टूल निवडले की नाही किंवा वैध पार्ट ID परत केला की नाही, यांसारख्या नेमक्या अटी तपासण्यासाठी उपयुक्त आहेत.
• AI एजंट मूल्यमापन फ्रेमवर्क्स: DeepEval आणि Google चे agent-eval toolkit अधिक गुंतागुंतीच्या मूल्यमापनांना सपोर्ट करतात, ज्यामध्ये एक्झिक्युशन ट्रेस, LLM-आधारित ग्रेडर्स आणि स्वयंचलित रिग्रेशन चाचणी यांचा समावेश आहे.
• मूल्यमापन आणि ऑब्झर्व्हेबिलिटी प्लॅटफॉर्म्स: LangSmith, Arize Phoenix आणि MLflow टीम्सना एजंटच्या वर्तनाची तपासणी करण्यास, मूल्यमापन डेटासेट्स व्यवस्थापित करण्यास, एजंटच्या आवृत्त्यांची तुलना करण्यास आणि प्रोडक्शनमधील कामगिरीवर लक्ष ठेवण्यास मदत करतात.

4. AI एजंट मूल्यमापने स्वयंचलित कशी करावीत?

पुनरावृत्ती करता येणाऱ्या चाचण्या तयार करून, स्वयंचलित ग्रेडर्स लागू करून आणि त्या तपासण्या डेव्हलपमेंट व प्रोडक्शन वर्कफ्लोमध्ये समाविष्ट करून तुम्ही AI एजंट मूल्यमापने स्वयंचलित करू शकता:

1. मूल्यमापन डेटासेट तयार करा: प्रातिनिधिक वापरकर्ता कार्ये, अपेक्षित परिणाम, ज्ञात अपयशे आणि एजंटचे एक्झिक्युशन ट्रेस गोळा करा. अयशस्वी टूल कॉल्स, गहाळ माहिती आणि अनधिकृत कृती यांसारख्या एज केसेसचाही समावेश करा.
2. चाचणी अंमलबजावणी आणि ग्रेडिंग स्वयंचलित करा: चाचणी प्रकरणे चालवण्यासाठी आणि कोड-आधारित तपासण्या किंवा LLM ग्रेडर्स लागू करण्यासाठी pytest किंवा DeepEval सारखी फ्रेमवर्क्स वापरा. LLM ग्रेडर्सच्या स्कोअरवर अवलंबून राहण्यापूर्वी मानवी निर्णयांशी त्यांची पडताळणी करा.
3. मूल्यमापनांचे एकत्रीकरण CI/CD मध्ये करा: डेव्हलपर्स जेव्हा एजंटचे प्रॉम्प्ट्स, मॉडेल्स, टूल्स किंवा वर्कफ्लो अपडेट करतात, तेव्हा रिग्रेशन चाचण्या स्वयंचलितपणे पुन्हा चालवा. निकालांची बेसलाइनशी तुलना करा आणि महत्त्वाच्या तपासण्या अयशस्वी झाल्यास रिलीज रोखणारे गुणवत्ता थ्रेशोल्ड निश्चित करा.
4. नमुना म्हणून घेतलेल्या प्रोडक्शन ट्रेसवर कॅलिब्रेट केलेले ग्रेडर्स लागू करा, अपयश दर आणि इतर कामगिरी मेट्रिक्सचा मागोवा घ्या, आणि मॅन्युअल पुनरावलोकनाद्वारे नवीन त्रुटींची चौकशी करा.