কীভাবে AI এজেন্ট মূল্যায়ন করবেন: টেস্ট সেট, গ্রেডার এবং রিগ্রেশন চেক

প্রতিটি অসাধারণ AI পণ্যের পেছনে থাকে একটি শক্তিশালী AI এজেন্ট মূল্যায়ন প্রক্রিয়া, যা ইভ্যালস (evals) নামে পরিচিত — এটি শুরুতেই ত্রুটি ধরে ফেলে এবং এজেন্টের সঠিক কার্যকারিতা নিশ্চিত করে। কারও পক্ষে রিফান্ড দেওয়ার মতো উচ্চ-ঝুঁকির কাজ সম্পাদনকারী AI এজেন্টদের জন্য ইভ্যালস অত্যন্ত গুরুত্বপূর্ণ।

এই প্রক্রিয়া তৈরি করতে কিছু প্রযুক্তিগত জ্ঞান ও ডেটা বিশ্লেষণের দক্ষতা প্রয়োজন। তবে শুনতে যতটা ভীতিকর বা দুর্বোধ্য মনে হয়, বিষয়টি আসলে মোটেও ততটা নয়। আপনাকে শুরু করতে সাহায্য করার জন্য আমরা AI এজেন্ট মূল্যায়নের ছয়টি ব্যবহারিক ধাপ এবং প্রক্রিয়াটিকে ব্যর্থ করে দেয় এমন কিছু সাধারণ ভুল ধারণা তুলে ধরেছি।

AI এজেন্ট মূল্যায়ন করার অর্থ কী?

AI এজেন্ট মূল্যায়ন করার অর্থ হলো এটি কতটা সঠিকভাবে কাজ সম্পন্ন করে এবং এর সিদ্ধান্তগুলো প্রতিষ্ঠানের প্রয়োজনীয়তা পূরণ করে কি না, তা যাচাই করা। ব্যবহারিক অর্থে, AI এজেন্ট মূল্যায়ন, বা ইভ্যালস, হলো নির্দিষ্ট কিছু মেট্রিক, যা প্রতিষ্ঠানগুলোকে নির্ধারণ করতে সাহায্য করে যে এজেন্টটি তার নির্ধারিত ভূমিকার জন্য যথেষ্ট নির্ভরযোগ্যভাবে কাজ করে কি না।

ধরুন, একটি উৎপাদন কারখানায় একটি AI ক্রয় এজেন্ট আছে, যা খুচরা যন্ত্রাংশের মজুত পরীক্ষা করে এবং পুনঃসরবরাহের অনুরোধ প্রস্তুত করে। যদি কোনো অনুমোদিত যন্ত্রাংশ পাওয়া না যায় বা সরবরাহকারীর তথ্য পুরোনো হয়ে যায়, তাহলে এজেন্টটি কি সমস্যাটি চিহ্নিত করবে, নাকি একটি অননুমোদিত বিকল্পের সুপারিশ করবে?

আর সেই সমস্যা সমাধানের জন্য আপনি যদি এর সিস্টেম প্রম্পট পরিবর্তন করেন, তাহলে কীভাবে বুঝবেন যে আপনি নতুন কোনো সমস্যা তৈরি করেননি?

মূল্যায়নের ব্যবস্থা না থাকলে প্রোডাক্ট ম্যানেজারদের মূলত অনুমানের ওপর নির্ভর করতে হয়। তাই ইভ্যালস পারফরম্যান্স পরিমাপ, বারবার ঘটা সমস্যা শনাক্ত এবং আরও আত্মবিশ্বাসের সঙ্গে পরিবর্তন পরীক্ষা করার জন্য একটি ফিডব্যাক সংকেত দেয়।

এ কথা মাথায় রেখে বলা যায়, একটি এজেন্ট মূল্যায়নে একটি রানের বেশ কয়েকটি দিক পরীক্ষা করা যায়:

• চূড়ান্ত ফলাফলের মান
• এজেন্ট যে তথ্য ব্যবহার করেছে
• এটি যে টুলগুলো কল করেছে
• এটি তার আচরণ নিয়ন্ত্রণকারী নিয়মগুলো মেনে চলেছে কি না

AI এজেন্ট মূল্যায়নের সাধারণ মেট্রিক

ইভ্যালস গুণগত ও পরিমাণগত উভয় ধরনের ডেটা নিয়ে কাজ করে। গুণগত মূল্যায়ন আপনাকে বুঝতে সাহায্য করে কী ঘটছে এবং কেন, যার মধ্যে এজেন্টের সিদ্ধান্তগুলো ম্যানুয়ালি পর্যালোচনা করাও অন্তর্ভুক্ত। পরিমাণগত মূল্যায়ন সেই পর্যবেক্ষণগুলোকে পরিমাপযোগ্য সংকেতে রূপান্তর করে, যেমন নির্দিষ্ট ব্যর্থতার ধরন কতবার ঘটে তা গণনা করা বা কাজের সাফল্যের হার হিসাব করা।

AI এজেন্ট মূল্যায়নের মৌলিক মেট্রিকগুলোর তালিকা নিচে দেওয়া হলো:

• কাজের সাফল্য পরিমাপ করে এজেন্টটি কাঙ্ক্ষিত ফলাফল অর্জন করেছে কি না; সাধারণত বৈধ ফলাফল দেয় এমন রানের শতাংশ হিসেবে এটি পরিমাপ করা হয়।
• অ্যাকশনের সঠিকতা পরিমাপ করে এজেন্টটি টুলগুলো যথাযথভাবে ব্যবহার করেছে কি না, বৈধ আর্গুমেন্ট বেছে নিয়েছে কি না এবং অনুমতিগুলো মেনে চলেছে কি না।
• উত্তরের মান মূল্যায়ন করে চূড়ান্ত আউটপুট নির্ভুল, সম্পূর্ণ ও কার্যকর কি না। এর মধ্যে তথ্যগত নির্ভুলতা, নির্দেশনা মেনে চলা এবং এজেন্ট প্রাপ্ত তথ্য দিয়ে তার সিদ্ধান্তগুলোর পক্ষে যুক্তি দেয় কি না, তা অন্তর্ভুক্ত থাকতে পারে।
• নির্ভরযোগ্যতা বারবার চালানো ট্রায়াল, ভিন্ন ভিন্ন ইনপুট এবং এজ কেসগুলোতে ধারাবাহিকতা পরিমাপ করে।
• খরচ ও লেটেন্সি একটি সফল ফলাফল অর্জনে প্রয়োজনীয় রিসোর্স পরিমাপ করে, যার মধ্যে রয়েছে এক্সিকিউশনের সময়, টোকেন ব্যবহার এবং টুল কল।

আপনি কী পরিমাপ করছেন তার ওপর নির্ভর করে, ইভ্যালস একটি এজেন্টের এন্ড-টু-এন্ড পারফরম্যান্স, তার এক্সিকিউশন ট্র্যাজেক্টরি, অথবা টুল কল ও রিট্রিভাল ধাপের মতো আলাদা আলাদা উপাদান মূল্যায়ন করতে পারে।

ধাপ ১: একটি সফল এজেন্ট রান দেখতে কেমন, তা নির্ধারণ করুন

প্রথমে, এজেন্টের কী অর্জন করার কথা — অর্থাৎ প্রোডাক্টের প্রয়োজনীয়তাগুলো — স্পষ্টভাবে বর্ণনা করুন। শুনতে সহজ মনে হলেও এটি আশ্চর্যজনকভাবে কঠিন হতে পারে। এর একটি নামও আছে: স্পেসিফিকেশন গ্যাপ।

আমাদের সিনিয়র ডেটা সায়েন্টিস্ট Andrey Khomutov-এর মতে, বিষয়টি যেভাবে মোকাবিলা করবেন:

“দুটি প্রশ্ন দিয়ে শুরু করুন: “কোন বিষয়টিকে কাজটি সম্পন্ন করা হিসেবে গণ্য করা হবে?” এবং “কোন বিষয়টি আপাতদৃষ্টিতে সফল একটি রানকেও অগ্রহণযোগ্য করে তুলবে?”

এজেন্টদের ক্ষেত্রে, প্রযুক্তিগত দৃষ্টিকোণ থেকে, এর অর্থ হলো ফলাফল এবং এজেন্টরা কীভাবে সেখানে পৌঁছেছে — দুটোই পরীক্ষা করা।”

একটি এজেন্ট ফাঁস হয়ে যাওয়া উত্তরমালা ব্যবহার করে সঠিক উত্তর দিতে পারে, অথবা কাজ সম্পন্ন করার সময় অননুমোদিত পদক্ষেপ নিতে পারে। Khomutov উল্লেখ করেন যে উত্তর ফাঁস (answer leakage) এবং মূল্যায়নের সময় অনিরাপদ পদক্ষেপ শুধু চূড়ান্ত উত্তর দেখে বিচার না করার সুনির্দিষ্ট কারণ।

“আমি আশা করি, ট্র্যাজেক্টরি পরিদর্শন শুধু কোনো ফলাফল সন্দেহজনক মনে হলে করার মতো কাজ হয়ে না থেকে এজেন্ট ইভ্যাল স্যুটের একটি আদর্শ অংশ হয়ে উঠবে,” তিনি যোগ করেন।

এরপর আপনার সাফল্যের মানদণ্ড যাচাই করতে একজন ডোমেইন বিশেষজ্ঞকে যুক্ত করুন। সংশ্লিষ্ট ক্ষেত্রে হাতে-কলমে অভিজ্ঞতা আছে এমন ব্যক্তিরা বলতে পারেন যে AI এজেন্টের জন্য আমাদের নির্ধারিত শর্তগুলো একটি সফল ফলাফলকে প্রতিফলিত করে কি না।

ধাপ ২. বাস্তব কাজ ও ব্যর্থতা থেকে একটি টেস্ট সেট তৈরি করুন

ভালো ও খারাপ পারফরম্যান্স দেখতে কেমন, তা বুঝতে এজেন্টের প্রকৃত আচরণ পরীক্ষা করুন। কী ভুল হতে পারে বলে আপনার মনে হয়, শুধু তার ভিত্তিতে শুরুতেই ডজন ডজন টেস্ট তৈরি করার প্রলোভন এড়িয়ে চলুন।

Parlance Lab-এর ML ইঞ্জিনিয়ার Hamel Husain এবং ML সিস্টেম ও অ্যাপ্লায়েড AI ইভ্যালস গবেষক Shreya Shankar পরামর্শ দেন ত্রুটি বিশ্লেষণ (error analysis) দিয়ে শুরু করতে — এটি মেশিন লার্নিং ও ডেটা সায়েন্স থেকে নেওয়া একটি কৌশল। প্রক্রিয়াটি শুরু হয় এজেন্টের এক্সিকিউশন ট্রেস-এর গুণগত বিশ্লেষণ দিয়ে — অর্থাৎ ব্যবহারকারীর ইনপুট, টুল কল, সংগৃহীত তথ্য এবং এজেন্টের আউটপুট দেখানো রেকর্ড।

1. আলাদা আলাদা ট্রেস পর্যালোচনা করুন এবং ত্রুটিগুলো চিহ্নিত করে নোট লিখুন (ওপেন কোডিং)। একজন ডোমেইন বিশেষজ্ঞকে এজেন্ট রানগুলো পরীক্ষা করতে দিন এবং কী ভুল হয়েছে সে সম্পর্কে সংক্ষিপ্ত পর্যবেক্ষণ লিখতে বলুন। প্রথম অর্থবহ ত্রুটির ওপর মনোযোগ দিন।
2. পর্যবেক্ষণগুলোকে ব্যর্থতার ধরন অনুযায়ী ভাগ করুন (অ্যাক্সিয়াল কোডিং)। যথেষ্ট নোট জমা হলে, একই ধরনের ত্রুটির জন্য ক্যাটাগরি প্রস্তাব করতে একটি LLM ব্যবহার করুন। এর মধ্যে থাকতে পারে অসামঞ্জস্যপূর্ণ যন্ত্রাংশের সুপারিশ, মজুতের ভুল তথ্য সংগ্রহ এবং মানুষের কাছে কাজ হস্তান্তরে ব্যর্থতা।
3. ঘটনার সংখ্যা গণনা করুন। প্রতিটি পর্যবেক্ষণকে একটি ক্যাটাগরিতে অন্তর্ভুক্ত করুন, তারপর প্রতিটি ব্যর্থতার ধরন কতবার দেখা যায় তা হিসাব করতে একটি স্প্রেডশিট বা পিভট টেবিল ব্যবহার করুন।
4. ঘটনার হার ও গুরুত্ব — উভয় বিবেচনা করে কোনটি আগে সমাধান করবেন, তার অগ্রাধিকার ঠিক করুন।
5. গুরুত্বপূর্ণ ব্যর্থতাগুলোকে টেস্ট কেসে রূপান্তর করুন। প্রাসঙ্গিক ইনপুট, প্রারম্ভিক অবস্থা, প্রত্যাশিত ফলাফল এবং গ্রেডিং মানদণ্ড সংরক্ষণ করুন, যাতে একই পরিস্থিতিতে এজেন্টটিকে আবার পরীক্ষা করা যায়।

কতগুলো ট্রেস পরীক্ষা করা উচিত? মোটামুটি ১০০টি, তবে কোনো নির্দিষ্ট জাদুকরী সংখ্যা নেই। তাত্ত্বিক সম্পৃক্তি (theoretical saturation)-তে পৌঁছালেই থেমে যান: অর্থাৎ যে পর্যায়ে আরও ট্রেস পর্যালোচনা করলে আর কোনো অর্থবহ নতুন ব্যর্থতার ধরন বেরিয়ে আসে না।

এখনো অ্যাপ্লিকেশনটি চালু করেননি? সিনথেটিক উদাহরণ দিয়ে একটি প্রাথমিক টেস্ট সেট তৈরি করা যেতে পারে, তবে বাস্তব ব্যবহারকারীর ডেটা পাওয়া মাত্রই সেটির ভিত্তিতে টেস্ট সেট গড়ে তোলা উচিত।

AI এজেন্ট মূল্যায়নে বেঞ্চমার্কের ব্যবহার

নিজের টেস্ট কেস তৈরি করার পাশাপাশি, এজেন্টের সক্ষমতা যাচাই করতে আপনি বেঞ্চমার্ক নামে পরিচিত মানসম্মত মূল্যায়ন কাজের বিদ্যমান সংগ্রহগুলোও ব্যবহার করতে পারেন।

তবে বেঞ্চমার্কও ত্রুটিমুক্ত নয়। SWE-bench অডিট, Epoch AI-এর বেঞ্চমার্ক পর্যালোচনা এবং TheoPhysEval-এ শুরুতে প্রত্যাখ্যাত সঠিক উত্তরগুলো দেখায় কীভাবে ত্রুটিপূর্ণ কাজ বা প্রত্যাশিত উত্তর মূল্যায়নের ফলাফলকে বিকৃত করতে পারে।

Khomutov-এর পরামর্শ হলো, আপনার ক্ষেত্রের সঙ্গে প্রাসঙ্গিক হালনাগাদ বেঞ্চমার্ক বেছে নিন এবং স্কোরগুলোকে এজেন্টের পারফরম্যান্সের নির্ভরযোগ্য প্রমাণ হিসেবে গণ্য করার আগে অপ্রত্যাশিত পাস বা ব্যর্থতাগুলো খতিয়ে দেখুন।

ধাপ ৩. একটি পুনরাবৃত্তিযোগ্য টেস্ট পরিবেশে এজেন্ট চালান

পুনরাবৃত্তিযোগ্য টেস্ট পরিবেশ হলো একটি নিয়ন্ত্রিত ব্যবস্থা, যেখানে আপনি একই প্রারম্ভিক অবস্থায় একই টেস্ট কেসের ওপর একটি AI এজেন্ট চালিয়ে ফলাফলগুলো তুলনা করতে পারেন। এর মধ্যে থাকতে পারে টেস্ট কেসের একটি ফোল্ডার, এজেন্ট চালানোর একটি Python স্ক্রিপ্ট, অথবা ফলাফল মূল্যায়নের জন্য কিছু চেক।

শুরুতে আপনি প্রতিনিধিত্বমূলক ইনপুটগুলো JSON ফাইল হিসেবে সংরক্ষণ করতে পারেন এবং একটি Python স্ক্রিপ্ট ব্যবহার করে এজেন্টের ওয়ার্কফ্লো চালিয়ে অ্যাসারশনের মাধ্যমে এর আউটপুট পরীক্ষা করতে পারেন। আমাদের উৎপাদন কারখানার মজুত এজেন্টের জন্য একটি পুনরাবৃত্তিযোগ্য টেস্ট পরিবেশ দেখতে এমন হতে পারে:

বড় করুন

একটি পুনরাবৃত্তিযোগ্য টেস্ট পরিবেশ সেট আপ করতে এই ধাপগুলো অনুসরণ করুন:

1. প্রতিনিধিত্বমূলক ইনপুট সংরক্ষণ করুন। প্রোডাকশনে আপনার অ্যাপ্লিকেশন যে কাঠামোতে ডেটা পায়, সেই একই কাঠামোতে প্রকৃত ইভেন্ট বা টেস্ট কেস সংরক্ষণ করুন। আমাদের উদাহরণে, আপনি মেশিন আইডি, প্রয়োজনীয় খুচরা যন্ত্রাংশ ও রক্ষণাবেক্ষণের তারিখসহ একটি রক্ষণাবেক্ষণ অনুরোধ JSON ফাইল হিসেবে সংরক্ষণ করবেন, সঙ্গে মজুত ও অনুমোদিত যন্ত্রাংশের ডেটার একটি স্ন্যাপশটও।
2. ওয়ার্কফ্লো চালান। প্রতিটি ইনপুট এজেন্টের মধ্য দিয়ে চালান, যার মধ্যে এর রিট্রিভাল ধাপ, টুল কল এবং রেসপন্স তৈরি অন্তর্ভুক্ত।
3. ফলাফল ও ট্রেস রেকর্ড করুন। চূড়ান্ত আউটপুট এবং প্রাসঙ্গিক মধ্যবর্তী পদক্ষেপগুলো (যেমন মজুত যাচাই) সংরক্ষণ করুন, যাতে আপনি শুধু এজেন্টটি ব্যর্থ হয়েছে কি না তা-ই নয়, কোথায় ব্যর্থ হয়েছে তাও দেখতে পারেন।
4. ব্যর্থতার গুরুত্ব, ঘটনার হার এবং সমস্যা সমাধানের কাঠিন্যের ভিত্তিতে কেসগুলো পুনরাবৃত্তি করুন। LLM অ্যাপ্লিকেশনগুলো নন-ডিটারমিনিস্টিক (একই ইনপুট থেকে ভিন্ন ভিন্ন ফলাফল দিতে পারে), তাই একটি রান সফল হলেই পরের রানটিও সফল হবে, এমন নিশ্চয়তা নেই। সফল ট্রায়ালের অনুপাত রিপোর্ট করুন এবং ব্যর্থতাগুলো পরীক্ষা করুন।

এ ক্ষেত্রে Khomutov pass@1 (একবারের চেষ্টায় এজেন্ট কতবার সফল হয়) এবং pass@k (নির্দিষ্ট সংখ্যক চেষ্টার মধ্যে অন্তত একবার সফল হওয়ার সম্ভাবনা) পরিমাপ করার পরামর্শ দেন। pass@k রিপোর্ট করলে চেষ্টার সংখ্যা উল্লেখ করুন, কারণ কয়েকটি উত্তরের মধ্যে একটি সঠিক উত্তর দেওয়ার অর্থ এই নয় যে এজেন্টটি জানে কোনটি বেছে নিতে হবে।

আপনার অ্যাপ্লিকেশন বড় হওয়ার সঙ্গে সঙ্গে টেস্টগুলো সংগঠিত ও চালানোর জন্য pytest-এর মতো একটি টেস্টিং ফ্রেমওয়ার্ক ব্যবহার করুন এবং বড় টেস্ট ডেটাসেট ও ফলাফল একটি ডেটাবেসে সংরক্ষণের কথা বিবেচনা করুন।

ধাপ ৪. প্রতিটি চেকের জন্য সঠিক গ্রেডার বেছে নিন

গ্রেডার (প্রায়ই ইভ্যালুয়েটর নামেও পরিচিত) হলো এমন একটি ব্যবস্থা — হতে পারে এক টুকরো কোড, একটি গ্রেডিং রুব্রিক দ্বারা পরিচালিত LLM, অথবা একজন মানব পর্যালোচক — যা একটি নির্ধারিত মানদণ্ডের ভিত্তিতে এজেন্টের আউটপুট বা পদক্ষেপ যাচাই করে। একটি গ্রেডার একটি পাস/ফেল সিদ্ধান্ত এবং প্রাসঙ্গিক প্রমাণ চিহ্নিত করে একটি ব্যাখ্যা দেয়।

তথ্য: গ্রেডিং রুব্রিক হলো মানদণ্ড ও নির্দেশনার একটি সেট, যা নির্ধারণ করে কোনটি সঠিক বা গ্রহণযোগ্য ফলাফল হিসেবে গণ্য হবে।

সঠিক গ্রেডারের ধরন নির্ভর করে আপনি কী যাচাই করতে চাইছেন তার ওপর। তিনটি পদ্ধতির তুলনা নিচে দেওয়া হলো:

কখনো কখনো একই রানের বিভিন্ন দিকের জন্য ভিন্ন ভিন্ন মূল্যায়ন পদ্ধতির প্রয়োজন হতে পারে, তাই আপনাকে একাধিক গ্রেডার একসঙ্গে ব্যবহার করতে হতে পারে।

কীভাবে গ্রেডারগুলো একসঙ্গে ব্যবহার করবেন?

নিজেকে প্রশ্ন করুন: “ফলাফলটি কি কোনো জানা নিয়ম বা প্রত্যাশিত মানের সঙ্গে মিলিয়ে যাচাই করা যায়, নাকি এর জন্য মানুষের মতো বিচারবুদ্ধি প্রয়োজন?”

• যদি ফলাফলটি হুবহু যাচাই করা যায়, তাহলে একটি কোড-ভিত্তিক গ্রেডার দিয়ে শুরু করুন। কোড-ভিত্তিক গ্রেডার কাঠামোবদ্ধ আউটপুট, বৈধ ফিল্ড মান, টুল আর্গুমেন্ট বা ডেটাবেসের চূড়ান্ত অবস্থাও যাচাই করতে পারে।
• যদি যাচাইয়ের জন্য প্রেক্ষাপট বিশ্লেষণ প্রয়োজন হয়, তাহলে বিচারক হিসেবে LLM (LLM-as-a-judge) ব্যবহার করুন।
• ডোমেইন-নির্দিষ্ট বা বিতর্কিত সিদ্ধান্তের জন্য মানব পর্যালোচক ব্যবহার করুন।

গুরুত্বপূর্ণ! একটি LLM গ্রেডার প্রমাণের ভুল ব্যাখ্যা করতে পারে বা রুব্রিক ভুলভাবে প্রয়োগ করতে পারে। তাই এর জন্য একটি অতিরিক্ত মূল্যায়ন ধাপ প্রয়োজন: মানুষের বিচারের সঙ্গে ক্যালিব্রেশন।

মানুষের বিচারের সঙ্গে LLM গ্রেডারকে ক্যালিব্রেট করুন।

মূলত, ক্যালিব্রেশনের জন্য একজন ডোমেইন বিশেষজ্ঞকে প্রকৃত এজেন্ট রানগুলো মূল্যায়ন করতে হয়। এরপর বিশেষজ্ঞ তাঁর সিদ্ধান্তগুলো LLM-এর সিদ্ধান্তের সঙ্গে তুলনা করেন এবং মতপার্থক্যের ভিত্তিতে গ্রেডিং রুব্রিক পরিমার্জন করেন।

এখানে পাঁচ ধাপের একটি গ্রেডার ক্যালিব্রেশন প্রক্রিয়া দেওয়া হলো:

1. এজেন্টের ইনপুট, আউটপুট ও প্রাসঙ্গিক ট্রেসের উদাহরণ সংগ্রহ করুন।
2. প্রতিটি উদাহরণ মূল্যায়নের মানদণ্ড পূরণ করে কি না, তা একজন ডোমেইন বিশেষজ্ঞকে দিয়ে স্বাধীনভাবে যাচাই করান।
3. সেই উদাহরণগুলোর ওপর LLM গ্রেডার চালান।
4. মানুষ ও মডেলের সিদ্ধান্তগুলো তুলনা করুন।
5. নতুন উদাহরণে পরীক্ষা করার আগে মতপার্থক্যগুলো খতিয়ে দেখুন এবং গ্রেডারের রুব্রিক পরিমার্জন করুন।

Khomutov আলাদাভাবে LLM গ্রেডারের ধারাবাহিকতা পরীক্ষা করার গুরুত্বের ওপরও জোর দেন:

“এজেন্টটি আবার না চালিয়ে, একই সংরক্ষিত রান ও ফাইলগুলো কয়েকবার এটিকে দিন। এতে আপনি এজেন্টের কাজের তারতম্যকে গ্রেডিংয়ের তারতম্য থেকে আলাদা করতে পারবেন।”

একই আউটপুট যদি ভিন্ন ভিন্ন রায় পায়, তাহলে ধরে নেবেন না যে স্কোরের প্রতিটি পরিবর্তন এজেন্টের কারণেই হয়েছে। বরং একটি কনফিউশন ম্যাট্রিক্স পরীক্ষা করুন, যা দেখায় গ্রেডার কখন ত্রুটি সঠিকভাবে শনাক্ত করেছে, কখন সেগুলো মিস করেছে, কিংবা কখন গ্রহণযোগ্য আউটপুটকে ভুলভাবে চিহ্নিত করেছে।

রেফারেন্স সিদ্ধান্ত প্রতিষ্ঠা, বিতর্কিত কেসের নিষ্পত্তি এবং বিদ্যমান গ্রেডারগুলো যেসব নতুন ব্যর্থতার ধরন শনাক্ত করার জন্য তৈরি হয়নি সেগুলো আবিষ্কারের জন্য মানব পর্যালোচনা এখনো অপরিহার্য।

ধাপ ৫. সংস্করণগুলো তুলনা করুন এবং রিগ্রেশন চেক চালান

ধরুন, ত্রুটি বিশ্লেষণে দেখা গেল যে আপনার মজুত এজেন্ট প্রায়ই অননুমোদিত বিকল্প যন্ত্রাংশের সুপারিশ করে। আপনি এর সিস্টেম প্রম্পট পরিবর্তন করে একটি সুস্পষ্ট সামঞ্জস্য যাচাই বাধ্যতামূলক করলেন। মূল ব্যর্থ কেসটি এখন পাস করছে। কিন্তু কীভাবে বুঝবেন যে পরিবর্তনটি অন্য কাজগুলোকে প্রভাবিত করেনি?

এখানেই রিগ্রেশন টেস্টিং-এর ভূমিকা।

রিগ্রেশন টেস্টিং মানে হলো এজেন্টের প্রম্পট, মডেল বা ওয়ার্কফ্লো পরিবর্তনের পর আগে সফল হওয়া টেস্ট কেসগুলো আবার চালানো, যাতে নিশ্চিত হওয়া যায় যে পরিবর্তনটি নতুন কোনো ব্যর্থতা তৈরি করেনি।

1. টেস্ট সেট থেকে একটি সংরক্ষিত ইনপুট ব্যবহার করে মূল ব্যর্থতাটি পুনরায় ঘটান।
2. প্রম্পট, মডেল বা ওয়ার্কফ্লোতে একটি লক্ষ্যভিত্তিক পরিবর্তন করুন।
3. সমস্যাটির সমাধান হয়েছে কি না দেখতে ব্যর্থ টেস্টটি আবার চালান।
4. পরিবর্তনটি আগে সফলভাবে কাজ করা আচরণে কোনো সমস্যা তৈরি করেনি কিনা, তা যাচাই করতে অন্যান্য টেস্ট চালান।
5. ফলাফল পরীক্ষা করুন এবং যেকোনো নতুন ব্যর্থতার কারণ অনুসন্ধান করুন।

সঠিক ফলাফলের জন্য একই টেস্ট কেস ও মূল্যায়নের মানদণ্ড ব্যবহার করে বেসলাইন এবং আপডেট করা এজেন্টের তুলনা করুন।

ধাপ ৬: প্রোডাকশনে AI এজেন্টের পারফরম্যান্স মনিটর করুন

অ্যাপ্লিকেশন ডিপ্লয় করার পরও এজেন্ট মূল্যায়ন থেমে থাকে না। হুসাইন ও শঙ্কর যেমন ব্যাখ্যা করেছেন, ডেভেলপমেন্টের সময় আপনি যে ইভ্যালুয়েটরগুলো ব্যবহার করেন, সেগুলো বাস্তব প্রোডাকশন ডেটার ওপরও চালানো যায়, যাতে সময়ের সাথে আপনার এজেন্ট কেমন পারফর্ম করছে তা পরিমাপ করা যায়।

একে বলা হয় অনলাইন মূল্যায়ন, এবং এটি একটি বৃহত্তর প্রোডাকশন মনিটরিং প্রক্রিয়ার অংশ, যা বারবার ঘটা এবং আগে অজানা থাকা ব্যর্থতাগুলো খুঁজে বের করতে সাহায্য করে।

প্রক্রিয়াটি পুনরাবৃত্তিমূলক এবং এতে চারটি পরস্পর-পরিপূরক কাজ রয়েছে:

• প্রোডাকশন ট্রেসে ক্যালিব্রেট করা LLM জাজ চালান। এজেন্টের বাস্তব ইন্টারঅ্যাকশনের নমুনা নিন এবং মানুষের মূল্যায়নের সাথে মিলিয়ে আগেই যাচাই করা ইভ্যালুয়েটরগুলো প্রয়োগ করুন।
• সময়ের সাথে ব্যর্থতার হার ট্র্যাক করুন। বারবার ঘটা সমস্যাগুলোর পরিমাণ নির্ধারণ করতে ত্রুটি বিশ্লেষণের সময় নির্ধারিত ব্যর্থতার ক্যাটাগরিগুলো ব্যবহার করুন।
• ম্যানুয়ালি ট্রেস পর্যালোচনা চালিয়ে যান। স্বয়ংক্রিয় গ্রেডার কেবল সেই সমস্যাগুলোই শনাক্ত করে, যেগুলো শনাক্ত করার জন্য সেগুলো তৈরি করা হয়েছে। নতুন ত্রুটি বা অস্বাভাবিক ব্যবহারকারী অনুরোধ খুঁজে বের করতে এজেন্টের বাস্তব ইন্টারঅ্যাকশনের নমুনা ম্যানুয়ালি পরীক্ষা করুন।
• ব্যবসায়িক ফলাফল পরিমাপ করতে A/B টেস্টিং ব্যবহার করুন (কেবল উপযুক্ত ক্ষেত্রে)। টাস্ক সম্পন্ন হওয়া, ব্যবহারকারীর সন্তুষ্টি এবং সমাধানে লাগা সময়ের মতো মেট্রিক ব্যবহার করে বিভিন্ন প্রম্পট, মডেল বা ওয়ার্কফ্লোর তুলনা করুন। শুধু আলাদা আলাদা টেস্টে উত্তীর্ণ হওয়ার বাইরেও কোনো পরিবর্তন প্রকৃত প্রোডাক্ট অভিজ্ঞতাকে উন্নত করে কিনা, তা নির্ধারণে এই প্রক্রিয়া সাহায্য করে।

একটি গুরুত্বপূর্ণ বিষয়: ইভালগুলোকে নিখুঁত হতে হবে, এমন নয়। আপনার প্রোডাক্ট উন্নত করার মতো যথেষ্ট ভালো হলেই চলবে।

AI এজেন্ট মূল্যায়ন নিয়ে প্রচলিত ভুল ধারণা

• ইভাল মানে কেবল ইউনিট টেস্ট। তা নয়; ইউনিট টেস্ট হলো ছোট, স্বয়ংক্রিয় যাচাই, যা মূল্যায়নের কেবল একটি অংশ। অ্যাপ্লিকেশনের মান পরিমাপ করতে ইভালে গুণগত ত্রুটি বিশ্লেষণ, মানুষের মূল্যায়ন, প্রোডাকশন মনিটরিং এবং এক্সপেরিমেন্টও অন্তর্ভুক্ত থাকে।
• একটি মূল্যায়ন প্ল্যাটফর্ম আপনার হয়ে সবকিছু করে দিতে পারে। রেডিমেড টুলগুলো কিছু যাচাই স্বয়ংক্রিয় করতে পারে, কিন্তু আপনার প্রোডাক্টের জন্য কোন ফেইলিওর মোড (ত্রুটির ধরন বা এজেন্টের অনাকাঙ্ক্ষিত আচরণ) গুরুত্বপূর্ণ, তা নির্ধারণ করতে পারে না।
• সবকিছুর মূল্যায়ন একটি LLM-এর ওপর ছেড়ে দেওয়া যায়। এটি একটি বড় ভ্রান্ত ধারণা। মানুষের নেতৃত্বে ত্রুটি বিশ্লেষণ এবং গ্রেডার ক্যালিব্রেশন এখনো অপরিহার্য, কারণ প্রতিটি সমস্যা খুঁজে বের করার জন্য প্রয়োজনীয় ব্যবসায়িক প্রেক্ষাপট LLM-এর কাছে থাকে না।
• A/B টেস্টিং বা শুধু এজেন্টটি ব্যবহার করাই ইভালের বিকল্প। ভুল। A/B টেস্ট দেখাতে পারে যে নির্বাচিত মেট্রিকের ভিত্তিতে কোন সংস্করণ ভালো পারফর্ম করে, কিন্তু এককভাবে মূল সমস্যাগুলো ব্যাখ্যা করতে পারে না।

AI এজেন্ট মূল্যায়ন: প্রায়শই জিজ্ঞাসিত প্রশ্ন

১. AI এজেন্ট মূল্যায়ন এবং LLM মূল্যায়নের মধ্যে পার্থক্য কী?

LLM মূল্যায়ন পরিমাপ করে যে একটি ভাষা মডেল কোনো নির্দিষ্ট কাজ, যেমন প্রশ্নের উত্তর দেওয়া, কোনো ডকুমেন্টের সারসংক্ষেপ তৈরি করা বা তথ্য বের করা, কতটা ভালোভাবে সম্পাদন করে। AI এজেন্ট মূল্যায়ন এমন একটি সিস্টেমকে মূল্যায়ন করে, যা একটি কাজ সম্পন্ন করতে স্বাধীনভাবে একাধিক ধাপ সম্পাদন করে।

সাধারণ LLM মূল্যায়নের বিপরীতে, এজেন্ট মূল্যায়ন চূড়ান্ত ফলাফল এবং তা অর্জনে নেওয়া পদক্ষেপগুলোর ক্রম—উভয়ই পরীক্ষা করে, যার মধ্যে রয়েছে টুল কল, সিদ্ধান্ত এবং পূর্বনির্ধারিত নিয়ম মেনে চলা।

২. AI এজেন্ট মূল্যায়নের মূল মেট্রিক

AI এজেন্ট মূল্যায়নের মেট্রিকগুলো দুটি বিস্তৃত ক্যাটাগরিতে পড়ে:

• প্রযুক্তিগত পারফরম্যান্স মেট্রিক: টাস্ক সাফল্যের হার, অ্যাকশনের নির্ভুলতা, উত্তরের মান, নির্ভরযোগ্যতা (pass@1 এবং pass@k), লেটেন্সি, টোকেন ব্যবহার এবং প্রতিটি সফল টাস্কের খরচ।
• ব্যবসা ও ব্যবহারকারী অভিজ্ঞতার মেট্রিক: গ্রাহক সন্তুষ্টি (CSAT), সমস্যা সমাধানের হার, এসকেলেশনের হার, কনভার্সন রেট, টাস্ক সম্পন্ন করার সময় এবং এজেন্টের ভূমিকার সাথে সংশ্লিষ্ট অন্যান্য ফলাফল।

উদাহরণস্বরূপ, একটি কাস্টমার সাপোর্ট এজেন্টকে সফলভাবে সমস্যা সমাধান এবং গ্রাহক সন্তুষ্টির ভিত্তিতে মূল্যায়ন করা যেতে পারে, অন্যদিকে একটি AI ক্রয় এজেন্টকে স্টক পুনরায় পূরণের অনুরোধের নির্ভুলতা, অনুমোদনের হার এবং ক্রয় চক্রের সময়কাল দিয়ে পরিমাপ করা যেতে পারে।

সঠিক মেট্রিকগুলোতে দুটি বিষয়ই প্রতিফলিত হওয়া উচিত: এজেন্ট কতটা নির্ভরযোগ্যভাবে কাজ করে এবং তার কাজ ব্যবসায়িক ফলাফল উন্নত করে কিনা।

৩. AI এজেন্ট মূল্যায়নের জন্য সেরা টুলগুলো কী কী?

প্রচলিত বিকল্পগুলোর মধ্যে রয়েছে:

• টেস্টিং ফ্রেমওয়ার্ক: Python অ্যাসারশন এবং pytest পুনরাবৃত্তিযোগ্য টেস্ট কেস চালাতে এবং নির্দিষ্ট শর্ত যাচাই করতে কাজে লাগে, যেমন কোনো এজেন্ট সঠিক টুল বেছে নিয়েছে কিনা বা একটি বৈধ পার্ট আইডি ফেরত দিয়েছে কিনা।
• AI এজেন্ট মূল্যায়ন ফ্রেমওয়ার্ক: DeepEval এবং Google-এর agent-eval টুলকিট আরও জটিল মূল্যায়ন সমর্থন করে, যার মধ্যে রয়েছে এক্সিকিউশন ট্রেস, LLM-ভিত্তিক গ্রেডার এবং স্বয়ংক্রিয় রিগ্রেশন টেস্টিং।
• মূল্যায়ন ও অবজারভেবিলিটি প্ল্যাটফর্ম: LangSmith, Arize Phoenix এবং MLflow টিমগুলোকে এজেন্টের আচরণ পরীক্ষা, মূল্যায়ন ডেটাসেট পরিচালনা, এজেন্টের বিভিন্ন সংস্করণের তুলনা এবং প্রোডাকশনে পারফরম্যান্স মনিটর করতে সাহায্য করে।

৪. কীভাবে AI এজেন্ট মূল্যায়ন স্বয়ংক্রিয় করবেন?

পুনরাবৃত্তিযোগ্য টেস্ট তৈরি করে, স্বয়ংক্রিয় গ্রেডার প্রয়োগ করে এবং সেই যাচাইগুলো ডেভেলপমেন্ট ও প্রোডাকশন ওয়ার্কফ্লোতে যুক্ত করে আপনি AI এজেন্ট মূল্যায়ন স্বয়ংক্রিয় করতে পারেন:

1. একটি মূল্যায়ন ডেটাসেট তৈরি করুন: ব্যবহারকারীদের প্রতিনিধিত্বমূলক টাস্ক, প্রত্যাশিত ফলাফল, জানা ব্যর্থতা এবং এজেন্টের এক্সিকিউশন ট্রেস সংগ্রহ করুন। ব্যর্থ টুল কল, অনুপস্থিত তথ্য এবং অননুমোদিত অ্যাকশনের মতো এজ কেসও অন্তর্ভুক্ত করুন।
2. টেস্ট চালানো ও গ্রেডিং স্বয়ংক্রিয় করুন: টেস্ট কেস চালাতে এবং কোড-ভিত্তিক যাচাই বা LLM গ্রেডার প্রয়োগ করতে pytest বা DeepEval-এর মতো ফ্রেমওয়ার্ক ব্যবহার করুন। LLM গ্রেডারের স্কোরের ওপর নির্ভর করার আগে মানুষের মূল্যায়নের সাথে মিলিয়ে সেগুলো যাচাই করুন।
3. CI/CD-তে মূল্যায়ন যুক্ত করুন: ডেভেলপাররা যখন কোনো এজেন্টের প্রম্পট, মডেল, টুল বা ওয়ার্কফ্লো আপডেট করেন, তখন স্বয়ংক্রিয়ভাবে রিগ্রেশন টেস্ট আবার চালান। ফলাফলকে একটি বেসলাইনের সাথে তুলনা করুন এবং এমন মানের সীমা নির্ধারণ করুন, যাতে গুরুত্বপূর্ণ যাচাই ব্যর্থ হলে রিলিজ আটকে যায়।
4. নমুনা হিসেবে নেওয়া প্রোডাকশন ট্রেসে ক্যালিব্রেট করা গ্রেডার প্রয়োগ করুন, ব্যর্থতার হার ও অন্যান্য পারফরম্যান্স মেট্রিক ট্র্যাক করুন এবং ম্যানুয়াল পর্যালোচনার মাধ্যমে নতুন ত্রুটিগুলো অনুসন্ধান করুন।