AI ಏಜೆಂಟ್‌ಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು ಹೇಗೆ: ಟೆಸ್ಟ್ ಸೆಟ್‌ಗಳು, ಗ್ರೇಡರ್‌ಗಳು ಮತ್ತು ರಿಗ್ರೆಷನ್ ಪರಿಶೀಲನೆಗಳು

ಪ್ರತಿಯೊಂದು ಉತ್ತಮ AI ಉತ್ಪನ್ನದ ಹಿಂದೆ ಇವಾಲ್‌ಗಳು (evals) ಎಂದು ಕರೆಯಲಾಗುವ ಸದೃಢ AI ಏಜೆಂಟ್ ಮೌಲ್ಯಮಾಪನ ಪ್ರಕ್ರಿಯೆ ಇರುತ್ತದೆ; ಇದು ದೋಷಗಳನ್ನು ಆರಂಭದಲ್ಲೇ ಪತ್ತೆಹಚ್ಚಿ, ಏಜೆಂಟ್ ಸರಿಯಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವುದನ್ನು ಖಚಿತಪಡಿಸುತ್ತದೆ. ಯಾರದೋ ಪರವಾಗಿ ಮರುಪಾವತಿ ಮಾಡುವಂತಹ ಹೆಚ್ಚಿನ ಅಪಾಯದ ಕ್ರಿಯೆಗಳನ್ನು ನಿರ್ವಹಿಸುವ AI ಏಜೆಂಟ್‌ಗಳಿಗೆ ಇವಾಲ್‌ಗಳು ಅತ್ಯಗತ್ಯ.

ಆ ಪ್ರಕ್ರಿಯೆಯನ್ನು ರೂಪಿಸಲು ಸ್ವಲ್ಪ ತಾಂತ್ರಿಕ ಜ್ಞಾನ ಮತ್ತು ಡೇಟಾ ವಿಶ್ಲೇಷಣಾ ಕೌಶಲ್ಯಗಳು ಬೇಕಾಗುತ್ತವೆ. ಆದರೆ ಅದು ಅನಿಸುವಷ್ಟು ಭಯಾನಕವೂ ಅಲ್ಲ, ಕೈಗೆಟುಕದ್ದೂ ಅಲ್ಲ. ನೀವು ಆರಂಭಿಸಲು ನೆರವಾಗುವಂತೆ, AI ಏಜೆಂಟ್‌ಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಆರು ಪ್ರಾಯೋಗಿಕ ಹಂತಗಳನ್ನು ಹಾಗೂ ಈ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಹಾಳುಮಾಡುವ ಸಾಮಾನ್ಯ ತಪ್ಪುಗ್ರಹಿಕೆಗಳನ್ನು ನಾವು ಇಲ್ಲಿ ವಿವರಿಸಿದ್ದೇವೆ.

AI ಏಜೆಂಟ್ ಅನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು ಎಂದರೆ ಏನು?

AI ಏಜೆಂಟ್ ಅನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು ಎಂದರೆ, ಅದು ಕಾರ್ಯಗಳನ್ನು ಎಷ್ಟು ಸರಿಯಾಗಿ ಪೂರ್ಣಗೊಳಿಸುತ್ತದೆ ಮತ್ತು ಅದರ ನಿರ್ಧಾರಗಳು ಸಂಸ್ಥೆಯ ಅವಶ್ಯಕತೆಗಳನ್ನು ಪೂರೈಸುತ್ತವೆಯೇ ಎಂಬುದನ್ನು ಅಳೆಯುವುದು. ಪ್ರಾಯೋಗಿಕವಾಗಿ ಹೇಳುವುದಾದರೆ, AI ಏಜೆಂಟ್ ಮೌಲ್ಯಮಾಪನಗಳು ಅಥವಾ ಇವಾಲ್‌ಗಳು, ಏಜೆಂಟ್ ತನ್ನ ಉದ್ದೇಶಿತ ಪಾತ್ರಕ್ಕೆ ಸಾಕಷ್ಟು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ಕೆಲಸ ಮಾಡುತ್ತದೆಯೇ ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸಲು ಸಂಸ್ಥೆಗಳಿಗೆ ನೆರವಾಗುವ ನಿರ್ದಿಷ್ಟ ಮೆಟ್ರಿಕ್‌ಗಳಾಗಿವೆ.

ಉತ್ಪಾದನಾ ಘಟಕವೊಂದರಲ್ಲಿ ಬಿಡಿಭಾಗಗಳ ದಾಸ್ತಾನನ್ನು ಪರಿಶೀಲಿಸಿ, ಮರುಪೂರಣ ವಿನಂತಿಗಳನ್ನು ಸಿದ್ಧಪಡಿಸುವ AI ಖರೀದಿ ಏಜೆಂಟ್ ಅನ್ನು ಕಲ್ಪಿಸಿಕೊಳ್ಳಿ. ಅನುಮೋದಿತ ಭಾಗವೊಂದು ಲಭ್ಯವಿಲ್ಲದಿದ್ದರೆ ಅಥವಾ ಪೂರೈಕೆದಾರರ ಮಾಹಿತಿ ಹಳೆಯದಾಗಿದ್ದರೆ, ಏಜೆಂಟ್ ಆ ಸಮಸ್ಯೆಯನ್ನು ಗುರುತಿಸಿ ತಿಳಿಸುತ್ತದೆಯೇ ಅಥವಾ ಅನುಮೋದನೆಯಿಲ್ಲದ ಪರ್ಯಾಯವನ್ನು ಶಿಫಾರಸು ಮಾಡುತ್ತದೆಯೇ?

ಮತ್ತು ಆ ಸಮಸ್ಯೆಯನ್ನು ಸರಿಪಡಿಸಲು ನೀವು ಅದರ ಸಿಸ್ಟಂ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಬದಲಾಯಿಸಿದರೆ, ಹೊಸದೊಂದು ಸಮಸ್ಯೆಯನ್ನು ನೀವು ಸೃಷ್ಟಿಸಿಲ್ಲ ಎಂಬುದು ನಿಮಗೆ ಹೇಗೆ ತಿಳಿಯುತ್ತದೆ?

ಮೌಲ್ಯಮಾಪನ ವ್ಯವಸ್ಥೆ ಇಲ್ಲದಿದ್ದರೆ, ಪ್ರಾಡಕ್ಟ್ ಮ್ಯಾನೇಜರ್‌ಗಳು ಮೂಲತಃ ಊಹೆಯನ್ನೇ ಅವಲಂಬಿಸಬೇಕಾಗುತ್ತದೆ. ಆದ್ದರಿಂದ, ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಅಳೆಯಲು, ಮರುಕಳಿಸುವ ಸಮಸ್ಯೆಗಳನ್ನು ಗುರುತಿಸಲು ಮತ್ತು ಬದಲಾವಣೆಗಳನ್ನು ಹೆಚ್ಚಿನ ವಿಶ್ವಾಸದಿಂದ ಪರೀಕ್ಷಿಸಲು ಇವಾಲ್‌ಗಳು ಫೀಡ್‌ಬ್ಯಾಕ್ ಸಂಕೇತವನ್ನು ಒದಗಿಸುತ್ತವೆ.

ಹಾಗೆಯೇ, ಏಜೆಂಟ್ ಮೌಲ್ಯಮಾಪನವು ಒಂದು ರನ್‌ನ ಹಲವು ಅಂಶಗಳನ್ನು ಪರಿಶೀಲಿಸಬಹುದು:

• ಅಂತಿಮ ಫಲಿತಾಂಶದ ಗುಣಮಟ್ಟ
• ಏಜೆಂಟ್ ಬಳಸಿದ ಮಾಹಿತಿ
• ಅದು ಕರೆದ ಟೂಲ್‌ಗಳು
• ಅದರ ನಡವಳಿಕೆಯನ್ನು ನಿಯಂತ್ರಿಸುವ ನಿಯಮಗಳನ್ನು ಅದು ಪಾಲಿಸಿದೆಯೇ ಎಂಬುದು

ಸಾಮಾನ್ಯ AI ಏಜೆಂಟ್ ಮೌಲ್ಯಮಾಪನ ಮೆಟ್ರಿಕ್‌ಗಳು

ಇವಾಲ್‌ಗಳು ಗುಣಾತ್ಮಕ ಮತ್ತು ಪರಿಮಾಣಾತ್ಮಕ ಡೇಟಾವನ್ನು ಆಧರಿಸಿ ಕೆಲಸ ಮಾಡುತ್ತವೆ. ಏಜೆಂಟ್‌ನ ನಿರ್ಧಾರಗಳನ್ನು ಕೈಯಾರೆ ಪರಿಶೀಲಿಸುವುದೂ ಸೇರಿದಂತೆ, ಏನು ನಡೆಯುತ್ತಿದೆ ಮತ್ತು ಏಕೆ ಎಂಬುದನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಗುಣಾತ್ಮಕ ಮೌಲ್ಯಮಾಪನವು ನೆರವಾಗುತ್ತದೆ. ಪರಿಮಾಣಾತ್ಮಕ ಮೌಲ್ಯಮಾಪನವು ಆ ಅವಲೋಕನಗಳನ್ನು, ನಿರ್ದಿಷ್ಟ ವೈಫಲ್ಯ ಪ್ರಕಾರಗಳ ಆವರ್ತನವನ್ನು ಎಣಿಸುವುದು ಅಥವಾ ಕಾರ್ಯ ಯಶಸ್ಸಿನ ದರಗಳನ್ನು ಲೆಕ್ಕಹಾಕುವಂತಹ ಅಳೆಯಬಹುದಾದ ಸಂಕೇತಗಳಾಗಿ ಪರಿವರ್ತಿಸುತ್ತದೆ.

ಮೂಲಭೂತ AI ಏಜೆಂಟ್ ಮೌಲ್ಯಮಾಪನ ಮೆಟ್ರಿಕ್‌ಗಳ ಪಟ್ಟಿ ಇಲ್ಲಿದೆ:

• ಕಾರ್ಯ ಯಶಸ್ಸು ಏಜೆಂಟ್ ಉದ್ದೇಶಿತ ಫಲಿತಾಂಶವನ್ನು ಸಾಧಿಸಿದೆಯೇ ಎಂಬುದನ್ನು ಅಳೆಯುತ್ತದೆ; ಸಾಮಾನ್ಯವಾಗಿ ಇದನ್ನು ಮಾನ್ಯ ಫಲಿತಾಂಶಗಳನ್ನು ನೀಡುವ ರನ್‌ಗಳ ಶೇಕಡಾವಾರು ಪ್ರಮಾಣದಲ್ಲಿ ಅಳೆಯಲಾಗುತ್ತದೆ.
• ಕ್ರಿಯೆಯ ನಿಖರತೆ ಏಜೆಂಟ್ ಟೂಲ್‌ಗಳನ್ನು ಸೂಕ್ತವಾಗಿ ಬಳಸಿದೆಯೇ, ಮಾನ್ಯ ಆರ್ಗ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡಿದೆಯೇ ಮತ್ತು ಅನುಮತಿಗಳನ್ನು ಗೌರವಿಸಿದೆಯೇ ಎಂಬುದನ್ನು ಅಳೆಯುತ್ತದೆ.
• ಉತ್ತರದ ಗುಣಮಟ್ಟ ಅಂತಿಮ ಔಟ್‌ಪುಟ್ ನಿಖರ, ಸಂಪೂರ್ಣ ಮತ್ತು ಉಪಯುಕ್ತವಾಗಿದೆಯೇ ಎಂಬುದನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತದೆ. ಇದು ವಾಸ್ತವಿಕ ನಿಖರತೆ, ಸೂಚನೆಗಳ ಪಾಲನೆ ಮತ್ತು ಲಭ್ಯವಿರುವ ಮಾಹಿತಿಯ ಆಧಾರದಲ್ಲಿ ಏಜೆಂಟ್ ತನ್ನ ನಿರ್ಧಾರಗಳನ್ನು ಸಮರ್ಥಿಸುತ್ತದೆಯೇ ಎಂಬುದನ್ನು ಒಳಗೊಳ್ಳಬಹುದು.
• ವಿಶ್ವಾಸಾರ್ಹತೆ ಪುನರಾವರ್ತಿತ ಪ್ರಯೋಗಗಳು, ಬದಲಾಗುವ ಇನ್‌ಪುಟ್‌ಗಳು ಮತ್ತು ಎಡ್ಜ್ ಕೇಸ್‌ಗಳಾದ್ಯಂತ ಸ್ಥಿರತೆಯನ್ನು ಅಳೆಯುತ್ತದೆ.
• ವೆಚ್ಚ ಮತ್ತು ಲೇಟೆನ್ಸಿ ಯಶಸ್ವಿ ಫಲಿತಾಂಶವನ್ನು ಸಾಧಿಸಲು ಬೇಕಾಗುವ ಸಂಪನ್ಮೂಲಗಳನ್ನು ಅಳೆಯುತ್ತವೆ; ಇದರಲ್ಲಿ ಕಾರ್ಯಗತಗೊಳಿಸುವ ಸಮಯ, ಟೋಕನ್ ಬಳಕೆ ಮತ್ತು ಟೂಲ್ ಕರೆಗಳು ಸೇರಿವೆ.

ನೀವು ಏನನ್ನು ಅಳೆಯುತ್ತಿದ್ದೀರಿ ಎಂಬುದನ್ನು ಅವಲಂಬಿಸಿ, ಇವಾಲ್‌ಗಳು ಏಜೆಂಟ್‌ನ ಎಂಡ್-ಟು-ಎಂಡ್ ಕಾರ್ಯಕ್ಷಮತೆ, ಅದರ ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆಯ ಪಥ ಅಥವಾ ಟೂಲ್ ಕರೆಗಳು ಮತ್ತು ಮಾಹಿತಿ ಹಿಂಪಡೆಯುವ ಹಂತಗಳಂತಹ ಪ್ರತ್ಯೇಕ ಘಟಕಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಬಹುದು.

ಹಂತ 1: ಯಶಸ್ವಿ ಏಜೆಂಟ್ ರನ್ ಹೇಗಿರುತ್ತದೆ ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸಿ

ಮೊದಲಿಗೆ, ಏಜೆಂಟ್ ಏನನ್ನು ಸಾಧಿಸಬೇಕಾಗಿದೆ ಎಂಬುದನ್ನು — ಅಂದರೆ ಉತ್ಪನ್ನದ ಅವಶ್ಯಕತೆಗಳನ್ನು — ಸ್ಪಷ್ಟವಾಗಿ ವಿವರಿಸಿ. ಇದು ಸರಳವಾಗಿ ತೋರಿದರೂ, ಅಚ್ಚರಿಯಷ್ಟು ಕಷ್ಟಕರವಾಗಿರಬಹುದು. ಇದಕ್ಕೆ ಒಂದು ಹೆಸರೂ ಇದೆ: ನಿರ್ದಿಷ್ಟತೆಯ ಅಂತರ (specification gap).

ನಮ್ಮ ಹಿರಿಯ ಡೇಟಾ ಸೈಂಟಿಸ್ಟ್ Andrey Khomutov ಅವರ ಪ್ರಕಾರ, ಇದನ್ನು ಹೀಗೆ ಸಮೀಪಿಸಬೇಕು:

“ಎರಡು ಪ್ರಶ್ನೆಗಳಿಂದ ಆರಂಭಿಸಿ: “ಕೆಲಸವನ್ನು ಪೂರ್ಣಗೊಳಿಸಿದಂತೆ ಏನನ್ನು ಪರಿಗಣಿಸಬಹುದು?” ಮತ್ತು “ಮೇಲ್ನೋಟಕ್ಕೆ ಯಶಸ್ವಿಯಾದಂತೆ ಕಾಣುವ ರನ್ ಅನ್ನು ಯಾವುದು ಸ್ವೀಕಾರಾರ್ಹವಲ್ಲದಂತೆ ಮಾಡುತ್ತದೆ?”

ಏಜೆಂಟ್‌ಗಳ ವಿಷಯದಲ್ಲಿ, ತಾಂತ್ರಿಕ ದೃಷ್ಟಿಕೋನದಿಂದ ಇದರ ಅರ್ಥ — ಫಲಿತಾಂಶ ಮತ್ತು ಏಜೆಂಟ್‌ಗಳು ಅಲ್ಲಿಗೆ ಹೇಗೆ ತಲುಪಿದವು ಎಂಬುದು, ಎರಡನ್ನೂ ಪರಿಶೀಲಿಸುವುದು.”

ಏಜೆಂಟ್ ಸೋರಿಕೆಯಾದ ಉತ್ತರ ಕೀಲಿಯನ್ನು ಬಳಸಿ ಸರಿಯಾದ ಉತ್ತರವನ್ನು ನೀಡಬಹುದು ಅಥವಾ ತನ್ನ ಕಾರ್ಯವನ್ನು ಪೂರ್ಣಗೊಳಿಸುವಾಗ ಅನಧಿಕೃತ ಕ್ರಿಯೆಗಳನ್ನು ಕೈಗೊಳ್ಳಬಹುದು. ಉತ್ತರ ಸೋರಿಕೆ ಮತ್ತು ಮೌಲ್ಯಮಾಪನದ ಸಮಯದಲ್ಲಿನ ಅಸುರಕ್ಷಿತ ಕ್ರಿಯೆಗಳು ಕೇವಲ ಅಂತಿಮ ಉತ್ತರವನ್ನು ಆಧರಿಸಿ ನಿರ್ಣಯಿಸದಿರಲು ಸ್ಪಷ್ಟ ಕಾರಣಗಳು ಎಂದು Khomutov ಸೂಚಿಸುತ್ತಾರೆ.

“ಫಲಿತಾಂಶ ಅನುಮಾನಾಸ್ಪದವಾಗಿ ಕಂಡಾಗ ಮಾತ್ರ ಮಾಡುವ ಕೆಲಸವಾಗಿರದೆ, ಪಥ ಪರಿಶೀಲನೆ (trajectory inspection) ಏಜೆಂಟ್ ಇವಾಲ್ ಸೂಟ್‌ಗಳ ಪ್ರಮಾಣಿತ ಭಾಗವಾಗಲಿದೆ ಎಂದು ನಾನು ನಿರೀಕ್ಷಿಸುತ್ತೇನೆ,” ಎಂದು ಅವರು ಹೇಳುತ್ತಾರೆ.

ನಂತರ, ನಿಮ್ಮ ಯಶಸ್ಸಿನ ಮಾನದಂಡಗಳನ್ನು ದೃಢೀಕರಿಸಲು ಕ್ಷೇತ್ರ ತಜ್ಞರನ್ನು ತೊಡಗಿಸಿಕೊಳ್ಳಿ. ಆ ಕ್ಷೇತ್ರದಲ್ಲಿ ಪ್ರಾಯೋಗಿಕ ಜ್ಞಾನ ಹೊಂದಿರುವವರು, AI ಏಜೆಂಟ್‌ಗಾಗಿ ನಾವು ನಿಗದಿಪಡಿಸಿದ ಷರತ್ತುಗಳು ಯಶಸ್ವಿ ಫಲಿತಾಂಶವನ್ನು ಪ್ರತಿಬಿಂಬಿಸುತ್ತವೆಯೇ ಎಂಬುದನ್ನು ಹೇಳಬಲ್ಲರು.

ಹಂತ 2. ನೈಜ ಕಾರ್ಯಗಳು ಮತ್ತು ವೈಫಲ್ಯಗಳಿಂದ ಪರೀಕ್ಷಾ ಸೆಟ್ ಅನ್ನು ರೂಪಿಸಿ

ಉತ್ತಮ ಮತ್ತು ಕಳಪೆ ಕಾರ್ಯಕ್ಷಮತೆ ಹೇಗಿರುತ್ತದೆ ಎಂಬುದನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಏಜೆಂಟ್‌ನ ನೈಜ ನಡವಳಿಕೆಯನ್ನು ಪರಿಶೀಲಿಸಿ. ಏನು ತಪ್ಪಾಗಬಹುದು ಎಂದು ನೀವು ಭಾವಿಸುತ್ತೀರೋ ಅದನ್ನು ಮಾತ್ರ ಆಧರಿಸಿ ಡಜನ್‌ಗಟ್ಟಲೆ ಪರೀಕ್ಷೆಗಳನ್ನು ರಚಿಸುವ ಮೂಲಕ ಆರಂಭಿಸುವ ಪ್ರಲೋಭನೆಯನ್ನು ತಡೆಯಿರಿ.

Parlance Lab ಸಂಸ್ಥೆಯ ML ಎಂಜಿನಿಯರ್ Hamel Husain ಮತ್ತು ML ಸಿಸ್ಟಮ್ಸ್ ಹಾಗೂ ಅನ್ವಯಿಕ AI ಇವಾಲ್‌ಗಳ ಸಂಶೋಧಕಿ Shreya Shankar ಅವರು ಶಿಫಾರಸು ಮಾಡುವಂತೆ, ಮಷೀನ್ ಲರ್ನಿಂಗ್ ಮತ್ತು ಡೇಟಾ ಸೈನ್ಸ್‌ನಿಂದ ಎರವಲು ಪಡೆದ ದೋಷ ವಿಶ್ಲೇಷಣೆ ಎಂಬ ತಂತ್ರದೊಂದಿಗೆ ಆರಂಭಿಸಿ. ಈ ಪ್ರಕ್ರಿಯೆಯು ಏಜೆಂಟ್‌ನ ಎಕ್ಸಿಕ್ಯೂಷನ್ ಟ್ರೇಸ್‌ಗಳ ಗುಣಾತ್ಮಕ ವಿಶ್ಲೇಷಣೆಯೊಂದಿಗೆ ಆರಂಭವಾಗುತ್ತದೆ — ಇವು ಬಳಕೆದಾರರ ಇನ್‌ಪುಟ್, ಟೂಲ್ ಕರೆಗಳು, ಹಿಂಪಡೆದ ಮಾಹಿತಿ ಮತ್ತು ಏಜೆಂಟ್‌ನ ಔಟ್‌ಪುಟ್ ಅನ್ನು ತೋರಿಸುವ ದಾಖಲೆಗಳು.

1. ಪ್ರತ್ಯೇಕ ಟ್ರೇಸ್‌ಗಳನ್ನು ಪರಿಶೀಲಿಸಿ ಮತ್ತು ದೋಷಗಳನ್ನು ಟಿಪ್ಪಣಿ ಮಾಡಿ (ಓಪನ್ ಕೋಡಿಂಗ್). ಕ್ಷೇತ್ರ ತಜ್ಞರೊಬ್ಬರು ಏಜೆಂಟ್ ರನ್‌ಗಳನ್ನು ಪರಿಶೀಲಿಸಿ, ಏನು ತಪ್ಪಾಯಿತು ಎಂಬುದರ ಬಗ್ಗೆ ಸಂಕ್ಷಿಪ್ತ ಅವಲೋಕನಗಳನ್ನು ಬರೆಯುವಂತೆ ಮಾಡಿ. ಮೊದಲ ಅರ್ಥಪೂರ್ಣ ದೋಷದ ಮೇಲೆ ಗಮನ ಕೇಂದ್ರೀಕರಿಸಿ.
2. ಅವಲೋಕನಗಳನ್ನು ವೈಫಲ್ಯ ಪ್ರಕಾರಗಳಾಗಿ ವರ್ಗೀಕರಿಸಿ (ಆಕ್ಸಿಯಲ್ ಕೋಡಿಂಗ್). ಸಾಕಷ್ಟು ಟಿಪ್ಪಣಿಗಳು ಸಂಗ್ರಹವಾದ ನಂತರ, ಒಂದೇ ರೀತಿಯ ದೋಷಗಳಿಗೆ ವರ್ಗಗಳನ್ನು ಸೂಚಿಸಲು LLM ಅನ್ನು ಬಳಸಿ. ಇವುಗಳಲ್ಲಿ ಹೊಂದಾಣಿಕೆಯಾಗದ ಭಾಗಗಳ ಶಿಫಾರಸುಗಳು, ದಾಸ್ತಾನು ಮಾಹಿತಿಯ ತಪ್ಪಾದ ಹಿಂಪಡೆಯುವಿಕೆ ಮತ್ತು ವಿಫಲವಾದ ಮಾನವ ಹಸ್ತಾಂತರಗಳು ಸೇರಿರಬಹುದು.
3. ಎಷ್ಟು ಬಾರಿ ಸಂಭವಿಸಿದೆ ಎಂದು ಎಣಿಸಿ. ಪ್ರತಿಯೊಂದು ಅವಲೋಕನವನ್ನು ಒಂದು ವರ್ಗಕ್ಕೆ ನಿಯೋಜಿಸಿ, ನಂತರ ಪ್ರತಿ ವೈಫಲ್ಯ ಪ್ರಕಾರವು ಎಷ್ಟು ಬಾರಿ ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತದೆ ಎಂಬುದನ್ನು ಲೆಕ್ಕಹಾಕಲು ಸ್ಪ್ರೆಡ್‌ಶೀಟ್ ಅಥವಾ ಪಿವೋಟ್ ಟೇಬಲ್ ಬಳಸಿ.
4. ಯಾವುದನ್ನು ಮೊದಲು ಪರಿಹರಿಸಬೇಕು ಎಂಬುದಕ್ಕೆ ಆದ್ಯತೆ ನೀಡಿ, ಇದಕ್ಕಾಗಿ ಆವರ್ತನ ಮತ್ತು ತೀವ್ರತೆ ಎರಡನ್ನೂ ಪರಿಗಣಿಸಿ.
5. ಪ್ರಮುಖ ವೈಫಲ್ಯಗಳನ್ನು ಪರೀಕ್ಷಾ ಪ್ರಕರಣಗಳಾಗಿ ಪರಿವರ್ತಿಸಿ. ಅದೇ ಸನ್ನಿವೇಶದಲ್ಲಿ ಏಜೆಂಟ್ ಅನ್ನು ಮತ್ತೆ ಪರೀಕ್ಷಿಸಲು ಸಾಧ್ಯವಾಗುವಂತೆ, ಸಂಬಂಧಿತ ಇನ್‌ಪುಟ್, ಆರಂಭಿಕ ಸ್ಥಿತಿಗಳು, ನಿರೀಕ್ಷಿತ ಫಲಿತಾಂಶ ಮತ್ತು ಗ್ರೇಡಿಂಗ್ ಮಾನದಂಡಗಳನ್ನು ಉಳಿಸಿ.

ನೀವು ಎಷ್ಟು ಟ್ರೇಸ್‌ಗಳನ್ನು ಪರಿಶೀಲಿಸಬೇಕು? ಸುಮಾರು 100, ಆದರೆ ಇದಕ್ಕೆ ಯಾವುದೇ ನಿಗದಿತ ಸಂಖ್ಯೆ ಇಲ್ಲ. ಅದಕ್ಕೂ ಮೊದಲೇ ನೀವು ಸೈದ್ಧಾಂತಿಕ ಸಂತೃಪ್ತಿ (theoretical saturation) ತಲುಪಿದರೆ, ಅಲ್ಲಿಯೇ ನಿಲ್ಲಿಸಿ: ಅಂದರೆ, ಹೆಚ್ಚುವರಿ ಟ್ರೇಸ್‌ಗಳನ್ನು ಪರಿಶೀಲಿಸಿದರೂ ಯಾವುದೇ ಅರ್ಥಪೂರ್ಣ ಹೊಸ ವೈಫಲ್ಯ ಮಾದರಿಗಳು ಬಹಿರಂಗವಾಗದ ಹಂತ.

ಇನ್ನೂ ಅಪ್ಲಿಕೇಶನ್ ಬಿಡುಗಡೆ ಮಾಡಿಲ್ಲವೇ? ಆರಂಭಿಕ ಪರೀಕ್ಷಾ ಸೆಟ್ ರೂಪಿಸಲು ಸಿಂಥೆಟಿಕ್ ಉದಾಹರಣೆಗಳು ನೆರವಾಗಬಹುದು, ಆದರೆ ನೈಜ ಬಳಕೆದಾರ ಡೇಟಾ ಲಭ್ಯವಾದ ತಕ್ಷಣ ಅದನ್ನು ಆಧರಿಸಿ ಪರೀಕ್ಷಾ ಸೆಟ್ ಅನ್ನು ರೂಪಿಸಬೇಕು.

AI ಏಜೆಂಟ್ ಮೌಲ್ಯಮಾಪನದಲ್ಲಿ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳ ಬಳಕೆ

ನಿಮ್ಮದೇ ಪರೀಕ್ಷಾ ಪ್ರಕರಣಗಳನ್ನು ರಚಿಸುವುದರ ಜೊತೆಗೆ, ಏಜೆಂಟ್‌ನ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳು ಎಂದು ಕರೆಯಲಾಗುವ, ಈಗಾಗಲೇ ಲಭ್ಯವಿರುವ ಪ್ರಮಾಣೀಕೃತ ಮೌಲ್ಯಮಾಪನ ಕಾರ್ಯಗಳ ಸಂಗ್ರಹಗಳನ್ನು ನೀವು ಬಳಸಬಹುದು.

ಆದರೆ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳು ದೋಷರಹಿತವಲ್ಲ. SWE-bench ಆಡಿಟ್‌ಗಳು, Epoch AI ಸಂಸ್ಥೆಯ ಬೆಂಚ್‌ಮಾರ್ಕ್ ವಿಮರ್ಶೆಗಳು ಮತ್ತು TheoPhysEval ನಲ್ಲಿ ಆರಂಭದಲ್ಲಿ ತಿರಸ್ಕರಿಸಲಾದ ಸರಿಯಾದ ಉತ್ತರಗಳು, ದೋಷಪೂರಿತ ಕಾರ್ಯಗಳು ಅಥವಾ ನಿರೀಕ್ಷಿತ ಉತ್ತರಗಳು ಮೌಲ್ಯಮಾಪನ ಫಲಿತಾಂಶಗಳನ್ನು ಹೇಗೆ ತಿರುಚಬಹುದು ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತವೆ.

Khomutov ಅವರು ಸಲಹೆ ನೀಡುವಂತೆ, ನಿಮ್ಮ ಕ್ಷೇತ್ರಕ್ಕೆ ಸಂಬಂಧಿಸಿದ ಇತ್ತೀಚಿನ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳನ್ನು ಆಯ್ಕೆಮಾಡಿ, ಮತ್ತು ಸ್ಕೋರ್‌ಗಳನ್ನು ಏಜೆಂಟ್ ಕಾರ್ಯಕ್ಷಮತೆಯ ವಿಶ್ವಾಸಾರ್ಹ ಪುರಾವೆಯೆಂದು ಪರಿಗಣಿಸುವ ಮೊದಲು ಅನಿರೀಕ್ಷಿತ ಯಶಸ್ಸುಗಳು ಅಥವಾ ವೈಫಲ್ಯಗಳನ್ನು ತನಿಖೆ ಮಾಡಿ.

ಹಂತ 3. ಪುನರಾವರ್ತಿಸಬಹುದಾದ ಪರೀಕ್ಷಾ ಪರಿಸರದಲ್ಲಿ ಏಜೆಂಟ್ ಅನ್ನು ರನ್ ಮಾಡಿ

ಪುನರಾವರ್ತಿಸಬಹುದಾದ ಪರೀಕ್ಷಾ ಪರಿಸರ ಎಂದರೆ, ಅದೇ ಆರಂಭಿಕ ಸ್ಥಿತಿಗಳಲ್ಲಿ ಅದೇ ಪರೀಕ್ಷಾ ಪ್ರಕರಣಗಳ ಮೇಲೆ AI ಏಜೆಂಟ್ ಅನ್ನು ರನ್ ಮಾಡಿ ಫಲಿತಾಂಶಗಳನ್ನು ಹೋಲಿಸಲು ಸಾಧ್ಯವಾಗುವ ನಿಯಂತ್ರಿತ ವ್ಯವಸ್ಥೆ. ಇದರಲ್ಲಿ ಪರೀಕ್ಷಾ ಪ್ರಕರಣಗಳ ಫೋಲ್ಡರ್, ಏಜೆಂಟ್ ಅನ್ನು ರನ್ ಮಾಡುವ Python ಸ್ಕ್ರಿಪ್ಟ್ ಅಥವಾ ಫಲಿತಾಂಶಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವ ಪರಿಶೀಲನೆಗಳ ಸೆಟ್ ಸೇರಿರುತ್ತದೆ.

ಪ್ರಾತಿನಿಧಿಕ ಇನ್‌ಪುಟ್‌ಗಳನ್ನು JSON ಫೈಲ್‌ಗಳಾಗಿ ಸಂಗ್ರಹಿಸಿ, ನಿಮ್ಮ ಏಜೆಂಟ್‌ನ ಕಾರ್ಯಪ್ರವಾಹವನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಲು ಮತ್ತು ಅದರ ಔಟ್‌ಪುಟ್‌ಗಳನ್ನು ಅಸರ್ಶನ್‌ಗಳ ಮೂಲಕ ಪರಿಶೀಲಿಸಲು Python ಸ್ಕ್ರಿಪ್ಟ್ ಬಳಸುವ ಮೂಲಕ ನೀವು ಆರಂಭಿಸಬಹುದು. ನಮ್ಮ ಉತ್ಪಾದನಾ ಘಟಕದ ದಾಸ್ತಾನು ಏಜೆಂಟ್‌ಗೆ, ಪುನರಾವರ್ತಿಸಬಹುದಾದ ಪರೀಕ್ಷಾ ಪರಿಸರವು ಹೀಗಿರಬಹುದು:

ವಿಸ್ತರಿಸಿ

ಪುನರಾವರ್ತಿಸಬಹುದಾದ ಪರೀಕ್ಷಾ ಪರಿಸರವನ್ನು ಸಿದ್ಧಪಡಿಸಲು, ಈ ಹಂತಗಳನ್ನು ಅನುಸರಿಸಿ:

1. ಪ್ರಾತಿನಿಧಿಕ ಇನ್‌ಪುಟ್‌ಗಳನ್ನು ಉಳಿಸಿ. ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್ ಪ್ರೊಡಕ್ಷನ್‌ನಲ್ಲಿ ಸ್ವೀಕರಿಸುವ ಅದೇ ರಚನೆಯಲ್ಲಿ ನೈಜ ಈವೆಂಟ್‌ಗಳು ಅಥವಾ ಪರೀಕ್ಷಾ ಪ್ರಕರಣಗಳನ್ನು ಸಂಗ್ರಹಿಸಿ. ನಮ್ಮ ಸನ್ನಿವೇಶದಲ್ಲಿ, ಯಂತ್ರದ ID, ಅಗತ್ಯವಿರುವ ಬಿಡಿಭಾಗ ಮತ್ತು ನಿರ್ವಹಣಾ ದಿನಾಂಕವನ್ನು ಒಳಗೊಂಡಿರುವ ನಿರ್ವಹಣಾ ವಿನಂತಿಯನ್ನು, ದಾಸ್ತಾನು ಮತ್ತು ಅನುಮೋದಿತ ಭಾಗಗಳ ಡೇಟಾದ ಸ್ನ್ಯಾಪ್‌ಶಾಟ್‌ನೊಂದಿಗೆ JSON ಫೈಲ್ ಆಗಿ ಉಳಿಸುತ್ತೀರಿ.
2. ಕಾರ್ಯಪ್ರವಾಹವನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಿ. ಏಜೆಂಟ್‌ನ ಮಾಹಿತಿ ಹಿಂಪಡೆಯುವ ಹಂತಗಳು, ಟೂಲ್ ಕರೆಗಳು ಮತ್ತು ಪ್ರತಿಕ್ರಿಯೆ ರಚನೆ ಸೇರಿದಂತೆ, ಪ್ರತಿಯೊಂದು ಇನ್‌ಪುಟ್ ಅನ್ನು ಏಜೆಂಟ್ ಮೂಲಕ ರನ್ ಮಾಡಿ.
3. ಫಲಿತಾಂಶ ಮತ್ತು ಟ್ರೇಸ್ ಅನ್ನು ದಾಖಲಿಸಿ. ಏಜೆಂಟ್ ವಿಫಲವಾಗಿದೆಯೇ ಎಂಬುದನ್ನು ಮಾತ್ರವಲ್ಲದೆ, ಎಲ್ಲಿ ವಿಫಲವಾಯಿತು ಎಂಬುದನ್ನೂ ನೋಡಲು ಸಾಧ್ಯವಾಗುವಂತೆ, ಅಂತಿಮ ಔಟ್‌ಪುಟ್ ಮತ್ತು ಸಂಬಂಧಿತ ಮಧ್ಯಂತರ ಕ್ರಿಯೆಗಳನ್ನು (ದಾಸ್ತಾನು ಹುಡುಕಾಟಗಳಂತಹ) ಸೆರೆಹಿಡಿಯಿರಿ.
4. ವೈಫಲ್ಯದ ತೀವ್ರತೆ, ಆವರ್ತನ ಮತ್ತು ಸಮಸ್ಯೆಯನ್ನು ಸರಿಪಡಿಸುವ ಕಷ್ಟದ ಆಧಾರದ ಮೇಲೆ ಪ್ರಕರಣಗಳನ್ನು ಪುನರಾವರ್ತಿಸಿ. LLM ಅಪ್ಲಿಕೇಶನ್‌ಗಳು ಅನಿರ್ಧಾರಕ (nondeterministic) ಆಗಿರುತ್ತವೆ (ಒಂದೇ ರೀತಿಯ ಇನ್‌ಪುಟ್‌ಗಳಿಂದ ಅವು ಬೇರೆ ಬೇರೆ ಫಲಿತಾಂಶಗಳನ್ನು ನೀಡಬಹುದು), ಆದ್ದರಿಂದ ಒಂದು ರನ್ ಯಶಸ್ವಿಯಾದರೆ ಮುಂದಿನದೂ ಯಶಸ್ವಿಯಾಗುತ್ತದೆ ಎಂಬ ಖಾತರಿ ಇಲ್ಲ. ಯಶಸ್ವಿ ಪ್ರಯೋಗಗಳ ಪ್ರಮಾಣವನ್ನು ವರದಿ ಮಾಡಿ ಮತ್ತು ವೈಫಲ್ಯಗಳನ್ನು ಪರಿಶೀಲಿಸಿ.

ಎರಡನೆಯದಕ್ಕಾಗಿ, pass@1 (ಒಂದೇ ಪ್ರಯತ್ನದಲ್ಲಿ ಏಜೆಂಟ್ ಎಷ್ಟು ಬಾರಿ ಯಶಸ್ವಿಯಾಗುತ್ತದೆ) ಮತ್ತು pass@k (ನಿರ್ದಿಷ್ಟ ಸಂಖ್ಯೆಯ ಪ್ರಯತ್ನಗಳಲ್ಲಿ ಕನಿಷ್ಠ ಒಮ್ಮೆಯಾದರೂ ಯಶಸ್ವಿಯಾಗುವ ಸಂಭವನೀಯತೆ) ಅನ್ನು ಅಳೆಯುವಂತೆ Khomutov ಸಲಹೆ ನೀಡುತ್ತಾರೆ. pass@k ಅನ್ನು ವರದಿ ಮಾಡುತ್ತಿದ್ದರೆ, ಪ್ರಯತ್ನಗಳ ಸಂಖ್ಯೆಯನ್ನು ನಿರ್ದಿಷ್ಟಪಡಿಸಿ, ಏಕೆಂದರೆ ಹಲವು ಪ್ರಯತ್ನಗಳಲ್ಲಿ ಒಂದು ಸರಿಯಾದ ಉತ್ತರ ನೀಡಿದ ಮಾತ್ರಕ್ಕೆ, ಅವುಗಳಲ್ಲಿ ಯಾವುದನ್ನು ಆಯ್ಕೆ ಮಾಡಬೇಕು ಎಂಬುದು ಏಜೆಂಟ್‌ಗೆ ತಿಳಿದಿದೆ ಎಂದರ್ಥವಲ್ಲ.

ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್ ಬೆಳೆದಂತೆ, ಪರೀಕ್ಷೆಗಳನ್ನು ಸಂಘಟಿಸಲು ಮತ್ತು ರನ್ ಮಾಡಲು pytest ನಂತಹ ಟೆಸ್ಟಿಂಗ್ ಫ್ರೇಮ್‌ವರ್ಕ್ ಬಳಸಿ, ಮತ್ತು ದೊಡ್ಡ ಪರೀಕ್ಷಾ ಡೇಟಾಸೆಟ್‌ಗಳು ಹಾಗೂ ಫಲಿತಾಂಶಗಳನ್ನು ಡೇಟಾಬೇಸ್‌ನಲ್ಲಿ ಸಂಗ್ರಹಿಸುವುದನ್ನು ಪರಿಗಣಿಸಿ.

ಹಂತ 4. ಪ್ರತಿ ಪರಿಶೀಲನೆಗೆ ಸರಿಯಾದ ಗ್ರೇಡರ್ ಅನ್ನು ಆಯ್ಕೆಮಾಡಿ

ಗ್ರೇಡರ್ (ಇದನ್ನು ಆಗಾಗ್ಗೆ ಇವ್ಯಾಲ್ಯುಯೇಟರ್ ಎಂದೂ ಕರೆಯಲಾಗುತ್ತದೆ) ಎಂಬುದು ಕೋಡ್‌ನ ತುಣುಕು, ಗ್ರೇಡಿಂಗ್ ರೂಬ್ರಿಕ್ ಮಾರ್ಗದರ್ಶನದಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವ LLM ಅಥವಾ ಮಾನವ ವಿಮರ್ಶಕರ ರೂಪದಲ್ಲಿರುವ ಒಂದು ಕಾರ್ಯವಿಧಾನವಾಗಿದ್ದು, ಇದು ಏಜೆಂಟ್‌ನ ಔಟ್‌ಪುಟ್ ಅಥವಾ ಕ್ರಿಯೆಯನ್ನು ನಿಗದಿತ ಮಾನದಂಡದ ಎದುರು ಪರಿಶೀಲಿಸುತ್ತದೆ. ಗ್ರೇಡರ್ ಪಾಸ್/ಫೇಲ್ ತೀರ್ಪು ಮತ್ತು ಸಂಬಂಧಿತ ಪುರಾವೆಯನ್ನು ಗುರುತಿಸುವ ವಿವರಣೆಯನ್ನು ನೀಡುತ್ತದೆ.

ಮಾಹಿತಿ: ಗ್ರೇಡಿಂಗ್ ರೂಬ್ರಿಕ್ ಎಂದರೆ, ಸರಿಯಾದ ಅಥವಾ ಸ್ವೀಕಾರಾರ್ಹ ಫಲಿತಾಂಶ ಯಾವುದು ಎಂಬುದನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುವ ಮಾನದಂಡಗಳು ಮತ್ತು ಸೂಚನೆಗಳ ಸೆಟ್.

ಸರಿಯಾದ ಗ್ರೇಡರ್ ಪ್ರಕಾರವು ನೀವು ಏನನ್ನು ಪರಿಶೀಲಿಸಲು ಪ್ರಯತ್ನಿಸುತ್ತಿದ್ದೀರಿ ಎಂಬುದನ್ನು ಅವಲಂಬಿಸಿರುತ್ತದೆ. ಈ ಮೂರು ವಿಧಾನಗಳ ಹೋಲಿಕೆ ಇಲ್ಲಿದೆ:

ಕೆಲವೊಮ್ಮೆ ಒಂದೇ ರನ್‌ನ ವಿಭಿನ್ನ ಅಂಶಗಳಿಗೆ ವಿಭಿನ್ನ ಮೌಲ್ಯಮಾಪನ ವಿಧಾನಗಳು ಬೇಕಾಗಬಹುದು, ಆದ್ದರಿಂದ ನೀವು ಗ್ರೇಡರ್‌ಗಳನ್ನು ಸಂಯೋಜಿಸಬೇಕಾಗಬಹುದು.

ಗ್ರೇಡರ್‌ಗಳನ್ನು ಹೇಗೆ ಸಂಯೋಜಿಸುವುದು?

ನಿಮ್ಮನ್ನು ನೀವೇ ಹೀಗೆ ಕೇಳಿಕೊಳ್ಳಿ: “ತಿಳಿದಿರುವ ನಿಯಮ ಅಥವಾ ನಿರೀಕ್ಷಿತ ಮೌಲ್ಯದ ಎದುರು ಫಲಿತಾಂಶವನ್ನು ಪರಿಶೀಲಿಸಬಹುದೇ, ಅಥವಾ ಅದಕ್ಕೆ ಮಾನವರಂತಹ ವಿವೇಚನೆ ಬೇಕೇ?”

• ಫಲಿತಾಂಶವನ್ನು ನಿಖರವಾಗಿ ಪರಿಶೀಲಿಸಲು ಸಾಧ್ಯವಾದರೆ, ಕೋಡ್ ಆಧಾರಿತ ಗ್ರೇಡರ್‌ನೊಂದಿಗೆ ಆರಂಭಿಸಿ. ಕೋಡ್ ಆಧಾರಿತ ಗ್ರೇಡರ್‌ಗಳು ರಚನಾತ್ಮಕ ಔಟ್‌ಪುಟ್‌ಗಳು, ಮಾನ್ಯ ಫೀಲ್ಡ್ ಮೌಲ್ಯಗಳು, ಟೂಲ್ ಆರ್ಗ್ಯುಮೆಂಟ್‌ಗಳು ಅಥವಾ ಡೇಟಾಬೇಸ್‌ನ ಅಂತಿಮ ಸ್ಥಿತಿಯನ್ನೂ ಪರಿಶೀಲಿಸಬಹುದು.
• ಪರಿಶೀಲನೆಗೆ ಸಂದರ್ಭವನ್ನು ಅರ್ಥೈಸಿಕೊಳ್ಳುವ ಅಗತ್ಯವಿದ್ದರೆ, LLM-ತೀರ್ಪುಗಾರ (LLM-as-a-judge) ವಿಧಾನವನ್ನು ಬಳಸಿ.
• ಕ್ಷೇತ್ರ-ನಿರ್ದಿಷ್ಟ ಅಥವಾ ವಿವಾದಿತ ನಿರ್ಧಾರಗಳಿಗೆ ಮಾನವ ವಿಮರ್ಶಕರನ್ನು ಬಳಸಿ.

ಮುಖ್ಯ! LLM ಗ್ರೇಡರ್ ಪುರಾವೆಯನ್ನು ತಪ್ಪಾಗಿ ಅರ್ಥೈಸಬಹುದು ಅಥವಾ ರೂಬ್ರಿಕ್ ಅನ್ನು ತಪ್ಪಾಗಿ ಅನ್ವಯಿಸಬಹುದು. ಆದ್ದರಿಂದ ಇದಕ್ಕೆ ಹೆಚ್ಚುವರಿ ಮೌಲ್ಯಮಾಪನ ಹಂತದ ಅಗತ್ಯವಿದೆ: ಮಾನವ ತೀರ್ಪುಗಳ ಎದುರು ಮಾಪನಾಂಕ ನಿರ್ಣಯ (calibration).

LLM ಗ್ರೇಡರ್ ಅನ್ನು ಮಾನವ ತೀರ್ಪುಗಳ ಎದುರು ಮಾಪನಾಂಕ ನಿರ್ಣಯ ಮಾಡಿ.

ಮೂಲತಃ, ಮಾಪನಾಂಕ ನಿರ್ಣಯಕ್ಕಾಗಿ ಕ್ಷೇತ್ರ ತಜ್ಞರೊಬ್ಬರು ನೈಜ ಏಜೆಂಟ್ ರನ್‌ಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಬೇಕಾಗುತ್ತದೆ. ನಂತರ ತಜ್ಞರು ತಮ್ಮ ತೀರ್ಪುಗಳನ್ನು LLM ನೀಡಿದ ತೀರ್ಪುಗಳೊಂದಿಗೆ ಹೋಲಿಸಿ, ಭಿನ್ನಾಭಿಪ್ರಾಯಗಳ ಆಧಾರದ ಮೇಲೆ ಗ್ರೇಡಿಂಗ್ ರೂಬ್ರಿಕ್ ಅನ್ನು ಪರಿಷ್ಕರಿಸುತ್ತಾರೆ.

ಐದು ಹಂತಗಳ ಗ್ರೇಡರ್ ಮಾಪನಾಂಕ ನಿರ್ಣಯ ಪ್ರಕ್ರಿಯೆ ಇಲ್ಲಿದೆ:

1. ಏಜೆಂಟ್ ಇನ್‌ಪುಟ್‌ಗಳು, ಔಟ್‌ಪುಟ್‌ಗಳು ಮತ್ತು ಸಂಬಂಧಿತ ಟ್ರೇಸ್‌ಗಳ ಉದಾಹರಣೆಗಳನ್ನು ಸಂಗ್ರಹಿಸಿ.
2. ಪ್ರತಿ ಉದಾಹರಣೆಯು ಮೌಲ್ಯಮಾಪನ ಮಾನದಂಡವನ್ನು ಪೂರೈಸುತ್ತದೆಯೇ ಎಂಬುದನ್ನು ಕ್ಷೇತ್ರ ತಜ್ಞರೊಬ್ಬರು ಸ್ವತಂತ್ರವಾಗಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡುವಂತೆ ಮಾಡಿ.
3. ಆ ಉದಾಹರಣೆಗಳ ಮೇಲೆ LLM ಗ್ರೇಡರ್ ಅನ್ನು ರನ್ ಮಾಡಿ.
4. ಮಾನವ ಮತ್ತು ಮಾದರಿಯ ತೀರ್ಪುಗಳನ್ನು ಹೋಲಿಸಿ.
5. ಹೊಸ ಉದಾಹರಣೆಗಳ ಮೇಲೆ ಪರೀಕ್ಷಿಸುವ ಮೊದಲು, ಭಿನ್ನಾಭಿಪ್ರಾಯಗಳನ್ನು ತನಿಖೆ ಮಾಡಿ ಮತ್ತು ಗ್ರೇಡರ್‌ನ ರೂಬ್ರಿಕ್ ಅನ್ನು ಪರಿಷ್ಕರಿಸಿ.

LLM ಗ್ರೇಡರ್‌ನ ಸ್ಥಿರತೆಯನ್ನು ಪ್ರತ್ಯೇಕವಾಗಿ ಪರೀಕ್ಷಿಸುವ ಮಹತ್ವವನ್ನೂ Khomutov ಒತ್ತಿಹೇಳುತ್ತಾರೆ:

“ಏಜೆಂಟ್ ಅನ್ನು ಮರು-ರನ್ ಮಾಡದೆ, ಉಳಿಸಿದ ಅದೇ ರನ್ ಮತ್ತು ಫೈಲ್‌ಗಳನ್ನು ಅದಕ್ಕೆ ಹಲವು ಬಾರಿ ನೀಡಿ. ಇದರಿಂದ ಏಜೆಂಟ್‌ನ ಕೆಲಸದಲ್ಲಿನ ವ್ಯತ್ಯಾಸವನ್ನು ಗ್ರೇಡಿಂಗ್‌ನಲ್ಲಿನ ವ್ಯತ್ಯಾಸದಿಂದ ಪ್ರತ್ಯೇಕಿಸಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ.”

ಒಂದೇ ಔಟ್‌ಪುಟ್‌ಗೆ ಬೇರೆ ಬೇರೆ ತೀರ್ಪುಗಳು ಬಂದರೆ, ಸ್ಕೋರ್‌ನಲ್ಲಿನ ಪ್ರತಿಯೊಂದು ಬದಲಾವಣೆಯೂ ಏಜೆಂಟ್‌ನಿಂದಲೇ ಬಂದಿದೆ ಎಂದು ಭಾವಿಸಬೇಡಿ. ಬದಲಿಗೆ, ಗ್ರೇಡರ್ ಯಾವಾಗ ದೋಷಗಳನ್ನು ಸರಿಯಾಗಿ ಗುರುತಿಸಿತು, ಯಾವಾಗ ಅವುಗಳನ್ನು ತಪ್ಪಿಸಿಕೊಂಡಿತು ಅಥವಾ ಯಾವಾಗ ಸ್ವೀಕಾರಾರ್ಹ ಔಟ್‌ಪುಟ್‌ಗಳನ್ನು ತಪ್ಪಾಗಿ ಫ್ಲ್ಯಾಗ್ ಮಾಡಿತು ಎಂಬುದನ್ನು ತೋರಿಸುವ ಕನ್‌ಫ್ಯೂಷನ್ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಅನ್ನು ಪರಿಶೀಲಿಸಿ.

ಉಲ್ಲೇಖ ತೀರ್ಪುಗಳನ್ನು ಸ್ಥಾಪಿಸಲು, ವಿವಾದಿತ ಪ್ರಕರಣಗಳನ್ನು ಪರಿಹರಿಸಲು ಮತ್ತು ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಗ್ರೇಡರ್‌ಗಳು ಪತ್ತೆಹಚ್ಚುವಂತೆ ವಿನ್ಯಾಸಗೊಳ್ಳದ ಹೊಸ ವೈಫಲ್ಯ ಪ್ರಕಾರಗಳನ್ನು ಕಂಡುಹಿಡಿಯಲು ಮಾನವ ವಿಮರ್ಶೆ ಈಗಲೂ ಅತ್ಯಗತ್ಯ.

ಹಂತ 5. ಆವೃತ್ತಿಗಳನ್ನು ಹೋಲಿಸಿ ಮತ್ತು ರಿಗ್ರೆಷನ್ ಪರಿಶೀಲನೆಗಳನ್ನು ರನ್ ಮಾಡಿ

ನಿಮ್ಮ ದಾಸ್ತಾನು ಏಜೆಂಟ್ ಅನುಮೋದನೆಯಿಲ್ಲದ ಬದಲಿ ಭಾಗಗಳನ್ನು ಆಗಾಗ್ಗೆ ಶಿಫಾರಸು ಮಾಡುತ್ತದೆ ಎಂದು ದೋಷ ವಿಶ್ಲೇಷಣೆಯು ಬಹಿರಂಗಪಡಿಸಿದೆ ಎಂದುಕೊಳ್ಳಿ. ಸ್ಪಷ್ಟವಾದ ಹೊಂದಾಣಿಕೆ ಪರಿಶೀಲನೆಯನ್ನು ಕಡ್ಡಾಯಗೊಳಿಸುವಂತೆ ನೀವು ಅದರ ಸಿಸ್ಟಂ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಮಾರ್ಪಡಿಸುತ್ತೀರಿ. ಮೊದಲು ವಿಫಲವಾಗುತ್ತಿದ್ದ ಪ್ರಕರಣ ಈಗ ಪಾಸ್ ಆಗುತ್ತದೆ. ಆದರೆ ಈ ಬದಲಾವಣೆಯು ಇತರ ಕಾರ್ಯಗಳ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರಿಲ್ಲ ಎಂದು ನಿಮಗೆ ಹೇಗೆ ತಿಳಿಯುತ್ತದೆ?

ಇಲ್ಲಿಯೇ ರಿಗ್ರೆಷನ್ ಟೆಸ್ಟಿಂಗ್ ನೆರವಿಗೆ ಬರುತ್ತದೆ.

ರಿಗ್ರೆಷನ್ ಟೆಸ್ಟಿಂಗ್ ಎಂದರೆ, ಏಜೆಂಟ್‌ನ ಪ್ರಾಂಪ್ಟ್, ಮಾದರಿ ಅಥವಾ ಕಾರ್ಯಪ್ರವಾಹವನ್ನು ಬದಲಾಯಿಸಿದ ನಂತರ, ಆ ಬದಲಾವಣೆಯು ಹೊಸ ವೈಫಲ್ಯಗಳನ್ನು ಉಂಟುಮಾಡಿಲ್ಲ ಎಂಬುದನ್ನು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ಈ ಹಿಂದೆ ಯಶಸ್ವಿಯಾಗಿದ್ದ ಪರೀಕ್ಷಾ ಪ್ರಕರಣಗಳನ್ನು ಮರು-ರನ್ ಮಾಡುವುದು.

1. ಪರೀಕ್ಷಾ ಸೆಟ್‌ನಿಂದ ಉಳಿಸಿದ ಇನ್‌ಪುಟ್ ಬಳಸಿ ಮೂಲ ವೈಫಲ್ಯವನ್ನು ಪುನರುತ್ಪಾದಿಸಿ.
2. ಪ್ರಾಂಪ್ಟ್, ಮಾದರಿ ಅಥವಾ ಕಾರ್ಯಪ್ರವಾಹಕ್ಕೆ ಗುರಿನಿರ್ದಿಷ್ಟ ಬದಲಾವಣೆಯನ್ನು ಮಾಡಿ.
3. ಸಮಸ್ಯೆ ಪರಿಹಾರವಾಗಿದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಲು ವಿಫಲವಾಗುತ್ತಿದ್ದ ಪರೀಕ್ಷೆಯನ್ನು ಮರು-ರನ್ ಮಾಡಿ.
4. ಉಳಿದ ಪರೀಕ್ಷೆಗಳನ್ನು ರನ್ ಮಾಡಿ, ಆ ಮೂಲಕ ಬದಲಾವಣೆಯು ಹಿಂದೆ ಯಶಸ್ವಿಯಾಗಿದ್ದ ವರ್ತನೆಯನ್ನು ಹಾಳುಮಾಡಿಲ್ಲ ಎಂಬುದನ್ನು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಿ.
5. ಫಲಿತಾಂಶಗಳನ್ನು ಪರಿಶೀಲಿಸಿ ಮತ್ತು ಯಾವುದೇ ಹೊಸ ವೈಫಲ್ಯಗಳಿದ್ದರೆ ಅವುಗಳನ್ನು ತನಿಖೆ ಮಾಡಿ.

ನಿಖರವಾದ ಫಲಿತಾಂಶಗಳಿಗಾಗಿ, ಅದೇ ಟೆಸ್ಟ್ ಕೇಸ್‌ಗಳು ಮತ್ತು ಗ್ರೇಡಿಂಗ್ ಮಾನದಂಡಗಳನ್ನು ಬಳಸಿ ಬೇಸ್‌ಲೈನ್ ಏಜೆಂಟ್ ಮತ್ತು ನವೀಕರಿಸಿದ ಏಜೆಂಟ್ ಅನ್ನು ಹೋಲಿಕೆ ಮಾಡಿ.

ಹಂತ 6: ಪ್ರೊಡಕ್ಷನ್‌ನಲ್ಲಿ AI ಏಜೆಂಟ್‌ನ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಿ

ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್ ಅನ್ನು ನಿಯೋಜಿಸಿದ ನಂತರವೂ ಏಜೆಂಟ್ ಮೌಲ್ಯಮಾಪನ ನಿಲ್ಲುವುದಿಲ್ಲ. ಹುಸೈನ್ ಮತ್ತು ಶಂಕರ್ ವಿವರಿಸುವಂತೆ, ಅಭಿವೃದ್ಧಿಯ ಸಮಯದಲ್ಲಿ ನೀವು ಬಳಸುವ ಅದೇ ಮೌಲ್ಯಮಾಪಕಗಳನ್ನು, ಕಾಲಾನಂತರದಲ್ಲಿ ನಿಮ್ಮ ಏಜೆಂಟ್ ಹೇಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ಅಳೆಯಲು ನೈಜ ಪ್ರೊಡಕ್ಷನ್ ಡೇಟಾದ ಮೇಲೂ ರನ್ ಮಾಡಬಹುದು.

ಇದನ್ನು ಆನ್‌ಲೈನ್ ಮೌಲ್ಯಮಾಪನ ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ, ಮತ್ತು ಇದು ಪುನರಾವರ್ತಿತ ಹಾಗೂ ಹಿಂದೆ ತಿಳಿದಿರದ ವೈಫಲ್ಯಗಳನ್ನು ಪತ್ತೆಹಚ್ಚಲು ಸಹಾಯ ಮಾಡುವ ವಿಶಾಲವಾದ ಪ್ರೊಡಕ್ಷನ್ ಮೇಲ್ವಿಚಾರಣಾ ಪ್ರಕ್ರಿಯೆಯ ಒಂದು ಭಾಗವಾಗಿದೆ.

ಈ ಪ್ರಕ್ರಿಯೆಯು ಪುನರಾವರ್ತಿತವಾಗಿದ್ದು, ಪರಸ್ಪರ ಪೂರಕವಾದ ನಾಲ್ಕು ಚಟುವಟಿಕೆಗಳನ್ನು ಒಳಗೊಂಡಿದೆ:

• ಪ್ರೊಡಕ್ಷನ್ ಟ್ರೇಸ್‌ಗಳ ಮೇಲೆ ಕ್ಯಾಲಿಬ್ರೇಟ್ ಮಾಡಿದ LLM ತೀರ್ಪುಗಾರರನ್ನು ರನ್ ಮಾಡಿ. ನೈಜ ಏಜೆಂಟ್ ಸಂವಹನಗಳ ಮಾದರಿಗಳನ್ನು ಆಯ್ದುಕೊಂಡು, ಮಾನವ ತೀರ್ಪುಗಳೊಂದಿಗೆ ನೀವು ಈಗಾಗಲೇ ಮೌಲ್ಯೀಕರಿಸಿರುವ ಮೌಲ್ಯಮಾಪಕಗಳನ್ನು ಅವುಗಳಿಗೆ ಅನ್ವಯಿಸಿ.
• ಕಾಲಾನಂತರದಲ್ಲಿ ವೈಫಲ್ಯ ದರಗಳನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಿ. ಪುನರಾವರ್ತಿತ ಸಮಸ್ಯೆಗಳನ್ನು ಸಂಖ್ಯಾತ್ಮಕವಾಗಿ ಅಳೆಯಲು, ದೋಷ ವಿಶ್ಲೇಷಣೆಯ ಸಮಯದಲ್ಲಿ ರೂಪಿಸಲಾದ ವೈಫಲ್ಯ ವರ್ಗಗಳನ್ನು ಬಳಸಿ.
• ಟ್ರೇಸ್‌ಗಳನ್ನು ಹಸ್ತಚಾಲಿತವಾಗಿ ಪರಿಶೀಲಿಸುತ್ತಲೇ ಇರಿ. ಸ್ವಯಂಚಾಲಿತ ಗ್ರೇಡರ್‌ಗಳು ತಾವು ಗುರುತಿಸಲು ವಿನ್ಯಾಸಗೊಂಡಿರುವ ಸಮಸ್ಯೆಗಳನ್ನು ಮಾತ್ರ ಪತ್ತೆಹಚ್ಚುತ್ತವೆ. ಹೊಸ ದೋಷಗಳನ್ನು ಅಥವಾ ಅಸಾಮಾನ್ಯ ಬಳಕೆದಾರ ವಿನಂತಿಗಳನ್ನು ಪತ್ತೆಹಚ್ಚಲು, ನೈಜ ಏಜೆಂಟ್ ಸಂವಹನಗಳ ಮಾದರಿಗಳನ್ನು ಹಸ್ತಚಾಲಿತವಾಗಿ ಪರಿಶೀಲಿಸಿ.
• ವ್ಯವಹಾರ ಫಲಿತಾಂಶಗಳನ್ನು ಅಳೆಯಲು A/B ಪರೀಕ್ಷೆಯನ್ನು ಬಳಸಿ (ಸೂಕ್ತವಾದಾಗ ಮಾತ್ರ). ಕಾರ್ಯ ಪೂರ್ಣಗೊಳಿಸುವಿಕೆ, ಬಳಕೆದಾರ ತೃಪ್ತಿ ಮತ್ತು ಪರಿಹಾರಕ್ಕೆ ತೆಗೆದುಕೊಳ್ಳುವ ಸಮಯದಂತಹ ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ಬಳಸಿ ವಿಭಿನ್ನ ಪ್ರಾಂಪ್ಟ್‌ಗಳು, ಮಾಡೆಲ್‌ಗಳು ಅಥವಾ ಕಾರ್ಯಪ್ರವಾಹಗಳನ್ನು ಹೋಲಿಕೆ ಮಾಡಿ. ಒಂದು ಬದಲಾವಣೆಯು ಪ್ರತ್ಯೇಕ ಪರೀಕ್ಷೆಗಳಲ್ಲಿ ಉತ್ತೀರ್ಣವಾಗುವುದನ್ನು ಮೀರಿ, ನಿಜವಾದ ಉತ್ಪನ್ನ ಅನುಭವವನ್ನು ಸುಧಾರಿಸುತ್ತದೆಯೇ ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸಲು ಈ ಪ್ರಕ್ರಿಯೆಯು ಸಹಾಯ ಮಾಡುತ್ತದೆ.

ಒಂದು ಪ್ರಮುಖ ಟಿಪ್ಪಣಿ: ಇವಾಲ್‌ಗಳು ಪರಿಪೂರ್ಣವಾಗಿರಬೇಕಾಗಿಲ್ಲ. ನಿಮ್ಮ ಉತ್ಪನ್ನವನ್ನು ಸುಧಾರಿಸುವಷ್ಟು ಉತ್ತಮವಾಗಿದ್ದರೆ ಸಾಕು.

AI ಏಜೆಂಟ್‌ಗಳ ಮೌಲ್ಯಮಾಪನದ ಕುರಿತ ಸಾಮಾನ್ಯ ತಪ್ಪು ಕಲ್ಪನೆಗಳು

• ಇವಾಲ್‌ಗಳು ಕೇವಲ ಯೂನಿಟ್ ಪರೀಕ್ಷೆಗಳು. ಹಾಗಲ್ಲ; ಯೂನಿಟ್ ಪರೀಕ್ಷೆಗಳು ಸಣ್ಣ, ಸ್ವಯಂಚಾಲಿತ ಪರಿಶೀಲನೆಗಳಾಗಿದ್ದು, ಅವು ಮೌಲ್ಯಮಾಪನದ ಒಂದು ಭಾಗ ಮಾತ್ರ. ಅಪ್ಲಿಕೇಶನ್‌ನ ಗುಣಮಟ್ಟವನ್ನು ಅಳೆಯಲು ಇವಾಲ್‌ಗಳು ಗುಣಾತ್ಮಕ ದೋಷ ವಿಶ್ಲೇಷಣೆ, ಮಾನವ ತೀರ್ಪುಗಳು, ಪ್ರೊಡಕ್ಷನ್ ಮೇಲ್ವಿಚಾರಣೆ ಮತ್ತು ಪ್ರಯೋಗಗಳನ್ನೂ ಒಳಗೊಂಡಿರುತ್ತವೆ.
• ಮೌಲ್ಯಮಾಪನ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ನಿಮಗಾಗಿ ಎಲ್ಲವನ್ನೂ ಮಾಡಬಲ್ಲದು. ಸಿದ್ಧ ಪರಿಕರಗಳು ಕೆಲವು ಪರಿಶೀಲನೆಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸಬಲ್ಲವು, ಆದರೆ ನಿಮ್ಮ ಉತ್ಪನ್ನಕ್ಕೆ ಯಾವ ವೈಫಲ್ಯದ ಸ್ವರೂಪಗಳು (ದೋಷಗಳ ಪ್ರಕಾರಗಳು ಅಥವಾ ಅನಪೇಕ್ಷಿತ ಏಜೆಂಟ್ ವರ್ತನೆಗಳು) ಮುಖ್ಯ ಎಂಬುದನ್ನು ಅವು ನಿರ್ಧರಿಸಲಾರವು.
• ಎಲ್ಲವನ್ನೂ ಮೌಲ್ಯಮಾಪನ ಮಾಡುವ ಕೆಲಸವನ್ನು LLMಗೆ ಬಿಡಬಹುದು. ಇದೊಂದು ದೊಡ್ಡ ಭ್ರಮೆ. ಪ್ರತಿಯೊಂದು ಸಮಸ್ಯೆಯನ್ನು ಕಂಡುಹಿಡಿಯಲು ಅಗತ್ಯವಾದ ವ್ಯವಹಾರ ಸಂದರ್ಭ LLMಗಳಿಗೆ ಇಲ್ಲದಿರುವುದರಿಂದ, ಮಾನವ ನೇತೃತ್ವದ ದೋಷ ವಿಶ್ಲೇಷಣೆ ಮತ್ತು ಗ್ರೇಡರ್ ಕ್ಯಾಲಿಬ್ರೇಶನ್ ಅತ್ಯಗತ್ಯವಾಗಿಯೇ ಉಳಿಯುತ್ತವೆ.
• A/B ಪರೀಕ್ಷೆ ಅಥವಾ ಸುಮ್ಮನೆ ಏಜೆಂಟ್ ಅನ್ನು ಬಳಸುವುದು ಇವಾಲ್‌ಗಳಿಗೆ ಪರ್ಯಾಯವಾಗುತ್ತದೆ. ತಪ್ಪು. ಆಯ್ದ ಮೆಟ್ರಿಕ್‌ಗಳ ಆಧಾರದಲ್ಲಿ ಯಾವ ಆವೃತ್ತಿ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಎಂಬುದನ್ನು A/B ಪರೀಕ್ಷೆಗಳು ತೋರಿಸಬಲ್ಲವು, ಆದರೆ ಅವು ಸ್ವತಃ ಮೂಲ ಸಮಸ್ಯೆಗಳನ್ನು ವಿವರಿಸಲಾರವು.

AI ಏಜೆಂಟ್ ಮೌಲ್ಯಮಾಪನ: ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು

1. AI ಏಜೆಂಟ್ ಮೌಲ್ಯಮಾಪನ ಮತ್ತು LLM ಮೌಲ್ಯಮಾಪನದ ನಡುವಿನ ವ್ಯತ್ಯಾಸವೇನು?

LLM ಮೌಲ್ಯಮಾಪನವು ಪ್ರಶ್ನೆಗೆ ಉತ್ತರಿಸುವುದು, ದಾಖಲೆಯನ್ನು ಸಾರಾಂಶಗೊಳಿಸುವುದು ಅಥವಾ ಮಾಹಿತಿಯನ್ನು ಹೊರತೆಗೆಯುವುದು ಮುಂತಾದ ನಿರ್ದಿಷ್ಟ ಕಾರ್ಯವನ್ನು ಭಾಷಾ ಮಾಡೆಲ್ ಎಷ್ಟು ಚೆನ್ನಾಗಿ ನಿರ್ವಹಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ಅಳೆಯುತ್ತದೆ. AI ಏಜೆಂಟ್ ಮೌಲ್ಯಮಾಪನವು ಒಂದು ಕಾರ್ಯವನ್ನು ಪೂರ್ಣಗೊಳಿಸಲು ಸ್ವತಂತ್ರವಾಗಿ ಅನೇಕ ಹಂತಗಳನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸುವ ವ್ಯವಸ್ಥೆಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತದೆ.

ಸಾಮಾನ್ಯ LLM ಮೌಲ್ಯಮಾಪನಕ್ಕಿಂತ ಭಿನ್ನವಾಗಿ, ಏಜೆಂಟ್ ಮೌಲ್ಯಮಾಪನವು ಅಂತಿಮ ಫಲಿತಾಂಶ ಮತ್ತು ಅದನ್ನು ಸಾಧಿಸಲು ಕೈಗೊಂಡ ಕ್ರಿಯೆಗಳ ಅನುಕ್ರಮ ಎರಡನ್ನೂ ಪರಿಶೀಲಿಸುತ್ತದೆ; ಇದರಲ್ಲಿ ಟೂಲ್ ಕರೆಗಳು, ನಿರ್ಧಾರಗಳು ಮತ್ತು ಪೂರ್ವನಿರ್ಧರಿತ ನಿಯಮಗಳ ಅನುಸರಣೆ ಸೇರಿವೆ.

2. AI ಏಜೆಂಟ್ ಮೌಲ್ಯಮಾಪನದ ಪ್ರಮುಖ ಮೆಟ್ರಿಕ್‌ಗಳು

AI ಏಜೆಂಟ್ ಮೌಲ್ಯಮಾಪನ ಮೆಟ್ರಿಕ್‌ಗಳು ಎರಡು ವಿಶಾಲ ವರ್ಗಗಳಿಗೆ ಸೇರುತ್ತವೆ:

• ತಾಂತ್ರಿಕ ಕಾರ್ಯಕ್ಷಮತೆ ಮೆಟ್ರಿಕ್‌ಗಳು: ಕಾರ್ಯ ಯಶಸ್ಸಿನ ದರ, ಕ್ರಿಯೆಯ ನಿಖರತೆ, ಉತ್ತರದ ಗುಣಮಟ್ಟ, ವಿಶ್ವಾಸಾರ್ಹತೆ (pass@1 ಮತ್ತು pass@k), ಲೇಟೆನ್ಸಿ, ಟೋಕನ್ ಬಳಕೆ ಮತ್ತು ಪ್ರತಿ ಯಶಸ್ವಿ ಕಾರ್ಯದ ವೆಚ್ಚ.
• ವ್ಯವಹಾರ ಮತ್ತು ಬಳಕೆದಾರ ಅನುಭವ ಮೆಟ್ರಿಕ್‌ಗಳು: ಗ್ರಾಹಕ ತೃಪ್ತಿ (CSAT), ಸಮಸ್ಯೆ ಪರಿಹಾರ ದರ, ಎಸ್ಕಲೇಶನ್ ದರ, ಪರಿವರ್ತನೆ ದರ, ಕಾರ್ಯ ಪೂರ್ಣಗೊಳಿಸುವ ಸಮಯ ಮತ್ತು ಏಜೆಂಟ್‌ನ ಪಾತ್ರಕ್ಕೆ ನಿರ್ದಿಷ್ಟವಾದ ಇತರ ಫಲಿತಾಂಶಗಳು.

ಉದಾಹರಣೆಗೆ, ಗ್ರಾಹಕ ಬೆಂಬಲ ಏಜೆಂಟ್ ಅನ್ನು ಯಶಸ್ವಿ ಸಮಸ್ಯೆ ಪರಿಹಾರ ಮತ್ತು ಗ್ರಾಹಕ ತೃಪ್ತಿಯ ಆಧಾರದಲ್ಲಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡಬಹುದು, ಆದರೆ AI ಖರೀದಿ ಏಜೆಂಟ್ ಅನ್ನು ಮರುಪೂರಣ ವಿನಂತಿಗಳ ನಿಖರತೆ, ಅನುಮೋದನೆ ದರಗಳು ಮತ್ತು ಖರೀದಿ ಚಕ್ರದ ಅವಧಿಯ ಮೂಲಕ ಅಳೆಯಬಹುದು.

ಸರಿಯಾದ ಮೆಟ್ರಿಕ್‌ಗಳು ಏಜೆಂಟ್ ಎಷ್ಟು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಮತ್ತು ಅದರ ಕೆಲಸವು ವ್ಯವಹಾರ ಫಲಿತಾಂಶಗಳನ್ನು ಸುಧಾರಿಸುತ್ತದೆಯೇ ಎಂಬ ಎರಡನ್ನೂ ಪ್ರತಿಬಿಂಬಿಸಬೇಕು.

3. AI ಏಜೆಂಟ್‌ಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಉತ್ತಮ ಪರಿಕರಗಳು ಯಾವುವು?

ಸಾಮಾನ್ಯ ಆಯ್ಕೆಗಳಲ್ಲಿ ಇವು ಸೇರಿವೆ:

• ಪರೀಕ್ಷಾ ಫ್ರೇಮ್‌ವರ್ಕ್‌ಗಳು: ಪುನರಾವರ್ತಿಸಬಹುದಾದ ಟೆಸ್ಟ್ ಕೇಸ್‌ಗಳನ್ನು ರನ್ ಮಾಡಲು ಮತ್ತು ಏಜೆಂಟ್ ಸರಿಯಾದ ಟೂಲ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡಿದೆಯೇ ಅಥವಾ ಮಾನ್ಯವಾದ ಭಾಗದ IDಯನ್ನು ಹಿಂತಿರುಗಿಸಿದೆಯೇ ಎಂಬಂತಹ ನಿಖರವಾದ ಷರತ್ತುಗಳನ್ನು ಪರಿಶೀಲಿಸಲು Python ಅಸರ್ಷನ್‌ಗಳು ಮತ್ತು pytest ಉಪಯುಕ್ತವಾಗಿವೆ.
• AI ಏಜೆಂಟ್ ಮೌಲ್ಯಮಾಪನ ಫ್ರೇಮ್‌ವರ್ಕ್‌ಗಳು: DeepEval ಮತ್ತು Googleನ agent-eval toolkit ಎಕ್ಸಿಕ್ಯೂಶನ್ ಟ್ರೇಸ್‌ಗಳು, LLM ಆಧಾರಿತ ಗ್ರೇಡರ್‌ಗಳು ಮತ್ತು ಸ್ವಯಂಚಾಲಿತ ರಿಗ್ರೆಷನ್ ಪರೀಕ್ಷೆ ಸೇರಿದಂತೆ ಹೆಚ್ಚು ಸಂಕೀರ್ಣ ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತವೆ.
• ಮೌಲ್ಯಮಾಪನ ಮತ್ತು ಅಬ್ಸರ್ವಬಿಲಿಟಿ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ಗಳು: LangSmith, Arize Phoenix ಮತ್ತು MLflow ತಂಡಗಳಿಗೆ ಏಜೆಂಟ್ ವರ್ತನೆಯನ್ನು ಪರಿಶೀಲಿಸಲು, ಮೌಲ್ಯಮಾಪನ ಡೇಟಾಸೆಟ್‌ಗಳನ್ನು ನಿರ್ವಹಿಸಲು, ಏಜೆಂಟ್ ಆವೃತ್ತಿಗಳನ್ನು ಹೋಲಿಸಲು ಮತ್ತು ಪ್ರೊಡಕ್ಷನ್‌ನಲ್ಲಿ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಲು ಸಹಾಯ ಮಾಡುತ್ತವೆ.

4. AI ಏಜೆಂಟ್ ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸುವುದು ಹೇಗೆ?

ಪುನರಾವರ್ತಿಸಬಹುದಾದ ಪರೀಕ್ಷೆಗಳನ್ನು ರಚಿಸುವ ಮೂಲಕ, ಸ್ವಯಂಚಾಲಿತ ಗ್ರೇಡರ್‌ಗಳನ್ನು ಅನ್ವಯಿಸುವ ಮೂಲಕ ಮತ್ತು ಆ ಪರಿಶೀಲನೆಗಳನ್ನು ಅಭಿವೃದ್ಧಿ ಹಾಗೂ ಪ್ರೊಡಕ್ಷನ್ ಕಾರ್ಯಪ್ರವಾಹಗಳಲ್ಲಿ ಸಂಯೋಜಿಸುವ ಮೂಲಕ ನೀವು AI ಏಜೆಂಟ್ ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸಬಹುದು:

1. ಮೌಲ್ಯಮಾಪನ ಡೇಟಾಸೆಟ್ ರಚಿಸಿ: ಪ್ರಾತಿನಿಧಿಕ ಬಳಕೆದಾರ ಕಾರ್ಯಗಳು, ನಿರೀಕ್ಷಿತ ಫಲಿತಾಂಶಗಳು, ತಿಳಿದಿರುವ ವೈಫಲ್ಯಗಳು ಮತ್ತು ಏಜೆಂಟ್ ಎಕ್ಸಿಕ್ಯೂಶನ್ ಟ್ರೇಸ್‌ಗಳನ್ನು ಸಂಗ್ರಹಿಸಿ. ವಿಫಲವಾದ ಟೂಲ್ ಕರೆಗಳು, ಕಾಣೆಯಾದ ಮಾಹಿತಿ ಮತ್ತು ಅನಧಿಕೃತ ಕ್ರಿಯೆಗಳಂತಹ ಎಡ್ಜ್ ಕೇಸ್‌ಗಳನ್ನು ಸೇರಿಸಿ.
2. ಪರೀಕ್ಷೆಗಳ ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆ ಮತ್ತು ಗ್ರೇಡಿಂಗ್ ಅನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸಿ: ಟೆಸ್ಟ್ ಕೇಸ್‌ಗಳನ್ನು ರನ್ ಮಾಡಲು ಮತ್ತು ಕೋಡ್ ಆಧಾರಿತ ಪರಿಶೀಲನೆಗಳು ಅಥವಾ LLM ಗ್ರೇಡರ್‌ಗಳನ್ನು ಅನ್ವಯಿಸಲು pytest ಅಥವಾ DeepEvalನಂತಹ ಫ್ರೇಮ್‌ವರ್ಕ್‌ಗಳನ್ನು ಬಳಸಿ. LLM ಗ್ರೇಡರ್‌ಗಳ ಸ್ಕೋರ್‌ಗಳನ್ನು ಅವಲಂಬಿಸುವ ಮೊದಲು, ಅವುಗಳನ್ನು ಮಾನವ ತೀರ್ಪುಗಳೊಂದಿಗೆ ಮೌಲ್ಯೀಕರಿಸಿ.
3. CI/CD ಪ್ರಕ್ರಿಯೆಯಲ್ಲಿ ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ಸಂಯೋಜಿಸಿ: ಡೆವಲಪರ್‌ಗಳು ಏಜೆಂಟ್‌ನ ಪ್ರಾಂಪ್ಟ್‌ಗಳು, ಮಾಡೆಲ್‌ಗಳು, ಟೂಲ್‌ಗಳು ಅಥವಾ ಕಾರ್ಯಪ್ರವಾಹವನ್ನು ನವೀಕರಿಸಿದಾಗ ರಿಗ್ರೆಷನ್ ಪರೀಕ್ಷೆಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಮರು-ರನ್ ಮಾಡಿ. ಫಲಿತಾಂಶಗಳನ್ನು ಬೇಸ್‌ಲೈನ್‌ನೊಂದಿಗೆ ಹೋಲಿಸಿ ಮತ್ತು ನಿರ್ಣಾಯಕ ಪರಿಶೀಲನೆಗಳು ವಿಫಲವಾದಾಗ ಬಿಡುಗಡೆಗಳನ್ನು ತಡೆಯುವ ಗುಣಮಟ್ಟದ ಮಿತಿಗಳನ್ನು ನಿಗದಿಪಡಿಸಿ.
4. ಮಾದರಿಯಾಗಿ ಆಯ್ದ ಪ್ರೊಡಕ್ಷನ್ ಟ್ರೇಸ್‌ಗಳಿಗೆ ಕ್ಯಾಲಿಬ್ರೇಟ್ ಮಾಡಿದ ಗ್ರೇಡರ್‌ಗಳನ್ನು ಅನ್ವಯಿಸಿ, ವೈಫಲ್ಯ ದರಗಳು ಮತ್ತು ಇತರ ಕಾರ್ಯಕ್ಷಮತೆ ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಿ, ಹಾಗೂ ಹಸ್ತಚಾಲಿತ ಪರಿಶೀಲನೆಯ ಮೂಲಕ ಹೊಸ ದೋಷಗಳನ್ನು ತನಿಖೆ ಮಾಡಿ.