Cách đánh giá tác nhân AI: bộ kiểm thử, trình chấm điểm và kiểm tra hồi quy

Đằng sau mỗi sản phẩm AI xuất sắc là một quy trình đánh giá tác nhân AI chặt chẽ, được gọi là evals, giúp phát hiện lỗi sớm và đảm bảo tác nhân hoạt động đúng cách. Evals đặc biệt quan trọng đối với những tác nhân AI thực hiện các hành động có rủi ro cao, chẳng hạn như hoàn tiền thay cho người khác.

Xây dựng quy trình đó đòi hỏi một số kiến thức kỹ thuật và kỹ năng phân tích dữ liệu. Nhưng việc này không hề đáng sợ hay khó tiếp cận như bạn tưởng. Để giúp bạn bắt đầu, chúng tôi đã trình bày sáu bước thực tế để đánh giá tác nhân AI, cùng những quan niệm sai lầm phổ biến làm hỏng quy trình này.

Đánh giá một tác nhân AI nghĩa là gì?

Đánh giá một tác nhân AI nghĩa là xem xét hiệu suất của nó trong việc hoàn thành nhiệm vụ một cách chính xác, cũng như liệu các quyết định của nó có đáp ứng yêu cầu của tổ chức hay không. Nói một cách thực tế, đánh giá tác nhân AI, hay evals, là những chỉ số cụ thể giúp tổ chức xác định liệu tác nhân có hoạt động đủ tin cậy cho vai trò dự kiến hay không.

Hãy hình dung một tác nhân AI phụ trách mua hàng tại một nhà máy sản xuất, có nhiệm vụ kiểm tra tồn kho phụ tùng thay thế và chuẩn bị yêu cầu bổ sung hàng. Nếu một phụ tùng đã được phê duyệt không còn hàng hoặc thông tin nhà cung cấp đã lỗi thời, tác nhân sẽ cảnh báo vấn đề hay đề xuất một phụ tùng thay thế chưa được phê duyệt?

Và nếu bạn thay đổi lời nhắc hệ thống của nó để khắc phục vấn đề đó, làm sao bạn biết mình không vô tình tạo ra một vấn đề khác?

Nếu không có quy trình đánh giá, các nhà quản lý sản phẩm về cơ bản chỉ có thể phỏng đoán. Vì vậy, evals cung cấp tín hiệu phản hồi để đo lường hiệu suất, phát hiện các vấn đề lặp lại và kiểm thử các thay đổi với sự tự tin cao hơn.

Như vậy, một lần đánh giá tác nhân có thể xem xét nhiều khía cạnh của một lượt chạy:

• Chất lượng của kết quả cuối cùng
• Thông tin mà tác nhân đã sử dụng
• Các công cụ mà tác nhân đã gọi
• Liệu tác nhân có tuân thủ các quy tắc chi phối hành vi của nó hay không

Các chỉ số đánh giá tác nhân AI phổ biến

Evals hoạt động dựa trên dữ liệu định tính và định lượng. Đánh giá định tính giúp bạn hiểu điều gì đang xảy ra và tại sao, bao gồm cả việc xem xét thủ công các quyết định của tác nhân. Đánh giá định lượng biến những quan sát đó thành các tín hiệu có thể đo lường, chẳng hạn như đếm tần suất của các dạng lỗi cụ thể hoặc tính tỷ lệ hoàn thành nhiệm vụ thành công.

Dưới đây là danh sách các chỉ số cơ bản để đánh giá tác nhân AI:

• Mức độ thành công của nhiệm vụ đo lường liệu tác nhân có đạt được kết quả mong muốn hay không; thường được tính bằng tỷ lệ phần trăm số lượt chạy tạo ra kết quả hợp lệ.
• Tính chính xác của hành động đo lường liệu tác nhân có sử dụng công cụ phù hợp, chọn đối số hợp lệ và tuân thủ các quyền hạn hay không.
• Chất lượng câu trả lời đánh giá liệu đầu ra cuối cùng có chính xác, đầy đủ và hữu ích hay không. Chỉ số này có thể bao gồm độ chính xác về mặt dữ kiện, mức độ tuân thủ hướng dẫn và liệu tác nhân có dựa vào thông tin sẵn có để củng cố các quyết định của mình hay không.
• Độ tin cậy đo lường tính nhất quán qua các lần thử lặp lại, với các đầu vào khác nhau và trong các trường hợp biên.
• Chi phí và độ trễ đo lường lượng tài nguyên cần thiết để đạt được một kết quả thành công, bao gồm thời gian thực thi, mức tiêu thụ token và số lần gọi công cụ.

Tùy vào điều bạn muốn đo lường, evals có thể đánh giá hiệu suất toàn trình của tác nhân, quỹ đạo thực thi của nó hoặc từng thành phần riêng lẻ như lệnh gọi công cụ và các bước truy xuất.

Bước 1: Xác định thế nào là một lượt chạy thành công của tác nhân

Trước tiên, hãy mô tả rõ ràng những gì tác nhân cần đạt được — tức là các yêu cầu sản phẩm. Nghe có vẻ hiển nhiên, nhưng việc này có thể khó đến bất ngờ. Thậm chí còn có một tên gọi riêng cho nó: khoảng trống đặc tả.

Theo Andrey Khomutov, nhà khoa học dữ liệu cấp cao của chúng tôi, đây là cách tiếp cận vấn đề này:

“Hãy bắt đầu với hai câu hỏi: “Thế nào thì được coi là hoàn thành công việc?” và “Điều gì sẽ khiến một lượt chạy có vẻ thành công trở nên không thể chấp nhận được?”

Đối với tác nhân, xét từ góc độ kỹ thuật, điều đó có nghĩa là kiểm tra cả kết quả lẫn cách tác nhân đạt được kết quả đó.”

Một tác nhân có thể đưa ra câu trả lời đúng nhờ truy cập vào đáp án bị rò rỉ, hoặc thực hiện các hành động trái phép trong khi hoàn thành nhiệm vụ. Khomutov chỉ ra rằng rò rỉ đáp án và các hành động không an toàn trong quá trình đánh giá là những lý do cụ thể để không chỉ dựa vào câu trả lời cuối cùng khi đánh giá.

“Tôi kỳ vọng việc kiểm tra quỹ đạo sẽ trở thành một phần tiêu chuẩn trong các bộ eval dành cho tác nhân, thay vì chỉ là việc chúng ta làm khi một kết quả có vẻ đáng ngờ,” anh nói thêm.

Sau đó, hãy mời một chuyên gia trong lĩnh vực xác thực các tiêu chí thành công của bạn. Những người có kiến thức thực tế về lĩnh vực đó có thể nhận biết liệu các điều kiện chúng ta đặt ra cho tác nhân AI có phản ánh đúng một kết quả thành công hay không.

Bước 2. Xây dựng bộ kiểm thử từ các nhiệm vụ và lỗi thực tế

Hãy xem xét hành vi thực tế của tác nhân để hiểu hiệu suất tốt và kém trông như thế nào. Đừng vội bắt đầu bằng cách tạo ra hàng chục bài kiểm thử chỉ dựa trên những gì bạn nghĩ có thể xảy ra sai sót.

Hamel Husain, kỹ sư ML tại Parlance Lab, và Shreya Shankar, nhà nghiên cứu về hệ thống ML và evals AI ứng dụng, khuyến nghị bắt đầu bằng phân tích lỗi, một kỹ thuật được vay mượn từ học máy và khoa học dữ liệu. Quy trình này bắt đầu bằng việc phân tích định tính các dấu vết thực thi của tác nhân — những bản ghi thể hiện đầu vào của người dùng, các lệnh gọi công cụ, thông tin được truy xuất và đầu ra của tác nhân.

1. Xem xét từng dấu vết và chú thích lỗi (mã hóa mở). Yêu cầu một chuyên gia trong lĩnh vực kiểm tra các lượt chạy của tác nhân và viết những nhận xét ngắn về điều gì đã sai. Tập trung vào lỗi có ý nghĩa đầu tiên.
2. Nhóm các quan sát thành các dạng lỗi (mã hóa trục). Khi đã có đủ ghi chú, hãy dùng LLM để đề xuất các danh mục cho những lỗi tương tự. Các danh mục này có thể bao gồm đề xuất phụ tùng không tương thích, truy xuất tồn kho không chính xác và chuyển giao cho con người không thành công.
3. Đếm số lần xuất hiện. Gán mỗi quan sát vào một danh mục, sau đó dùng bảng tính hoặc bảng tổng hợp (pivot table) để tính tần suất xuất hiện của từng dạng lỗi.
4. Ưu tiên những vấn đề cần xử lý, cân nhắc cả tần suất lẫn mức độ nghiêm trọng.
5. Biến các lỗi quan trọng thành ca kiểm thử. Lưu lại đầu vào liên quan, điều kiện ban đầu, kết quả mong đợi và tiêu chí chấm điểm để có thể kiểm thử lại tác nhân với cùng một kịch bản.

Bạn nên xem xét bao nhiêu dấu vết? Khoảng 100, nhưng không có con số chuẩn tuyệt đối nào cả. Hãy dừng sớm khi bạn đạt đến độ bão hòa lý thuyết: thời điểm mà việc xem xét thêm dấu vết không còn cho thấy các mẫu lỗi mới có ý nghĩa.

Chưa ra mắt ứng dụng? Các ví dụ tổng hợp có thể giúp xây dựng bộ kiểm thử ban đầu, nhưng dữ liệu người dùng thực nên được đưa vào ngay khi có sẵn.

Sử dụng benchmark trong đánh giá tác nhân AI

Ngoài việc tự tạo ca kiểm thử, bạn có thể sử dụng các bộ nhiệm vụ đánh giá tiêu chuẩn hóa sẵn có, được gọi là benchmark, để đánh giá năng lực của tác nhân.

Nhưng benchmark không phải lúc nào cũng hoàn hảo. Các đợt kiểm định SWE-bench, các bài đánh giá benchmark của Epoch AI và những câu trả lời đúng ban đầu bị từ chối trong TheoPhysEval cho thấy các nhiệm vụ hoặc đáp án mong đợi có sai sót có thể làm sai lệch kết quả đánh giá như thế nào.

Theo lời khuyên của Khomutov, hãy chọn các benchmark cập nhật, phù hợp với lĩnh vực của bạn và điều tra những trường hợp vượt qua hoặc thất bại bất ngờ trước khi coi điểm số là bằng chứng đáng tin cậy về hiệu suất của tác nhân.

Bước 3. Chạy tác nhân trong môi trường kiểm thử có thể lặp lại

Môi trường kiểm thử có thể lặp lại là một thiết lập được kiểm soát, nơi bạn có thể chạy tác nhân AI trên cùng các ca kiểm thử trong cùng điều kiện ban đầu và so sánh kết quả. Môi trường này bao gồm một thư mục chứa các ca kiểm thử, một tập lệnh Python để chạy tác nhân, hoặc một tập hợp các bước kiểm tra để đánh giá kết quả.

Bạn có thể bắt đầu bằng cách lưu các đầu vào tiêu biểu dưới dạng tệp JSON và dùng một tập lệnh Python để thực thi quy trình làm việc của tác nhân, đồng thời kiểm tra đầu ra bằng các câu lệnh assertion. Với tác nhân quản lý tồn kho của nhà máy sản xuất trong ví dụ, một môi trường kiểm thử có thể lặp lại có thể trông như sau:

Phóng to

Để thiết lập một môi trường kiểm thử có thể lặp lại, hãy làm theo các bước sau:

1. Lưu các đầu vào tiêu biểu. Lưu trữ các sự kiện thực tế hoặc ca kiểm thử theo đúng cấu trúc mà ứng dụng của bạn nhận được trong môi trường vận hành thực tế. Trong kịch bản của chúng ta, bạn sẽ lưu một yêu cầu bảo trì chứa mã định danh máy, phụ tùng thay thế cần thiết và ngày bảo trì dưới dạng tệp JSON, cùng với ảnh chụp nhanh dữ liệu tồn kho và dữ liệu phụ tùng đã được phê duyệt.
2. Thực thi quy trình làm việc. Chạy từng đầu vào qua tác nhân, bao gồm các bước truy xuất, lệnh gọi công cụ và quá trình tạo phản hồi.
3. Ghi lại kết quả và dấu vết. Lưu lại đầu ra cuối cùng và các hành động trung gian liên quan (chẳng hạn như tra cứu tồn kho) để bạn không chỉ biết tác nhân có thất bại hay không mà còn biết thất bại ở đâu.
4. Lặp lại các ca kiểm thử dựa trên mức độ nghiêm trọng, tần suất của lỗi và độ khó khi khắc phục vấn đề. Các ứng dụng LLM có tính bất định (chúng có thể tạo ra kết quả khác nhau từ cùng một đầu vào), vì vậy một lượt chạy thành công không đảm bảo lượt tiếp theo cũng sẽ thành công. Hãy báo cáo tỷ lệ số lần thử thành công và kiểm tra các lần thất bại.

Đối với việc này, Khomutov khuyên nên đo lường pass@1 (tần suất tác nhân thành công ngay trong một lần thử) và pass@k (xác suất thành công ít nhất một lần trong một số lần thử nhất định). Nếu báo cáo pass@k, hãy nêu rõ số lần thử, vì việc tạo ra một câu trả lời đúng trong số nhiều câu trả lời không có nghĩa là tác nhân biết nên chọn câu trả lời nào.

Khi ứng dụng của bạn phát triển, hãy dùng một framework kiểm thử như pytest để tổ chức và chạy các bài kiểm thử, đồng thời cân nhắc lưu trữ các tập dữ liệu kiểm thử lớn và kết quả trong cơ sở dữ liệu.

Bước 4. Chọn trình chấm điểm phù hợp cho từng bước kiểm tra

Trình chấm điểm (còn thường được gọi là trình đánh giá) là một cơ chế dưới dạng một đoạn mã, một LLM được định hướng bởi bảng tiêu chí chấm điểm, hoặc một người đánh giá, có nhiệm vụ kiểm tra đầu ra hoặc hành động của tác nhân dựa trên một tiêu chí đã xác định. Trình chấm điểm trả về phán định đạt/không đạt kèm theo lời giải thích chỉ ra bằng chứng liên quan.

Thông tin: Bảng tiêu chí chấm điểm là một tập hợp các tiêu chí và hướng dẫn xác định thế nào được coi là một kết quả đúng hoặc chấp nhận được.

Loại trình chấm điểm phù hợp phụ thuộc vào điều bạn đang muốn xác minh. Dưới đây là so sánh giữa ba cách tiếp cận:

Đôi khi các khía cạnh khác nhau của cùng một lượt chạy có thể đòi hỏi các phương pháp đánh giá khác nhau, vì vậy bạn có thể cần kết hợp nhiều trình chấm điểm.

Làm thế nào để kết hợp các trình chấm điểm?

Bạn hãy tự hỏi: “Kết quả có thể được xác minh dựa trên một quy tắc đã biết hoặc giá trị mong đợi không, hay cần đến khả năng phán đoán giống con người?”

• Nếu bạn có thể xác minh chính xác kết quả, hãy bắt đầu với trình chấm điểm dựa trên mã. Trình chấm điểm dựa trên mã cũng có thể xác minh đầu ra có cấu trúc, giá trị trường hợp lệ, đối số công cụ hoặc trạng thái cuối cùng của cơ sở dữ liệu.
• Nếu bước kiểm tra đòi hỏi phải diễn giải ngữ cảnh, hãy sử dụng LLM làm giám khảo.
• Sử dụng người đánh giá cho các quyết định mang tính chuyên môn hoặc còn gây tranh cãi.

Quan trọng! Trình chấm điểm LLM có thể hiểu sai bằng chứng hoặc áp dụng bảng tiêu chí chấm điểm không chính xác. Khi đó, cần thêm một bước đánh giá bổ sung: hiệu chỉnh dựa trên phán định của con người.

Hiệu chỉnh trình chấm điểm LLM dựa trên phán định của con người.

Về cơ bản, việc hiệu chỉnh đòi hỏi một chuyên gia trong lĩnh vực đánh giá các lượt chạy thực tế của tác nhân. Sau đó, chuyên gia so sánh phán định của mình với phán định của LLM và tinh chỉnh bảng tiêu chí chấm điểm dựa trên những điểm bất đồng.

Dưới đây là quy trình hiệu chỉnh trình chấm điểm gồm năm bước:

1. Thu thập các ví dụ về đầu vào, đầu ra và dấu vết liên quan của tác nhân.
2. Yêu cầu một chuyên gia trong lĩnh vực đánh giá độc lập xem mỗi ví dụ có đáp ứng tiêu chí đánh giá hay không.
3. Chạy trình chấm điểm LLM trên các ví dụ đó.
4. So sánh phán định của con người và của mô hình.
5. Điều tra những điểm bất đồng và tinh chỉnh bảng tiêu chí của trình chấm điểm trước khi kiểm thử trên các ví dụ mới.

Khomutov cũng nhấn mạnh tầm quan trọng của việc kiểm thử riêng tính nhất quán của trình chấm điểm LLM:

“Hãy đưa cho nó chính xác cùng một lượt chạy đã lưu và cùng các tệp nhiều lần mà không chạy lại tác nhân. Điều đó cho phép bạn tách biệt sự biến thiên trong công việc của tác nhân khỏi sự biến thiên trong việc chấm điểm.”

Nếu cùng một đầu ra nhận được các phán định khác nhau, đừng mặc định rằng mọi thay đổi về điểm số đều đến từ tác nhân. Thay vào đó, hãy xem xét ma trận nhầm lẫn cho thấy khi nào trình chấm điểm xác định đúng lỗi, bỏ sót lỗi hoặc gắn cờ sai các đầu ra chấp nhận được.

Đánh giá của con người vẫn đóng vai trò thiết yếu trong việc thiết lập các phán định tham chiếu, giải quyết các trường hợp gây tranh cãi và phát hiện các dạng lỗi mới mà những trình chấm điểm hiện có không được thiết kế để phát hiện.

Bước 5. So sánh các phiên bản và chạy kiểm thử hồi quy

Giả sử quá trình phân tích lỗi cho thấy tác nhân quản lý tồn kho của bạn thường xuyên đề xuất các phụ tùng thay thế chưa được phê duyệt. Bạn sửa đổi lời nhắc hệ thống của nó để yêu cầu kiểm tra tính tương thích một cách rõ ràng. Ca lỗi ban đầu giờ đã vượt qua. Nhưng làm sao bạn biết thay đổi đó không ảnh hưởng đến các nhiệm vụ khác?

Đó là lúc kiểm thử hồi quy phát huy tác dụng.

Kiểm thử hồi quy nghĩa là chạy lại các ca kiểm thử đã thành công trước đó sau khi thay đổi lời nhắc, mô hình hoặc quy trình làm việc của tác nhân, nhằm đảm bảo thay đổi đó không gây ra lỗi mới.

1. Tái hiện lỗi ban đầu bằng một đầu vào đã lưu từ bộ kiểm thử.
2. Thực hiện một thay đổi có mục tiêu đối với lời nhắc, mô hình hoặc quy trình làm việc.
3. Chạy lại bài kiểm thử bị lỗi để kiểm tra xem vấn đề đã được giải quyết chưa.
4. Chạy các bài kiểm thử còn lại để xác minh rằng thay đổi không làm hỏng những hành vi vốn đã hoạt động tốt trước đó.
5. Kiểm tra kết quả và điều tra mọi lỗi mới phát sinh.

So sánh phiên bản tác nhân cơ sở và phiên bản đã cập nhật bằng cùng các trường hợp kiểm thử và tiêu chí chấm điểm để có kết quả chính xác.

Bước 6: Giám sát hiệu suất của tác nhân AI trong môi trường production

Việc đánh giá tác nhân không dừng lại khi bạn đã triển khai ứng dụng. Như Husain và Shankar giải thích, chính các trình đánh giá bạn dùng trong quá trình phát triển cũng có thể chạy trên dữ liệu thực tế từ môi trường production để đo lường hiệu suất của tác nhân theo thời gian.

Đây được gọi là đánh giá trực tuyến và là một phần của quy trình giám sát môi trường production rộng hơn, giúp phát hiện các lỗi lặp lại cũng như những lỗi trước đây chưa từng được biết đến.

Quy trình này mang tính lặp và bao gồm bốn hoạt động bổ trợ cho nhau:

• Chạy các giám khảo LLM đã hiệu chỉnh trên dấu vết thực thi trong môi trường production. Lấy mẫu các tương tác thực tế của tác nhân và áp dụng những trình đánh giá mà bạn đã kiểm chứng bằng cách đối chiếu với đánh giá của con người.
• Theo dõi tỷ lệ lỗi theo thời gian. Sử dụng các danh mục lỗi đã thiết lập trong quá trình phân tích lỗi để định lượng các vấn đề lặp lại.
• Tiếp tục xem xét dấu vết thực thi theo cách thủ công. Trình chấm điểm tự động chỉ phát hiện được những vấn đề mà chúng được thiết kế để nhận diện. Hãy kiểm tra thủ công các mẫu tương tác thực tế của tác nhân để phát hiện lỗi mới hoặc các yêu cầu bất thường từ người dùng.
• Dùng thử nghiệm A/B để đo lường kết quả kinh doanh (chỉ khi phù hợp). So sánh các prompt, mô hình hoặc quy trình làm việc khác nhau bằng các chỉ số như mức độ hoàn thành tác vụ, sự hài lòng của người dùng và thời gian giải quyết. Quy trình này giúp xác định liệu một thay đổi có thực sự cải thiện trải nghiệm sản phẩm hay không, chứ không chỉ dừng ở việc vượt qua từng bài kiểm thử riêng lẻ.

Một lưu ý quan trọng: các bài đánh giá (eval) không cần phải được trau chuốt đến mức hoàn hảo. Chúng chỉ cần đủ tốt để giúp cải thiện sản phẩm của bạn.

Những quan niệm sai lầm phổ biến khi đánh giá tác nhân AI

• Eval chỉ là kiểm thử đơn vị. Không phải vậy; kiểm thử đơn vị là những bước kiểm tra nhỏ, tự động và chỉ là một phần của việc đánh giá. Eval còn bao gồm phân tích lỗi định tính, đánh giá của con người, giám sát môi trường production và các thử nghiệm để đo lường chất lượng ứng dụng.
• Một nền tảng đánh giá có thể làm mọi thứ thay bạn. Các công cụ có sẵn có thể tự động hóa một số bước kiểm tra, nhưng chúng không thể xác định những chế độ lỗi (các loại lỗi hoặc hành vi không mong muốn của tác nhân) nào thực sự quan trọng với sản phẩm của bạn.
• Bạn có thể để LLM đánh giá mọi thứ. Đó là một ngộ nhận lớn. Phân tích lỗi do con người dẫn dắt và việc hiệu chỉnh trình chấm điểm vẫn đóng vai trò thiết yếu, bởi LLM thiếu bối cảnh kinh doanh cần thiết để phát hiện mọi vấn đề.
• Thử nghiệm A/B hoặc chỉ đơn giản là sử dụng tác nhân có thể thay thế eval. Không đúng. Thử nghiệm A/B có thể cho thấy phiên bản nào hoạt động tốt hơn theo các chỉ số được chọn, nhưng tự thân chúng không thể giải thích các vấn đề gốc rễ.

Câu hỏi thường gặp về đánh giá tác nhân AI

1. Đánh giá tác nhân AI khác gì so với đánh giá LLM?

Đánh giá LLM đo lường mức độ hiệu quả của một mô hình ngôn ngữ khi thực hiện một tác vụ nhất định, chẳng hạn như trả lời câu hỏi, tóm tắt tài liệu hoặc trích xuất thông tin. Đánh giá tác nhân AI xem xét một hệ thống tự thực hiện nhiều bước để hoàn thành một tác vụ.

Khác với đánh giá LLM thông thường, đánh giá tác nhân xem xét cả kết quả cuối cùng lẫn chuỗi hành động đã thực hiện để đạt được kết quả đó, bao gồm các lệnh gọi công cụ, các quyết định và việc tuân thủ các quy tắc được xác định trước.

2. Các chỉ số chính để đánh giá tác nhân AI

Các chỉ số đánh giá tác nhân AI được chia thành hai nhóm lớn:

• Chỉ số hiệu suất kỹ thuật: Tỷ lệ tác vụ thành công, độ chính xác của hành động, chất lượng câu trả lời, độ tin cậy (pass@1 và pass@k), độ trễ, mức sử dụng token và chi phí cho mỗi tác vụ thành công.
• Chỉ số kinh doanh và trải nghiệm người dùng: Mức độ hài lòng của khách hàng (CSAT), tỷ lệ giải quyết sự cố, tỷ lệ chuyển cấp, tỷ lệ chuyển đổi, thời gian hoàn thành tác vụ và các kết quả khác đặc thù cho vai trò của tác nhân.

Ví dụ, một tác nhân hỗ trợ khách hàng có thể được đánh giá dựa trên khả năng giải quyết sự cố thành công và mức độ hài lòng của khách hàng, trong khi một tác nhân AI thu mua có thể được đo lường bằng độ chính xác của yêu cầu bổ sung hàng, tỷ lệ phê duyệt và thời gian chu kỳ thu mua.

Các chỉ số phù hợp cần phản ánh cả mức độ tin cậy trong hoạt động của tác nhân lẫn việc tác nhân có thực sự giúp cải thiện kết quả kinh doanh hay không.

3. Đâu là những công cụ tốt nhất để đánh giá tác nhân AI?

Các lựa chọn phổ biến bao gồm:

• Khung kiểm thử: Câu lệnh assert của Python và pytest rất hữu ích để chạy các trường hợp kiểm thử có thể lặp lại và kiểm tra các điều kiện chính xác, chẳng hạn như tác nhân có chọn đúng công cụ hay trả về mã linh kiện hợp lệ hay không.
• Khung đánh giá tác nhân AI: DeepEval và bộ công cụ agent-eval của Google hỗ trợ các hoạt động đánh giá phức tạp hơn, bao gồm dấu vết thực thi, trình chấm điểm dựa trên LLM và kiểm thử hồi quy tự động.
• Nền tảng đánh giá và khả năng quan sát: LangSmith, Arize Phoenix và MLflow giúp các nhóm kiểm tra hành vi của tác nhân, quản lý tập dữ liệu đánh giá, so sánh các phiên bản tác nhân và giám sát hiệu suất trong môi trường production.

4. Làm thế nào để tự động hóa việc đánh giá tác nhân AI?

Bạn có thể tự động hóa việc đánh giá tác nhân AI bằng cách xây dựng các bài kiểm thử có thể lặp lại, áp dụng trình chấm điểm tự động và tích hợp các bước kiểm tra đó vào quy trình làm việc trong giai đoạn phát triển và môi trường production:

1. Tạo tập dữ liệu đánh giá: Thu thập các tác vụ tiêu biểu của người dùng, kết quả mong đợi, các lỗi đã biết và dấu vết thực thi của tác nhân. Bao gồm cả các trường hợp biên như lệnh gọi công cụ thất bại, thiếu thông tin và các hành động trái phép.
2. Tự động hóa việc thực thi kiểm thử và chấm điểm: Sử dụng các khung như pytest hoặc DeepEval để chạy các trường hợp kiểm thử và áp dụng các bước kiểm tra dựa trên mã hoặc trình chấm điểm LLM. Hãy kiểm chứng trình chấm điểm LLM bằng cách đối chiếu với đánh giá của con người trước khi dựa vào điểm số của chúng.
3. Tích hợp đánh giá vào CI/CD: Tự động chạy lại kiểm thử hồi quy khi nhà phát triển cập nhật prompt, mô hình, công cụ hoặc quy trình làm việc của tác nhân. So sánh kết quả với phiên bản cơ sở và thiết lập các ngưỡng chất lượng để chặn việc phát hành khi các bước kiểm tra quan trọng không đạt.
4. Áp dụng các trình chấm điểm đã hiệu chỉnh cho các dấu vết thực thi được lấy mẫu từ môi trường production, theo dõi tỷ lệ lỗi và các chỉ số hiệu suất khác, đồng thời điều tra lỗi mới thông qua việc xem xét thủ công.