Cara mengevaluasi agen AI: set pengujian, penilai, dan pemeriksaan regresi

Di balik setiap produk AI yang hebat, ada proses evaluasi agen AI yang kuat, yang dikenal sebagai evals, yang mendeteksi kesalahan sejak dini dan memastikan agen berfungsi dengan semestinya. Evals sangat penting bagi agen AI yang menjalankan tindakan berisiko tinggi, seperti pengembalian dana atas nama seseorang.

Membangun proses tersebut memerlukan sedikit pengetahuan teknis dan keterampilan analisis data. Namun, prosesnya sama sekali tidak semenakutkan atau serumit kedengarannya. Untuk membantu Anda memulai, kami telah merangkum enam langkah praktis untuk mengevaluasi agen AI beserta kesalahpahaman umum yang dapat merusak prosesnya.

Apa artinya mengevaluasi agen AI?

Mengevaluasi agen AI berarti menilai kinerjanya dalam menyelesaikan tugas dengan benar serta apakah keputusannya memenuhi persyaratan organisasi. Secara praktis, evaluasi agen AI, atau evals, adalah metrik spesifik yang membantu organisasi menentukan apakah agen bekerja cukup andal untuk peran yang dimaksudkan.

Bayangkan sebuah agen pembelian AI di pabrik manufaktur yang memeriksa inventaris suku cadang dan menyiapkan permintaan pengisian ulang stok. Jika suku cadang yang disetujui tidak tersedia atau informasi pemasok sudah usang, apakah agen akan menandai masalah tersebut atau justru merekomendasikan pengganti yang tidak disetujui?

Lalu, jika Anda mengubah prompt sistemnya untuk memperbaiki masalah tersebut, bagaimana Anda tahu bahwa Anda tidak memunculkan masalah lain?

Tanpa evaluasi, manajer produk pada dasarnya hanya bisa menebak-nebak. Karena itu, evals memberikan sinyal umpan balik untuk mengukur kinerja, menemukan masalah yang berulang, dan menguji perubahan dengan lebih yakin.

Meski begitu, evaluasi agen dapat memeriksa beberapa aspek dari sebuah eksekusi:

• Kualitas hasil akhir
• Informasi yang digunakan agen
• Alat yang dipanggilnya
• Apakah agen mematuhi aturan yang mengatur perilakunya

Metrik umum evaluasi agen AI

Evals bekerja dengan data kualitatif dan kuantitatif. Evaluasi kualitatif membantu Anda memahami apa yang terjadi dan mengapa, termasuk dengan meninjau keputusan agen secara manual. Evaluasi kuantitatif mengubah pengamatan tersebut menjadi sinyal yang terukur, seperti menghitung frekuensi mode kegagalan tertentu atau menghitung tingkat keberhasilan tugas.

Berikut daftar metrik dasar evaluasi agen AI:

• Keberhasilan tugas mengukur apakah agen mencapai hasil yang diharapkan; biasanya dinyatakan sebagai persentase eksekusi yang memberikan hasil valid.
• Ketepatan tindakan mengukur apakah agen menggunakan alat dengan tepat, memilih argumen yang valid, dan mematuhi izin.
• Kualitas jawaban menilai apakah output akhir akurat, lengkap, dan bermanfaat. Ini dapat mencakup kebenaran faktual, kepatuhan terhadap instruksi, dan apakah agen mendukung keputusannya dengan informasi yang tersedia.
• Keandalan mengukur konsistensi di berbagai uji coba berulang, input yang bervariasi, dan kasus ekstrem.
• Biaya dan latensi mengukur sumber daya yang diperlukan untuk mencapai hasil yang sukses, termasuk waktu eksekusi, konsumsi token, dan pemanggilan alat.

Bergantung pada apa yang Anda ukur, evals dapat menilai kinerja end-to-end agen, lintasan eksekusinya, atau komponen individual seperti pemanggilan alat dan langkah pengambilan informasi.

Langkah 1: Tentukan seperti apa eksekusi agen yang berhasil

Pertama, jelaskan secara eksplisit apa yang seharusnya dicapai oleh agen — yaitu persyaratan produk. Kedengarannya sepele, tetapi hal ini ternyata bisa sangat sulit. Bahkan ada istilah khusus untuknya: kesenjangan spesifikasi.

Berikut cara mendekatinya, menurut Andrey Khomutov, ilmuwan data senior kami:

“Mulailah dengan dua pertanyaan: “Apa yang bisa dianggap sebagai menyelesaikan pekerjaan?” dan “Apa yang membuat eksekusi yang tampak berhasil menjadi tidak dapat diterima?”

Untuk agen, dari perspektif teknis, itu berarti memeriksa hasilnya sekaligus cara agen mencapainya.”

Agen mungkin menghasilkan jawaban yang benar dengan mengakses kunci jawaban yang bocor, atau mengambil tindakan tanpa izin saat menyelesaikan tugasnya. Khomutov menegaskan bahwa kebocoran jawaban dan tindakan tidak aman selama evaluasi adalah alasan konkret untuk tidak menilai jawaban akhir saja.

“Saya memperkirakan inspeksi lintasan akan menjadi bagian standar dari rangkaian evals agen, alih-alih sesuatu yang hanya kami lakukan ketika suatu hasil tampak mencurigakan,” tambahnya.

Kemudian, libatkan pakar domain untuk memvalidasi kriteria keberhasilan Anda. Orang yang memiliki pengetahuan langsung tentang domain tersebut dapat menilai apakah kondisi yang kita tetapkan untuk agen AI benar-benar mencerminkan keberhasilan.

Langkah 2. Buat set pengujian dari tugas dan kegagalan nyata

Periksa perilaku agen yang sebenarnya untuk memahami seperti apa kinerja yang baik dan buruk. Tahan godaan untuk langsung membuat puluhan pengujian yang hanya didasarkan pada dugaan Anda tentang apa yang mungkin salah.

Hamel Husain, insinyur ML di Parlance Lab, dan Shreya Shankar, peneliti sistem ML dan evals AI terapan, merekomendasikan untuk memulai dengan analisis kesalahan, teknik yang dipinjam dari machine learning dan ilmu data. Prosesnya dimulai dengan analisis kualitatif terhadap jejak eksekusi agen — catatan yang menunjukkan input pengguna, pemanggilan alat, informasi yang diambil, dan output agen.

1. Tinjau setiap jejak dan beri anotasi pada kesalahan (open coding). Minta pakar domain memeriksa eksekusi agen dan menulis pengamatan singkat tentang apa yang salah. Fokuslah pada kesalahan signifikan pertama.
2. Kelompokkan pengamatan ke dalam mode kegagalan (axial coding). Setelah Anda memiliki cukup catatan, gunakan LLM untuk menyarankan kategori bagi kesalahan yang serupa. Kategori tersebut dapat mencakup rekomendasi suku cadang yang tidak kompatibel, pengambilan data inventaris yang tidak akurat, dan kegagalan serah terima ke manusia.
3. Hitung kemunculannya. Masukkan setiap pengamatan ke dalam satu kategori, lalu gunakan spreadsheet atau tabel pivot untuk menghitung seberapa sering setiap mode kegagalan muncul.
4. Prioritaskan apa yang perlu ditangani, dengan mempertimbangkan frekuensi sekaligus tingkat keparahannya.
5. Ubah kegagalan penting menjadi kasus uji. Simpan input yang relevan, kondisi awal, hasil yang diharapkan, dan kriteria penilaian agar agen dapat diuji kembali dengan skenario yang sama.

Berapa banyak jejak yang perlu Anda periksa? Sekitar 100, tetapi tidak ada angka ajaib. Berhentilah lebih awal setelah Anda mencapai saturasi teoretis: titik ketika meninjau jejak tambahan tidak lagi mengungkap pola kegagalan baru yang bermakna.

Belum meluncurkan aplikasi? Contoh sintetis dapat membantu membangun set pengujian awal, meskipun data pengguna nyata sebaiknya segera digunakan untuk menyempurnakannya begitu tersedia.

Penggunaan benchmark dalam evaluasi agen AI

Selain membuat kasus uji sendiri, Anda dapat menggunakan kumpulan tugas evaluasi terstandardisasi yang sudah ada, yang dikenal sebagai benchmark, untuk menilai kemampuan agen.

Namun, benchmark tidak selalu sempurna. Audit SWE-bench, tinjauan benchmark Epoch AI, dan jawaban benar yang awalnya ditolak dalam TheoPhysEval menunjukkan bagaimana tugas atau jawaban acuan yang cacat dapat mendistorsi hasil evaluasi.

Seperti saran Khomutov, pilih benchmark terkini yang relevan dengan domain Anda, lalu selidiki hasil lulus atau gagal yang mengejutkan sebelum menganggap skornya sebagai bukti yang andal atas kinerja agen.

Langkah 3. Jalankan agen di lingkungan pengujian yang dapat diulang

Lingkungan pengujian yang dapat diulang adalah penyiapan terkendali tempat Anda dapat menjalankan agen AI dengan kasus uji yang sama dalam kondisi awal yang sama, lalu membandingkan hasilnya. Lingkungan ini mencakup folder berisi kasus uji, skrip Python yang menjalankan agen, atau serangkaian pemeriksaan yang mengevaluasi hasilnya.

Anda dapat memulai dengan menyimpan input representatif sebagai file JSON dan menggunakan skrip Python untuk menjalankan alur kerja agen serta memeriksa output-nya dengan assertion. Untuk agen inventaris di pabrik manufaktur kita, lingkungan pengujian yang dapat diulang bisa terlihat seperti ini:

Perbesar

Untuk menyiapkan lingkungan pengujian yang dapat diulang, ikuti langkah-langkah berikut:

1. Simpan input representatif. Simpan peristiwa nyata atau kasus uji dalam struktur yang sama dengan yang diterima aplikasi Anda di lingkungan produksi. Dalam skenario kita, Anda akan menyimpan permintaan pemeliharaan yang berisi ID mesin, suku cadang yang dibutuhkan, dan tanggal pemeliharaan sebagai file JSON, beserta snapshot data inventaris dan data suku cadang yang disetujui.
2. Jalankan alur kerja. Proses setiap input melalui agen, termasuk langkah pengambilan informasi, pemanggilan alat, dan pembuatan responsnya.
3. Catat hasil dan jejaknya. Rekam output akhir dan tindakan perantara yang relevan (seperti pencarian inventaris) agar Anda tidak hanya dapat melihat apakah agen gagal, tetapi juga di mana kegagalannya terjadi.
4. Ulangi kasus berdasarkan tingkat keparahan kegagalan, frekuensi, dan tingkat kesulitan memperbaiki masalahnya. Aplikasi LLM bersifat nondeterministik (dapat memberikan hasil berbeda dari input yang identik), sehingga satu eksekusi yang berhasil tidak menjamin eksekusi berikutnya juga akan berhasil. Laporkan proporsi uji coba yang berhasil dan periksa kegagalannya.

Untuk yang terakhir, Khomutov menyarankan untuk mengukur pass@1 (seberapa sering agen berhasil dalam satu kali percobaan) dan pass@k (probabilitas berhasil setidaknya sekali dalam sejumlah percobaan tertentu). Jika melaporkan pass@k, sebutkan jumlah percobaannya, karena menghasilkan satu jawaban benar di antara beberapa jawaban tidak berarti agen tahu jawaban mana yang harus dipilih.

Seiring berkembangnya aplikasi Anda, gunakan framework pengujian seperti pytest untuk mengatur dan menjalankan pengujian, serta pertimbangkan untuk menyimpan set data dan hasil pengujian berukuran besar di database.

Langkah 4. Pilih penilai yang tepat untuk setiap pemeriksaan

Penilai atau grader (sering juga disebut evaluator) adalah mekanisme berupa potongan kode, LLM yang dipandu oleh rubrik penilaian, atau peninjau manusia yang memeriksa output atau tindakan agen berdasarkan kriteria yang telah ditentukan. Penilai memberikan keputusan lulus/gagal beserta penjelasan yang mengidentifikasi bukti yang relevan.

Info: Rubrik penilaian adalah serangkaian kriteria dan instruksi yang menentukan apa yang dianggap sebagai hasil yang benar atau dapat diterima.

Jenis penilai yang tepat bergantung pada apa yang ingin Anda verifikasi. Berikut perbandingan ketiga pendekatan tersebut:

Terkadang, aspek yang berbeda dari eksekusi yang sama memerlukan metode evaluasi yang berbeda, sehingga Anda mungkin perlu menggabungkan beberapa penilai.

Bagaimana cara menggabungkan penilai?

Tanyakan: “Dapatkah hasilnya diverifikasi berdasarkan aturan yang diketahui atau nilai yang diharapkan, atau apakah hasilnya memerlukan penilaian layaknya manusia?”

• Jika Anda dapat memverifikasi hasilnya secara pasti, mulailah dengan penilai berbasis kode. Penilai berbasis kode juga dapat memverifikasi output terstruktur, nilai kolom yang valid, argumen alat, atau status akhir database.
• Jika pemeriksaan memerlukan interpretasi konteks, gunakan LLM-as-a-judge.
• Gunakan peninjau manusia untuk keputusan yang spesifik domain atau yang diperdebatkan.

Penting! Penilai LLM dapat salah menafsirkan bukti atau menerapkan rubrik secara keliru. Karena itu, penilai ini memerlukan langkah evaluasi tambahan: kalibrasi terhadap penilaian manusia.

Kalibrasikan penilai LLM terhadap penilaian manusia.

Pada dasarnya, kalibrasi memerlukan pakar domain untuk menilai eksekusi agen yang sebenarnya. Pakar tersebut kemudian membandingkan penilaiannya dengan penilaian LLM dan menyempurnakan rubrik penilaian berdasarkan perbedaan yang ditemukan.

Berikut proses kalibrasi penilai dalam lima langkah:

1. Kumpulkan contoh input, output, dan jejak agen yang relevan.
2. Minta pakar domain menilai secara independen apakah setiap contoh memenuhi kriteria evaluasi.
3. Jalankan penilai LLM pada contoh-contoh tersebut.
4. Bandingkan penilaian manusia dan model.
5. Selidiki perbedaan penilaian dan sempurnakan rubrik penilai sebelum mengujinya pada contoh baru.

Khomutov juga menekankan pentingnya menguji konsistensi penilai LLM secara terpisah:

“Berikan eksekusi tersimpan dan file yang persis sama beberapa kali, tanpa menjalankan ulang agen. Dengan begitu, Anda dapat memisahkan variasi dalam kerja agen dari variasi dalam penilaian.”

Jika output yang sama mendapatkan hasil penilaian yang berbeda, jangan berasumsi bahwa setiap perubahan skor berasal dari agen. Sebaliknya, periksa matriks konfusi yang menunjukkan kapan penilai berhasil mengidentifikasi kesalahan dengan benar, melewatkannya, atau keliru menandai output yang sebenarnya dapat diterima.

Tinjauan manusia tetap penting untuk menetapkan penilaian acuan, menyelesaikan kasus yang diperdebatkan, dan menemukan mode kegagalan baru yang tidak dirancang untuk dideteksi oleh penilai yang ada.

Langkah 5. Bandingkan versi dan jalankan pemeriksaan regresi

Misalkan analisis kesalahan mengungkapkan bahwa agen inventaris Anda sering merekomendasikan suku cadang pengganti yang tidak disetujui. Anda pun mengubah prompt sistemnya agar mewajibkan pemeriksaan kompatibilitas secara eksplisit. Kasus yang semula gagal kini lulus. Namun, bagaimana Anda tahu bahwa perubahan tersebut tidak memengaruhi tugas lain?

Di sinilah pengujian regresi berperan.

Pengujian regresi berarti menjalankan ulang kasus uji yang sebelumnya berhasil setelah mengubah prompt, model, atau alur kerja agen untuk memastikan perubahan tersebut tidak memunculkan kegagalan baru.

1. Reproduksi kegagalan awal menggunakan input tersimpan dari set pengujian.
2. Lakukan perubahan yang terarah pada prompt, model, atau alur kerja.
3. Jalankan ulang pengujian yang gagal untuk memeriksa apakah masalahnya sudah teratasi.
4. Jalankan pengujian lainnya untuk memastikan perubahan tersebut tidak merusak perilaku yang sebelumnya sudah berjalan dengan baik.
5. Periksa hasilnya dan selidiki setiap kegagalan baru.

Bandingkan agen versi acuan dengan agen yang telah diperbarui menggunakan kasus uji dan kriteria penilaian yang sama agar hasilnya akurat.

Langkah 6: Pantau kinerja agen AI di lingkungan produksi

Evaluasi agen tidak berhenti setelah aplikasi Anda dirilis. Seperti yang dijelaskan Husain dan Shankar, evaluator yang sama yang Anda gunakan selama pengembangan juga dapat dijalankan pada data produksi nyata untuk mengukur kinerja agen Anda dari waktu ke waktu.

Ini dikenal sebagai evaluasi online, dan merupakan bagian dari proses pemantauan produksi yang lebih luas untuk membantu mengungkap kegagalan yang berulang maupun yang sebelumnya tidak diketahui.

Proses ini bersifat iteratif dan melibatkan empat aktivitas yang saling melengkapi:

• Jalankan juri LLM yang telah dikalibrasi pada trace produksi. Ambil sampel interaksi agen yang nyata dan terapkan evaluator yang sudah Anda validasi terhadap penilaian manusia.
• Lacak tingkat kegagalan dari waktu ke waktu. Gunakan kategori kegagalan yang ditetapkan selama analisis kesalahan untuk mengukur masalah yang berulang.
• Terus tinjau trace secara manual. Penilai otomatis hanya mendeteksi masalah yang memang dirancang untuk diidentifikasinya. Periksa sampel interaksi agen yang nyata secara manual untuk mengungkap kesalahan baru atau permintaan pengguna yang tidak biasa.
• Gunakan pengujian A/B untuk mengukur hasil bisnis (hanya jika sesuai). Bandingkan berbagai prompt, model, atau alur kerja menggunakan metrik seperti penyelesaian tugas, kepuasan pengguna, dan waktu hingga masalah terselesaikan. Proses ini membantu menentukan apakah suatu perubahan benar-benar meningkatkan pengalaman produk, tidak sekadar lulus pengujian individual.

Satu catatan penting: evaluasi tidak harus dipoles hingga sempurna. Evaluasi hanya perlu cukup baik untuk meningkatkan produk Anda.

Kesalahpahaman umum dalam evaluasi agen AI

• Evaluasi hanyalah pengujian unit. Tidak demikian; pengujian unit adalah pemeriksaan otomatis berskala kecil yang hanya merupakan salah satu bagian dari evaluasi. Evaluasi juga mencakup analisis kesalahan kualitatif, penilaian manusia, pemantauan produksi, dan eksperimen untuk mengukur kualitas aplikasi.
• Platform evaluasi dapat melakukan semuanya untuk Anda. Alat siap pakai memang dapat mengotomatiskan sebagian pemeriksaan, tetapi tidak dapat menentukan mode kegagalan (jenis kesalahan atau perilaku agen yang tidak diinginkan) mana yang penting bagi produk Anda.
• Anda dapat menyerahkan seluruh evaluasi kepada LLM. Itu kekeliruan besar. Analisis kesalahan yang dipimpin manusia dan kalibrasi penilai tetap penting, karena LLM tidak memiliki konteks bisnis yang diperlukan untuk menemukan setiap masalah.
• Pengujian A/B atau sekadar menggunakan agen dapat menggantikan evaluasi. Keliru. Pengujian A/B dapat menunjukkan versi mana yang berkinerja lebih baik berdasarkan metrik yang dipilih, tetapi tidak dapat menjelaskan masalah yang mendasarinya jika digunakan sendiri.

FAQ evaluasi agen AI

1. Apa perbedaan antara evaluasi agen AI dan evaluasi LLM?

Evaluasi LLM mengukur seberapa baik model bahasa menjalankan tugas tertentu, seperti menjawab pertanyaan, meringkas dokumen, atau mengekstrak informasi. Evaluasi agen AI menilai sistem yang secara mandiri menjalankan beberapa langkah untuk menyelesaikan suatu tugas.

Tidak seperti evaluasi LLM pada umumnya, evaluasi agen memeriksa hasil akhir sekaligus urutan tindakan yang diambil untuk mencapainya, termasuk pemanggilan alat, keputusan, dan kepatuhan terhadap aturan yang telah ditetapkan.

2. Metrik utama untuk evaluasi agen AI

Metrik evaluasi agen AI terbagi menjadi dua kategori besar:

• Metrik kinerja teknis: Tingkat keberhasilan tugas, ketepatan tindakan, kualitas jawaban, keandalan (pass@1 dan pass@k), latensi, penggunaan token, dan biaya per tugas yang berhasil.
• Metrik bisnis dan pengalaman pengguna: Kepuasan pelanggan (CSAT), tingkat penyelesaian masalah, tingkat eskalasi, tingkat konversi, waktu penyelesaian tugas, dan hasil lain yang spesifik untuk peran agen.

Misalnya, agen dukungan pelanggan dapat dievaluasi berdasarkan keberhasilan penyelesaian masalah dan kepuasan pelanggan, sedangkan agen pembelian AI dapat diukur berdasarkan akurasi permintaan pengisian ulang stok, tingkat persetujuan, dan waktu siklus pengadaan.

Metrik yang tepat harus mencerminkan seberapa andal kinerja agen sekaligus apakah hasil kerjanya meningkatkan hasil bisnis.

3. Apa saja alat terbaik untuk mengevaluasi agen AI?

Opsi yang umum digunakan meliputi:

• Kerangka kerja pengujian: Asersi Python dan pytest berguna untuk menjalankan kasus uji yang dapat diulang dan memeriksa kondisi yang pasti, seperti apakah agen memilih alat yang benar atau mengembalikan ID komponen yang valid.
• Kerangka kerja evaluasi agen AI: DeepEval dan agent-eval toolkit milik Google mendukung evaluasi yang lebih kompleks, termasuk trace eksekusi, penilai berbasis LLM, dan pengujian regresi otomatis.
• Platform evaluasi dan observabilitas: LangSmith, Arize Phoenix, dan MLflow membantu tim memeriksa perilaku agen, mengelola set data evaluasi, membandingkan versi agen, dan memantau kinerja di lingkungan produksi.

4. Bagaimana cara mengotomatiskan evaluasi agen AI?

Anda dapat mengotomatiskan evaluasi agen AI dengan membangun pengujian yang dapat diulang, menerapkan penilai otomatis, dan mengintegrasikan pemeriksaan tersebut ke dalam alur kerja pengembangan dan produksi:

1. Buat set data evaluasi: Kumpulkan tugas pengguna yang representatif, hasil yang diharapkan, kegagalan yang sudah diketahui, dan trace eksekusi agen. Sertakan kasus tepi seperti pemanggilan alat yang gagal, informasi yang tidak tersedia, dan tindakan tanpa otorisasi.
2. Otomatiskan eksekusi pengujian dan penilaian: Gunakan kerangka kerja seperti pytest atau DeepEval untuk menjalankan kasus uji dan menerapkan pemeriksaan berbasis kode atau penilai LLM. Validasikan penilai LLM terhadap penilaian manusia sebelum mengandalkan skornya.
3. Integrasikan evaluasi ke dalam CI/CD: Jalankan ulang pengujian regresi secara otomatis saat pengembang memperbarui prompt, model, alat, atau alur kerja agen. Bandingkan hasilnya dengan acuan dan tetapkan ambang batas kualitas yang mencegah rilis ketika pemeriksaan penting gagal.
4. Terapkan penilai yang telah dikalibrasi pada sampel trace produksi, lacak tingkat kegagalan dan metrik kinerja lainnya, serta selidiki kesalahan baru melalui tinjauan manual.