Belajar dari Pengalaman Nyata

Bagaimana pengguna berinteraksi dengan produk kami di dunia nyata adalah sumber yang berharga untuk pelatihan model. Datanya melimpah, mencerminkan distribusi aktual tugas pengguna, dan menangkap koreksi pengguna serta kegagalan alat yang mungkin terlewatkan oleh lingkungan sintetis.

Cara umum untuk belajar dari data dunia nyata adalah fine-tuning pengambilan sampel penolakan: nilai hasil setiap sesi, pertahankan yang berhasil, dan latih model untuk menirunya. Namun hasil yang berhasil tidak berarti setiap langkah benar, sehingga meniru seluruh lintasan berisiko memperkuat perilaku menengah yang buruk di samping yang baik. Membuang sesi yang tidak berhasil juga menghilangkan bukti penting tentang di mana model gagal.

Kami menggabungkan penyetelan halus pengambilan sampel penolakan dengan penyulingan mandiri berpemandu petunjuk untuk belajar dari sesi yang berhasil maupun yang tidak berhasil. Petunjuk adalah instruksi korektif singkat yang didasarkan pada informasi yang telah dimiliki model saat melakukan kesalahan. Langkah-langkah bermanfaat dari sesi yang berhasil tetap menjadi target tiruan, sementara petunjuk berbasis mengubah kesalahan yang dapat dihindari menjadi target koreksi.

Koreksi pengguna dan error alat menambahkan pengawasan tentang apa yang salah di sepanjang jalan, di atas apakah tugas tersebut pada akhirnya berhasil. Kami menerapkan tahap ini setelah pembelajaran penguatan di lingkungan sintetis untuk membantu menutup kesenjangan antara lingkungan tersebut dan penggunaan dunia nyata.

Dalam penggunaan langsung, checkpoint GLM-5.2 yang dilatih ulang setelahnya mengurangi kegagalan pemanggilan alat sebesar 21,2% dibandingkan dengan checkpoint yang dilatih lebih awal. Untuk GLM-5.3, pelatihan lanjutan mengurangi kegagalan pemanggilan alat sebesar 33,0% dan rata-rata estimasi probabilitas ketidakpuasan pengguna tingkat sedang-atau-tinggi sebesar 17,2% dibandingkan dengan model bawaan.

Tugas sintetis memungkinkan kita membuat masalah terkontrol dengan hasil yang mudah diverifikasi, tetapi biasanya terbatas pada satu prompt dan hanya dapat mencakup skenario yang kita rancang secara eksplisit.

Sebaliknya, pengguna dalam sesi dunia nyata membawa beragam instruksi, konteks, dan kombinasi alat ke dalam sesi yang berlangsung selama beberapa giliran interaksi. Penggunaan dunia nyata semacam itu secara alami menghasilkan dua sinyal kesalahan yang berharga: koreksi pengguna mengungkapkan di mana agen gagal memberikan apa yang mereka inginkan, dan error alat menunjukkan di mana tindakannya rusak di lingkungan nyata. Alur pengambilan sampel kami menghormati privasi dan pilihan pelatihan pengguna dengan mengecualikan sesi dengan informasi pengenal pribadi (PII) dan dari pengguna yang memilih keluar.

Oleh karena itu, data dunia nyata memberi kita kasus kegagalan yang mungkin tidak diekspos oleh lingkungan sintetis dan sering kali disertai dengan tempat terjadinya kegagalan yang sudah tertanam.

Saat berlatih pada data dunia nyata, rejection sampling fine-tuning (RFT) standar memilih sesi yang berhasil berdasarkan hasil akhirnya, tanpa secara eksplisit menggunakan umpan balik pengguna dan alat untuk membedakan tindakan menengah yang baik dari yang buruk. Agen mungkin pulih dari panggilan alat yang buruk atau mengoreksi kesalahan setelah umpan balik pengguna dan tetap memberikan output yang tepat di akhir.

Membuang sesi yang gagal juga membatasi efisiensi sampel. Sesi yang tidak pernah mencapai hasil baik masih dapat mengungkap kesalahan yang jelas dan dapat dihindari sebagai sinyal pelatihan yang berguna.

Kami mengatasi keterbatasan ini dengan memisahkan dua keputusan: sesi mana yang berisi perilaku yang layak ditiru, dan giliran mana yang berisi kesalahan yang layak dikoreksi. Alur data membuat keputusan ini secara terpisah, kemudian menetapkan salah satu dari tiga perlakuan pada giliran model:

Tiru: giliran non-error dalam sesi yang berhasil menerima loss Cross-Entropy (CE) biasa, menaikkan probabilitas token tercatat.
Benar: dalam sesi yang berhasil maupun yang tidak berhasil, giliran error dengan petunjuk valid menerima loss divergensi Kullback–Leibler (KL), menggerakkan model menuju prediksi token-berikutnya yang dibuatnya ketika melihat petunjuk.
Pertahankan sebagai konteks: giliran dalam sesi tidak berhasil yang tidak memiliki petunjuk divalidasi, dan giliran buruk yang ditandai tanpa petunjuk divalidasi di kedua jenis sesi, berfungsi sebagai konteks tetapi tidak menerima salah satu loss.

Hasilnya, sesi yang berhasil dapat memasok target imitasi dan koreksi, sementara sesi yang tidak berhasil hanya memasok target koreksi. Semua giliran yang tersisa, termasuk input sistem, pengguna, dan alat, tetap sebagai konteks.

Diagram perutean sesi: sesi yang berhasil menyediakan imitasi CE dan koreksi berpetunjuk yang memenuhi syarat; sesi yang tidak berhasil hanya menyediakan koreksi yang memenuhi syarat. — Perutean sesi saat ini dan masker konten-asisten. Sesi yang berhasil menyumbang target imitasi; catatan umpan balik yang dipertahankan dapat menyumbang koreksi berpetunjuk bahkan ketika sesi tidak berhasil. Konten lainnya tetap sebagai konteks. Sesi yang tidak lengkap dikecualikan. Pengecualian CE yield/token-henti non-final tidak digambar, dan diagram ini tidak menetapkan campuran yang digunakan oleh checkpoint sebelumnya.

Bagian imitasi menggunakan RFT standar. Bagian korektif menggunakan On-Policy Self-Distillation (OPSD): model yang sama bertindak sebagai guru dan siswa, dengan guru diberikan informasi istimewa. Di sini, informasi istimewa tersebut adalah petunjuk singkat yang menjelaskan kesalahan yang dapat dihindari. Kami melatih siswa untuk mencocokkan prediksi token-berikutnya milik guru tanpa diberi petunjuk.

Kedua bagian penting. Pelatihan khusus koreksi dapat mengungkap jalan pintas: guru dan siswa dapat setuju dengan mengabaikan konteks alih-alih mempelajari koreksi. Istilah CE menambatkan pelatihan pada perilaku yang berguna, membantu mencegah persetujuan yang berasal dari pengabaian konteks.

Siswa pasca-pelatihan kemudian menjadi opsi model di Computer. Sesi baru dari penggunaan langsung melewati filter kelayakan dan privasi yang sama sebelum memasuki putaran lain dari alur pelatihan.

Selanjutnya, kita bahas contoh konkret yang berisi imitasi dan koreksi.

Pertimbangkan sesi sukses akhir di mana pengguna meminta perbandingan perubahan asyncio di Python 3.13 menggunakan dokumentasi resmi. Dokumentasi alat kami menyatakan bahwa search.web mengembalikan daftar hasil, masing-masing dengan bidang url.

Model pertama-tama menjalankan pencarian valid untuk satu versi sebagai bagian dari pengumpulan bukti untuk perbandingan, yang merupakan perilaku yang baik untuk ditiru.

Namun, panggilan eksekusi kode berikutnya secara keliru memperlakukan daftar tersebut sebagai kamus. Alat kode mengembalikan TypeError: list indices must be integers or slices, not str. Karena jenis pengembalian didokumentasikan sebelum panggilan, ini adalah kesalahan yang seharusnya dapat dihindari oleh model. Petunjuk dengan panggilan yang benar dapat dihasilkan untuk mengoreksi tindakan tersebut.

Sesi pengodean ilustratif: input sistem dan pengguna serta error alat tetap menjadi konteks; pencarian dan panggilan pemulihan tercatat yang berguna menerima CE dalam sesi yang berhasil; pencarian daftar keliru yang ditandai menerima KL menuju guru yang diberi petunjuk beralasan. — Sesi pengodean ilustratif menunjukkan tiga peran pelatihan: input khusus-konteks dan output alat (abu-abu), imitasi CE dari panggilan tercatat yang berguna (gelap), dan koreksi KL dari kesalahan yang ditandai (teAL). Di sini, model secara keliru memperlakukan daftar hasil pencarian sebagai kamus; petunjuk khusus-guru yang didasarkan pada dokumentasi alat sebelumnya memandu koreksi. Target CE hanya berlaku ketika sesi yang diselesaikan dinilai berhasil, sementara sesi yang tidak berhasil masih dapat memasok target koreksi KL yang memenuhi syarat.

Alur pelatihan memiliki empat tahap: pilih sesi dan nilai hasilnya, identifikasi kesalahan dan buat petunjuk dari umpan balik pengguna dan error alat, hasilkan probabilitas token-berikutnya dari guru dan siswa, dan latih model dengan loss CE dan KL gabungan.

Pipeline pengambilan sampel mengambil dari subset real-world Computer yang memenuhi syarat pelatihan yang disajikan oleh GLM 5.2. Opt-out pelatihan dan pengecualian terkait PII pada pipeline diterapkan sebelum memilih contoh untuk alur kerja ini.

Proses penyaringan awal memilih kandidat yang dinilai 4 atau 5 pada skala kesulitan tugas lima poin oleh penilai LLM dan membaginya menjadi 2 grup:

Grup umpan balik pengguna berisi sesi dengan tindak lanjut pengguna yang asli atau tanda ketidakpuasan sedang-hingga-tinggi. Kami menganggap tindak lanjut niat-tinggi ini sangat berguna untuk pembelajaran: pengguna secara aktif mencoba menyelesaikan tugas, dan koreksi mereka menentukan apa yang terlewat oleh model.
Grup error alat berisi sesi dengan panggilan gagal yang ditandai oleh pemeriksaan berbasis aturan, tidak termasuk kegagalan infrastruktur yang dikenali dan otorisasi yang ditolak.

Dua penilai LLM kemudian menilai hasil akhir terhadap permintaan pengguna; kedua penilai harus memberikan putusan positif untuk melabeli sesi sebagai “berhasil”. Untuk kasus yang menghasilkan Artifact, tahap hasil dapat merekonstruksi dan memeriksa hasil tersebut, dengan kembali ke penilaian berbasis teks jika tahap tersebut gagal. Sesi yang diklasifikasikan sebagai tidak lengkap, seperti pekerjaan yang menunggu pengguna, dikecualikan.

Langkah ini mengidentifikasi potensi sumber sinyal pembelajaran; namun, tidak setiap error dapat diatribusikan ke model, karena beberapa muncul dari instruksi yang ambigu atau kegagalan infrastruktur. Anotasi selanjutnya menentukan kesalahan kandidat mana yang sebenarnya dapat dihindari dan cocok untuk pelatihan.

Pertimbangkan contoh sesi dalam grup umpan balik pengguna, di mana pengguna bertanya, “How do I find my w3 on paychex”. Model memperlakukan “w3” sebagai salah ketik untuk W-2, mencari instruksi W-2, dan menjelaskan cara menemukan formulir tersebut. Tindak lanjut pengguna, “I meant the W-3 transmittal form,” mengidentifikasi kesalahan tersebut, bahkan jika sesi tersebut pada akhirnya berhasil.

Keluhan membantu menemukan kesalahan, tetapi akar penyebabnya adalah keputusan sebelumnya untuk menafsirkan ulang “w3” sebagai W-2. Permintaan asli membuat kesalahan tersebut dapat dihindari: model dapat mempertahankan W-3 atau meminta klarifikasi. Ternyata giliran asisten terakhir sebelum keluhan hanya menjadi akar penyebab sekitar separuh waktu.

Alur anotasi kami memetakan sebab dan akibat secara sistematis dalam setiap sesi umpan balik pengguna. Penawar pertama-tama menyaring persyaratan yang terlewat atau niat yang didukung oleh konteks sebelumnya. Tiga penilai LLM kemudian mengidentifikasi giliran yang bertanggung jawab, yang mengharuskan setidaknya dua penilai menyetujui giliran tertentu. Terkadang pernyataan sebelumnya secara eksplisit menetapkan persyaratan. Dalam kasus lain, tidak ada satu pun pernyataan sebelumnya yang melakukannya, tetapi beberapa bagian dari percakapan sebelumnya secara bersama-sama membuat perilaku yang dimaksud dapat disimpulkan. Desain ini memungkinkan mereka menghubungkan keluhan dengan kesalahan akar sebelumnya alih-alih mengaitkannya semata-mata dengan jawaban terakhir.

Sebelum menerima petunjuk, alur juga memeriksa apakah klaim korektifnya mengikuti informasi yang tersedia sebelum giliran yang ditandai. Pemeriksaan ini dimaksudkan untuk mengurangi bias hindsight, di mana preferensi baru yang diungkapkan dalam keluhan diperlakukan sebagai sesuatu yang seharusnya sudah diketahui oleh model.

Dalam contoh ini, petunjuk memberi tahu model untuk mencari formulir transmisi W-3 di Paychex alih-alih W-2, atau menanyakan formulir mana yang dimaksud pengguna jika permintaan tersebut ambigu. Koreksi menargetkan interpretasi dan keputusan pencarian sebelumnya, bukan hanya jawaban akhir. Giliran asli tetap tidak berubah; anotasi menambahkan is_bad_turn: true dan hint nonkosong.

Permintaan W-3 disalahartikan sebagai W-2; keluhan selanjutnya dilacak ke keputusan pencarian sebelumnya dan diperiksa terhadap bukti sebelumnya. — Sesi nyata yang menunjukkan bagaimana keluhan dilacak kembali ke kesalahan sebelumnya, dengan prosedur anotasi ditumpangkan. Pengguna meminta “w3” di Paychex, tetapi model memperlakukannya sebagai salah ketik untuk W-2 dan mencari formulir yang salah. Konsensus pengusul menemukan akar penyebab, sementara dua pemeriksaan dasar menilai apakah bukti tersebut mendahului kesalahan dan klaim petunjuk mengikuti dari informasi yang tersedia pada saat itu. Anotasi yang diterima mempertahankan teks asli dan menambahkan tanda serta petunjuk, alih-alih target yang ditulis ulang.

Pertimbangkan sesi lain dalam grup error alat dengan panggilan pencarian di mana agen mencari dengan recency_filter: "year", tetapi alat menolaknya karena nilai yang diizinkan adalah “day,” “week,” atau “month”. Ini adalah pelanggaran skema yang jelas.

Jalur error alat menggunakan aturan deterministik untuk kesalahan yang diketahui dan penilaian model untuk kasus yang ambigu. Pesan error saja juga tidak cukup untuk menyalahkan model; koreksi yang dinilai harus menunjuk ke sesuatu yang seharusnya diketahui model dari skema alat, instruksi sistem, atau percakapan sebelumnya.

Panggilan pencarian menggunakan nilai recency_filter tahun yang tidak valid; petunjuk beralasan menginstruksikan model untuk menggunakan nilai terdaftar atau menghilangkan bidang opsional. — Argumen pencarian laporan yang tidak valid mengilustrasikan prosedur error alat saat ini. Skema membuat kesalahan ini dapat dihindari; pemadaman saja tidak akan melakukannya. Panggilan asli tetap berada dalam catatan dan menerima petunjuk beralasan. Petunjuk tersebut memungkinkan nilai terdaftar atau kelalaian jika bidang tersebut bersifat opsional; petunjuk tidak mengharuskan “month” untuk setiap permintaan.

Di sini, petunjuk menyebutkan panggilan yang gagal, menyertakan error validasi, dan menginstruksikan model untuk menggunakan nilai yang diizinkan atau menghilangkan bidang jika opsional.

Setelah satu giliran ditandai, pelatih menjalankan pos pemeriksaan yang sama dua kali: sekali sebagai guru dan sekali sebagai siswa. Guru melihat petunjuk; siswa tidak.

Kedua kali lolos menggunakan pemaksaan guru, di mana kami memberi model sesi yang dicatat alih-alih membiarkannya memilih token baru. Kali lolos maju masih menghasilkan distribusi token-berikutnya yang penuh pada setiap langkah, tetapi selalu dikondisikan pada awalan tetap dari rekaman, bukan pada token peluncuran.

Untuk contoh pencarian, model yang sama menetapkan probabilitas yang jauh lebih tinggi untuk “month” dan lebih rendah untuk “year” ketika diberikan petunjuk. Pelatihan menggunakan pergeseran distribusional ini sebagai target lunak.

Model yang sama menilai giliran yang dicatat dengan dan tanpa petunjuk; probabilitas guru yang dipisahkan memasok target KL sementara CE menambatkan imitasi. — Dua kali lolos, satu set bobot. Kedua kali lolos menilai kelanjutan yang dicatat; hanya guru yang menerima petunjuk. Probabilitas token-berikutnya yang dipisahkan memandu siswa melalui KL maju. Target CE terpisah menambatkan imitasi. Kedua loss dimasukkan ke dalam satu pembaruan bobot. Petunjuk sebelumnya mungkin tetap berada dalam segmen guru saat ini; tidak ada satu pun kali lolos yang menghasilkan jawaban pelatihan pengganti.

Prediksi guru dipisahkan, atau stop-gradient: prediksi tersebut memberikan target tetapi tidak menerima pembaruan melalui langkah guru. Setelah langkah siswa, satu langkah pengoptimal memperbarui model bersama.

Loss CE memperlakukan token tercatat yang dipilih untuk imitasi sebagai target kebenaran dasar dan menghukum model karena menetapkan probabilitas rendah pada token tersebut. Ini menciptakan target imitasi yang keras.

Pada posisi token $i$ , biarkan $p_i(v)$ menjadi probabilitas siswa untuk token $v$ dalam kosakata penuh $V$ . Token berikutnya yang dicatat dalam respons atau panggilan alat adalah $y_i$ , distribusi target one-hot adalah $r_i$ .

r_i(v)=\mathbf{1}[v=y_i]

Entropi silang mengukur seberapa baik siswa memprediksi token yang dicatat tersebut. Dengan target one-hot, itu direduksi menjadi probabilitas log negatif yang ditetapkan ke $y_i$ .

H(r_i,p_i)=-\sum_{v\in V}r_i(v)\log p_i(v)=-\log p_i(y_i)

Masker CE $m_i^{\mathrm{CE}}$ adalah $1$ di mana token harus ditiru dan $0$ jika tidak. Menjumlahkan posisi yang dipilih memberikan loss imitasi.

\mathcal{L}_{\mathrm{CE}}=\sum_i m_i^{\mathrm{CE}}H(r_i,p_i)

Sebagai gantinya, loss KL menggunakan distribusi probabilitas token-berikutnya penuh milik guru $q_i$ sebagai target koreksi lunak. Konteks guru mencakup petunjuk saat ini dan petunjuk sebelumnya yang dipertahankan dalam segmen pelatihan tersebut; konteks siswa selalu bebas petunjuk.

Masker KL $m_i^{\mathrm{KL}}$ adalah $1$ di mana token harus dikoreksi dan $0$ jika tidak; masker CE dan KL tidak tumpang tindih. Pada posisi ini, KL maju menghukum ketidaksepakatan antara guru dan siswa di seluruh kosakata penuh:

\mathcal{L}_{\mathrm{KL}}=\sum_i m_i^{\mathrm{KL}}D_{\mathrm{KL}}(q_i\Vert p_i)=\sum_i m_i^{\mathrm{KL}}\sum_{v\in V}q_i(v)\log\frac{q_i(v)}{p_i(v)}

Kedua istilah tersebut membagikan satu penyebut alih-alih dinormalisasi secara terpisah. Penyebut ini menghitung total token yang dipilih untuk imitasi di seluruh batch pelatihan global. Bobot $\lambda$ mengontrol kontribusi pelatihan korektif relatif terhadap imitasi.

Normalisasi bersama ini cocok dengan antarmuka penyebut-tunggal infrastruktur pelatihan kami dan memulihkan loss SFT standar ketika $\lambda=0$ , menyederhanakan perbandingan dasar. Karena token CE jauh lebih banyak daripada token KL, menggunakan penyebut bersama juga menghindari pemberian bobot yang terlalu besar secara tidak proporsional pada token KL individual dalam batch dengan sedikit token bertanda.

\mathcal{L}=\frac{\mathcal{L}_{\mathrm{CE}}+\lambda\mathcal{L}_{\mathrm{KL}}}{\sum_i m_i^{\mathrm{CE}}}

Diterapkan pada contoh sebelumnya, giliran yang berisi campuran W-3/W-2 dan panggilan pencarian yang tidak valid menerima KL. Konten asisten tanpa tanda lainnya dalam sesi yang berhasil tetap menerima CE. Konten asisten lainnya dalam sesi yang tidak berhasil dipertahankan sebagai konteks tetapi tidak menerima CE maupun KL.

Evaluasi kami menjawab dua pertanyaan terpisah. Pertama, apakah petunjuk benar-benar membantu model mengoreksi error ketika petunjuk tersebut ada? Kedua, apakah pelatihan membantu model menghindari error tersebut nanti, tanpa petunjuk? Yang pertama menguji apakah petunjuk memberikan sinyal pelatihan yang berguna. Yang kedua menguji apakah model belajar darinya.

Kami menguji pertanyaan pertama sebelum pelatihan berjalan untuk memastikan bahwa petunjuk memang dapat mengarahkan model menjauh dari kesalahan.

Kami meregenerasi giliran umpan balik pengguna yang ditandai dengan dan tanpa petunjuk, menggunakan model dasar GLM-5.2 yang sama pada suhu nol. Penilai buta melihat keluhan yang lebih akhir, tetapi tidak melihat petunjuk maupun kondisi mana yang menghasilkan jawaban.

Dalam contoh W-3, petunjuk menggeser probabilitas token-berikutnya ke arah “3” dan menjauhi “2” setelah awalan “W-”.

Probabilitas token-berikutnya setelah W- bergeser ke arah 3 alih-alih 2 ketika model dasar yang tidak menerima petunjuk tetap tidak berubah. — Petunjuk mempertahankan formulir W-3 yang diminta. Batang menunjukkan probabilitas rata-rata token-berikutnya di delapan kali lolos maju; garis tipis menunjukkan rentang yang diamati, bukan interval kepercayaan. Kedua kondisi menggunakan model dasar yang tidak berubah.

Pada sampel tertahan 40 giliran yang lebih besar yang didukung oleh bukti sebelumnya yang dinyatakan secara eksplisit, pangsa yang dinilai tetap atau pada jalur naik dari 40,0% tanpa petunjuk menjadi 75,0% dengan petunjuk. Pada 40 giliran lainnya yang didukung oleh niat tersirat, angkanya naik dari 32,5% menjadi 80,0%.

Validasi petunjuk: tingkat tetap atau pada jalur meningkat dari 40,0% menjadi 75,0% untuk bukti eksplisit dan 32,5% menjadi 80,0% untuk niat tersirat. — Validasi petunjuk, bukan evaluasi pasca-pelatihan. 40 giliran bertanda yang sama di setiap grup bukti diregenerasi dengan dan tanpa petunjuk menggunakan GLM-5.2 yang tidak berubah pada suhu nol. Penilai melihat keluhan tetapi bukan petunjuk atau kondisinya. Jumlah berasal dari tingkat dan ukuran sampel laporan; interval kepercayaan tidak dilaporkan.

Dalam contoh error alat pencarian, petunjuk memang menggeser massa probabilitas dari token tahun ke token bulan.

Petunjuk menggeser probabilitas token-berikutnya dari model dasar yang tidak berubah dari tahun dan menuju ke nilai yang diizinkan bulan. — Petunjuk menggeser probabilitas ke arah nilai yang diizinkan. Batang menunjukkan probabilitas rata-rata token-berikutnya di delapan kali lolos maju; garis tipis menunjukkan rentang yang diamati, bukan interval kepercayaan. Kedua kondisi menggunakan model dasar yang sama; tidak ada checkpoint terlatih yang dibandingkan.

Pada sampel tertahan 985 giliran yang lebih besar, kami meregenerasi setiap giliran empat kali dengan dan tanpa petunjuk menggunakan model dasar yang sama. Penilai buta mengevaluasi apakah setiap regenerasi menghindari kegagalan asli. Petunjuk menaikkan penghindaran kegagalan dari 75,1% menjadi 93,7%, peningkatan berpasangan sebesar 18,6 poin persentase, dan meningkatkan pangsa yang mengambil tindakan terkoreksi dari 60,6% menjadi 82.3%. Peningkatan terbesar terjadi pada error yang sulit diperbaiki hanya dengan pengambilan sampel berulang.

Pada 985 giliran error alat bertanda yang tertahan, petunjuk menaikkan penghindaran kegagalan dari 75,1% menjadi 93,7% dan tingkat tindakan terkoreksi dari 60,6% menjadi 82,3%. — Validasi petunjuk error alat pada 985 giliran bertanda yang tertahan, dengan empat regenerasi per kondisi. Batang menunjukkan penghindaran kegagalan dan tingkat tindakan terkoreksi untuk model dasar yang tidak berubah, dengan dan tanpa petunjuk. Menghindari kesalahan yang ditargetkan tidak menetapkan keberhasilan panggilan alat atau tugas.

Selanjutnya, kami menguji apakah model yang telah dilatih membuat lebih sedikit kesalahan tanpa menerima petunjuk. Kami mengevaluasi model stock dan berbagai checkpoint pascapelatihan pada tugas benchmark offline dan dalam sesi pengguna langsung, dengan memeriksa lebih sedikit kegagalan alat dan lebih rendahnya ketidakpuasan pengguna.

Evaluasi offline menggunakan BrowseComp, Finch, WideSearch, DRACO, DSQA, SpreadsheetBench, HLE, sekumpulan tugas Computer yang representatif, dan memeriksa pemuatan Skill, peninjauan dokumen, dan kutipan sebaris. Kami mengukur pangsa panggilan alat yang hasilnya secara eksplisit ditandai sebagai error di seluruh lintasan evaluasi.

Dalam evaluasi ini, tingkat error alat yang tercatat adalah 2,79% untuk GLM 5.2 stok, 1,35% untuk checkpoint khusus-RFT, dan 0,87% untuk checkpoint RFT-plus-OPSD. Checkpoint ini dilatih pada data yang berbeda, jadi ini bukan ablasi data-cocok dari OPSD. Hasil tolok ukur tingkat-tugas bercampur, sehingga lebih sedikit error alat saja tidak selalu berarti perbaikan luas dalam keberhasilan tugas.

Tingkat error alat tercatat offline: 2,79% untuk GLM 5.2 stok, 1,35% untuk khusus-RFT, dan 0,87% untuk RFT plus OPSD; data pelatihan berbeda. — Tingkat error alat offline untuk checkpoint GLM-5.2 stok, khusus-RFT, dan RFT-plus-OPSD. Data pelatihan berbeda di setiap checkpoint; ini bukan ablasi data-terkontrol.

Untuk GLM-5.2, kami menjalankan dua uji A/B terpisah dengan sekitar seratus ribu pengguna pada setiap kondisi. Pada pengujian pertama, pos pemeriksaan RFT-plus-OPSD awal memiliki tingkat kegagalan alat yang sedikit lebih rendah daripada GLM 5.2 bawaan, yaitu 2,82% versus 2,94%, tetapi perbedaannya tidak signifikan secara statistik.

Dalam pengujian selanjutnya, kami membandingkan dua checkpoint RFT-plus-OPSD: yang lebih awal (checkpoint satu) dan yang lebih akhir (checkpoint dua). Kegagalan panggilan alat turun dari 2,24% menjadi 1,77% dari panggilan dengan status tercatat. Ini adalah pengurangan relatif sebesar 21,2% yang signifikan secara statistik. Kami tidak secara langsung membandingkan checkpoint dua dengan GLM 5.2 stok secara online.

Hasil umpan balik pengguna kurang konklusif. Pada eksperimen GLM-5.2 kedua, probabilitas rata-rata ketidakpuasan yang kuat (sedang atau tinggi) adalah 2,58% untuk pos pemeriksaan pertama dan 2,54% untuk pos pemeriksaan kedua, tanpa perbedaan yang signifikan secara statistik.

Dua uji A/B online terpisah; hanya perbandingan checkpoint yang lebih akhir yang memiliki pengurangan kegagalan alat yang signifikan, tanpa perubahan ketidakpuasan MID+ yang signifikan. — Dua uji A/B langsung GLM-5.2 terpisah. Pos pemeriksaan 1 dibandingkan dengan GLM-5.2 bawaan; pos pemeriksaan 2 dibandingkan dengan pos pemeriksaan 1. Di antara kedua pengujian ini, hanya pengurangan kegagalan alat yang lebih baru yang signifikan secara statistik. Tingkat MID+ meramalkan probabilitas rata-rata ketidakpuasan sedang-hingga-tinggi, bukan jumlah keluhan.

Untuk GLM-5.3, kami membandingkan checkpoint yang dilatih ulang secara langsung dengan GLM-5.3 bawaan. Kegagalan pemanggilan alat turun dari 3,56% menjadi 2,38% dari panggilan dengan status yang tercatat, penurunan relatif sebesar 33,04%. Tingkat MID+, rata-rata estimasi probabilitas ketidakpuasan tingkat sedang-atau-tinggi, turun dari 4,12% menjadi 3,41%, penurunan relatif sebesar 17,2%. Kedua penurunan tersebut signifikan secara statistik.

Uji A/B GLM-5.3: tingkat kegagalan alat turun dari 3,56% menjadi 2,38% dan tingkat MID+, rata-rata estimasi probabilitas ketidakpuasan tingkat sedang-atau-tinggi, turun dari 4,12% menjadi 3,41%. Penurunan relatif yang disesuaikan dengan CUPED masing-masing sebesar 33,04% dan 17,16%. Kedua interval sekuensial 95% tidak menyertakan nol; metrik keterlibatan utama tidak signifikan. — GLM-5.3 pasca-pelatihan versus GLM-5.3 bawaan dalam uji A/B online terpisah. Tingkat kegagalan alat dan MID+, perubahan relatif, serta interval kepercayaan sekuensial 95% menggunakan penyesuaian CUPED. Kedua penurunan tersebut signifikan secara statistik. Tingkat MID+ adalah rata-rata estimasi probabilitas ketidakpuasan tingkat sedang-atau-tinggi dari utas tindak lanjut yang memenuhi syarat dan dinilai, bukan jumlah keluhan. Tingkat kegagalan alat mengecualikan panggilan tanpa status keberhasilan atau kegagalan yang tercatat.

Ide utamanya adalah belajar pada tingkat keputusan, bukan hanya sesi.

Hasil yang berhasil dapat menyembunyikan kesalahan, dan sesi yang tidak berhasil masih dapat mengungkapkan cara meningkatkan. Kami mempertahankan perilaku berguna dari sesi yang berhasil sebagai jangkar, menggunakan keluhan dan error alat untuk mengidentifikasi kegagalan yang dapat dihindari, dan melatih model menuju prediksi yang dibuatnya ketika kesalahan dan koreksi tersebut dibuat secara eksplisit. Keberhasilan menyediakan perilaku untuk dilestarikan; kegagalan menyediakan arah untuk perbaikan.

Penggunaan dunia nyata membuat pendekatan ini sangat berguna. Pengguna nyata membawa tujuan, batasan, dan alur kerja yang sulit diantisipasi di lingkungan sintetis. Koreksi mereka mengungkapkan persyaratan yang terlewat oleh model, sementara error alat mengekspos kesenjangan antara apa yang coba dilakukan model dan apa yang diizinkan oleh lingkungan. Sinyal-sinyal ini melengkapi pelatihan berbasis hasil: alih-alih hanya bertanya apakah suatu tugas berhasil, kita dapat bertanya di mana model melakukan kesalahan dan informasi apa yang dapat membantunya membuat keputusan yang lebih baik.

Batasan-batasan tersebut sama pentingnya. Penilai bisa saja salah, dan memperbaiki satu giliran tidak menjamin bahwa keseluruhan tugas akan berhasil. Tujuannya bukan sekadar agen yang pulih setelah koreksi. Melainkan agen yang lebih jarang membutuhkan koreksi.

BibTeX

@online{perplexity2026LearningFromRealWorldExperience,
  author = {{Perplexity} and Senzeyu Zhang and Chuan Wang and Hang Wu and Hao Zhang and Yuan Liang and Yunfan Zhong and Phi Hoang and Claire Beamer and Jeremy Yang and Andrew Wilson and Denis Yarats},
  title = {{Learning from real-world experience}},
  date = {2026-09-21},
  url = {https://www.perplexity.ai/hub/blog/learning-from-real-world-experience}
}

Dari data sintetis ke data dunia nyata

Tiru langkah yang baik, koreksi yang buruk

Contoh: satu sesi dapat mengajarkan kedua pelajaran

Cara kerja pelatihan

Pilih sesi, lalu nilai hasilnya

Temukan kesalahan dari umpan balik pengguna

Temukan kesalahan dari error alat

Dua kali lolos maju

Fungsi loss

Loss CE

Loss KL

Loss gabungan

Apa yang ditunjukkan oleh evaluasi

Petunjuk dapat mengarahkan model menjauh dari kesalahan

Umpan balik pengguna

Error alat

Keandalan alat dan umpan balik pengguna setelah pelatihan

Evaluasi offline

Evaluasi daring: GLM-5.2

Evaluasi online: GLM-5.3

Kesimpulan

Kutipan