Cara kerja detektor AI dan alasan skor saja tak bisa buktikan kepengarangan

Tempel esai, artikel, atau email ke dalam detektor AI, dan beberapa detik kemudian alat tersebut dapat mengembalikan hasil seperti “85% AI.”

Tampak tepat. Namun, hal itu juga dapat mudah disalahartikan.

Detektor tidak mengamati bagaimana dokumen itu ditulis. Ia menganalisis teks yang sudah jadi untuk mencari pola yang terkait dengan tulisan buatan AI. Bergantung pada alatnya, angka 85% tersebut mungkin mewakili perkiraan kemungkinan bahwa AI menghasilkan dokumen tersebut atau bagian dari teks yang ditandai oleh detektor.

Hal itu membuat detektor AI berguna sebagai sinyal, terutama ketika sesuatu perlu ditinjau lebih dekat. Namun, skor tersebut tetap membutuhkan konteks dan bukti pendukung sebelum siapa pun menarik kesimpulan tentang siapa yang menulis teks tersebut atau bagaimana mereka menciptakannya. Memahami bagaimana detektor menghasilkan skor mereka membantu menjelaskan apa yang dapat mereka tangkap dan mengapa mereka terkadang salah.

Apa itu detektor AI?

Detektor penulisan AI melihat bagian teks yang sudah jadi dan memperkirakan apakah teks tersebut menyerupai tulisan yang dihasilkan oleh model bahasa. Pengguna biasanya menempelkan teks atau mengunggah dokumen. Dalam hitungan detik, alat tersebut dapat mengembalikan label, persentase, bagian yang disorot, atau ketiganya.

• Guru dan institusi akademik menggunakannya saat meninjau pekerjaan siswa.
• Penerbit dan tim konten dapat menggunakannya untuk menyaring tulisan yang dikirimkan atau ditugaskan, sementara beberapa perusahaan detektor memasarkan versinya untuk tim perekrutan yang meninjau materi lamaran.
• Penulis juga terkadang memeriksa karya mereka sendiri untuk memahami bagaimana guru, editor, klien, atau platform mungkin mengklasifikasikannya.

Catatan: Pemeriksa plagiarisme memiliki tujuan yang berkaitan namun terpisah. Mereka membandingkan dokumen dengan materi yang diterbitkan dan sumber lain untuk menemukan bahasa yang cocok. Detektor AI menilai pola dalam tulisan yang dikirimkan. Oleh karena itu, bagian yang sepenuhnya asli dapat menerima tanda AI, sementara tulisan manusia yang disalin mungkin tidak berisi sinyal kuat pembuatan AI.

Bagaimana detektor AI menganalisis teks

Banyak detektor AI mengandalkan pengklasifikasi, model pembelajaran mesin yang dilatih pada contoh tulisan buatan manusia dan AI. Saat membandingkan keduanya, model tersebut mempelajari pola mana yang cenderung muncul pada masing-masingnya, termasuk pola dalam pilihan kata dan struktur kalimat. Model tersebut kemudian mencari pola-pola tersebut dalam teks baru dan menghasilkan prediksi.

Apa yang dipelajari detektor bergantung pada apa yang dilihatnya selama pelatihan. Alat yang dilatih pada kisaran tulisan yang terbatas mungkin akan kesulitan dengan subjek baru, gaya yang tidak familiar, atau keluaran dari model AI yang belum pernah ditemuinya sebelumnya. Penelitian di berbagai jenis teks dan model AI telah menemukan bahwa kinerja deteksi dapat menurun dalam kondisi tersebut.

Beberapa metode mengambil pendekatan yang berbeda. Alih-alih melatih pengklasifikasi terpisah, metode tersebut menggunakan estimasi probabilitas model bahasa itu sendiri untuk menilai seberapa besar kemungkinan model tersebut menghasilkan suatu bagian.

• DetectGPT, misalnya, membandingkan teks asli dengan versi yang sedikit diubah untuk mencari pola yang terkait dengan pembuatan AI. Penelitiannya mendeskripsikan ini sebagai metode “zero-shot” karena tidak memerlukan detektor yang dilatih secara terpisah. Hasilnya dapat mencakup skor keseluruhan, kalimat yang disorot, atau keduanya.
• GPTZero mengatakan sorotannya menunjukkan kalimat mana yang paling berpengaruh pada prediksi keseluruhannya. Karena ia juga mengevaluasi dokumen yang lebih luas, bagian yang dipindai secara mandiri mungkin tidak menerima hasil yang sama ketika muncul sebagai bagian dari tulisan yang lebih panjang.

Setiap hasil merefleksikan teks dan sistem yang mengevaluasinya, itulah sebabnya detektor yang berbeda dapat mencapai kesimpulan yang berbeda tentang bagian yang sama.

Perbesar

Apa yang diukur oleh perplexity dan burstiness

Perplexity dan burstiness sering muncul dalam penjelasan mengenai deteksi AI. Keduanya dapat mengungkapkan pola yang berguna dalam suatu tulisan, tetapi tidak satupun yang mengarah ke satu cara penulisan yang secara unik merupakan buatan AI.

Satu detail yang berpotensi membingungkan: perplexity memiliki peran ganda di sini. Dalam huruf kecil, ini adalah ukuran statistik. Dengan Huruf P besar, itu adalah kami.

Perplexity mengukur seberapa mudah teks tersebut diprediksi

Model bahasa menghasilkan teks dengan menetapkan probabilitas pada kemungkinan token berikutnya, yang mungkin berupa seluruh kata atau bagian kata. Perplexity mengukur seberapa baik model dapat memprediksi token dalam sebuah bagian.

• Perplexity lebih rendah: Teks mengikuti pola yang dianggap familier oleh model.
• Perplexity lebih tinggi: Pilihan kata lebih tidak terduga.

Skor tersebut spesifik untuk model yang melakukan evaluasi dan cara teks diproses, sehingga bagian yang sama dapat menerima skor perplexity yang berbeda di bawah pengaturan yang berbeda.

Ambil kalimat, “Tolong beri tahu saya jika Anda memiliki pertanyaan.” Model bahasa mungkin telah menemukan kata-kata serupa berkali-kali, membuat setiap kata relatif mudah diprediksi. Itu memberi tahu kita sesuatu tentang keakraban kalimat tersebut. Itu tidak mengatakan apa pun yang bersifat definitif tentang siapa yang menulisnya.

Burstiness mengukur seberapa besar pola tersebut bervariasi

Burstiness digunakan secara lebih longgar dalam diskusi mengenai deteksi AI. Ini umumnya menjelaskan seberapa besar tulisan berubah di berbagai bagian. Itu dapat mencakup variasi panjang dan struktur kalimat, atau pergeseran antara bahasa yang sangat mudah ditebak dan bahasa yang lebih mengejutkan.

• Burstiness lebih rendah: Kalimat mengikuti panjang, struktur, atau ritme yang lebih konsisten.
• Burstiness lebih tinggi: Tulisan berpindah-pindah antara pernyataan yang lebih pendek, penjelasan yang lebih panjang, dan frasa yang kurang terduga.

Beberapa teks buatan AI konsisten dan mudah ditebak, itulah sebabnya burstiness menjadi terkait dengan deteksi. Tulisan manusia dapat memiliki kualitas yang sama, terutama dalam konteks bisnis, akademik, dan teknis. Model AI juga dapat menghasilkan bahasa yang lebih bervariasi ketika diminta atau diedit untuk melakukannya.

GPTZero mengatakan perplexity dan burstiness adalah dua dari beberapa fitur yang digunakan oleh versi sebelumnya dari detektornya.

Apa yang ditunjukkan oleh ukuran ini: Perplexity dan burstiness mendeskripsikan pola dalam sebuah bagian. Pola tersebut dapat membantu menjelaskan mengapa teks ditandai, tetapi tidak dapat menetapkan siapa yang menulisnya.

Arti skor detektor AI

Hasil “80% AI” terlihat langsung. Maknanya bergantung pada detektor.

GPTZero mendeskripsikan persentase sebagai estimasi probabilitas modelnya bahwa AI atau manusia menulis dokumen tersebut. Turnitin menggunakan persentase untuk menunjukkan seberapa banyak prosa yang memenuhi syarat yang ditandai oleh modelnya sebagai berpotensi buatan AI atau dimodifikasi dengan alat AI tertentu.

Oleh karena itu, label “80% AI” yang sama dapat berarti:

• Detektor memperkirakan peluang 80% bahwa AI menghasilkan dokumen tersebut.
• Detektor telah menandai 80% dari prosa yang dinilainya.

Itu adalah temuan yang berbeda. Yang satu membuat prediksi tentang dokumen secara keseluruhan. Yang lain mengidentifikasi seberapa banyak teks yang cocok dengan kriteria detektor.

Skor probabilitas memerlukan pemeriksaan lain: kalibrasi. Jika sebuah detektor memberi 100 dokumen probabilitas AI sekitar 80%, sekitar 80 di antaranya harus benar-benar buatan AI agar skor tersebut terkalibrasi dengan baik. Menguji model terhadap contoh dengan asal-usul yang diketahui menunjukkan seberapa dekat probabilitasnya cocok dengan hasil nyata.

Persentase dapat terlihat tepat sebelum makna atau keandalannya jelas. Label, metode penilaian, dan kinerja detektor semuanya menentukan apa yang dapat didukung oleh angka tersebut.

Perbesar

Batas menentukan apa yang ditandai

Detektor tetap harus memutuskan kapan skor cukup tinggi untuk ditindaklanjuti. Garis pembagi itu disebut batas, atau ambang batas.

Misalkan sebuah alat memberi skor teks dari 0 hingga 100 dan menandai apa pun di atas 70. Memindahkan batas ke 60 akan membuat setiap skor tetap tidak berubah sambil meningkatkan jumlah dokumen yang ditandai.

• Batas bawah umumnya mendeteksi lebih banyak tulisan buatan AI tetapi juga menandai lebih banyak tulisan manusia secara keliru.
• Batas yang lebih tinggi mengurangi tanda yang salah, sekaligus membiarkan lebih banyak tulisan buatan AI tidak terdeteksi. Pertukaran ini berlaku untuk sistem klasifikasi secara luas.

Kedua kemungkinan kesalahan tersebut memiliki nama yang berbeda.

• Sebuah positif palsu terjadi ketika tulisan manusia ditandai sebagai buatan AI.
• Sebuah negatif palsu terjadi ketika tulisan buatan AI tidak terdeteksi.

Tempat detektor menarik batas merefleksikan kesalahan mana yang dirancang untuk dihindarinya. Pilihan tersebut membawa lebih banyak bobot ketika sebuah tanda dapat memengaruhi nilai, pekerjaan, atau kredibilitas seseorang.

Bagaimana tingkat kesalahan 2% dapat menghasilkan hampir 30% tanda yang salah

Dampak dari tingkat positif palsu sebesar 2% bergantung pada seberapa banyak tulisan manusia yang ditinjau oleh detektor.

Pertimbangkan 1.000 artikel hipotetis:

• 50 merupakan buatan AI.
• 950 ditulis oleh manusia.
• Detektor menangkap 90% artikel buatan AI.
• Alat ini secara keliru menandai 2% dari artikel buatan manusia.

Inilah yang terjadi:

Detektor menandai 64 artikel secara total. Sembilan belas ditulis oleh manusia, jadi hampir 30% dari tandanya salah.

Angka 2% dan 30% mengukur hal yang berbeda. Detektor secara keliru menandai 2% dari seluruh artikel buatan manusia. Kesalahan tersebut kemudian menyumbang hampir 30% dari semua yang ditandainya.

Angka-angka tersebut bertambah sedemikian rupa karena detektor meninjau lebih banyak artikel buatan manusia daripada artikel buatan AI. Bahkan tingkat kesalahan yang kecil pun dapat menghasilkan jumlah tanda yang salah yang berarti ketika diterapkan pada kelompok yang jauh lebih besar.

Istilah base rate mendeskripsikan seberapa umum tulisan buatan AI dalam materi yang diperiksa. Seiring perubahan bagian tersebut, arti dari hasil positif juga berubah. Jika tingkat positif sejati dan positif palsu detektor tetap sama, tanda umumnya akan lebih andal ketika tulisan buatan AI umum ditemukan dalam koleksi dan kurang andal ketika jarang ditemukan.

Angka-angka ini bersifat hipotetis dan tidak mendeskripsikan detektor tertentu. Dalam peninjauan nyata, bagian tulisan buatan AI biasanya tidak diketahui. Ketidakpastian tersebut adalah alasan lain untuk memperlakukan tanda sebagai alasan untuk melihat lebih dekat, alih-alih bukti bagaimana sebuah dokumen ditulis.

Akurasi bergantung pada apa yang diuji pada detektor

Tingkat akurasi mendeskripsikan kinerja di bawah seperangkat kondisi tertentu. Sebelum menerapkan tingkat tersebut pada tulisan lain, periksa:

• Versi detektor
• Panjang, bahasa, subjek, dan format teks
• Model AI dan pengaturan yang digunakan untuk menghasilkan materi pengujian
• Apakah teks telah disunting atau sengaja dimodifikasi
• Penulis yang terwakili dalam sampel tulisan manusia

Mulai dari masukan yang didukung alat

Turnitin, misalnya, memerlukan setidaknya 300 kata prosa bentuk panjang. Alat ini mengatakan modelnya tidak dapat diandalkan dalam mendeteksi puisi, skrip, kode, atau format non-prosa buatan AI lainnya. Oleh karena itu, kinerja yang kuat pada esai tidak memberikan banyak informasi tentang bagaimana detektor yang sama akan menangani puisi atau email pendek.

Bandingkan pengujian dengan tulisan dunia nyata

Pada tahun 2024, para peneliti menguji 12 detektor menggunakan RAID, sebuah tolok ukur yang berisi lebih dari 6 juta bagian buatan AI di 11 model dan delapan bidang subjek. Kinerja menurun ketika detektor menemukan model yang tidak familiar, pengaturan pembuatan yang berbeda, atau teks yang sengaja dimodifikasi.

Sebuah tantangan tahun 2025 yang menggunakan RAID menghasilkan hasil yang lebih kuat dalam kondisi yang lebih familier. Beberapa peserta mendeteksi lebih dari 99% teks buatan mesin sambil mempertahankan tingkat positif palsu sebesar 5%. Subjek dan model AI yang digunakan dalam pengujian juga terwakili dalam data pelatihan.

Secara bersama-sama, hasil tersebut menunjukkan bahwa detektor dapat berkinerja baik pada materi bervariasi yang dilatih untuk dikenali olehnya, sementara materi yang tidak familiar tetap lebih sulit dinilai.

Lihat siapa yang terwakili

Dalam sebuah studi tahun 2023, tujuh detektor secara keliru mengklasifikasikan rata-rata 61,3% dari 91 esai TOEFL yang ditulis oleh penutur bukan penutur asli bahasa Inggris sebagai buatan AI. Hasil tersebut berlaku untuk alat dan sampel yang diuji pada saat itu. Hal ini juga menunjukkan mengapa tingkat akurasi secara keseluruhan mungkin tidak menggambarkan kinerja dengan sama baiknya untuk setiap kelompok penulis.

Cara membaca klaim akurasi: Semakin dekat teks yang dikirimkan dengan materi yang digunakan dalam pengujian, semakin relevan hasil yang dilaporkan.

Dokumen akhir hanya menunjukkan sebagian dari cara penulisan dokumen tersebut

AI dapat memainkan banyak peran dalam proses penulisan. Seseorang mungkin menggunakannya untuk meneliti topik, mengorganisasi catatan, menerjemahkan bagian, memoles kalimat, atau menghasilkan draf pertama.

Alur kerja tersebut dapat menghasilkan dokumen yang sangat berbeda. Satu penulis mungkin menggunakan AI untuk penelitian dan menyusun setiap kalimat secara mandiri. Penulis lain mungkin menulis ulang draf buatan AI secara substansial. Penulis ketiga mungkin menambahkan satu paragraf buatan ke dalam artikel yang sebagian besar ditulis oleh manusia.

Detektor teks melihat kata-kata yang dikirimkan. Alat ini tidak memiliki akses ke perintah, suntingan, atau keputusan yang mendahuluinya. Skornya tidak dapat merekonstruksi proses penulisan secara lengkap atau menentukan apakah penulis mengikuti kebijakan tertentu. Contohnya,

• Sekolah mungkin mengizinkan curah pendapat sambil mengharuskan siswa menulis tugas itu sendiri.
• Penerbit mungkin mengizinkan penyuntingan berbantuan AI jika hal itu diungkapkan.
• Tempat kerja mungkin lebih peduli pada keakuratan faktual, kerahasiaan, atau atribusi sumber daripada apakah AI berkontribusi pada kata-kata.

Menerapkan aturan tersebut memerlukan bukti tentang proses serta teks yang sudah jadi. Riwayat draf, catatan penelitian, dan penjelasan penulis dapat memberikan konteks yang tidak dapat diberikan oleh detektor. Turnitin secara eksplisit menyarankan para pendidik agar tidak menggunakan skor penulisan AI miliknya sebagai satu-satunya dasar untuk tindakan merugikan terhadap siswa.

Detektor dapat mengidentifikasi bahasa yang menyerupai pola yang diasosiasikannya dengan AI. Memutuskan apa yang terjadi, dan apakah hal itu diizinkan, memerlukan tinjauan yang lebih luas.

Watermark menambahkan jenis sinyal yang berbeda

Beberapa sistem AI dapat menambahkan pola yang dapat dideteksi saat mereka menghasilkan teks. Proses ini disebut watermarking.

Cara kerja watermark teks

SynthID dari Google DeepMind menyediakan satu contoh:

1. Sistem menyesuaikan probabilitas token. Sistem sedikit mengubah kemungkinan model akan memilih kata-kata tertentu atau bagian dari kata.
2. Pilihan tersebut menciptakan pola. Watermark dirancang agar tetap tidak terlihat oleh pembaca.
3. Detektor yang kompatibel memeriksanya. Detektor menganalisis teks untuk mencari sinyal statistik yang diharapkan.

Karena pola tersebut ditambahkan selama pembuatan, pola tersebut dapat memberikan informasi yang terikat pada sistem yang menghasilkan teks.

Apa yang membatasi deteksi watermark

• Generator harus menambahkannya. Sistem AI perlu mendukung dan menerapkan watermark. Watermark yang tidak ada tidak membuktikan bahwa seseorang menulis teks tersebut.
• Cukup banyak pola yang harus tersisa. Google melaporkan bahwa SynthID dapat bertahan terhadap beberapa pemotongan, perubahan kata, dan parafrase ringan. Penulisan ulang atau terjemahan yang ekstensif dapat mengurangi kepercayaannya.

Watermark dapat memperkuat bukti ketika sistem yang kompatibel menghasilkan teks dan cukup banyak sinyal yang tersisa. Alat ini tidak dapat mengidentifikasi setiap tulisan buatan AI.

Catatan lain dapat melengkapi gambaran tersebut

• Riwayat draf menunjukkan bagaimana dokumen berubah seiring waktu.
• Catatan penelitian menghubungkan klaimnya dengan sumber.
• Interaksi AI yang diungkapkan menunjukkan di mana suatu alat berkontribusi.

Catatan ini memberikan konteks yang lebih langsung tentang proses penulisan daripada skor berbasis pola saja.

Perlakukan tanda sebagai awal dari peninjauan

Hasil detektor menjadi lebih berguna ketika memiliki peran yang jelas. Sebelum menindaklanjuti tanda, peninjau harus memahami apa yang diukur oleh alat tersebut, memastikan bahwa teks berada dalam ruang lingkupnya, dan memeriksa bukti lain yang tersedia.

Lima pemeriksaan dapat membantu:

1. Baca definisi skor. Tentukan apakah persentase tersebut merepresentasikan probabilitas tingkat dokumen atau bagian teks yang ditandai.
2. Periksa ruang lingkup alat. Konfirmasikan bahwa bahasa, panjang, dan format dokumen cocok dengan apa yang didukung oleh detektor.
3. Tinjau buktinya. Periksa bagian yang disorot beserta draf, catatan sumber, dan penjelasan penulis.
4. Terapkan kebijakan yang relevan. Identifikasi penggunaan AI mana yang diizinkan dan bukti apa yang akan menunjukkan pelanggaran.
5. Nilai pekerjaannya sendiri. Tinjau keakuratan faktual, atribusi sumber, keaslian, dan kualitas berdasarkan standarnya sendiri.

Taruhannya harus menentukan kedalaman tinjauan. Seorang editor dapat menggunakan tanda untuk memutuskan artikel mana yang perlu ditinjau kembali. Keputusan yang memengaruhi nilai, pekerjaan, atau perjanjian penerbitan memerlukan bukti yang lebih kuat dan kesempatan bagi penulis untuk menjelaskan proses mereka.

Detektor AI memampatkan penilaian yang kompleks menjadi sebuah skor. Menafsirkan skor tersebut memerlukan informasi yang tidak terkandung dalam angka tersebut: apa yang diukur oleh alat tersebut, ambang batas mana yang digunakannya, bagaimana kinerjanya pada tulisan yang sebanding, dan seberapa umum teks buatan AI dalam materi yang ditinjau. Skor dapat mengarahkan perhatian. Skor detektor dapat berkontribusi pada tinjauan tersebut, tetapi setiap kesimpulan tentang kepengarangan juga memerlukan bukti tentang proses penulisan.

Pertanyaan yang sering diajukan

Dapatkah detektor AI salah?

Ya. Positif palsu terjadi ketika detektor menandai tulisan manusia sebagai buatan AI. Negatif palsu terjadi ketika tulisan buatan AI tidak terdeteksi. Frekuensi setiap kesalahan bergantung pada detektor, ambang batasnya, dan seberapa mirip teks yang dikirimkan dengan materi yang digunakan untuk mengujinya.

Seberapa akurat detektor AI?

Tidak ada tingkat akurasi tunggal untuk detektor AI. Kinerja dapat bervariasi menurut bahasa, panjang, subjek, gaya penulisan, model penghasil, dan jumlah suntingan. Klaim akurasi paling berguna ketika kondisi pengujian menyerupai tulisan yang sedang ditinjau dan hasilnya melaporkan positif palsu serta keberhasilan deteksi.

Apa arti persentase deteksi AI?

Definisi tersebut bergantung pada alatnya. Definisi tersebut mungkin merepresentasikan estimasi probabilitas bahwa suatu dokumen adalah buatan AI, persentase teks memenuhi syarat yang ditandai, atau bentuk keyakinan pada hasilnya. Dokumentasi detektor harus menjelaskan pengukuran mana yang dilaporkannya.

Dapatkah detektor AI membuktikan bahwa seseorang menggunakan AI?

Skor detektor saja tidak dapat membuktikan bagaimana sebuah dokumen dibuat. Alat ini menganalisis teks yang dikirimkan tanpa melihat perintah, draf, suntingan, atau penelitian di baliknya. Tinjauan yang andal mempertimbangkan skor bersama dengan bukti proses dan kebijakan yang mengatur penggunaan AI yang dapat diterima.

Mengapa tulisan manusia terkadang ditandai sebagai AI?

Tulisan manusia dan buatan AI dapat memiliki pola statistik yang sama. Bahasa yang formulasional, frasa yang mudah ditebak, kosakata yang terbatas, atau gaya yang berbeda dari data pelatihan detektor dapat berkontribusi pada positif palsu. Penelitian juga menemukan bahwa beberapa detektor yang diuji pada tahun 2023 secara tidak proporsional menandai esai yang ditulis oleh penutur bukan asli bahasa Inggris.