การทำงานของเครื่องมือตรวจจับ AI และเหตุผลที่คะแนนเพียงอย่างเดียวไม่สามารถพิสูจน์ความเป็นผู้ประพันธ์ได้

วางเรียงความ บทความ หรืออีเมลลงในเครื่องมือตรวจจับ AI และอีกไม่กี่วินาทีต่อมา เครื่องมืออาจส่งคืนผลลัพธ์ เช่น “AI 85%”

ดูเหมือนจะแม่นยำ แต่มักจะเข้าใจผิดได้ง่ายเช่นกัน

เครื่องมือตรวจจับไม่ได้สังเกตว่าเอกสารนั้นเขียนขึ้นมาอย่างไร แต่ทำการวิเคราะห์ข้อความที่เสร็จสมบูรณ์แล้วเพื่อหารูปแบบที่เกี่ยวข้องกับงานเขียนที่สร้างโดย AI ขึ้นอยู่กับเครื่องมือแต่ละตัว ตัวเลข 85% นั้นอาจแสดงถึงความน่าจะเป็นโดยประมาณที่ AI เป็นผู้สร้างเอกสาร หรือสัดส่วนของข้อความที่เครื่องมือตรวจจับทำเครื่องหมายไว้

สิ่งนี้ทำให้เครื่องมือตรวจจับ AI มีประโยชน์ในฐานะสัญญาณเตือน โดยเฉพาะเมื่อมีบางสิ่งที่ต้องตรวจสอบอย่างใกล้ชิด แต่คะแนนดังกล่าวยังคงต้องอาศัยบริบทและหลักฐานสนับสนุนก่อนที่ใครจะสรุปได้ว่าใครเป็นผู้เขียนข้อความนั้นหรือสร้างมันขึ้นมาอย่างไร การทำความเข้าใจว่าเครื่องมือตรวจจับสร้างคะแนนขึ้นมาได้อย่างไรช่วยอธิบายทั้งสิ่งที่เครื่องมือสามารถตรวจจับได้และสาเหตุที่บางครั้งเครื่องมืออาจให้ผลลัพธ์ที่ผิดพลาด

เครื่องมือตรวจจับ AI คืออะไร?

เครื่องมือตรวจจับงานเขียน AI จะตรวจสอบชิ้นงานที่เสร็จสมบูรณ์และประเมินว่ามีลักษณะคล้ายกับงานเขียนที่ผลิตโดยโมเดลภาษาหรือไม่ โดยทั่วไปผู้ใช้จะวางข้อความลงไปหรืออัปโหลดเอกสาร ภายในไม่กี่วินาที เครื่องมืออาจส่งคืนป้ายกำกับ เปอร์เซ็นต์ ข้อความที่ไฮไลต์ หรือทั้งสามอย่าง

• ครูผู้สอนและสถาบันการศึกษาใช้งานเครื่องมือเหล่านี้เมื่อตรวจทานผลงานของนักเรียน
• สำนักพิมพ์และทีมเนื้อหาอาจใช้เครื่องมือเหล่านี้เพื่อคัดกรองงานเขียนที่ส่งเข้ามาหรือได้รับมอบ Fงาน ในขณะที่บริษัทผู้ผลิตเครื่องมือตรวจจับบางแห่งทำตลาดเวอร์ชันสำหรับทีมสรรหาบุคลากรที่ตรวจสอบเอกสารการสมัครงาน
• ผู้เขียนบางครั้งก็ตรวจสอบงานของตนเองเช่นกันเพื่อทำความเข้าใจว่าครู บรรณาธิการ ลูกค้า หรือแพลตฟอร์มจะจัดประเภทงานนั้นอย่างไร

หมายเหตุ: โปรแกรมตรวจหาการคัดลอกผลงานมีจุดประสงค์ที่เกี่ยวข้องแต่แยกต่างหาก โดยจะเปรียบเทียบเอกสารกับสื่อที่เผยแพร่และแหล่งข้อมูลอื่นๆ เพื่อค้นหาภาษาที่ตรงกัน ส่วนเครื่องมือตรวจจับ AI จะประเมินรูปแบบในงานเขียนที่ส่งเข้ามา ดังนั้น ข้อความที่เป็นต้นฉบับทั้งหมดจึงอาจได้รับเครื่องหมาย AI ในขณะที่งานเขียนของมนุษย์ที่ถูกคัดลอกมาอาจไม่มีสัญญาณที่ชัดเจนของการสร้างโดย AI

วิธีที่เครื่องมือตรวจจับ AI วิเคราะห์ข้อความ

เครื่องมือตรวจจับ AI จำนวนมากอาศัยตัวจัดประเภท (classifier) ซึ่งเป็นโมเดลการเรียนรู้ของเครื่องที่ได้รับการฝึกฝนจากตัวอย่างงานเขียนของมนุษย์และงานเขียนที่สร้างโดย AI ในขณะที่เปรียบเทียบทั้งสองอย่าง โมเดลจะเรียนรู้ว่ารูปแบบใดมักจะปรากฏในแต่ละประเภท รวมถึงรูปแบบในการเลือกคำและโครงสร้างประโยค จากนั้นจึงค้นหารูปแบบเหล่านั้นในข้อความใหม่และทำการทำนาย

สิ่งที่เครื่องมือตรวจจับเรียนรู้ขึ้นอยู่กับสิ่งที่เครื่องมือพบเห็นระหว่างการฝึกอบรม เครื่องมือที่ได้รับการฝึกอบรมจากงานเขียนที่มีขอบเขตจำกัดอาจประสบปัญหาเมื่อต้องเจอกับหัวข้อใหม่ สไตล์ที่ไม่คุ้นเคย หรือผลลัพธ์จากโมเดล AI ที่ไม่เคยพบมาก่อน งานวิจัยเกี่ยวกับประเภทข้อความและโมเดล AI ที่หลากหลายพบว่าประสิทธิภาพการตรวจจับอาจลดลงภายใต้เงื่อนไขเหล่านี้

บางวิธีใช้วิธีการที่แตกต่างออกไป แทนที่จะฝึกฝนตัวจัดประเภทแยกต่างหาก แต่กลับใช้การประมาณความน่าจะเป็นของโมเดลภาษาเองเพื่อตัดสินว่ามีความเป็นไปได้มากเพียงใดที่โมเดลจะผลิตข้อความนั้นขึ้นมา

• ตัวอย่างเช่น DetectGPT เปรียบเทียบข้อความต้นฉบับกับเวอร์ชันที่ถูกปรับเปลี่ยนเล็กน้อยเพื่อค้นหารูปแบบที่เชื่อมโยงกับการสร้างโดย AI งานวิจัยของระบบอธิบายวิธีนี้ว่าเป็นวิธีแบบ “zero-shot” เนื่องจากไม่ต้องใช้เครื่องมือตรวจจับที่ได้รับการฝึกฝนแยกต่างหาก ผลลัพธ์ที่ได้อาจรวมถึงคะแนนรวม ประโยคที่มีการไฮไลต์ หรือทั้งสองอย่าง
• GPTZero ระบุว่าไฮไลต์ของตนแสดงให้เห็นว่าประโยคใดมีอิทธิพลมากที่สุดต่อการทำนายโดยรวม เนื่องจากระบบยังประเมินเอกสารในวงกว้างด้วย ข้อความที่สแกนเพียงลำพังจึงอาจไม่ได้รับผลลัพธ์เดียวกันเมื่อปรากฏเป็นส่วนหนึ่งของเนื้อหาที่ยาวขึ้น

ผลลัพธ์ทุกรายการสะท้อนถึงทั้งตัวข้อความและระบบที่ทำการประเมิน ซึ่งเป็นสาเหตุที่ทำให้เครื่องมือตรวจจับที่แตกต่างกันสามารถได้ข้อสรุปที่แตกต่างกันเกี่ยวกับข้อความเดียวกัน

ขยาย

สิ่งที่ Perplexity และ burstiness วัดค่า

Perplexity และburstiness มักปรากฏขึ้นบ่อยครั้งในการอธิบายการตรวจจับ AI สิ่งเหล่านี้สามารถเปิดเผยรูปแบบที่มีประโยชน์ในชิ้นงานเขียนได้ แต่ไม่มีสิ่งใดที่บ่งบอกถึงวิถีการเขียนที่เป็นของ AI เพียงหนึ่งเดียวและเป็นเอกลักษณ์

รายละเอียดหนึ่งที่อาจสร้างความสับสนคือ perplexity ทำหน้าที่สองอย่างในที่นี้ หากเป็นตัวพิมพ์เล็ก จะเป็นมาตรวัดทางสถิติ แต่หากเป็นตัว P พิมพ์ใหญ่ จะหมายถึงพวกเรา

Perplexity วัดความสามารถในการคาดเดาของข้อความ

โมเดลภาษาสร้างข้อความโดยกำหนดความน่าจะเป็นให้กับโทเค็นถัดไปที่เป็นไปได้ ซึ่งอาจเป็นคำเต็มหรือส่วนของคำ Perplexity จะวัดว่าโมเดลสามารถคาดเดาโทเค็นในข้อความได้ดีเพียงใด

• Perplexity ต่ำ: ข้อความปฏิบัติตามรูปแบบที่โมเดลคุ้นเคย
• Perplexity สูงขึ้น: ใช้คำที่คาดเดาได้ยากกว่า

คะแนนนี้จะเฉพาะเจาะจงสำหรับโมเดลที่ทำการประเมินและวิธีการประมวลผลข้อความ ดังนั้นข้อความเดียวกันจึงอาจได้รับคะแนน perplexity ที่แตกต่างกันภายใต้การตั้งค่าที่ต่างกัน

ลองพิจารณาประโยคว่า “โปรดแจ้งให้ฉันทราบหากคุณมีคำถามใดๆ” โมเดลภาษาอาจเคยเจอคำพูดที่คล้ายคลึงกันนี้มาแล้วหลายครั้ง ทำให้แต่ละคำคาดเดาได้ค่อนข้างง่าย ซึ่งช่วยให้เราทราบข้อมูลบางอย่างเกี่ยวกับความคุ้นเคยของประโยค แต่ไม่ได้บอกอะไรที่เป็นข้อสรุปแน่นอนเกี่ยวกับผู้ที่เขียนประโยคนี้

Burstiness วัดว่ารูปแบบเหล่านั้นมีความแปรปรวนมากน้อยเพียงใด

Burstiness หรือความแปรปรวนของประโยค มักถูกนำมาใช้ในความหมายกว้างๆ ในการอภิปรายเกี่ยวกับการตรวจจับ AI โดยทั่วไปจะอธิบายถึงระดับการเปลี่ยนแปลงของงานเขียนตลอดทั้งข้อความ ซึ่งอาจรวมถึงความแตกต่างในความยาวและโครงสร้างของประโยค หรือการสลับระหว่างภาษาที่คาดเดาได้ง่ายกับภาษาที่น่าประหลาดใจมากกว่า

• Burstiness ต่ำ: ประโยคมีความยาว โครงสร้าง หรือจังหวะที่สม่ำเสมอมากขึ้น
• Burstiness สูงขึ้น: งานเขียนจะสลับไปมาระหว่างข้อความที่สั้น คำอธิบายที่ยาวขึ้น และการใช้สำนวนที่คาดเดาได้ยาก

ข้อความที่สร้างโดย AI บางส่วนมีความสอดคล้องและคาดเดาได้ ซึ่งเป็นสาเหตุที่ทำให้ burstiness เกี่ยวข้องกับการตรวจจับ งานเขียนของมนุษย์สามารถมีคุณสมบัติเหล่านี้ได้เช่นกัน โดยเฉพาะในบริบททางธุรกิจ วิชาการ และเทคนิค โมเดล AI ยังสามารถผลิตภาษาที่หลากหลายมากขึ้นเมื่อได้รับข้อความสั่งการหรือผ่านการแก้ไขให้ทำเช่นนั้น

GPTZero ระบุว่า perplexity และ burstiness เป็นสองในฟีเจอร์หลายอย่างที่เครื่องมือตรวจจับเวอร์ชันก่อนหน้าเคยใช้

สิ่งที่การวัดเหล่านี้แสดง: Perplexity และ burstiness อธิบายรูปแบบในข้อความ รูปแบบเหล่านั้นอาจช่วยอธิบายว่าเหตุใดข้อความจึงถูกทำเครื่องหมาย แต่ไม่สามารถระบุได้ว่าใครเป็นผู้เขียน

ความหมายของคะแนนจากเครื่องมือตรวจจับ AI

ผลลัพธ์ “AI 80%” ดูเหมือนจะเข้าใจได้ง่าย แต่ความหมายของผลลัพธ์นั้นขึ้นอยู่กับเครื่องมือตรวจจับ

GPTZero อธิบายว่าเปอร์เซ็นต์ดังกล่าวคือความน่าจะเป็นโดยประมาณของโมเดลที่ AI หรือมนุษย์เป็นผู้เขียนเอกสาร Turnitin ใช้เปอร์เซ็นต์นี้เพื่อแสดงว่าร้อยแก้วที่มีคุณสมบัติเหมาะสมจำนวนเท่าใดที่โมเดลของตนทำเครื่องหมายว่าอาจถูกสร้างขึ้นหรือถูกดัดแปลงด้วยเครื่องมือ AI บางชนิด

ดังนั้นป้ายกำกับ “AI 80%” แบบเดียวกันจึงอาจหมายถึง:

• เครื่องมือตรวจจับประเมินว่ามีโอกาส 80% ที่ AI จะสร้างเอกสารนี้ขึ้นมา
• เครื่องมือตรวจจับได้ทำเครื่องหมายข้อความร้อยแก้ว 80% ที่ประเมิน

นั่นคือการค้นพบที่แตกต่างกัน ผลลัพธ์หนึ่งเป็นการทำนายเกี่ยวกับเอกสารโดยรวม ส่วนอีกผลลัพธ์หนึ่งระบุสัดส่วนของข้อที่ตรงกับเกณฑ์ของเครื่องมือตรวจจับ

คะแนนความน่าจะเป็นจำเป็นต้องมีการตรวจสอบอีกอย่างหนึ่ง นั่นคือ การปรับเทียบ (calibration) หากเครื่องมือตรวจจับให้เอกสาร 100 ฉบับมีความน่าจะเป็นของ AI ประมาณ 80% เอกสารประมาณ 80 ฉบับควรถูกสร้างขึ้นโดย AI จริงๆ เพื่อให้คะแนนนั้น ได้รับการปรับเทียบอย่างดี การทดสอบโมเดลกับตัวอย่างที่มีแหล่งที่มาที่ทราบแน่ชัดจะแสดงให้เห็นว่าความน่าจะเป็นของโมเดลสอดคล้องกับผลลัพธ์จริงมากน้อยเพียงใด

เปอร์เซ็นต์อาจดูแม่นยำก่อนที่จะมีความชัดเจนเกี่ยวกับความหมายหรือความน่าเชื่อถือ ป้ายกำกับ วิธีการให้คะแนน และประสิทธิภาพของเครื่องมือตรวจจับ ล้วนเป็นตัวกำหนดสิ่งที่ตัวเลขนั้นสามารถสนับสนุนได้

ขยาย

เกณฑ์การตัดเป็นตัวกำหนดสิ่งที่จะถูกทำเครื่องหมาย

เครื่องมือตรวจจับยังคงต้องตัดสินใจว่าเมื่อใดที่คะแนนสูงพอที่จะดำเนินการ เส้นแบ่งนั้นเรียกว่าเกณฑ์การตัด (cutoff) หรือเกณฑ์ (threshold)

สมมติว่าเครื่องมือให้คะแนนข้อความตั้งแต่ 0 ถึง 100 และทำเครื่องหมายทุกคะแนนที่สูงกว่า 70 การเลื่อนจุดตัดไปที่ 60 จะทำให้คะแนนทุกคะแนนไม่เปลี่ยนแปลง แต่จะเพิ่มจำนวนเอกสารที่ถูกทำเครื่องหมาย

• เกณฑ์การตัดที่ต่ำกว่าโดยทั่วไปจะตรวจพบงานเขียนที่สร้างโดย AI ได้มากขึ้น แต่ก็ทำให้มีการทำเครื่องหมายงานเขียนของมนุษย์ที่ไม่ถูกต้องมากขึ้นด้วยเช่นกัน
• เกณฑ์การตัดที่สูงขึ้นจะช่วยลดการทำเครื่องหมายที่ไม่ถูกต้อง ในขณะเดียวกันก็ปล่อยให้งานเขียนที่สร้างโดย AI เล็ดลอดการตรวจจับไปได้มากขึ้น การแลกเปลี่ยนนี้ใช้ได้กับระบบการจัดประเภทในวงกว้าง

ความผิดพลาดที่เป็นไปได้สองประการมีชื่อเรียกที่แตกต่างกัน

• ผลบวกปลอมเกิดขึ้นเมื่อมีการทำเครื่องหมายงานเขียนของมนุษย์ว่าเป็นข้อความที่สร้างโดย AI
• ผลลบปลอมเกิดขึ้นเมื่อข้อความที่สร้างโดย AI เล็ดลอดการตรวจจับไปได้

จุดที่เครื่องมือตรวจจับขีดเส้นไว้สะท้อนถึงข้อผิดพลาดที่เครื่องมือถูกออกแบบมาเพื่อหลีกเลี่ยง ทางเลือกนั้นมีน้ำหนักมากยิ่งขึ้นเมื่อการทำเครื่องหมายอาจส่งผลต่อเกรด งาน หรือความน่าเชื่อถือของใครบางคน

อัตราความผิดพลาด 2% สามารถสร้างการทำเครื่องหมายที่ไม่ถูกต้องเกือบ 30% ได้อย่างไร

ผลกระทบของอัตราผลบวกปลอม 2% ขึ้นอยู่กับปริมาณงานเขียนของมนุษย์ที่เครื่องมือตรวจจับตรวจสอบ

ลองพิจารณาบทความสมมติจำนวน 1,000 บทความ:

• 50 บทความสร้างโดย AI
• 950 บทความเขียนโดยมนุษย์
• เครื่องมือตรวจจับสามารถจับบทความที่สร้างโดย AI ได้ 90%
• เครื่องมือทำเครื่องหมายบทความที่มนุษย์เขียนอย่างไม่ถูกต้อง 2%

นี่คือสิ่งที่เกิดขึ้น:

เครื่องมือตรวจจับระบุข้อความรวมทั้งหมด 64 บทความ ในจำนวนนี้มี 19 บทความที่มนุษย์เขียน ดังนั้นเกือบ 30% ของการระบุจึงไม่ถูกต้อง

ตัวเลข 2% และ 30% วัดค่าคนละอย่างกัน เครื่องมือตรวจจับระบุข้อความที่มนุษย์เขียนว่าเป็น AI อย่างไม่ถูกต้อง 2% ข้อผิดพลาดเหล่านั้นจึงคิดเป็นเกือบ 30% ของข้อความทั้งหมดที่เครื่องมือนี้ตรวจจับพบ

ตัวเลขเหล่านี้รวมกันในลักษณะนี้เนื่องจากเครื่องมือตรวจจับได้ตรวจสอบบทความที่มนุษย์เขียนมากกว่าบทความที่สร้างโดย AI เป็นอย่างมาก แม้อัตราความผิดพลาดจะต่ำ แต่ก็สามารถสร้างจำนวนการทำเครื่องหมายที่ไม่ถูกต้องที่มีนัยสำคัญได้เมื่อนำไปใช้กับกลุ่มที่มีขนาดใหญ่กว่ามาก

คำว่า อัตราฐาน (base rate) อธิบายว่างานเขียนที่สร้างโดย AI มีความทั่วไปมากน้อยเพียงใดในวัสดุกำลังตรวจสอบ เมื่อสัดส่วนนั้นเปลี่ยนไป ความหมายของผลลัพธ์ที่เป็นบวกก็จะเปลี่ยนไปด้วย หากอัตราผลบวกที่แท้จริงและอัตราผลบวกปลอมของเครื่องมือตรวจจับยังคงเท่าเดิม โดยทั่วไปการทำเครื่องหมายจะมีความน่าเชื่อถือมากขึ้นเมื่อมีงานเขียนที่สร้างโดย AI ทั่วไปในคอลเลกชัน และจะมีความน่าเชื่อถือน้อยลงเมื่อพบได้น้อย

ตัวเลขเหล่านี้เป็นเพียงสมมติฐานและไม่ได้อธิบายถึงเครื่องมือตรวจจับใดเครื่องมือหนึ่งโดยเฉพาะ ในการตรวจสอบจริง สัดส่วนของงานเขียนที่สร้างโดย AI มักจะไม่ทราบแน่ชัด ความไม่แน่นอนนั้นคืออีกเหตุผลหนึ่งที่ควรปฏิบัติกับผลการทำเครื่องหมายว่าเป็นเหตุผลในการตรวจสอบอย่างละเอียดถี่ถ้วน มากกว่าที่จะเป็นเครื่องพิสูจน์ว่าเอกสารนั้นถูกเขียนขึ้นมาอย่างไร

ความแม่นยำขึ้นอยู่กับสิ่งที่เครื่องมือตรวจจับได้รับการทดสอบมา

อัตราความแม่นยำอธิบายถึงประสิทธิภาพภายใต้ชุดเงื่อนไขเฉพาะ ก่อนที่จะนำอัตรานั้นไปใช้กับงานเขียนชิ้นอื่น ให้ตรวจสอบ:

• เวอร์ชันของเครื่องมือตรวจจับ
• ความยาว ภาษา หัวข้อ และรูปแบบของข้อความ
• โมเดล AI และการตั้งค่าที่ใช้ในการสร้างวัสดุทดสอบ
• ข้อความได้รับการแก้ไขหรือดัดแปลงโดยเจตนาหรือไม่
• ผู้เขียนที่มีรายชื่ออยู่ในกลุ่มตัวอย่างที่มนุษย์เขียน

เริ่มต้นด้วยอินพุตที่เครื่องมือรองรับ

ตัวอย่างเช่น Turnitin ต้องใช้ข้อความร้อยแก้วขนาดยาวอย่างน้อย 300 คำ โดยระบุว่าโมเดลของตนไม่สามารถตรวจจับบทกวี บทละคร โค้ด หรือรูปแบบที่ไม่ใช่ร้อยแก้วอื่นๆ ที่สร้างโดย AI ได้อย่างน่าเชื่อถือ ดังนั้น ประสิทธิภาพที่ยอดเยี่ยมในเรียงความจึงไม่ได้บ่งบอกอะไรมากนักเกี่ยวกับวิธีที่เครื่องมือตรวจจับตัวเดียวกันจะจัดการกับบทกวีหรืออีเมลสั้นๆ

เปรียบเทียบการทดสอบกับงานเขียนในโลกแห่งความเป็นจริง

ในปี 2024 นักวิจัยได้ทดสอบเครื่องมือตรวจจับ 12 รายการโดยใช้ RAID ซึ่งเป็นชุดข้อมูลมาตรฐานที่มีข้อความที่สร้างโดย AI มากกว่า 6 ล้านรายการจาก 11 โมเดลและ 8 สาขาวิชา ประิทธิภาพลดลงเมื่อเครื่องมือตรวจจับพบโมเดลที่ไม่คุ้นเคย การตั้งค่าการสร้างที่แตกต่างกัน หรือข้อความที่ถูกดัดแปลงโดยเจตนา

การแข่งขันในปี 2025 โดยใช้ชุดข้อมูล RAID ให้ผลลัพธ์ที่ดีขึ้นภายใต้เงื่อนไขที่คุ้นเคย ผู้เข้าร่วมหลายรายสามารถตรวจจับข้อความที่เครื่องจักรสร้างขึ้นได้มากกว่า 99% ในขณะที่รักษาอัตราผลบวกปลอมไว้ที่ 5% หัวข้อและโมเดล AI ที่ใช้ในการทดสอบนี้มีอยู่ในข้อมูลการฝึกอบรมด้วยเช่นกัน

โดยรวมแล้ว ผลลัพธ์แสดงให้เห็นว่าเครื่องมือตรวจจับสามารถทำงานได้ดีกับวัสดุที่หลากหลายซึ่งได้รับการฝึกฝนให้จดจำ ในขณะที่วัสดุที่ไม่คุ้นเคยยังคงยากต่อการประเมิน

ดูว่ามีใครบ้างที่มีส่วนร่วม

ใน การศึกษาในปี 2023 เครื่องมือตรวจจับเจ็ดรายการจัดประเภทเรียงความ TOEFL จำนวน 91 บทความที่เขียนโดยผู้ที่ไม่ใช่เจ้าของภาษาอังกฤษว่าเป็นงานที่สร้างโดย AI อย่างไม่ถูกต้องโดยเฉลี่ย 61.3% ผลลัพธ์ดังกล่าวใช้ได้กับเครื่องมือและกลุ่มตัวอย่างที่ทดสอบในขณะนั้น และยังแสดงให้เห็นว่าอัตราความถูกต้องโดยรวมอาจไม่ได้อธิบายประสิทธิภาพได้ดีเท่ากันสำหรับกลุ่มผู้เขียนทุกคน

วิธีอ่านการอ้างสิทธิ์ความแม่นยำ: ยิ่งข้อความที่ส่งเข้ามามีความใกล้เคียงกับวัสดุที่ใช้ในการทดสอบมากเท่าใด ผลลัพธ์ที่มีการรายงานก็จะยิ่งมีความเกี่ยวข้องมากขึ้นเท่านั้น

เอกสารฉบับสุดท้ายแสดงให้เห็นกระบวนการเขียนเพียงบางส่วนเท่านั้น

AI สามารถมีบทบาทได้หลายอย่างในกระบวนการเขียน บางคนอาจใช้มันเพื่อค้นคว้าหัวข้อ จัดระเบียบโน้ต แปลข้อความ ขัดเกลาประโยค หรือสร้างร่างแรก

เวิร์กโฟลว์เหล่านั้นสามารถนำไปสู่เอกสารที่แตกต่างกันมาก ผู้เขียนคนหนึ่งอาจใช้ AI เพื่อการค้นคว้าและเขียนทุกประโยคด้วยตนเอง อีกคนหนึ่งอาจเขียนร่างที่สร้างโดย AI ใหม่เกือบทั้งหมด คนที่สามอาจเพิ่มย่อหน้าที่สร้างขึ้นหนึ่งย่อหน้าลงในบทความที่มนุษย์เขียนเป็นส่วนใหญ่

เครื่องมือตรวจจับข้อความมองเห็นเฉพาะคำที่ถูกส่งเข้ามา โดยไม่สามารถเข้าถึงข้อความสั่งการ การแก้ไข หรือการตัดสินใจที่เกิดขึ้นก่อนหน้านั้น คะแนนของเครื่องมือไม่สามารถสร้างกระบวนการเขียนทั้งหมดขึ้นมาใหม่ได้ หรือระบุได้ว่าผู้เขียนปฏิบัติตามนโยบายเฉพาะหรือไม่ ตัวอย่างเช่น

• โรงเรียนอาจอนุญาตให้มีการระดมความคิดแต่กำหนดให้นักเรียนต้องเขียนงานด้วยตนเอง
• สำนักพิมพ์อาจอนุญาตให้มีการแก้ไขด้วยความช่วยเหลือของ AI เมื่อมีการเปิดเผย
• สถานที่ทำงานอาจให้ความสำคัญกับความถูกต้องตามข้อเท็จจริง การรักษาความลับ หรือการอ้างอิงแหล่งที่มามากกว่าการพิจารณาว่า AI มีส่วนร่วมในการใช้คำหรือไม่

การบังคับใช้กฎเหล่านี้จำเป็นต้องอาศัยหลักฐานเกี่ยวกับกระบวนการทำงานรวมถึงข้อความที่เสร็จสมบูรณ์ ประวัติฉบับร่าง บันทึกการค้นคว้า และคำอธิบายของผู้เขียนสามารถให้บริบทที่เครื่องมือตรวจจับไม่สามารถให้ได้ Turnitin แนะนำอย่างชัดเจนไม่ให้ผู้สอนใช้คะแนนการเขียนด้วย AI เป็นพื้นฐานเพียงอย่างเดียวในการลงโทษนักเรียน

เครื่องมือตรวจจับสามารถระบุภาษาที่มีลักษณะคล้ายกับรูปแบบที่เกี่ยวข้องกับ AI ได้ การตัดสินว่าเกิดอะไรขึ้นและได้รับอนุญาตหรือไม่นั้นต้องอาศัยการตรวจสอบในวงกว้างกว่า

ลายน้ำเพิ่มสัญญาณอีกรูปแบบหนึ่ง

ระบบ AI บางระบบสามารถเพิ่มรูปแบบที่ตรวจจับได้ในขณะที่สร้างข้อความ กระบวนการนี้เรียกว่าการใส่ลายน้ำ (watermarking)

วิธีทำงานของลายน้ำข้อความ

Google DeepMind SynthID เป็นหนึ่งในตัวอย่าง:

1. ระบบปรับความน่าจะเป็นของโทเค็น ระบบจะเปลี่ยนโอกาสที่โมเดลจะเลือกคำบางคำหรือบางส่วนของคำเล็กน้อย
2. ทางเลือกเหล่านั้นสร้างเป็นรูปแบบขึ้นมา ลายน้ำถูกออกแบบมาให้อ่านไม่ออกสำหรับผู้อ่าน
3. เครื่องมือตรวจจับที่เข้ากันได้จะทำการตรวจสอบ เครื่องมือตรวจจับจะวิเคราะห์ข้อความเพื่อหาสัญญาณทางสถิติที่คาดไว้

เนื่องจากรูปแบบถูกเพิ่มเข้ามาในระหว่างกระบวนการสร้าง จึงสามารถให้ข้อมูลที่ผูกติดกับระบบที่สร้างข้อความนั้นๆ ได้

ข้อจำกัดของการตรวจจับลายน้ำ

• ระบบสร้างต้องเป็นผู้เพิ่มลายน้ำนี้ ระบบ AI จำเป็นต้องรองรับและใช้งานลายน้ำ การที่ไม่มีลายน้ำไม่ได้หมายความว่ามนุษย์เป็นผู้เขียนข้อความนั้น
• รูปแบบต้องเหลืออยู่เพียงพอ Google รายงานว่า SynthID สามารถทนต่อการตัดทอน การเปลี่ยนคำ และการเรียบเรียงใหม่เล็กน้อยได้ การเขียนใหม่หรือการแปลอย่างกว้างขวางอาจลดความมั่นใจลงได้

ลายน้ำสามารถเสริมความแข็งแกร่งให้กับหลักฐานได้เมื่อระบบที่เข้ากันได้สร้างข้อความนั้นขึ้นมาและสัญญาณยังคงหลงเหลืออยู่พอสมควร แต่ไม่สามารถระบุงานเขียนที่สร้างโดย AI ทุกชิ้นได้

บันทึกข้อมูลอื่น ๆ สามารถเติมเต็มภาพรวมให้สมบูรณ์ยิ่งขึ้น

• ประวัติฉบับร่างแสดงให้เห็นว่าเอกสารเปลี่ยนแปลงไปตามกาลเวลาอย่างไร
• บันทึกการค้นคว้าเชื่อมโยงข้ออ้างเข้ากับแหล่งที่มา
• การโต้ตอบกับ AI ที่มีการเปิดเผย แสดงให้เห็นจุดที่มีเครื่องมือเข้ามามีส่วนร่วม

บันทึกเหล่านี้ให้บริบทโดยตรงเกี่ยวกับกระบวนการเขียนมากกว่าคะแนนที่อิงตามรูปแบบเพียงอย่างเดียว

ถือว่าการทำเครื่องหมายเป็นจุดเริ่มต้นของการตรวจสอบ

ผลลัพธ์จากเครื่องมือตรวจจับจะมีประโยชน์มากขึ้นเมื่อมีบทบาทหน้าที่ชัดเจน ก่อนที่จะดำเนินการใดๆ ตามผลที่ถูกทำเครื่องหมาย ผู้ตรวจสอบควรทำความเข้าใจว่าเครื่องมือวัดค่าอะไร ตรวจสอบว่าข้อความนั้นอยู่ในขอบเขตของเครื่องมือหรือไม่ และตรวจสอบหลักฐานอื่นๆ ที่มี

การตรวจสอบ 5 ประการสามารถช่วยได้:

1. อ่านคำจำกัดความของคะแนน พิจารณาว่าเปอร์เซ็นต์ดังกล่าวแสดงถึงความน่าจะเป็นในระดับเอกสารหรือสัดส่วนของข้อความที่ถูกทำเครื่องหมายไว้
2. ตรวจสอบขอบเขตของเครื่องมือ ยืนยันว่าภาษา ความยาว และรูปแบบของเอกสารตรงกับสิ่งที่เครื่องมือตรวจจับรองรับ
3. ตรวจสอบหลักฐาน ตรวจสอบข้อความที่ไฮไลต์ควบคู่ไปกับร่าง บันทึกแหล่งที่มา และคำอธิบายของผู้เขียน
4. ใช้นโยบายที่เกี่ยวข้อง ระบุว่าการใช้ AI รูปแบบใดบ้างที่ได้รับอนุญาตและหลักฐานใดที่จะแสดงให้เห็นถึงการละเมิด
5. ประเมินตัวผลงานเอง ตรวจสอบความถูกต้องตามข้อเท็จจริง การอ้างอิงแหล่งที่มา ความเป็นต้นฉบับ และคุณภาพด้วยตัวของมันเอง

ระดับความสำคัญควรเป็นตัวกำหนดความละเอียดของการตรวจสอบ บรรณาธิการอาจใช้ผลการตรวจจับเพื่อตัดสินว่าบทความใดควรได้รับการตรวจสอบซ้ำ การตัดสินใจที่มีผลต่อเกรด งาน หรือสัญญาการพิมพ์จำเป็นต้องมีหลักฐานที่หนักแน่นกว่าและเปิดโอกาสให้ผู้เขียนได้อธิบายกระบวนการทำงานของตน

เครื่องมือตรวจจับ AI บีบอัดการตัดสินใจที่ซับซ้อนให้กลายเป็นคะแนน การตีความคะแนนนั้นจำเป็นต้องอาศัยข้อมูลที่ตัวเลขไม่ได้ระบุไว้ ได้แก่ สิ่งที่เครื่องมือวัด เกณฑ์ที่ใช้ ประสิทธิภาพของเครื่องมือเมื่อเทียบกับงานเขียนที่เทียบเคียงได้ และความแพร่หลายของข้อความที่สร้างโดย AI ในวัสดุที่กำลังตรวจสอบ คะแนนสามารถชี้นำความสนใจได้ คะแนนจากเครื่องมือตรวจจับสามารถมีส่วนร่วมในการตรวจสอบนั้นได้ แต่ข้อสรุปใดๆ เกี่ยวกับความเป็นผู้ประพันธ์ยังจำเป็นต้องอาศัยหลักฐานเกี่ยวกับกระบวนการเขียนด้วย

คำถามที่พบบ่อย

เครื่องมือตรวจจับ AI สามารถผิดพลาดได้หรือไม่?

ใช่ ผลบวกปลอม (false positive) เกิดขึ้นเมื่อเครื่องมือตรวจจับระบุงานเขียนของมนุษย์ว่าเป็นข้อความที่สร้างโดย AI ผลลบปลอม (false negative) เกิดขึ้นเมื่อข้อความที่สร้างโดย AI เล็ดลอดการตรวจจับไปได้ ความถี่ของข้อผิดพลาดแต่ละประเภทขึ้นอยู่กับเครื่องมือตรวจจับ เกณฑ์ของเครื่องมือ และความคล้ายคลึงกันระหว่างข้อความที่ส่งกับข้อมูลที่ใช้ทดสอบ

เครื่องมือตรวจจับ AI มีความแม่นยำแค่ไหน?

ไม่มีอัตราความแม่นยำเพียงอัตราเดียวสำหรับเครื่องมือตรวจจับ AI ประสิทธิภาพอาจแตกต่างกันไปตามภาษา ความยาว หัวข้อ รูปแบบการเขียน โมเดลผู้สร้าง และปริมาณการแก้ไข การอ้างสิทธิ์ความแม่นยำจะมีประโยชน์มากที่สุดเมื่อเงื่อนไขการทดสอบคล้ายคลึงกับงานเขียนที่กำลังตรวจสอบ และผลลัพธ์รายงานทั้งผลบวกปลอมและผลการตรวจจับที่สำเร็จ

เปอร์เซ็นต์การตรวจจับ AI หมายถึงอะไร?

คำจำกัดความขึ้นอยู่กับเครื่องมือ โดยอาจแสดงถึงความน่าจะเป็นโดยประมาณที่เอกสารจะถูกสร้างขึ้นโดย AI เปอร์เซ็นต์ของร้อยแก้วที่มีคุณสมบัติเหมาะสมที่ถูกทำเครื่องหมาย หรือรูปแบบความมั่นใจในผลลัพธ์ เอกสารประกอบของเครื่องมือตรวจจับควรอธิบายว่ามีการรายงานการวัดใดบ้าง

เครื่องมือตรวจจับ AI สามารถพิสูจน์ได้หรือไม่ว่ามีคนใช้ AI?

คะแนนจากเครื่องมือตรวจจับเพียงอย่างเดียวไม่สามารถพิสูจน์ได้ว่าสร้างเอกสารขึ้นมาอย่างไร เนื่องจากเครื่องมือนี้วิเคราะห์ข้อความที่ส่งเข้ามาโดยไม่ได้เห็นข้อความสั่งการ ฉบับร่าง การแก้ไข หรือการค้นคว้าเบื้องหลัง การตรวจสอบที่น่าเชื่อถือจะต้องพิจารณาคะแนนควบคู่ไปกับหลักฐานของกระบวนการทำงานและนโยบายที่ควบคุมการใช้ AI ที่ยอมรับได้

เหตุใดยานเขียนของมนุษย์จึงมักถูกทำเครื่องหมายว่าเป็น AI?

งานเขียนของมนุษย์และงานเขียนที่สร้างโดย AI สามารถมีรูปแบบทางสถิติที่เหมือนกันได้ ภาษาที่เป็นสูตรสำเร็จ การใช้สำนวนที่คาดเดาได้ คำศัพท์ที่จำกัด หรือสไตล์ที่แตกต่างจากข้อมูลการฝึกอบรมของเครื่องมือตรวจจับ อาจส่งผลให้เกิดผลบวกปลอม งานวิจัยยังพบด้วยว่าเครื่องมือตรวจจับบางตัวที่ทดสอบในปี 2023 ได้ทำเครื่องหมายเรียงความที่เขียนโดยผู้ที่ไม่ใช่เจ้าของภาษาอังกฤษในสัดส่วนที่สูงเกินจริง