การเรียนรู้จากประสบการณ์จริง

วิธีที่ผู้ใช้โต้ตอบกับผลิตภัณฑ์ของเราในโลกแห่งความเป็นจริงถือเป็นแหล่งข้อมูลที่มีค่าสำหรับการฝึกอบรมโมเดล ข้อมูลมีปริมาณมาก สะท้อนถึงการแจกแจงที่แท้จริงของงานของผู้ใช้ และบันทึกการแก้ไขของผู้ใช้รวมถึงข้อผิดพลาดของเครื่องมือที่สภาพแวดล้อมจำลองอาจมองข้ามไป

วิธีทั่วไปในการเรียนรู้จากข้อมูลในโลกแห่งความเป็นจริงคือการปรับแต่งการสุ่มตัวอย่างปฏิเสธ (rejection sampling fine-tuning): ประเมินผลลัพธ์ของแต่ละเซสชัน เก็บเซสชันที่สำเร็จไว้ และฝึกโมเดลให้เลียนแบบเซสชันเหล่านั้น แต่ผลลัพธ์ที่สำเร็จไม่ได้หมายความว่าทุกขั้นตอนจะถูกต้อง ดังนั้นการเลียนแบบวิถีทั้งหมดจึงมีความเสี่ยงที่จะเป็นการเสริมพฤติกรรมระดับกลางที่แย่เพิ่มเติมเข้าไปในพฤติกรรมที่ดี การละทิ้งเซสชันที่ไม่สำเร็จยังทำให้สูญเสียหลักฐานสำคัญว่าโมเดลบกพร่องที่จุดใดอีกด้วย

เราผสมผสานการจูนละเอียดด้วยการสุ่มตัวอย่างปฏิเสธ (rejection sampling fine-tuning) เข้ากับการกลั่นตัวเองด้วยคำใบ้นำทาง (hint-guided self-distillation) เพื่อเรียนรู้จากทั้งเซสชันที่สำเร็จและไม่สำเร็จ คำใบ้คือคำสั่งแก้ไขสั้น ๆ ที่อิงตามข้อมูลที่โมเดลมีอยู่แล้วตอนที่ทำข้อผิดพลาด ขั้นตอนที่มีประโยชน์จากเซสชันที่สำเร็จจะยังคงเป็นเป้าหมายในการเลียนแบบ ในขณะที่คำใบ้ที่อิงตามข้อมูลจะเปลี่ยนข้อผิดพลาดที่หลีกเลี่ยงได้ให้เป็นเป้าหมายในการแก้ไข

การแก้ไขของผู้ใช้และข้อผิดพลาดของเครื่องมือเพิ่มการกำกับดูแลเกี่ยวกับสิ่งที่ผิดพลาดไปในระหว่างทาง นอกเหนือจากเรื่องที่ว่างานประสบความสำเร็จในท้ายที่สุดหรือไม่ เรานำขั้นตอนนี้มาใช้หลังจากการเรียนรู้เสริมแรงในสภาพแวดล้อมสังเคราะห์ เพื่อช่วยลดช่องว่างระหว่างสภาพแวดล้อมเหล่านั้นกับการใช้งานในโลกแห่งความเป็นจริง

ในการใช้งานจริง เช็คพอยต์ GLM-5.2 ที่ผ่านการฝึกหลังการฝึกฝน (post-trained) รุ่นหลัง สามารถลดความล้มเหลวในการเรียกใช้เครื่องมือลงได้ 21.2% เมื่อเทียบกับเช็คพอยต์ที่ฝึกมาก่อนหน้า สำหรับ GLM-5.3 การฝึกหลังการฝึกฝนช่วยลดความล้มเหลวในการเรียกใช้เครื่องมือลง 33.0% และลดความน่าจะเป็นเฉลี่ยที่ประเมินได้ของผู้ใช้ที่ไม่พอใจในระดับปานกลางหรือสูงลง 17.2% เมื่อเทียบกับโมเดลพื้นฐาน

งานสังเคราะห์ช่วยให้เราสร้างปัญหาที่มีการควบคุมซึ่งมีผลลัพธ์ที่ตรวจสอบได้ง่าย แต่โดยทั่วไปแล้วงานเหล่านี้จะจำกัดอยู่แค่พรอมต์เดียวและสามารถครอบคลุมได้เฉพาะสถานการณ์ที่เราออกแบบไว้อย่างชัดเจนเท่านั้น

ในทางตรงกันข้าม ผู้ใช้ในเซสชันในโลกแห่งความเป็นจริงนำคำแนะนำ บริบท และการผสมผสานเครื่องมือที่หลากหลายเข้ามาในเซสชันที่ดำเนินไปในหลายรอบการโต้ตอบ การใช้งานจริงในลักษณะนี้นำมาซึ่งสัญญาณข้อผิดพลาดที่มีค่าสองประการตามธรรมชาติ ได้แก่ การแก้ไขของผู้ใช้เปิดเผยจุดที่เอเจนต์ไม่สามารถส่งมอบสิ่งที่พวกเขาต้องการได้ และข้อผิดพลาดของเครื่องมือแสดงให้เห็นจุดที่การดำเนินการพังทลายลงในสภาพแวดล้อมจริง ไปพไลน์การสุ่มตัวอย่างของเราเคารพความเป็นส่วนตัวของผู้ใช้และตัวเลือกการฝึกอบรมโดยการยกเว้นเซสชันที่มีข้อมูลที่สามารถระบุตัวบุคคลได้ (PII) และเซสชันจากผู้ใช้ที่เลือกไม่เข้าร่วม

ดังนั้น ข้อมูลในโลกแห่งความเป็นจริงจึงมอบกรณีความล้มเหลวที่สภาพแวดล้อมสังเคราะห์อาจไม่เปิดเผย และมักมาพร้อมกับจุดที่เกิดความล้มเหลวซึ่งถูกฝังมาให้อยู่แล้ว

เมื่อฝึกอบรมกับข้อมูลในโลกแห่งความเป็นจริง การปรับแต่งการสุ่มตัวอย่างปฏิเสธ (rejection sampling fine-tuning หรือ RFT) แบบมาตรฐานจะเลือกเซสชันที่สำเร็จตามผลลัพธ์สุดท้าย โดยไม่ได้ใช้ความคิดเห็นของผู้ใช้และเครื่องมืออย่างชัดเจนเพื่อแยกแยะการกระทำระดับกลางที่ดีออกจากกระบวนการที่แย่ เอเจนต์อาจกู้คืนจากการเรียกใช้เครื่องมือที่ผิดพลาดหรือแก้ไขข้อผิดพลาดหลังจากได้รับข้อเสนอแนะจากผู้ใช้ และยังคงส่งมอบผลลัพธ์ที่ถูกต้องในตอนท้ายได้

การละทิ้งเซสชันที่ล้มเหลวยังเป็นการจำกัดประสิทธิภาพของตัวอย่างด้วย เซสชันที่ไม่เคยบรรลุผลลัพธ์ที่ดีอาจยังคงเผยให้เห็นข้อผิดพลาดที่ชัดเจนและหลีกเลี่ยงได้ ซึ่งใช้เป็นสัญญาณการฝึกอบรมที่มีประโยชน์

เราแก้ไขข้อจำกัดเหล่านี้ด้วยการแยกการตัดสินใจสองประการออกจากกัน ได้แก่ เซสชันใดที่มีพฤติกรรมคุ้มค่าแก่การเลียนแบบ และรอบการทำงานใดที่มีข้อผิดพลาดคุ้มค่าแก่การแก้ไข ไปพไลน์ข้อมูลทำการตัดสินใจเหล่านี้แยกกัน จากนั้นจึงกำหนดการปฏิบัติงาน (treatment) หนึ่งในสามแบบให้กับรอบการทำงานของโมเดล:

เลียนแบบ: รอบการทำงานที่ไม่ใช่ข้อผิดพลาดในเซสชันที่สำเร็จจะได้รับ ค่าความสูญเสียความเอนเอียงข้าม (Cross-Entropy: CE) ปกติ ซึ่งช่วยเพิ่มความน่าจะเป็นของโทเค็นที่บันทึกไว้
ถูกต้อง: ทั้งในเซสชันที่สำเร็จและไม่สำเร็จ รอบข้อผิดพลาดที่มีคำใบ้ที่ถูกต้องจะได้รับ ค่าความสูญเสียความแตกต่างแบบคัลแบ็ก–ไลบ์เลอร์ (KL) ซึ่งผลักดันให้โมเดลเข้าหาการคาดการณ์โทเค็นถัดไปที่ทำขึ้นเมื่อเห็นคำใบ้นั้น
เก็บไว้เป็นบริบท: รอบการทำงานในเซสชันที่ไม่สำเร็จซึ่งไม่มีคำใบ้ที่ได้รับการตรวจสอบ และรอบการทำงานที่ทำเครื่องหมายว่าไม่ดีโดยไม่มีคำใบ้ที่ได้รับการตรวจสอบในประเภทเซสชันใดๆ จะทำหน้าที่เป็นบริบท แต่จะไม่ได้รับค่าความสูญเสีย (loss) ใดๆ

ด้วยเหตุนี้ เซสชันที่สำเร็จจึงสามารถจัดหาทั้งเป้าหมายการเลียนแบบและการแก้ไข ในขณะที่เซสชันที่ไม่สำเร็จจะจัดหาเฉพาะเป้าหมายการแก้ไขเท่านั้น รอบการทำงานที่เหลือทั้งหมด รวมถึงระบบ ผู้ใช้ และผลลัพธ์ของเครื่องมือ จะยังคงอยู่เป็นบริบท

แผนผังการกำหนดเส้นทางเซสชัน: เซสชันที่สำเร็จให้การเลียนแบบ CE และการแก้ไขที่มีคำใบ้ที่มีสิทธิ์ ส่วนเซสชันที่ไม่สำเร็จให้เฉพาะการแก้ไขที่มีสิทธิ์เท่านั้น — การกำหนดเส้นทางเซสชันปัจจุบันและมาสก์เนื้อหาของผู้ช่วย เซสชันที่สำเร็จจะมีส่วนร่วมในเป้าหมายการเลียนแบบ บันทึกข้อเสนอแนะที่เก็บไว้สามารถมีส่วนร่วมในการแก้ไขที่มีคำใบ้ได้แม้ว่าเซสชันจะไม่สำเร็จ เนื้อหาอื่นๆ จะยังคงอยู่เป็นบริบท เซสชันที่ไม่สมบูรณ์จะไม่ถูกนำมารวมด้วย ข้อยกเว้น CE ของโทเค็นหยุด/ให้ผลผลิตที่ไม่ใช่ขั้นตอนสุดท้ายไม่ได้แสดงไว้ และแผนผังนี้ไม่ได้กำหนดส่วนผสมที่ใช้โดยจุดตรวจสอบก่อนหน้า

ส่วนการเลียนแบบใช้ RFT มาตรฐาน ส่วนการแก้ไขใช้ On-Policy Self-Distillation (OPSD): โมเดลเดียวกันทำหน้าที่เป็นทั้งครูและนักเรียน โดยครูจะได้รับข้อมูลพิเศษเฉพาะ (privileged information) ในที่นี้ ข้อมูลพิเศษเฉพาะดังกล่าวคือคำใบ้สั้นๆ ที่อธิบายข้อผิดพลาดที่สามารถหลีกเลี่ยงได้ เราฝึกให้นักเรียนจับคู่การคาดการณ์โทเค็นถัดไปของครูโดยไม่ต้องส่งคำใบ้ให้

ทั้งสองส่วนมีความสำคัญ การฝึกอบรมแบบแก้ไขอย่างเดียวอาจเปิดช่องโหว่: ครูและนักเรียนอาจเห็นพ้องต้องกันโดยการละเลยบริบทแทนที่จะเรียนรู้การแก้ไข ข้อกำหนด CE ยึดโยงการฝึกอบรมเข้ากับพฤติกรรมที่มีประโยชน์ ซึ่งช่วยลดความตกลงที่เกิดจากการละเลยบริบท

นักเรียนที่ผ่านการฝึกอบรมภายหลังจะกลายเป็นตัวเลือกโมเดลใน Computer เซสชันใหม่จากการใช้งานจริงจะผ่านตัวกรองสิทธิ์และความเป็นส่วนตัวแบบเดียวกัน ก่อนที่จะเข้าสู่รอบอื่นของไปพไลน์การฝึกอบรม

ถัดไป เราจะอธิบายตัวอย่างที่เป็นรูปธรรมซึ่งประกอบด้วยทั้งการเลียนแบบและการแก้ไข

พิจารณาเซสชันที่ประสบความสำเร็จในท้ายที่สุด ซึ่งผู้ใช้ขอให้เปรียบเทียบการเปลี่ยนแปลงของ asyncio ใน Python 3.13 โดยใช้เอกสารอย่างเป็นทางการ เอกสารเครื่องมือของเราะบุว่า search.web ส่งคืนรายการผลลัพธ์ โดยแต่ละรายการจะมีฟิลด์ url

ตอนแรกโมเดลทำการค้นหาที่ถูกต้องสำหรับเวอร์ชันหนึ่งซึ่งเป็นส่วนหนึ่งของการรวบรวมหลักฐานสำหรับการเปรียบเทียบ ซึ่งถือเป็นพฤติกรรมที่ดีที่ควรเลียนแบบ

อย่างไรก็ตาม การเรียกใช้การดำเนินการโค้ดครั้งถัดไปกลับปฏิบัติต่อรายการนั้นว่าเป็นพจนานุกรมอย่างไม่ถูกต้อง เครื่องมือโค้ดจึงส่งคืน TypeError: list indices must be integers or slices, not str เนื่องจากประเภทที่ส่งคืนได้รับการจัดทำเอกสารไว้ก่อนการเรียกใช้ จึงเป็นข้อผิดพลาดที่โมเดลควรจะสามารถหลีกเลี่ยงได้ คำใบ้ที่มีการเรียกใช้ที่ถูกต้องจึงถูกสร้างขึ้นเพื่อแก้ไขการดำเนินการดังกล่าว

ตัวอย่างเซสชันการเขียนโค้ด: ข้อมูลป้อนเข้าของระบบและผู้ใช้รวมถึงข้อผิดพลาดของเครื่องมือยังคงเป็นบริบท การค้นหาที่บันทึกไว้ที่มีประโยชน์และการเรียกใช้การกู้คืนจะได้รับ CE ในเซสชันที่สำเร็จ การค้นหารายการที่ผิดพลาดซึ่งทำเครื่องหมายไว้จะได้รับ KL มุ่งสู่ครูที่ได้รับคำใบ้ที่มีการอ้างอิงบริบท — เซสชันการเขียนโค้ดที่เป็นตัวอย่างแสดงบทบาทการฝึกอบรมสามบทบาท ได้แก่ ข้อมูลป้อนเข้าและผลลัพธ์ของเครื่องมือที่เป็นบริบทเท่านั้น (สีเทา), การเลียนแบบ CE ของการเรียกใช้ที่บันทึกไว้ที่มีประโยชน์ (สีเข้ม), และการแก้ไข KL ของข้อผิดพลาดที่ทำเครื่องหมายไว้ (สีเขียวอมฟ้า) ในที่นี้ โมเดลปฏิบัติต่อรายการผลลัพธ์การค้นหาเสมือนเป็นพจนานุกรมอย่างไม่ถูกต้อง คำใบ้จากครูเท่านั้นที่อิงตามเอกสารเครื่องมือรุ่นก่อนหน้าจะช่วยแนะนำการแก้ไข เป้าหมาย CE จะใช้เฉพาะเมื่อเซสชันที่เสร็จสมบูรณ์ได้รับการตัดสินว่าสำเร็จ ในขณะที่เซสชันที่ไม่สำเร็จยังคงสามารถจัดหาเป้าหมายการแก้ไข KL ที่มีสิทธิ์ได้

ไปพไลน์การฝึกอบรมมีสี่ขั้นตอน ได้แก่ เลือกเซสชันและประเมินผลลัพธ์, ระบุข้อผิดพลาดและสร้างคำใบ้จากข้อเสนอแนะของผู้ใช้และข้อผิดพลาดของเครื่องมือ, สร้างความน่าจะเป็นของโทเค็นถัดไปจากทั้งครูและนักเรียน, และฝึกโมเดลด้วยค่าความสูญเสีย CE และ KL รวมกัน

ไปป์ไลน์การสุ่มตัวอย่างดึงมาจากชุดย่อยของเซสชัน Computer ในโลกจริงที่มีสิทธิ์สำหรับการฝึกซึ่งให้บริการโดย GLM 5.2 การเลือกไม่เข้ารับการฝึกและการยกเว้นที่เกี่ยวข้องกับ PII ของไปป์ไลน์จะถูกนำมาใช้ก่อนการเลือกตัวอย่างสำหรับเวิร์กโฟลว์นี้.

กระบวนการคัดกรองเบื้องต้นจะคัดเลือกผู้สมัครที่ได้รับคะแนน 4 หรือ 5 บนสเกลความยากของงานห้าระดับโดยผู้ประเมิน LLM และแบ่งออกเป็น 2 กลุ่ม:

กลุ่มข้อเสนอแนะของผู้ใช้ ประกอบด้วยเซสชันที่มีการติดตามผลของผู้ใช้จริงหรือมีธงความไม่พอใจระดับปานกลางถึงสูง เราพบว่าการติดตามผลที่มีความตั้งใจสูงเหล่านี้มีประโยชน์อย่างยิ่งสำหรับการเรียนรู้: ผู้ใช้พยายามทำ1งานให้สำเร็จอย่างจริงจัง และการแก้ไขของพวกเขาช่วยชี้ให้เห็นสิ่งที่โมเดลพลาดไป
กลุ่มข้อผิดพลาดของเครื่องมือ ประกอบด้วยเซสชันที่มีการเรียกใช้ที่ล้มเหลวซึ่งถูกทำเครื่องหมายไว้โดยการตรวจสอบตามกฎ โดยไม่รวมความล้มเหลวของโครงสร้างพื้นฐานที่เป็นที่ยอมรับและการปฏิเสธการให้สิทธิ์

ผู้ประเมิน LLM สองรายจะทำการประเมินผลลัพธ์สุดท้ายเทียบกับคำขอของผู้ใช้ โดยผู้ประเมินทั้งสองรายต้องให้ผลลัพธ์เชิงบวกเพื่อระบุว่าเซสชันนั้น “สำเร็จ” สำหรับกรณีที่ส่งมอบอาร์ทิแฟกต์ ระยะผลลัพธ์สามารถสร้างใหม่และตรวจสอบการส่งมอบได้ โดยจะสำรองไปใช้การตัดสินตามข้อความหากระยะนั้นล้มเหลว เซสชันที่จัดประเภทว่าไม่สมบูรณ์ เช่น งานที่รอผู้ใช้ จะไม่ถูกนำมารวมด้วย

ขั้นตอนนี้ระบุแหล่งที่มาที่มีศักยภาพของสัญญาณการเรียนรู้ อย่างไรก็ตาม ไม่ใช่ทุกข้อผิดพลาดที่จะมาจากโมเดล เนื่องจากบางข้อผิดพลาดเกิดจากคำแนะนำที่กำกวมหรือความล้มเหลวของโครงสร้างพื้นฐาน การใส่คำอธิบายประกอบภายหลังจะเป็นตัวกำหนดว่าข้อผิดพลาดใดที่เป็นผู้สมัครซึ่งสามารถหลีกเลี่ยงได้และเหมาะสมกับการฝึกอบรมจริง

พิจารณาตัวอย่างเซสชันในกลุ่มข้อเสนอแนะของผู้ใช้ ซึ่งผู้ใช้ถามว่า “How do I find my w3 on paychex” โมเดลถือว่า “w3” เป็นคำที่พิมพ์ผิดของ W-2 ค้นหาคำแนะนำสำหรับ W-2 และอธิบายวิธีค้นหาแบบฟอร์มดังกล่าว การติดตามผลของผู้ใช้ว่า “I meant the W-3 transmittal form,” เป็นการระบุข้อผิดพลาด แม้ว่าเซสชันนั้นจะประสบความสำเร็จในท้ายที่สุดก็ตาม

ข้อร้องเรียนช่วยระบุตำแหน่งข้อผิดพลาด แต่สาเหตุที่แท้จริงคือการตัดสินใจก่อนหน้านี้ในการตีความ “w3” ใหม่ว่าเป็น W-2 คำขอเดิมทำให้ข้อผิดพลาดนี้สามารถหลีกเลี่ยงได้: โมเดลสามารถรักษารูปแบบ W-3 ไว้หรือขอความชัดเจนได้ ปรากฏว่ารอบการทำงานของผู้ช่วยครั้งสุดท้ายก่อนที่จะมีข้อร้องเรียนเป็นสาเหตุที่แท้จริงเพียงประมาณครึ่งหนึ่งของเวลาทั้งหมดเท่านั้น

ไปพไลน์การใส่คำอธิบายประกอบของเราจะจับคู่เหตุและผลอย่างเป็นระบบภายในเซสชันข้อเสนอแนะของผู้ใช้แต่ละรายการ ผู้ใส่คำอธิบายประกอบจะคัดกรองข้อกำหนดที่ขาดหายไปหรือความตั้งใจที่ได้รับการสนับสนุนจากบริบทก่อนหน้าก่อน จากนั้น ผู้ประเมิน LLM สามรายจะระบุรอบการทำงานที่รับผิดชอบ โดยกำหนดให้ต้องมีอย่างน้อยสองรายที่เห็นพ้องต้องกันในรอบการทำงานดังกล่าว บางครั้งคำแถลงก่อนหน้านี้กำหนดข้อกำหนดไว้อย่างชัดเจน ในกรณีอื่นๆ ไม่มีคำแถลงก่อนหน้าใดที่ระบุไว้ชัดเจนเพียงลำดับเดียว แต่มีองค์ประกอบหลายส่วนจากการสนทนาก่อนหน้านี้ร่วมกันทำให้สามารถอนุมานพฤติกรรมที่ตั้งใจไว้ได้ การออกแบบนี้ช่วยให้สามารถเชื่อมโยงคำร้องเรียนเข้ากับข้อผิดพลาดที่เป็นต้นเหตุในตอนแรกได้ แทนที่จะระบุว่ามาจากคำตอบสุดท้ายเพียงอย่างเดียว

ก่อนที่จะยอมรับคำใบ้ ไปพไลน์จะตรวจสอบด้วยว่าข้อเรียกร้องในการแก้ไขนั้นสอดคล้องกับข้อมูลที่มีอยู่ก่อนรอบการทำงานที่ทำเครื่องหมายไว้หรือไม่ การตรวจสอบเหล่านี้มีวัตถุประสงค์เพื่อลดอคติจากการมองย้อนหลัง (hindsight bias) ซึ่งเป็นกรณีที่ความชอบใหม่ที่ปรากฏในข้อร้องเรียนถูกปฏิบัติราวกับว่าเป็นสิ่งที่โมเดลควรจะรู้อยู่แล้ว

ในตัวอย่างนี้ คำใบ้บอกให้โมเดลค้นหาแบบฟอร์มการส่งผ่าน W-3 บน Paychex แทนที่จะเป็น W-2 หรือถามว่าผู้ใช้หมายถึงแบบฟอร์มใดหากคำขอนั้นมีความกำกวม การแก้ไขมุ่งเป้าไปที่การตีความและการตัดสินใจค้นหาก่อนหน้า ไม่ใช่แค่คำตอบสุดท้าย รอบการทำงานเดิมยังคงไม่เปลี่ยนแปลง การใส่คำอธิบายประกอบจะเพิ่ม is_bad_turn: true และ hint ที่ไม่ว่างเปล่า

คำขอ W-3 ถูกตีความผิดเป็น W-2 ข้อร้องเรียนภายหลังถูกย้อนรอยไปยังการตัดสินใจค้นหาก่อนหน้าและตรวจสอบเทียบกับหลักฐานก่อนหน้า — เซสชันจริงที่แสดงวิธีที่ข้อร้องเรียนถูกย้อนรอยกลับไปยังข้อผิดพลาดก่อนหน้า พร้อมซ้อนทับขั้นตอนการใส่คำอธิบายประกอบ ผู้ใช้ขอ “w3” บน Paychex แต่โมเดลถือว่าเป็นคำที่พิมพ์ผิดของ W-2 และค้นหาฟอร์มที่ผิด ฉันทามติของผู้เสนอระบุสาเหตุที่แท้จริง ในขณะที่การตรวจสอบการอ้างอิงสองรายการจะประเมินว่าหลักฐานมาก่อนข้อผิดพลาดหรือไม่และข้อเรียกร้องของคำใบ้สอดคล้องกับข้อมูลที่มีอยู่ในจุดนั้นหรือไม่ คำอธิบายประกอบที่ยอมรับจะรักษาข้อความเดิมไว้และเพิ่มเครื่องหมายกับคำใบเป้าหมาย แทนที่จะเป็นการเขียนคำตอบใหม่

พิจารณาเซสชันอื่นในกลุ่มข้อผิดพลาดของเครื่องมือที่มีการเรียกใช้การค้นหา ซึ่งเอเจนต์ทำการค้นหาด้วย recency_filter: "year" แต่เครื่องมือปฏิเสธเนื่องจากค่าที่ได้รับอนุญาตคือ “day,” “week,” หรือ “month” นี่เป็นการละเมิดสคีมาอย่างชัดเจน

เส้นทางข้อผิดพลาดของเครื่องมือใช้กฎแบบกำหนดผลลัพธ์ (deterministic rules) สำหรับข้อผิดพลาดที่ทราบและการตัดสินใจของโมเดลสำหรับกรณีที่กำกวม ข้อความแสดงข้อผิดพลาดเพียงอย่างเดียวก็ยังไม่เพียงพอที่จะกล่าวโทษโมเดล การแก้ไขที่ผ่านการประเมินต้องชี้ไปยังสิ่งที่โมเดลควรรู้จากสคีมาเครื่องมือ คำแนะนำของระบบ หรือการสนทนาก่อนหน้า

การเรียกใช้การค้นหาใช้ค่า recency_filter ที่ไม่ถูกต้องคือ year คำใบ้ที่มีการอ้างอิงบริบทจะสั่งให้โมเดลใช้ค่าที่มีอยู่ในรายการหรือละเว้นฟิลด์ที่เป็นทางเลือก — อาร์กิวเมนต์การค้นหาที่ไม่ถูกต้องในรายงานเป็นตัวอย่างของขั้นตอนข้อผิดพลาดของเครื่องมือในปัจจุบัน สคีมาทำให้ข้อผิดพลาดนี้สามารถหลีกเลี่ยงได้ การขัดข้องของระบบเพียงอย่างเดียวจะไม่ทำให้เกิดสิ่งนี้ การเรียกใช้เดิมยังคงอยู่ในบันทึกและได้รับคำใบ้ที่มีการอ้างอิงบริบท คำใบ้ออนุญาตให้ใช้ค่าที่มีอยู่ในรายการหรือละเว้นได้หากฟิลด์นั้นเป็นทางเลือก โดยไม่ได้กำหนดให้ต้องใช้ “month” สำหรับทุกคำขอ

ในที่นี้ คำใบ้จะระบุการเรียกใช้ที่ล้มเหลว รวมข้อผิดพลาดในการตรวจสอบ และสั่งให้โมเดลใช้ค่าที่ได้รับอนุญาตหรือละเว้นฟิลด์ดังกล่าวหากเป็นทางเลือก

เมื่อทำเครื่องหมายการตอบกลับแล้ว ผู้ฝึกสอนจะเรียกใช้เช็คพอยต์เดิมสองครั้ง: ครั้งหนึ่งในฐานะครูและอีกครั้งในฐานะนักเรียน ครูจะเห็นคำใบ้ แต่นักเรียนจะไม่เห็น

ทั้งสองรอบใช้การบังคับครู (teacher forcing) โดยเราป้อนเซสชันที่บันทึกไว้ให้กับโมเดลแทนที่จะปล่อยให้โมเดลเลือกโทเค็นใหม่ รอบการส่งผ่านข้อมูลไปข้างหน้ายังคงสร้างการแจกแจงโทเค็นถัดไปแบบเต็มรูปแบบในแต่ละขั้นตอน แต่จะถูกกำหนดเงื่อนไขไว้เสมอกับคำนำหน้าคงที่จากการบันทึก ไม่ใช่จากโทเค็นโรลเอาต์

สำหรับตัวอย่างการค้นหา โมเดลเดียวกันจะกำหนดความน่าจะเป็นที่สูงกว่ามากให้กับ “month” และน้อยกว่าให้กับ “year” เมื่อระบุคำใบ้ การฝึกอบรมจะใช้การเลื่อนการแจกแจงนี้เป็นเป้าหมายแบบซอฟต์ (soft target)

โมเดลเดียวกันให้คะแนนรอบการทำงานที่บันทึกไว้ทั้งแบบมีและไม่มีคำใบ้ โดยความน่าจะเป็นของครูที่ถูกแยกออกจะให้เป้าหมาย KL ในขณะที่ CE ทำหน้าที่ยึดโยงการเลียนแบบ — ผ่านข้อมูลสองรอบ น้ำหนักหนึ่งชุด ทั้งสองรอบให้คะแนนการดำเนินการต่อที่บันทึกไว้ เฉพาะครูเท่านั้นที่จะได้รับคำใบ้ ความน่าจะเป็นของโทเค็นถัดไปที่ถูกแยกออกของครูจะช่วยแนะนำนักเรียนผ่าน KL ไปข้างหน้า เป้าหมาย CE แยกต่างหากทำหน้าที่ยึดโยงการเลียนแบบ ทั้งสองค่าความสูญเสียป้อนเข้าสู่การอัปเดตน้ำหนักหนึ่งครั้ง คำใบ้ก่อนหน้าอาจยังคงอยู่ในส่วนปัจจุบันของครู และไม่มีรอบใดที่สร้างคำตอบการฝึกอบรมทดแทน

การคาดการณ์ของครูจะถูกแยกออกหรือหยุดเกรเดียนต์ (stop-gradient): โดยทำหน้าที่ให้เป้าหมายแต่ไม่ได้รับการอัปเดตผ่านรอบของครู หลังรอบของนักเรียน ขั้นตอนการปรับค่าความเหมาะสม (optimizer step) หนึ่งครั้งจะอัปเดตโมเดลที่ใช้ร่วมกัน

ค่าความสูญเสีย CE (CE loss) ถือว่าโทเค็นที่บันทึกไว้ซึ่งถูกเลือกสำหรับการเลียนแบบเป็นเป้าหมายความจริงภาคสนาม (ground-truth targets) และลงโทษโมเดลที่กำหนดความน่าจะเป็นให้โทเค็นเหล่านั้นต่ำ ซึ่งจะสร้างเป้าหมายการเลียนแบบแบบฮาร์ด (hard imitation target)

ที่ตำแหน่งโทเค็น $i$ ให้ $p_i(v)$ เป็นความน่าจะเป็นของนักเรียนสำหรับโทเค็น $v$ ในคำศัพท์ทั้งหมด $V$ โทเค็นถัดไปที่บันทึกไว้ในการตอบกลับหรือการเรียกใช้เครื่องมือคือ $y_i$ และการแจกแจงเป้าหมายแบบวันฮอต (one-hot target distribution) คือ $r_i$

r_i(v)=\mathbf{1}[v=y_i]

ค่าความเอนเอียงข้าม (cross-entropy) วัดว่านักเรียนทำนายโทเค็นที่บันทึกไว้นั้นได้ดีเพียงใด เมื่อใช้เป้าหมายแบบวันฮอต (one-hot target) ค่านี้จะลดรูปลงเหลือเป็นค่าความน่าจะเป็นล็อกเชิงลบ (negative log-probability) ที่กำหนดให้กับ $y_i$

H(r_i,p_i)=-\sum_{v\in V}r_i(v)\log p_i(v)=-\log p_i(y_i)

มาสก์ CE (CE mask) $m_i^{\mathrm{CE}}$ คือ $1$ ในตำแหน่งที่ควรเลียนแบบโทเค็น และเป็น $0$ ในกรณีอื่น การรวมผลรวมในตำแหน่งที่เลือกจะได้ค่าความสูญเสียในการเลียนแบบ (imitation loss)

\mathcal{L}_{\mathrm{CE}}=\sum_i m_i^{\mathrm{CE}}H(r_i,p_i)

การสูญเสีย KL (KL loss) จะใช้การแจกแจงความน่าจะเป็นของโทเค็นถัดไปทั้งหมดของครู $q_i$ แทน เพื่อเป็นเป้าหมายการแก้ไขแบบซอฟต์ บริบทของครูประกอบด้วยคำใบ้ปัจจุบันและคำใบ้ก่อนหน้าใดๆ ที่เก็บไว้ในส่วนการฝึกอบรมนั้น ในขณะที่บริบทของนักเรียนจะไม่มีคำใบ้เสมอ

มาสก์ KL (KL loss/mask) $m_i^{\mathrm{KL}}$ คือ $1$ ในตำแหน่งที่ควรแก้ไขโทเค็น และเป็น $0$ ในกรณีอื่น มาสก์ CE และ KL จะไม่ทับซ้อนกัน ในตำแหน่งเหล่านี้ KL ไปข้างหน้าจะลงโทษความไม่เห็นพ้องต้องกันระหว่างครูกับนักเรียนทั่วทั้งคำศัพท์ทั้งหมด:

\mathcal{L}_{\mathrm{KL}}=\sum_i m_i^{\mathrm{KL}}D_{\mathrm{KL}}(q_i\Vert p_i)=\sum_i m_i^{\mathrm{KL}}\sum_{v\in V}q_i(v)\log\frac{q_i(v)}{p_i(v)}

ทั้งสองข้อกำหนดใช้ตัวหารร่วมกันแทนที่จะถูกทำให้เป็นมาตรฐานแยกกัน ตัวหารนี้จะนับจำนวนโทเค็นทั้งหมดที่เลือกสำหรับการเลียนแบบในแบตช์การฝึกอบรมทั่วโลก น้ำหนัก $\lambda$ ควบคุมสัดส่วนของการฝึกอบรมแก้ไขเทียบกับการเลียนแบบ

การทำเป็นมาตรฐานร่วมกันนี้เข้ากันได้กับอินเทอร์เฟซตัวหารเดี่ยวของโครงสร้างพื้นฐานการฝึกอบรมของเรา และกู้คืนค่าความสูญเสีย SFT มาตรฐานเมื่อ $\lambda=0$ ทำให้การเปรียบเทียบเกณฑ์มาตรฐานง่ายขึ้น เนื่องจากโทเค็น CE มีจำนวนมากกว่าโทเค็น KL มาก การใช้ตัวหารร่วมจึงช่วยหลีกเลี่ยงการกำหนดน้ำหนักที่สูงเกินไปให้กับโทเค็น KL แต่ละตัวในแบตช์ที่มีโทเค็นที่ทำเครื่องหมายไว้น้อย

\mathcal{L}=\frac{\mathcal{L}_{\mathrm{CE}}+\lambda\mathcal{L}_{\mathrm{KL}}}{\sum_i m_i^{\mathrm{CE}}}

เมื่อนำไปใช้กับตัวอย่างก่อนหน้านี้ รอบการทำงานที่มีการผสมกันระหว่าง W-3/W-2 และการเรียกใช้การค้นหาที่ไม่ถูกต้องจะได้รับ KL เนื้อหาของผู้ช่วยอื่นที่ไม่ได้ทำเครื่องหมายในเซสชันที่สำเร็จจะยังคงได้รับ CE เนื้อหาของผู้ช่วยอื่นในเซสชันที่ไม่สำเร็จจะถูกเก็บไว้เป็นบริบทแต่จะไม่ได้รับทั้ง CE และ KL

การประเมินของเราตอบคำถามสองข้อที่แยกจากกัน ประการแรก คำใบ้ช่วยให้โมเดลแก้ไขข้อผิดพลาดได้จริงหรือไม่เมื่อมีคำใบ้อยู่ ประการที่สอง การฝึกอบรมช่วยให้โมเดลหลีกเลี่ยงข้อผิดพลาดนั้นในภายหลังได้หรือไม่โดยไม่ต้องมีคำใบ้ ข้อแรกทดสอบว่าคำใบ้ให้สัญญาณการฝึกอบรมที่มีประโยชน์หรือไม่ ข้อที่สองทดสอบว่าโมเดลเรียนรู้จากคำใบ้เหล่านั้นหรือไม่

เราทดสอบคำถามแรกก่อนที่การฝึกอบรมจะเริ่มต้น เพื่อให้แน่ใจว่าคำใบ้สามารถนำทางโมเดลให้ออกห่างจากข้อผิดพลาดได้จริง

เราสร้างรอบข้อเสนอแนะของผู้ใช้ที่มีการทำเครื่องหมายขึ้นใหม่ ทั้งแบบมีและไม่มีคำใบ้ โดยใช้โมเดลฐาน GLM-5.2 ตัวเดิมที่อุณหภูมิศูนย์ ผู้ประเมินแบบไม่เปิดเผยข้อมูลจะเห็นข้อร้องเรียนภายหลัง แต่จะไม่เห็นคำใบ้หรือเงื่อนไขที่สร้างคำตอบนั้นขึ้นมา

ในตัวอย่าง W-3 คำใบ้จะช่วยเปลี่ยนความน่าจะเป็นของโทเค็นถัดไปให้ไปทาง “3” และออกจาก “2” หลังจากคำนำหน้า “W-”

ความน่าจะเป็นของโทเค็นถัดไปหลังจาก W- เปลี่ยนไปทาง 3 มากกว่า 2 เมื่อโมเดลฐานที่ไม่เปลี่ยนแปลงได้รับคำใบ้ — คำใบ้ช่วยรักษารูปแบบ W-3 ที่ร้องขอไว้ แผนภูมิแท่งแสดงค่าเฉลี่ยความน่าจะเป็นของโทเค็นถัดไปจากการส่งผ่านข้อมูลไปข้างหน้ารวมแปดครั้ง เส้นหนวดกุ้ง (whiskers) แสดงช่วงที่สังเกตได้ ไม่ใช่ช่วงความเชื่อมั่น ทั้งสองเงื่อนไขใช้โมเดลฐานที่ไม่เปลี่ยนแปลง

บนตัวอย่างที่เก็บไว้จำนวน 40 รอบซึ่งมีขนาดใหญ่กว่าและสนับสนุนด้วยหลักฐานก่อนหน้าที่ระบุไว้อย่างชัดเจน สัดส่วนที่ได้รับการประเมินว่าได้รับการแก้ไขหรืออยู่ในทิศทางที่ถูกต้องเพิ่มขึ้นจาก 40.0% โดยไม่มีคำใบ้ เป็น 75.0% เมื่อมีคำใบ้ และบนอีก 40 รอบที่สนับสนุนด้วยความตั้งใจที่อนุมานได้ สัดส่วนจะเพิ่มขึ้นจาก 32.5% เป็น 80.0%

การตรวจสอบความถูกต้องของคำใบ้: อัตราการแก้ไขหรืออัตราที่อยู่ในทิศทางที่ถูกต้องเพิ่มขึ้นจาก 40.0% เป็น 75.0% สำหรับหลักฐานที่ระบุชัดเจน และจาก 32.5% เป็น 80.0% สำหรับความตั้งใจที่อนุมานได้ — การตรวจสอบความถูกต้องของคำใบ้ ไม่ใช่การประเมินหลังการฝึกอบรม รอบการทำงานที่ทำเครื่องหมายไว้ 40 รอบในแต่ละกลุ่มหลักฐานถูกสร้างขึ้นใหม่โดยมีและไม่มีคำใบ้โดยใช้ GLM-5.2 ที่ไม่เปลี่ยนแปลงที่อุณหภูมิศูนย์ ผู้ประเมินเห็นข้อร้องเรียนแต่ไม่เห็นคำใบ้หรือเงื่อนไข จำนวนนับได้มาจากอัตราและขนาดตัวอย่างของรายงาน ไม่มีการรายงานช่วงความเชื่อมั่น

ในตัวอย่างข้อผิดพลาดของเครื่องมือค้นหา คำใบ้ช่วยเปลี่ยนมวลความน่าจะเป็นจากโทเค็น year ไปยังโทเค็น month ได้จริง

คำใบ้ช่วยเปลี่ยนความน่าจะเป็นของโทเค็นถัดไปของโมเดลฐานที่ไม่เปลี่ยนแปลงให้ออกห่างจาก year และเข้าไปยังค่า month ที่ได้รับอนุญาต — คำใบ้ช่วยเปลี่ยนความน่าจะเป็นไปสู่ค่าที่ได้รับอนุญาต แผนภูมิแท่งแสดงค่าเฉลี่ยความน่าจะเป็นของโทเค็นถัดไปจากการส่งผ่านข้อมูลไปข้างหน้ารวมแปดครั้ง เส้นหนวดกุ้ง (whiskers) แสดงช่วงที่สังเกตได้ ไม่ใช่ช่วงความเชื่อมั่น ทั้งสองเงื่อนไขใช้โมเดลฐานตัวเดียวกัน และไม่มีการเปรียบเทียบจุดตรวจสอบที่ได้รับการฝึกอบรมแล้ว

ในตัวอย่างที่เก็บไว้จำนวน 985 รอบซึ่งมีขนาดใหญ่กว่า เราได้สร้างแต่ละรอบขึ้นใหม่สี่ครั้ง ทั้งแบบมีและไม่มีคำใบ้โดยใช้โมเดลฐานเดียวกัน ผู้ประเมินแบบไม่เปิดเผยข้อมูลจะประเมินว่าการสร้างใหม่แต่ละครั้งสามารถหลีกเลี่ยงความล้มเหลวเดิมได้หรือไม่ คำใบ้ช่วยเพิ่มอัตราการหลีกเลี่ยงความล้มเหลวจาก 75.1% เป็น 93.7% ซึ่งเป็นการเพิ่มขึ้นแบบจับคู่กัน 18.6เปอร์เซ็นต์ และเพิ่มสัดส่วนการดำเนินการตามการกระทำที่แก้ไขแล้วจาก 60.6% เป็น 82.3% การปรับ 18.6 จุดเปอร์เซ็นต์ ปรับปรุงมากที่สุดในข้อผิดพลาดที่การสุ่มตัวอย่างซ้ำๆ เพียงอย่างเดียวไม่สามารถแก้ไขได้

บนรอบข้อผิดพลาดของเครื่องมือที่ทำเครื่องหมายไว้และถูกเก็บไว้จำนวน 985 รอบ คำใบ้ช่วยเพิ่มการหลีกเลี่ยงความล้มเหลวจาก 75.1% เป็น 93.7% และเพิ่มอัตราการดำเนินการที่แก้ไขแล้วจาก 60.6% เป็น 82.3% — การตรวจสอบความถูกต้องของคำใบ้ข้อผิดพลาดของเครื่องมือบนรอบที่เก็บไว้ 985 รอบ โดยมีการสร้างใหม่สี่ครั้งต่อเงื่อนไข แผนภูมิแท่งแสดงอัตราการหลีกเลี่ยงความล้มเหลวและอัตราการดำเนินการที่แก้ไขแล้วสำหรับโมเดลฐานที่ไม่เปลี่ยนแปลง ทั้งแบบมีและไม่มีคำใบ้ การหลีกเลี่ยงข้อผิดพลาดที่กำหนดเป้าหมายไม่ได้เป็นการพิสูจน์ความสำเร็จของการเรียกใช้เครื่องมือหรือความสำเร็จของงาน

ถัดไปเราจะทดสอบว่าโมเดลที่ได้รับการฝึกอบรมแล้วทำข้อผิดพลาดน้อยลงหรือไม่เมื่อไม่ได้รับคำใบ้ เราประเมินโมเดลสต็อกและจุดตรวจสอบหลังการฝึกอบรมต่างๆ บนงานเกณฑ์มาตรฐานแบบออฟไลน์และในเซสชันการใช้งานจริงของผู้ใช้ โดยตรวจสอบความล้มเหลวของเครื่องมือที่ลดลงและความไม่พอใจของผู้ใช้ที่ลดลง

การประเมินแบบออฟไลน์ใช้ BrowseComp, Finch, WideSearch, DRACO, DSQA, SpreadsheetBench, HLE, ชุดงาน Computer ที่เป็นตัวแทน และตรวจสอบการโหลดทักษะ (skill loading) การตรวจสอบเอกสาร และการอ้างอิงในบรรทัด เราวัดสัดส่วนของการเรียกใช้เครื่องมือที่มีผลลัพธ์ถูกทำเครื่องหมายว่าเป็นข้อผิดพลาดอย่างชัดเจนในวิถีการประเมิน

ในการประเมินเหล่านี้ อัตราข้อผิดพลาดของเครื่องมือที่บันทึกไว้คือ 2.79% สำหรับ GLM 5.2 ดั้งเดิม, 1.35% สำหรับจุดตรวจสอบ RFT อย่างเดียว และ 0.87% สำหรับจุดตรวจสอบ RFT ร่วมกับ OPSD จุดตรวจสอบเหล่านี้ได้รับการฝึกอบรมด้วยข้อมูลที่แตกต่างกัน ดังนั้นนี่จึงไม่ใช่การทดสอบแบบข้อมูลที่ตรงกัน (matched-data ablation) ของ OPSD ผลลัพธ์เกณฑ์มาตรฐานในระดับงานมีความหลากหลาย ดังนั้นข้อผิดพลาดของเครื่องมือที่น้อยลงจึงไม่ได้แปลว่ามีการปรับปรุงความสำเร็จของงานในวง 1 กว้างโดยอัตโนมัติ

อัตราข้อผิดพลาดของเครื่องมือที่บันทึกไว้แบบออฟไลน์: 2.79% สำหรับ GLM 5.2 ดั้งเดิม, 1.35% สำหรับ RFT อย่างเดียว และ 0.87% สำหรับ RFT ร่วมกับ OPSD โดยข้อมูลการฝึกอบรมมีความแตกต่างกัน — อัตราข้อผิดพลาดของเครื่องมือแบบออฟไลน์สำหรับจุดตรวจสอบ GLM-5.2 ดั้งเดิม, RFT อย่างเดียว และ RFT ร่วมกับ OPSD ข้อมูลการฝึกอบรมมีความแตกต่างกันในแต่ละจุดตรวจสอบ นี่ไม่ใช่การทดสอบแบบควบคุมตัวแปรเดียว (controlled ablation)

สำหรับ GLM-5.2 เราได้เรียกใช้การทดสอบ A/B สองรายการแยกกันโดยมีผู้ใช้ประมาณหนึ่งแสนคนในแต่ละเงื่อนไข ในการทดสอบแรก เช็คพอยต์ RFT-plus-OPSD รุ่นแรกมีอัตราความล้มเหลวของเครื่องมือต่ำกว่า GLM 5.2 ทั่วไปเล็กน้อย คือ 2.82% เทียบกับ 2.94% แต่ความแตกต่างไม่มีนัยสำคัญทางสถิติ

ในการทดสอบภายหลัง เราได้เปรียบเทียบจุดตรวจสอบ RFT-plus-OPSD สองจุด ได้แก่ จุดตรวจสอบก่อนหน้า (จุดตรวจสอบที่หนึ่ง) และจุดตรวจสอบภายหลัง (จุดตรวจสอบที่สอง) ความล้มเหลวในการเรียกใช้เครื่องมือลดลงจาก 2.24% เหลือ 1.77% ของการเรียกใช้ที่มีสถานะบันทึกไว้ ซึ่งเป็นการลดลงแบบสัมพัทธ์ที่มีนัยสำคัญทางสถิติ 21.2% เราไม่ได้เปรียบเทียบจุดตรวจสอบที่สองกับ GLM 5.2 แบบสดโดยตรง

ผลลัพธ์คำติชมของผู้ใช้มีความชัดเจนน้อยกว่า ในการทดลอง GLM-5.2 ครั้งที่สอง ความน่าจะเป็นเฉลี่ยของความไม่พอใจอย่างรุนแรง (ปานกลางหรือสูง) คือ 2.58% สำหรับเช็คพอยต์แรก และ 2.54% สำหรับเช็คพอยต์ที่สอง โดยไม่มีความแตกต่างที่มีนัยสำคัญทางสถิติ

การทดสอบ A/B ออนไลน์สองรายการแยกกัน โดยมีการเปรียบเทียบจุดตรวจสอบ (checkpoint) ภายหลังเท่านั้นที่มีการลดความล้มเหลวของเครื่องมืออย่างมีนัยสำคัญ และไม่มีการเปลี่ยนแปลงความไม่พอใจของ MID+ อย่างมีนัยสำคัญ — การทดสอบ A/B สดของ GLM-5.2 สองรายการแยกกัน เช็คพอยต์ 1 เปรียบเทียบกับ GLM-5.2 ทั่วไป เช็คพอยต์ 2 เปรียบเทียบกับเช็คพอยต์ 1 ภายในการทดสอบสองรายการนี้ มีเพียงการลดความล้มเหลวของเครื่องมือในภายหลังเท่านั้นที่มีนัยสำคัญทางสถิติ อัตรา MID+ เป็นค่าเฉลี่ยของความน่าจะเป็นที่ประเมินได้ของความไม่พอใจระดับปานกลางหรือสูง ไม่ใช่จำนวนข้อร้องเรียน

สำหรับ GLM-5.3 เราได้เปรียบเทียบเช็คพอยต์ที่ผ่านการฝึกหลังการฝึกฝนกับ GLM-5.3 พื้นฐานโดยตรง ความล้มเหลวในการเรียกใช้เครื่องดนตรีลดลงจาก 3.56% เหลือ 2.38% ของการเรียกที่มีการบันทึกสถานะ ซึ่งเป็นการลดลงแบบสัมพัทธ์ 33.04% อัตรา MID+ ซึ่งเป็นความน่าจะเป็นเฉลี่ยที่ประเมินได้ของความไม่พอใจในระดับปานกลางหรือสูง ลดลงจาก 4.12% เหลือ 3.41% ซึ่งเป็นการลดลงแบบสัมพัทธ์ 17.2% การลดลงทั้งสองอย่างนี้มีความสำคัญทางสถิติ

การทดสอบ A/B ของ GLM-5.3: อัตราความล้มเหลวของเครื่องมือลดลงจาก 3.56% เป็น 2.38% และอัตรา MID+ ซึ่งเป็นความน่าจะเป็นเฉลี่ยที่ประเมินได้ของความไม่พอใจในระดับปานกลางหรือสูง ลดลงจาก 4.12% เป็น 3.41% การลดลงแบบสัมพัทธ์ที่ปรับปรุงด้วย CUPED มีค่าเท่ากับ 33.04% และ 17.16% ตามลำดับ ช่วงเวลาตามลำดับ 95% ทั้งสองช่วงไม่รวมศูนย์ ตัวชี้วัดการมีส่วนร่วมหลักไม่มีนัยสำคัญ — GLM-5.3 ที่ผ่านการฝึกหลังการฝึกฝนเทียบกับ GLM-5.3 พื้นฐานในการทดสอบ A/B ออนไลน์แยกต่างหาก อัตราความล้มเหลวของเครื่องมือและอัตรา MID+ การเปลี่ยนแปลงสัมพัทธ์ และช่วงความเชื่อมั่นตามลำดับ 95% ใช้การปรับค่า CUPED การลดลงทั้งสองรายการมีนัยสำคัญทางสถิติ อัตรา MID+ คือความน่าจะเป็นเฉลี่ยที่ประเมินได้ของความไม่พอใจในระดับปานกลางหรือสูงเหนือเธรดการติดตามผลที่มีสิทธิ์ได้รับคะแนน ไม่ใช่จำนวนข้อร้องเรียน อัตราความล้มเหลวของเครื่องมือไม่รวมการโทรที่ไม่มีสถานะความสำเร็จหรือความล้มเหลวที่บันทึกไว้

แนวคิดหลักคือการเรียนรู้ในระดับของการตัดสินใจ ไม่ใช่แค่ระดับของเซสชัน

ผลลัพธ์ที่สำเร็จสามารถซ่อนข้อผิดพลาดได้ และเซสชันที่ไม่สำเร็จก็ยังคงสามารถเผยให้เห็นวิธีปรับปรุงได้ เราเก็บรักษาพฤติกรรมที่มีประโยชน์จากเซสชันที่สำเร็จไว้เป็นจุดยึด ใช้ข้อร้องเรียนและข้อผิดพลาดของเครื่องมือเพื่อระบุความล้มเหลวที่สามารถหลีกเลี่ยงได้ และฝึกโมเดลให้มุ่งไปสู่การคาดการณ์ที่ทำขึ้นเมื่อข้อผิดพลาดและการแก้ไขเหล่านั้นมีความชัดเจน ความสำเร็จช่วยให้มีพฤติกรรมที่ควรอนุรักษ์ไว้ ความล้มเหลวช่วยให้มีทิศทางในการปรับปรุง

การใช้งานในโลกแห่งความเป็นจริงทำให้แนวทางนี้มีประโยชน์เป็นพิเศษ ผู้ใช้จริงนำเป้าหมาย ข้อจำกัด และเวิร์กโฟลว์ที่คาดเดาได้ยากในสภาพแวดล้อมสังเคราะห์มาด้วย การแก้ไขของพวกเขาเผยให้เห็นข้อกำหนดที่โมเดลพลาดไป ในขณะที่ข้อผิดพลาดของเครื่องมือเปิดเผยช่องว่างระหว่างสิ่งที่โมเดลพยายามทำกับสิ่งที่สภาพแวดล้อมอนุญาต สัญญาณเหล่านี้เข้ามาเติมเต็มการฝึกอบรมที่อิงผลลัพธ์: แทนที่จะถามเพียงว่างานสำเร็จหรือไม่ เราสามารถถามได้ว่าโมเดลผิดพลาดที่ตรงไหนและมีข้อมูลใดบ้างที่น่าจะช่วยให้โมเดลตัดสินใจได้ดีขึ้น

ขีดจำกัดมีความสำคัญไม่แพ้กัน ผู้ประเมินอาจทำผิดพลาดได้ และการแก้ไขการตอบกลับครั้งเดียวไม่ได้ับประกันว่างานทั้งหมดจะสำเร็จ เป้าหมายไม่ใช่เพียงแค่เอเจนต์ที่กู้คืนได้หลังจากมีการแก้ไข แต่คือเอเจนต์ที่ต้องการการแก้ไขน้อยลงต่างหาก

BibTeX

@online{perplexity2026LearningFromRealWorldExperience,
  author = {{Perplexity} and Senzeyu Zhang and Chuan Wang and Hang Wu and Hao Zhang and Yuan Liang and Yunfan Zhong and Phi Hoang and Claire Beamer and Jeremy Yang and Andrew Wilson and Denis Yarats},
  title = {{Learning from real-world experience}},
  date = {2026-09-21},
  url = {https://www.perplexity.ai/hub/blog/learning-from-real-world-experience}
}

จากข้อมูลสังเคราะห์สู่ข้อมูลในโลกแห่งความเป็นจริง

เลียนแบบขั้นตอนที่ดี แก้ไขขั้นตอนที่ผิด

ตัวอย่าง: เซสชันเดียวสามารถสอนบทเรียนได้ทั้งสองอย่าง

การฝึกอบรมทำงานอย่างไร

เลือกเซสชัน จากนั้นประเมินผลลัพธ์

ค้นหาข้อผิดพลาดจากข้อเสนอแนะของผู้ใช้

ค้นหาข้อผิดพลาดจากข้อผิดพลาดของเครื่องมือ

รอบการส่งผ่านข้อมูลไปข้างหน้าสองรอบ (two forward passes)

ฟังก์ชันการสูญเสีย (loss function)

ค่าความสูญเสีย CE (CE loss)

ค่าความสูญเสีย KL (KL loss)

ค่าความสูญเสียรวม (combined loss)

สิ่งที่เราได้จากการประเมิน

คำใบ้สามารถนำทางโมเดลให้ออกห่างจากข้อผิดพลาดได้

ข้อเสนอแนะของผู้ใช้

ข้อผิดพลาดของเครื่องมือ

ความน่าเชื่อถือของเครื่องมือและคำติชมของผู้ใช้หลังการฝึกอบรม

การประเมินแบบออฟไลน์

การประเมินออนไลน์: GLM-5.2

การประเมินออนไลน์: GLM-5.3

บทสรุป

การอ้างอิง