การพัฒนาโมเดลภาษาที่เสริมด้วยการค้นหาให้ก้าวหน้า

การฝึกอบรมเอเจนต์ค้นหาเว็บระดับแนวหน้าจำเป็นต้องเพิ่มประสิทธิภาพเป้าหมายหลายรายการร่วมกัน ได้แก่ ความถูกต้องของข้อเท็จจริง ประสิทธิภาพของเส้นทาง และการจัดแนวตามความพึงประสงค์ของผู้ใช้ ถึงกระนั้น การปรับปรุงมิติใดมิติหนึ่งเพียงลำพังมักจะทำให้มิติอื่นแย่ลง โมเดลที่ได้รับการฝึกอบรมเพื่อความถูกต้องเพียงอย่างเดียวมักใช้เครื่องมือมากเกินไป ในขณะที่โมเดลที่ปรับให้เหมาะสมเพื่อความกระชับอาจแลกมาด้วยความน่าเชื่อถือหรือความสมบูรณ์ที่ลดลง ที่ Perplexity ผลลัพธ์ทั้งสองแบบนี้เป็นสิ่งที่ไม่สามารถยอมรับได้

บทความนี้อธิบายถึงกระบวนการหลังการฝึกอบรมของ Perplexity สำหรับการพัฒนาเอเจนต์ค้นหาเว็บบนพื้นฐานโมเดลโอเพนซอร์สที่มีความล้ำสมัย แนวคิดสำคัญคือ ในการฝึกอบรมเอเจนต์ค้นหา การคัดสรรข้อมูลและการออกแบบรางวัลจะต้องได้รับการออกแบบร่วมกัน ข้อมูลจะเป็นตัวกำหนดว่าพฤติกรรมใดบ้างที่สามารถสังเกตและตรวจสอบได้ และรางวัลจะเป็นตัวกำหนดว่าสัญญาณเหล่านั้นถูกแปลงเป็นสัญญาณการปรับปรุงอย่างไร หลักการนี้นำไปสู่กระบวนการ 2 ขั้นตอนของเรา โดยขั้นตอนแรกเราจะดำเนินการอุ่นเครื่องด้วยการปรับแต่งอย่างละเอียดที่มีผู้ดูแล (Supervised Fine-Tuning - SFT) เพื่อเตรียมโมเดลนโยบาย จากนั้นจึงปรับปรุงโมเดลนโยบายให้ดียิ่งขึ้นโดยใช้การเรียนรู้เสริมกำลัง (Reinforcement Learning - RL) บนชุดข้อมูลที่คัดสรรมาและรางวัลที่ออกแบบอย่างพิถีพิถัน แนวทาง 2 ขั้นตอนนี้ช่วยให้มั่นใจได้ถึงความก้าวหน้าที่เชื่อถือได้ในด้านความถูกต้อง ประสิทธิภาพ และคุณภาพการตอบสนองภายใต้ข้อจำกัดในการใช้งานจริง

ก่อนอื่นเราจะอธิบายกระบวนการฝึกอบรม 2 ขั้นตอนของเรา (SFT → RL แบบออนพอลลิซี) ตามด้วยการสร้างข้อมูลการฝึกอบรม RL ซึ่งครอบคลุมทั้ง QA ของเอเจนต์ค้นหาที่ตรวจสอบได้และแชททั่วไปตามเกณฑ์การให้คะแนน จากนั้นเราจะนำเสนอการออกแบบรางวัลแบบผสมที่ได้จากสภาพแวดล้อมข้อมูลที่มีความหลากหลายนี้ ซึ่งช่วยสร้างความสมดุลระหว่างคุณภาพและประสิทธิภาพ พร้อมทั้งลดการแสวงหาช่องโหว่ของรางวัล สุดท้ายเราจะวิเคราะห์พลวัตของการฝึกอบรมและผลลัพธ์ของเบนช์มาร์ก

เราใช้สูตรการฝึกอบรมต่อหลังการฝึก 2 ขั้นตอน ได้แก่ (i) SFT เพื่อสร้างพฤติกรรมที่สำคัญต่อการใช้งาน เช่น การมีขอบเขตป้องกัน (เช่น การงดเว้น) การปฏิบัติตามคำสั่ง และความสอดคล้องของภาษา และ (ii) RL แบบออนพอลลิซีเพื่อปรับปรุงความสามารถในการค้นหา ซึ่งรวมถึงความถูกต้องของคำตอบและประสิทธิภาพในการใช้เครื่องมือ พร้อมทั้งรักษาพฤติกรรมจากขั้นตอนแรกไว้

ทำไมต้องมี 2 ขั้นตอน? การปรับปรุงคุณภาพการค้นหาและข้อจำกัดในการใช้งานจริงให้เหมาะสมร่วมกันภายในขั้นตอน RL ขั้นตอนเดียวนั้นทำได้ยากโดยไม่กระทบต่อเป้าหมายอย่างน้อยหนึ่งรายการ จากข้อมูลเชิงประจักษ์ การฝึกอบรมด้วย RL เพียงอย่างเดียวช่วยเพิ่มประสิทธิภาพการค้นหาแต่มีแนวโน้มที่จะทำผลงานได้ไม่ดีในส่วนของขอบเขตป้องกันการใช้งาน ในขณะที่ SFT ช่วยเพิ่มการปฏิบัติตามกฎแต่ต้องแลกมาด้วยประสิทธิภาพการค้นหา การแยกเป้าหมายออกจากกันช่วยให้ขั้นตอน SFT สามารถจัดการกับข้อกำหนดที่ไม่สามารถต่อรองได้ก่อน หลังจากนั้น RL จึงสามารถมุ่งเน้นไปที่การปรับปรุงความสามารถในการค้นหาเป็นหลัก

เราเริ่มต้นจากตระกูลโมเดล Qwen3 (Qwen3.5-122B-A10B และ Qwen3.5-397B-A17B) (Yang และคณะ, 2025, บล็อกโพสต์ Qwen3.5) และสร้างชุดข้อมูลผสม SFT แบบสององค์ประกอบที่มุ่งเน้นพฤติกรรมที่สำคัญต่อการใช้งานตามที่ได้อธิบายไว้ข้างต้น ในขณะเดียวกันก็รักษาความสามารถในการค้นหาทั่วไปของโมเดลฐานไว้ด้วย

ตัวอย่างที่เน้นความพึงประสงค์ เราคัดสรรตัวอย่างการปฏิบัติตามคำสั่งและเน้นรูปแบบที่มุ่งเน้นน้ำเสียง ความสอดคล้องของภาษา ความชัดเจน และการจัดรูปแบบ ตัวอย่างเหล่านี้ไม่จำเป็นต้องมีคำตอบที่ถูกต้องเพียงหนึ่งเดียว แต่ได้รับการคัดเลือกเพื่อให้สะท้อนถึงข้อกำหนดในการเขียนผลิตภัณฑ์และรับประกันความสอดคล้องทางรูปแบบในประเภทคำถามที่หลากหลาย

เส้น างการใช้เครื่องมือในรูปแบบการใช้งานจริง จากข้อมูลเชิงประจักษ์ เราพบว่าการทำ SFT โดยไม่มีการคัดสรรชุดข้อมูลอย่างพิถีพิถันอาจทำให้ความสามารถในการค้นหาของโมเดลฐานลดลงอย่างมาก เพื่อลดปัญหานี้ เราจึงสุ่มตัวอย่างคำถามและงานภายในตามรูปแบบการโต้ตอบที่หลากหลาย (รอบเดียว สองรอบ และหลายรอบ) และใส่คำอธิบายประกอบด้วยชุดเครื่องมือเรียกใช้งานของเรา

เริ่มต้นจากจุดตรวจสอบ SFT เราใช้ RL แบบออนพอลลิซีเพื่อปรับปรุงความถูกต้องและประสิทธิภาพของการค้นหา เราปรับโมเดลนโยบายให้เหมาะสมโดยใช้วิธี Group Relative Policy Optimization (GRPO) (Shao และคณะ, 2024)

\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} r_{i,t}(\theta)\hat{A}_{i,t},

โดยที่ $G$ คือขนาดของกลุ่ม $o_{i}$ หมายถึงผลลัพธ์ที่สุ่มตัวอย่างลำดับที่ $i$ และ $\hat{A}_{i, t} = \hat{A}_{i}$ คือค่าความได้เปรียบ การออกแบบรางวัลมีรายละเอียดอยู่ในหัวข้อการออกแบบรางวัล โดยสรุปคือเราผสมผสานความถูกต้องพื้นฐานเข้ากับการกำหนดรูปร่างประสิทธิภาพตามความพึงประสงค์และแบบมีจุดยึดเหนี่ยว ตามงานก่อนหน้า (Liu และคณะ, 2025a; Yao และคณะ, 2025; Zheng และคณะ, 2025a) เราใช้การสุ่มตัวอย่างความสำคัญระดับโทเค็น (Importance Sampling - IS) เพื่อแก้ไขความไม่สอดคล้องกันระหว่างการฝึกอบรมและการอนุมาน:

r_{i,t}(\theta) = \frac{\pi_{\text{train}}(\theta)}{\mu_{\text{infer}}(\theta)}.

เราประเมินแนวทางต่างๆ ในการลดความไม่สอดคล้องกันระหว่างการฝึกอบรมและการอนุมาน ซึ่งรวมถึง IS ระดับลำดับ (Zheng และคณะ, 2025b) การเล่นซ้ำเส้นทาง (Ma และคณะ, 2025; Zheng และคณะ, 2025b) และการฝึกอบรมที่สอดคล้องกันในระดับบิตซึ่งรวมเคอร์เนลของเอนจินการอนุมานเข้าไว้ระหว่างการฝึกอบรม (ทีมงาน vLLM และ TorchTitan, 2025) จากข้อมูลเชิงประจักษ์ภายใต้การตั้งค่าแบบออนพอลลิซีของเรา เราพบว่า IS ระดับโทเค็นนั้นเพียงพอที่จะป้องกันไม่ให้การฝึกอบรมล่มสลาย และยังใช้งานง่าย ซึ่งสอดคล้องกับผลการค้นพบจาก Zheng และคณะ (2025a)

ข้อมูลการฝึกอบรม RL ของเราประกอบด้วยองค์ประกอบเสริมสองส่วน ได้แก่ QA ของเอเจนต์ค้นหาที่ตรวจสอบได้ซึ่งมุ่งเป้าไปที่ความสามารถในการค้นหาทั่วไป และแชททั่วไปตามเกณฑ์การให้คะแนนซึ่งเสริมสร้างขอบเขตป้องกันการใช้งานอย่างชัดเจน เพื่อป้องกันการถดถอยในระหว่างขั้นตอนการฝึกอบรม RL

การสร้างชุดข้อมูล ตามวิธีขยายแบบลำดับ (Tao และคณะ, 2025) เราสร้างชุดข้อมูล QA สังเคราะห์ภายในองค์กรจากคำถามเริ่มต้นภายใน โดยไม่ต้องพึ่งพากราฟความรู้ที่ผ่านการคัดสรร ทำให้กระบวนการมีน้ำหนักเบาและรีเฟรชได้ง่าย ตัวอย่างสังเคราะห์แต่ละตัวอย่างถูกสร้างขึ้นผ่านขั้นตอนต่อไปนี้:

การเลือกคำถามเริ่มต้น เราดึงข้อมูลสำหรับคำถามเริ่มต้นและเลือกเอนทิตีที่มีการยืนยันข้อเท็จจริงจากหลายแหล่งเพื่อใช้เป็นจุดเริ่มต้น พร้อมทั้งดึงข้อความเชิงปรมาณูเกี่ยวกับเอนทิตีเหล่านั้น
การสร้างห่วงโซ่แบบหลายฮอป จากข้อความของเอนทิตีเริ่มต้น เราเลือกข้อความที่แนะนำเอนทิตีที่สอง (เช่น สำหรับเอนทิตีเริ่มต้น “The Mom Test” ข้อความ “เขียนโดย Rob Fitzpatrick” จะแนะนำผู้เขียนให้เป็นเอนทิตีถัดไป) เราทำกระบวนการเชื่อมโยงนี้ซ้ำ 2–4 ครั้ง เพื่อให้มั่นใจว่าเอนทิตีแต่ละตัวมีความแตกต่างกันและไม่มีข้อความใดที่เปิดเผยคำตอบสุดท้ายออกมาตรงๆ
การสังเคราะห์คำถามแบบไร้ชื่อ เราแปลงห่วงโซ่เอนทิตีให้เป็นคำถามโดยการแทนที่ชื่อเอนทิตีด้วยข้อความเชื่อมโยงของเอนทิตีนั้นๆ อย่างเป็นขั้นตอนนี้ ส่งผลให้ได้คำถามแบบซ้อนกันที่ต้องอาศัยการให้เหตุผลแบบหลายฮอป (multi-hop reasoning)
การตรวจสอบความถูกต้อง เราจะเก็บรักษาเฉพาะคำถามที่มีคำตอบอันเป็นเอกลักษณ์ซึ่งได้รับการตรวจสอบโดยเครื่องมือแก้ปัญหาที่เปิดใช้งานเว็บและมีความเป็นอิสระหลายตัว

พิจารณาคำถามเริ่มต้น “The Mom Test” เราดึงข้อมูลและระบุว่าหนังสือเล่มนี้คือเอนทิตีเริ่มต้น จากนั้นจึงดึงข้อความเชิงข้อเท็จจริงแบบอะตอมและสร้างห่วงโซ่เอนทิตีแบบวนซ้ำ ได้แก่ (i) The Mom Test เขียนโดย Rob Fitzpatrick ซึ่งเป็นการแนะนำ Rob Fitzpatrick; (ii) สตาร์ทอัพแห่งแรกของ Rob Fitzpatrick ผ่านโครงการ Y Combinator (ฤดูร้อนปี 2007) ซึ่งเป็นการแนะนำ Y Combinator; (iii) Y Combinator เปิดตัวในเดือนมีนาคม 2005 การแทนที่ชื่อเอนทิตีแต่ละชื่อด้วยตัวอธิบายแบบวนซ้ำทำให้ได้คำถามแบบไร้ชื่อว่า: “หนังสือเล่มใดที่เขียนโดยบุคคลซึ่งมีสตาร์ทอัพแห่งแรกผ่านโครงการเร่งการเติบโตที่เปิดตัวในเดือนมีนาคม 2005 ในรุ่นฤดูร้อนปี 2007 ของโครงการดังกล่าว” พร้อมคำตอบคือ “The Mom Test”

การเพิ่มความหลากหลายของรูปแบบ โมเดลที่ได้รับการฝึกอบรมด้วย QA สังเคราะห์ดิบๆ เพียงอย่างเดียวมักจะไม่สนใจความชอบด้านการจัดรูปแบบและกลับไปใช้โครงสร้างการตอบสนองแบบตายตัว โดยไม่คำนึงถึงวิธีการเรียบเรียงคำถาม เพื่อปรับปรุงความหลากหลายของรูปแบบ เราได้เพิ่มคำถามที่มีคำสั่งการจัดรูปแบบที่ชัดเจน (เช่น “แสดงรายการของ . . . ” หรือ “สรุป . . . ในรูปแบบตาราง”) ลงในชุดข้อมูล โดยที่คำตอบพื้นฐานยังคงเดิมไม่เปลี่ยนแปลง

QA สาธารณะที่ตรวจสอบได้ (เบสไลน์) เราสร้างชุดข้อมูล QA เบสไลน์ที่ตรวจสอบได้จากชุดข้อมูลโอเพนซอร์ส 5 ชุด (Lu และคณะ, 2025; Pham และคณะ, 2025; Press และคณะ, 2023; Tao และคณะ, 2025; Wu และคณะ, 2025) ซึ่งรวมเป็นหนึ่งเดียวภายใต้รูปแบบพร้อมท์ที่เราขยายเพิ่มเติมพร้อมการกรองคุณภาพ ชุดผสมนี้ทำหน้าที่เป็นเบสไลน์หลักในการทดลองตรวจสอบความถูกต้องของเรา สำหรับการเปรียบเทียบแบบควบคุม เราได้ปรับขนาดของชุดข้อมูล QA สังเคราะห์ภายในของเราให้ตรงกับชุดข้อมูลผสมโอเพนซอร์สนี้

การตรวจสอบความถูกต้องอย่างรวดเร็ว เราตรวจสอบประสิทธิภาพของกระบวนการนี้โดยใช้ Qwen3-30B-A3B-Instruct-2507 เพื่อให้สามารถทำซ้ำได้อย่างรวดเร็ว โดยสรุปผลลัพธ์ไว้ในตารางที่ 1

การตรวจสอบความถูกต้องของชุดข้อมูล QA สังเคราะห์ที่ตรวจสอบได้

แม้ว่า QA ที่ตรวจสอบได้จะให้สัญญาณการฝึกอบรมที่สะอาดสำหรับคำถามที่เน้นการค้นหา แต่สัดส่วนสำคัญของปริมาณการใช้งานจริง ไม่ สามารถตรวจสอบได้โดยง่าย (เช่น การเขียนใหม่ การวางแผน และความช่วยเหลือแบบเปิดกว้าง) การละเว้นคำถามดังกล่าวจาก RL จะทำให้โมเดลนโยบายได้รับการปรับแต่งไม่เพียงพอสำหรับการโต้ตอบของผู้ใช้จริง ยิ่งไปกว่านั้น แม้ว่าขั้นตอน SFT จะสร้างขอบเขตป้องกันที่สำคัญต่อการใช้งาน แต่ RL ก็อาจถดถอยในส่วนเหล่านี้ได้ เว้นแต่จะได้รับการเสริมกำลังอย่างชัดเจนจากข้อมูล

เรานำคำถามที่ไม่สามารถตรวจสอบได้มารวมไว้ในการฝึกอบรม RL โดยการแปลงข้อกำหนดที่สำคัญต่อการใช้งาน ได้แก่ การปฏิบัติตามคำสั่ง ข้อจำกัดด้านการจัดรูปแบบ และหลักเกณฑ์ด้านความปลอดภัย ให้เป็นเกณฑ์การให้คะแนน ซึ่งได้แก่ เกณฑ์ที่เป็นปรมาณูและตรวจสอบได้อย่างเป็นวัตถุประสงค์ที่คำตอบต้องปฏิบัติตาม เรานำการสร้างข้อมูลตามเกณฑ์การให้คะแนนมาใช้ (Gunjal และคณะ, 2025; Liu และคณะ, 2025b) และสร้างชุดเกณฑ์การให้คะแนนต่อหนึ่งคำถาม

การสร้างเกณฑ์การให้คะแนน เมื่อกำหนดประวัติการสนทนาทั้งหมด เราจะสั่งให้ LLM สร้างคำตอบอ้างอิงและชุดเกณฑ์การให้คะแนนที่สอดคล้องกัน เกณฑ์การให้คะแนนจะถูกอนุมานภายใต้ลำดับความสำคัญที่กำหนดไว้ตายตัว ได้แก่ ข้อกำหนดที่ผู้ใช้ระบุไว้อย่างชัดเจนจะมีความสำคัญสูงสุด ตามด้วยข้อจำกัดภายใน และสุดท้ายคือข้อกำหนดด้านเนื้อหาที่จำเป็นซึ่งอนุมานมาจากคำตอบอ้างอิง เกณฑ์แต่ละข้อจะต้อง:

เป็นปรมาณู (Atomic): เป็นการตรวจสอบเดี่ยวที่กำหนดไว้อย่างชัดเจน
เป็นวัตถุประสงค์ (Objective): สามารถตรวจสอบได้โดยไม่ต้องอาศัยการตัดสินใจแบบอัตวิสัย
จำเป็น (Necessary): จำเป็นสำหรับการตอบคำถาม ไม่ใช่แค่ความชอบทางด้านรูปแบบเท่านั้น

คำถาม:

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

เกณฑ์การให้คะแนน:

คำตอบเขียนเป็นภาษาอังกฤษ
ข้อความที่แก้ไขแล้วมีคำว่า "lodging" และ "boarding"
ข้อความที่แก้ไขแล้วใช้คำว่า "manpower" เป็นคำเดียว (เช่น "manpower plan" หรือ "manpower planning") แทนที่จะเป็น "man power"
ข้อความที่แก้ไขแล้วไม่มีคำย่อที่ไม่เป็นทางการอย่าง "u" หรือ "Plz" และไม่มีเครื่องหมายแอมเพอร์แซนด์ "&"
คำตอบไม่มีเครื่องหมายอ้างอิงในรูปแบบ \\[type:idx\\] โดยที่ type หมายถึงแหล่งข้อมูล (เช่น web, chart, memory, attached_file)

การปรับเทียบเกณฑ์การให้คะแนน เพื่อหลีกเลี่ยงชุดเกณฑ์การให้คะแนนที่เข้มงวดหรือหละหลวมจนเกินไป เราจึงใช้ตัวกรอง pass@4 สำหรับแต่ละคำถาม เราจะสุ่มตัวอย่างคำตอบอิสระสี่คำตอบและประเมินเทียบกับชุดเกณฑ์การให้คะแนนทั้งหมดด้วยตัวตัดสินที่ปฏิบัติตามคำสั่ง เราจะคัดทิ้งคำถามที่ไม่มีคำตอบใดเลยผ่านชุดเกณฑ์การให้คะแนน หรือคำตอบทั้งหมดผ่านเกณฑ์ โดยจะคงไว้เฉพาะคำถามที่ให้สัญญาณการฝึกอบรมที่มีประโยชน์เท่านั้น

ความท้าทายทางปฏิบัติในการทำ RL แบบหลายเป้าหมายคือความไม่สมดุลของความแปรปรวนในส่วนประกอบของข้อมูล (Duchi และ Namkoong, 2016; Liu และคณะ, 2026; Qi และคณะ, 2026) แม้ว่าทั้ง QA ที่ตรวจสอบได้และข้อมูลตามเกณฑ์การให้คะแนนจะให้รางวัลแบบไบนารี แต่มีความยากของงานที่แตกต่างกันอย่างมาก โดยทั่วไปแล้วการทำตามเกณฑ์การให้คะแนนจะทำได้ง่ายกว่าในช่วงแรกของการฝึกอบรม ซึ่งสร้างการอัปเดตเกรเดียนต์ที่มีขนาดใหญ่และพบบ่อยกว่า ซึ่งอาจครอบงำการปรับแต่งนโยบายได้มากกว่าเมื่อเทียบกับสัญญาณ QA ที่ตรวจสอบได้ซึ่งมีความยากกว่า เพื่อแก้ปัญหานี้ เราจึงทำการปรับให้น้ำหนักของชุดพร้อมท์ใหม่ในระดับชุดข้อมูล โดยสุ่มตัวอย่าง 90% จาก QA ที่ตรวจสอบได้ และ 10% จากข้อมูลตามเกณฑ์การให้คะแนน เพื่อปรับสัญญาณการปรับแต่งให้สมดุลกันในแต่ละองค์ประกอบ

การออกแบบรางวัลของเราสืบเนื่องมาจากการสร้างข้อมูลที่อธิบายไว้ข้างต้นโดยตรง แม้จะครอบคลุมทั้งงาน QA ที่ตรวจสอบได้และงานตามเกณฑ์การให้คะแนน แต่ข้อมูลการฝึกอบรมทั้งหมดมีโครงสร้างรางวัลพื้นฐานร่วมกัน กล่าวคือ การสร้างข้อความ (rollout) จะได้รับเครดิตหากให้คำตอบที่ถูกต้องสำหรับงาน QA หรือตอบสนองตามเกณฑ์การให้คะแนนทั้งหมดที่ระบุไว้สำหรับแชททั่วไป จากพื้นฐานที่มีร่วมกันนี้ เราได้สร้างรางวัลแบบผสมผสานเพื่อรวมการให้คะแนนตามความพึงประสงค์และการกำหนดรูปร่างประสิทธิภาพเข้าไว้ด้วยกัน

ความท้าทายสำคัญที่พบในการทดลองช่วงแรกคือการแสวงหาช่องโหว่ของรางวัล (reward hacking): การผสมผสานเชิงเส้นอย่างง่ายของรางวัลช่วยให้สัญญาณความพึงประสงค์ที่แข็งแกร่งสามารถชดเชยความล้มเหลวในด้านข้อเท็จจริงหรือการปฏิบัติตามคำสั่งได้ ดังนั้นเราจึงนำ การรวมแบบมีเกณฑ์กั้น (gated aggregation) มาใช้เป็นหลักการออกแบบหลัก ซึ่งนิยามอย่างเป็นทางการดังนี้:

R(\tau_i) = r_{\text{base}}(\tau_i) \cdot s(\tau_i) \;-\; \operatorname{pen}_{\text{eff}}(\tau_i),

โดยที่ $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ หมายถึงความถูกต้องของ QA หรือการทำตามเกณฑ์การให้คะแนน $s(\tau_i)\in[0,1]$ คือคะแนนความพึงประสงค์ และ $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ คือบทลงโทษด้านประสิทธิภาพแบบมีจุดยึดเหนี่ยว สิ่งนี้ทำให้ความถูกต้องเป็นเงื่อนไขที่จำเป็นสำหรับการได้รับเครดิตความพึงประสงค์ ในขณะเดียวกันก็ยังคงยับยั้งการใช้เครื่องมือและความเยิ่นเย้อที่ไม่จำเป็น รูปภาพที่ 1 แสดงภาพรวมของกระบวนการให้รางวัลทั้งหมด ซึ่งเราจะอธิบายส่วนประกอบต่างๆ ด้านล่างนี้:

ภาพรวมการออกแบบรางวัล เราผสมผสานสัญญาณความถูกต้องพื้นฐาน (แบบตรวจสอบได้/ตามเกณฑ์การให้คะแนน) คะแนนความพึงประสงค์แบบ Bradley–Terry และบทลงโทษด้านประสิทธิภาพแบบมีจุดยึดเหนี่ยว ความพึงประสงค์จะถูกควบคุมด้วยเกณฑ์ความถูกต้องพื้นฐานเพื่อป้องกันการแสวงหาช่องโหว่ของรางวัล

เรากำหนดสัญญาณพื้นฐานแบบไบนารี $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ ที่จับความถูกต้องของงานหรือการปฏิบัติตามคำสั่ง สำหรับข้อมูลเอเจนต์ค้นหาที่ตรวจสอบได้ $r_{\mathrm{base}}(\tau_i)=1$ หากคำตอบสุดท้ายตรงกับความจริงภาคสนาม และ $0$ ในกรณีอื่นๆ สำหรับข้อมูลแชททั่วไปตามเกณฑ์การให้คะแนน $r_{\mathrm{base}}(\tau_i)=1$ หากเกณฑ์การให้คะแนน ทั้งหมด ได้รับการเติมเต็ม และ $0$ ในกรณีอื่นๆ เบสไลน์นี้ทำหน้าที่เป็นเกณฑ์กั้นแบบแข็งในกฎการรวมแบบมีเงื่อนไข สมการที่ 2

เรามุ่งมั่นที่จะปรับโมเดลนโยบายให้สอดคล้องกับความพึงประสงค์แฝงของผู้ใช้เกี่ยวกับคุณภาพการตอบสนอง ซึ่งได้แก่ ความให้ข้อมูล ความชัดเจน และน้ำหนักเสียงที่เป็นมืออาชีพ ซึ่งยากที่จะจับได้ผ่านพร้อมท์ของผู้ตัดสินที่เป็น LLM ดังนั้นเราจึงฝึกอบรมโมเดลรางวัลความพึงประสงค์ที่เรียนรู้ได้เพื่ออให้คะแนนคุณสมบัติเหล่านี้โดยตรง

เรากำหนดสูตรการเรียนรู้ความพึงประสงค์ภายใต้กรอบงาน Bradley–Terry เมื่อกำหนดบริบท $x$ และคำตอบที่เป็นไปได้สองรายการ $y_a, y_b$ โมเดลจะสร้างคะแนนสเกลาร์ $s_{\theta}(x, y) \in \mathbb{R}$ และลดค่าน้อยที่สุดลง

\ell_{\text{BT}}(\theta; x, y_a, y_b, r) = -\Big[r \log \sigma(\Delta_\theta) + (1-r) \log\bigl(1 - \sigma(\Delta_\theta)\bigr)\Big], \\ \Delta_\theta = s_\theta(x, y_a) - s_\theta(x, y_b)

โดยที่ $r \in \{0, 1\}$ ระบุว่า $y_a$ เป็นที่ชื่นชอบมากกว่าหรือไม่ เพื่อกำจัดความลำเอียงจากตำแหน่ง คู่การฝึกอบรมแต่ละคู่จะถูกเพิ่มข้อมูลด้วยการสลับลำดับทั้งสองแบบและปรับให้เหมาะสมอย่างสมมาตร

\mathcal{L}_{\text{sym}} = \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_a, y_b, r) + \tfrac{1}{2}\,\ell_{\text{BT}}(x, y_b, y_a, 1-r).

ในขั้นตอนการอนุมาน เราจะได้คะแนนความพึงประสงค์ที่ไม่ขึ้นกับตำแหน่งโดยการหาค่าเฉลี่ยของส่วนสับเปลี่ยนทั้งสองแบบ:

\bar{\Delta}_\theta(x, y_a, y_b) = \tfrac{1}{2}\Big[\Delta_\theta(x, y_a, y_b) - \Delta_\theta(x, y_b, y_a)\Big], \\ \bar{P}_\theta(x, y_a, y_b) = \sigma\bigl(\bar{\Delta}_\theta(x, y_a, y_b)\bigr).

คะแนนความพึงประสงค์ของการสร้างข้อความ (rollout) จึงถูกกำหนดให้เป็น $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$ หรือก็คือ ความน่าจะเป็นที่การสร้างข้อความของนโยบาย $y_i$ จะได้รับความนิยมมากกว่าการสร้างข้อความของโมเดลอ้างอิงสำหรับพร้อมท์เดียวกัน

ข้อมูลการฝึกอบรมสำหรับการสร้างแบบจำลองความพึงประสงค์ดึงมาจากชุดข้อมูลโอเพนซอร์สที่คัดสรรแล้ว ฟีดแบ็กแบบตัวต่อตัวของผู้ใช้ และคำอธิบายประกอบภายใน เพื่อจัดการกับสัญญาณรบกวนของป้ายกำกับ เราจึงใช้กระบวนการกรองและการปรับเทียบที่มีน้ำหนักเบาซึ่งได้รับแรงบันดาลใจจาก Datbench (DatologyAI, 2026) โดยคงไว้เฉพาะตัวอย่างที่มีความสอดคล้องข้ามโมเดลที่สอดคล้องกันเท่านั้น โมเดลรางวัลใช้แบ็กโบนเดียวกันกับโมเดลนโยบาย โดยมีหัวข้อการสร้างภาษาแทนที่ด้วยหัวข้อค่า (value head) แม้ว่าโมเดลรางวัลที่มีขนาดเล็กกว่าจะบรรลุความถูกต้องบนชุดข้อมูลทดสอบที่เทียบเคียงกันได้ แต่เราพบจากข้อมูลเชิงประจักษ์ว่าโมเดลเหล่านั้นไม่สามารถจับความพึงประสงค์ที่มีรายละเอียดปลีกย่อยได้ และอาจเสริมสร้างพฤติกรรมนโยบายที่ไม่พึงประสงค์

ในกรณีที่ไม่มีการกำหนดรูปร่างประสิทธิภาพอย่างชัดเจน โมเดลนโยบายจะมีแนวโน้มที่จะใช้เครื่องมือมากเกินไปแม้แต่ในพร้อมท์ที่ง่าย บทลงโทษแบบไม่มีเงื่อนไข (เช่น บทลงโทษที่ปรับขนาดตามสัดส่วนเชิงเส้นกับจำนวนครั้งในการเรียกใช้เครื่องมือหรือความยาวของเอาต์พุต) ถือเป็นเบสไลน์ที่เป็นธรรมชาติ แต่เราพบว่าบทลงโทษดังกล่าวระงับการสำรวจที่จำเป็นและทำให้การเรียนรู้ลดลง ดังนั้นเราจึงนำ บทลงโทษแบบมีจุดยึดเหนี่ยวและสัมพันธ์กับกลุ่ม มาใช้ ซึ่งช่วยควบคุมการใช้เครื่องมือและความยาวของการตอบสนองให้เป็นระเบียบเทียบกับวิธีแก้ปัญหาที่มีประสิทธิภาพภายในแต่ละกลุ่ม GRPO สำหรับกลุ่ม 𝑔 เรากำหนดชุดผู้ชนะดังนี้:

W_g = \{\, i : r_{\text{base}}(\tau_i) = 1 \,\}.

บทลงโทษจากการเรียกใช้เครื่องมือแบบยึดโยง สำหรับแต่ละการรัน $\tau_i$ ให้ $c_i$ แทนจำนวนครั้งที่เรียกใช้เครื่องมือ และ $e_i$ แทนจำนวนความล้มเหลวในการดำเนินการเครื่องมือ เรากำหนดจำนวนการเรียกใช้เครื่องมือที่มีผลจริง $\tilde{c}_i = c_i - e_i$ และสุ่มค่าเบสไลน์ของกลุ่มอย่างสม่ำเสมอ:

b_g \sim \operatorname{Unif}\!\left(\min_{j \in W_g} \tilde{c}_j,\ \left\lceil \operatorname{mean}_{j \in W_g} \tilde{c}_j \right\rceil\right).

เราคำนวณส่วนที่เกิน $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ และกำหนดสเกลาร์บทลงโทษที่ราบรื่น $p_i = 1 - \exp\!\left(-\Delta_i\right)$ จากนั้นบทลงโทษเครื่องมือคือ:

\operatorname{pen}_{\text{tool}}(\tau_i) = \begin{cases} \alpha_{\text{win}}\, p_i, & i \in W_g, \\ \alpha_{\text{lose}}\, p_i + \beta_{\text{lose}}, & i \notin W_g, \end{cases}

บทลงโทษความยาวแบบมีจุดยึดเหนี่ยว ให้ $L_i$ และ $L_i^{\mathrm{ref}}$ แทนความยาวโทเค็นของการสร้างข้อความจากโมเดลผู้สมัครและโมเดลอ้างอิงตามลำดับ เรากำหนด ชุดการกำหนดรูปร่าง $\widehat{W}_g$ ให้เป็นการสร้างข้อความที่มีความถูกต้องและเป็นที่ชื่นชอบ:

\widehat{W}_g = \{\, \underbrace{i \in W_g}_{\text{correct}} \;:\; \underbrace{s(\tau_i) \geq 0.5}_{\text{preferred}} \,\}.

จากนั้นเราคำนวณเบสไลน์ความยาวเฉพาะกลุ่ม:

\underbrace{b_{g,\text{win}}}_{\substack{\text{avg. ref. length} \\ \text{of winners}}} = \operatorname{mean}_{j \in \widehat{W}_g} L_j^{\text{ref}}, \qquad \underbrace{b_{g,\text{lose}}}_{\substack{\text{avg. ref. length} \\ \text{of losers}}} = \operatorname{mean}_{j \notin \widehat{W}_g} L_j^{\text{ref}}.

บทลงโทษความยาวถูกกำหนดเป็น:

\operatorname{pen}_{\text{len}}(\tau_i) = \begin{cases} 1, & L_i > \max_j L_j^{\text{cmp}} \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{L_i}{b_{g,\text{win}}} - 1\right)\right), & i \in \widehat{W}_g \\ 1 - \exp\!\left(-\max\!\left(0,\ \dfrac{b_{g,\text{lose}}}{L_i} - 1\right)\right), & i \notin \widehat{W}_g \end{cases}

โดยที่บรรทัดแรกคือขีดจำกัดสูงสุดแบบแข็ง บรรทัดที่สองลงโทษผู้ชนะที่มีความเยิ่นเย้อ และบรรทัดที่สามลงโทษผู้แพ้ที่มีความกระชับเกินไป

บทลงโทษประสิทธิภาพรวม บทลงโทษประสิทธิภาพรวมคือผลรวมถ่วงน้ำหนักของส่วนประกอบทั้งสอง:

\operatorname{pen}_{\text{eff}}(\tau_i) = \lambda_{\text{tool}}\, \operatorname{pen}_{\text{tool}}(\tau_i) + \lambda_{\text{len}}\, \operatorname{pen}_{\text{len}}(\tau_i).

เราประเมินไปป์ไลน์หลังการฝึกของเราตามสองแกน: (i) พลวัตการฝึก เพื่อประเมินเสถียรภาพของการปรับให้เหมาะสมและตรวจสอบว่าสัญญาณรางวัลทำงานตามที่คาดไว้หรือไม่ และ (ii) เบนช์มาร์กแบบออฟไลน์ เพื่อวัดคุณภาพปลายทาง ความปลอดภัย และประสิทธิภาพภายใต้การประเมินที่ควบคุมได้

การตั้งค่าการฝึกอบรมเริ่มต้น โมเดลนโยบายโต้ตอบกับเครื่องมือค้นหาเว็บ (search_web); การเรียกใช้เครื่องมือแต่ละครั้งจะดึงผลลัพธ์สูงสุด 10 รายการ โดยจำกัดความยาวคำถามไว้ที่ 250 ตัวอักษร และเรียกใช้ได้สูงสุด 5 คำถามต่อการสร้างข้อความหนึ่งครั้ง

เราตรวจสอบพลวัตของการปรับแต่ง โดยมุ่งเน้นไปที่ความก้าวหน้าของรางวัลและพฤติกรรมด้านประสิทธิภาพ เราใช้ Qwen3.5-397B-A11B เพื่อความเรียบง่ายในการอธิบาย

วิวัฒนาการของสัญญาณเบสไลน์และความพึงประสงค์ในระหว่างการฝึกอบรม

รูปภาพที่ 2 แสดงการปรับปรุงอย่างต่อเนื่องในรางวัลพื้นฐาน (QA ที่ตรวจสอบได้และการทำตามเกณฑ์การให้คะแนน) ควบคู่ไปกับคะแนนความพึงประสงค์ที่เพิ่มขึ้น ซึ่งบ่งชี้ถึงความก้าวหน้าที่สอดคล้องกันในด้านความถูกต้อง การปฏิบัติตามกฎ และคุณภาพการตอบสนอง

พฤติกรรมด้านประสิทธิภาพและบทลงโทษการกำหนดรูปร่างแบบมีจุดยึดเหนี่ยวในระหว่างการฝึกอบรม

รูปภาพที่ 3 แสดงให้เห็นว่าทั้งความถี่ในการเรียกใช้เครื่องมือและความยาวของการสร้างข้อความได้รับการควบคุมเป็นอย่างดีตลอดการฝึกอบรม เป็นที่น่าสังเกตว่าทั้งบทลงโทษการเรียกใช้เครื่องมือและบทลงโทษความยาวต่างก็ลดลงแบบโมโนโทนิกตลอดช่วงเวลาการฝึกอบรม ซึ่งสะท้อนถึงการปรับตัวทีละน้อยของโมเดลไปสู่การสร้างข้อความที่กระชับขึ้นและการเรียกใช้เครื่องมือที่มีความเฉพาะเจาะจงมากขึ้น

รูปที่ 4 แสดงให้เห็นว่าบรรทัดฐานของกราเดียนต์ยังคงเสถียร นอกเหนือจากสไปก์ชั่วคราว ขณะที่ KL divergence ระหว่างการฝึกและการอนุมานมีแนวโน้มเพิ่มขึ้นเล็กน้อย โดยยังคงอยู่ในสเกล 1e-3 รูปแบบการดริฟต์นี้สอดคล้องกับข้อสังเกตในเฟรมเวิร์กการฝึก RL อื่น ๆ; เนื่องจากการฝึกยังคงเสถียรตลอด เราจึงคงการทำ regularization แบบ IS อย่างง่ายไว้ในสมการ 1 โดยไม่มีการแทรกแซงเพิ่มเติม

เรารายงานผลบนชุดเบนช์มาร์กที่ครอบคลุมความแม่นยำในการค้นหา ความน่าเชื่อถือของข้อเท็จจริง การทำตามคำสั่ง และความปลอดภัย ซึ่งประกอบด้วยทั้งเบนช์มาร์กสาธารณะและเมตริกภายในของ Perplexity (PPLX) เบนช์มาร์กสาธารณะประกอบด้วย SimpleQA, FRAMES, และ Facts Open

pplx-sbs-search: การประเมินความพึงประสงค์แบบเทียบเคียง (Side-by-Side) โดยใช้โมเดลรางวัลภายใน ผู้สมัครจะถูกนำไปเปรียบเทียบกับเบสไลน์ที่แข็งแกร่ง
pplx-abstention: ความสามารถในการปฏิเสธอย่างเหมาะสมเมื่อไม่มีหลักฐานที่น่าเชื่อถือ
pplx-language-mismatch: ความสอดคล้องของภายใต้การตั้งค่าแบบหางยาว (long-tail) และหลายรอบการสนทนา
pplx-broken-tool-calls (↓): ความสอดคล้องของสคีมาการเรียกใช้เครื่องมือและการปฏิบัติตามข้อจำกัด เช่น tool_choice=none

การตั้งค่าการประเมินเริ่มต้น สำหรับเบนช์มาร์กสาธารณะ เราอนุญาตให้ใช้เฉพาะเครื่องมือค้นหาเว็บ โดยมีงบประมาณการเรียกใช้เครื่องมือสูงสุด 5 ครั้งต่อตัวอย่าง และผลลัพธ์สูงสุด 10 รายการต่อการเรียกใช้ พร้อมทั้งสร้างโทเค็นเอาต์พุตสูงสุด 8192 โทเค็นที่อุณหภูมิ 0.6

ผลลัพธ์การประเมินแบบออฟไลน์ ตัวเลขในวงเล็บระบุการใช้งานเครื่องมือเฉลี่ย เราหมายถึง Qwen3.5-397B-A17B ว่าเป็น Qwen3.5-Large และ Qwen3.5-122B-A10B ว่าเป็น Qwen3.5-Medium

ตารางที่ 2 แสดงให้เห็นว่า Qwen3.5-Large-SFT-RL มีความถูกต้องในการค้นหาที่ยอดเยี่ยมในเบนช์มาร์กสาธารณะ โดยมีผลงานเทียบเท่าหรือเหนือกว่า gpt-5.4 บน FRAMES และ Facts Open ในขณะที่ใช้งบประมาณเครื่องมือที่ใกล้เคียงกัน เมื่อเทียบกับโมเดลฐาน แนวทางของเราให้ผลลัพธ์ที่ดีขึ้นอย่างมากในเมตริกภายใน โดยเฉพาะอย่างยิ่งในด้านความพึงประสงค์ (pplx-sbs-search: 0.602 → 0.742) ความสอดคล้องของภาษา และการงดเว้น ซึ่งแสดงให้เห็นว่ากระบวนการ 2 ขั้นตอนช่วยปรับปรุงพฤติกรรมที่สำคัญต่อการใช้งานได้อย่างมีประสิทธิภาพโดยไม่ลดทอนความสามารถในการค้นหา

เพื่อวัดสิ่งนี้ เราจึงออกแบบโปรโตคอลการประเมินแบบ บังคับงบประมาณ (budget-forced) โมเดลแต่ละตัวจะสามารถเข้าถึงเครื่องมือค้นหาเว็บ (search_web) และพร้อมท์ของระบบที่กำหนดขีดจำกัดสูงสุดสำหรับจำนวนครั้งในการเรียกใช้เครื่องมือที่อนุญาต ("งบประมาณ") เรากวาดค่านับตั้งแต่งบประมาณ 0 (ไม่มีการใช้เครื่องมือ ใช้ความรู้พารามิเตอร์ล้วนๆ) จนถึง 10 (การดึงข้อมูลหลายขั้นตอนแบบไม่อั้น) พร้อมทั้งบันทึกความถูกต้องในแต่ละระดับ ซึ่งจะสร้าง เส้นโค้งประสิทธิภาพของเครื่องมือ: คะแนนของโมเดลที่เป็นฟังก์ชันของงบประมาณการดึงข้อมูลที่ได้รับอนุญาต เราทำการประเมินบนเบนช์มาร์ก QA เชิงข้อเท็จจริงสองรายการ ได้แก่ FRAMES และ Facts Open

ความถูกต้องของเบนช์มาร์กเทียบกับจำนวนครั้งสูงสุดในการเรียกใช้เครื่องมือ

มีรูปแบบที่โดดเด่นหลายประการจากเบนช์มาร์กทั้งสองนี้:

โมเดล Qwen3.5-397B-SFT-RL ที่ผ่านการฝึกอบรมเพิ่มเติมของเราบรรลุความถูกต้องในการค้นหาที่ดีที่สุดในเบนช์มาร์กทั้งสองรายการ แม้จะมีการเรียกใช้เครื่องมือเพียงครั้งเดียว แต่ก็ทำคะแนนได้ 57.3% บน FRAMES ซึ่งสูงกว่า GPT-5.4 อยู่ 5.7 จุด และสูงกว่า Sonnet 4.6 อยู่ 4.7 จุด
- ข้อได้เปรียบนี้มีความเด่นชัดที่สุดในงบประมาณระดับปานกลาง (b=2-7) ซึ่ง ช่วงการใช้งานจริงสำหรับการใช้งานในระดับการผลิต
สูตรหลังการฝึกอบรมของเรา (SFT + RL) ช่วยปรับปรุงประสิทธิภาพการใช้เครื่องมือให้ดีขึ้นอย่างมากเมื่อเทียบกับจุดตรวจสอบเริ่มต้น โปรดดูเส้นทึบ (ผ่านการฝึกอบรมเพิ่มเติม) เทียบกับเส้นประ (จุดตรวจสอบเริ่มต้น) ในรูปที่ 5
สำหรับโมเดลทั้งหมด เราสังเกตเห็นผลตอบแทนที่ลดลง (diminishing returns) ที่งบประมาณประมาณ 7 ซึ่งสอดคล้องกันในเบนช์มาร์กทั้งสองและทุกโมเดล บ่งชี้ว่าสิ่งนี้เป็นคุณลักษณะของงานที่แสวงหาข้อเท็จจริงมากกว่าตัวโมเดลเอง

ผลลัพธ์ข้างต้นแสดงให้เห็นว่า Qwen3.5-397B-SFT-RL ให้ความถูกต้องสูงกว่าด้วยการเรียกใช้เครื่องมือน้อยลง แต่สิ่งนี้แปลเป็นต้นทุนจริงอย่างไร เราแปลงการวัดระดับโทเค็นเป็นต้นทุนดอลลาร์โดยใช้ราคา API ที่เผยแพร่ (Alibaba DashScope, OpenAI, Anthropic) เพื่อให้การเปรียบเทียบมีความเป็นรูปธรรม

ที่โปรไฟล์ปานกลาง (b=4) Qwen3.5-397B-SFT-RL ทำคะแนนได้ 73.9% บน FRAMES ที่ 2.0 เซนต์ต่อคำถาม ในขณะที่ GPT-5.4 ทำคะแนนได้ 67.8% ที่ 8.5 เซนต์ และ Sonnet 4.6 ทำคะแนนได้ 62.4% ที่ 15.3 เซนต์ นั่นคือ ความถูกต้องสูงกว่า +6 จุด แต่มีต้นทุนต่ำกว่า 4 เท่า เมื่อเทียบกับ GPT-5.4 และสูงกว่า +11.5 จุด แต่มีต้นทุนต่ำกว่า 7.5 เท่า เมื่อเทียบกับ Sonnet 4.6

การประมาณการเหล่านี้ใช้ราคา API สาธารณะโดยไม่มีการแคช ด้วยการเพิ่มประสิทธิภาพการอนุมานภายในองค์กร เช่น การนำ KV cache กลับมาใช้ใหม่ การแคชคำนำหน้า (prefix caching) และการให้บริการ MoE แบบควอนไทซ์ (397B ใช้พารามิเตอร์ที่ใช้งานอยู่เพียง 17B) ต้นทุนจริงจึงสามารถลดลงให้ต่ำกว่าราคา API สาธารณะได้อย่างมาก

การแยกการปฏิบัติตามกฎระเบียบในการใช้งานออกจากกระบวนการเพิ่มประสิทธิภาพการค้นหาผ่านขั้นตอน SFT และ RL แบบ 2 ขั้นตอน ช่วยให้ได้โมเดลที่มีความสามารถและมีความน่าเชื่อถือภายใต้ข้อจำกัดในการใช้งานจริง การผสมผสานระหว่างข้อมูล QA ที่ตรวจสอบได้และข้อมูลการฝึกอบรมตามเกณฑ์การให้คะแนน รวมถึงการรวมรางวัลแบบมีเกณฑ์กั้นและการกำหนดรูปร่างประสิทธิภาพแบบมีจุดยึดเหนี่ยว ช่วยให้สามารถเพิ่มประสิทธิภาพเป้าหมายหลายรายการได้อย่างเสถียรโดยไม่สูญเสียความถูกต้องในการค้นหาหรือการปฏิบัติตามขอบเขตป้องกัน

มีทิศทางหลายประการที่ควรค่าแก่การศึกษาเพิ่มเติม ดังที่สังเกตเห็นในรูปที่ 4 การเบี่ยงเบน KL ระหว่างการฝึกอบรมกับการอนุมานแสดงให้เห็นแนวโน้มเพิ่มขึ้นอย่างต่อเนื่องในขั้นตอนการฝึกอบรมที่ขยายออกไป แม้ว่าการแก้ไขด้วย IS ระดับโทเค็นจะพิสูจน์แล้วว่าเพียงพอภายใต้การตั้งค่าปัจจุบันของเรา แต่ยังไม่ชัดเจนว่าสิ่งนี้จะยังคงเป็นจริงในสเกลที่ใหญ่ขึ้นหรือไม่ การจัดการทางทฤษฎีที่มีหลักการมากกว่าสำหรับความไม่สอดคล้องกันนี้ ซึ่งครอบคลุมถึงความแตกต่างในระดับโครงสร้างพื้นฐานและปัจจัยเฉพาะของสถาปัตยกรรม เช่น การจัดเส้นทางของ MoE ควบคู่ไปกับการเปรียบเทียบเชิงประจักษ์เชิงปริมาณของกลยุทธ์การลดผลกระทบ ยังคงเป็นคำถามปลายเปิดที่สำคัญ สำหรับ RL แบบหลายเป้าหมายโดยเฉพาะ แนวทางที่มีแนวโน้มดี ได้แก่ การฝึกอบรมแบบลำดับ (Zeng และคณะ, 2026) พร้อมการกลั่นแบบออนพอลลิซีเพื่อเพิ่มประสิทธิภาพเป้าหมายเป็นขั้นตอนพร้อมทั้งลดการลืมเลือนที่สร้างความเสียหาย และการรวมโมเดล (Fu และคณะ, 2025; Yang และคณะ, 2026) เพื่อแยกการเพิ่มประสิทธิภาพเฉพาะงานออกจากกัน สุดท้าย การปรับสเกลไปสู่เวิร์กโฟลว์เครื่องมือหลากหลายประเภทที่สมจริงพร้อมเส้นทางระยะยาว ยังคงเป็นความท้าทายปลายเปิดที่สำคัญ ซึ่งน่าจะต้องอาศัยการกำหนดเครดิตที่ดีขึ้น การสนับสนุนการสร้างข้อความบางส่วน และการประเมินผล

DatologyAI. Datbench: Discriminative, faithful, and efficient vision-language model evaluations. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, ม.ค. 2026. เผยแพร่เมื่อ 6 ม.ค. 2026 เข้าถึงเมื่อ: 2026-03-04

J. Duchi และ H. Namkoong Variance-based regularization with convex objectives. arXiv preprint arXiv:1610.02581, 2016

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng และ X. Zhao Training-free llm merging for multi-task learning. ใน Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), หน้า 33111–33124, 2025

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu และ S. Hendryx Rubrics as rewards: Reinforcement learning beyond verifiable domains. arXiv preprint arXiv:2507.17746, 2025

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu และ Y. Shen When speed kills stability: Demystifying rl collapse from the training-inference mismatch. Notion Blog, 2025a

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng และคณะ Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv preprint arXiv:2601.05242, 2026

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao และ H. Wang Openrubrics: Towards scalable synthetic rubric generation for reward modeling and llm alignment. arXiv preprint arXiv:2510.07743, 2025b

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang และ Y. Dong Deepdive: Advancing deep search agents with knowledge graphs and multi-turn rl. arXiv preprint arXiv:2509.10446, 2025

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui และ F. Luo Stabilizing moe reinforcement learning by aligning training and inference routers. arXiv preprint arXiv:2510.11370, 2025

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng และ T. Vu Sealqa: Raising the bar for reasoning in search-augmented language models. arXiv preprint arXiv:2506.01062, 2025

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith และ M. Lewis Measuring and narrowing the compositionality gap in language models. ใน Findings of the Association for Computational Linguistics: EMNLP 2023, หน้า 5687–5711, 2023

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin และ W. S. Lee Rethinking the trust region in llm reinforcement learning. arXiv preprint arXiv:2602.04879, 2026

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu และคณะ Deepseekmath: Pushing the limits of mathematical reasoning in open language models. arXiv preprint arXiv:2402.03300, 2024

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang และคณะ Webshaper: Agentically data synthesizing via information-seeking formalization. arXiv preprint arXiv:2507.15061, 2025

ทีมงาน vLLM และ TorchTitan No more train-inference mismatch: Bitwise consistent on-policy reinforcement learning with vLLM and TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, พ.ย. 2025 บล็อก vLLM

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie และ F. Huang Webwalker: Benchmarking llms in web traversal, 2025. URL https://arxiv.org/abs/ 2501.07572

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv และคณะ Qwen3 technical report. arXiv preprint arXiv:2505.09388, 2025

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang และ D. Tao Model merging in llms, mllms, and beyond: Methods, theories, applications, and opportunities. ACM Computing Surveys, 58(8):1–41, 2026

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang และ J. Gao Your efficient rl framework secretly brings you off-policy rl training, ส.ค. 2025. URL https://fengyao.notion.s ite/off-policy-rl

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang และคณะ Glm-5: from vibe coding to agentic engineering. arXiv preprint arXiv:2602.15763, 2026

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu และคณะ Stabilizing reinforcement learning with llms: Formulation and practices. arXiv preprint arXiv:2512.01374, 2025a

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang และคณะ Group sequence policy optimization. arXiv preprint arXiv:2507.18071, 2025b

BibTeX

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://www.perplexity.ai/hub/blog/advancing-search-augmented-language-models}
}

บทนำ

กระบวนการฝึกอบรม 2 ขั้นตอน

ขั้นตอน SFT

ขั้นตอน RL

ข้อมูลการฝึกอบรม RL

ข้อมูลเอเจนต์ค้นหาที่ตรวจสอบได้

ตัวอย่าง (3 ฮอป)

ข้อมูลแชททั่วไปตามเกณฑ์การให้คะแนน

ตัวอย่าง

การผสมผสานพร้อมท์และความสมดุลของความแปรปรวน

การออกแบบรางวัล

รางวัลพื้นฐาน

การสร้างแบบจำลองความพึงประสงค์

บทลงโทษด้านประสิทธิภาพ

ผลลัพธ์หลัก

พลวัตของการฝึกอบรม

การประเมินแบบออฟไลน์

การประเมินประสิทธิภาพการใช้เครื่องมือ

บทสรุป

เอกสารอ้างอิง

การอ้างอิง