การประเมินประสิทธิภาพการวิจัยเชิงลึกในสถานการณ์จริงด้วยเกณฑ์มาตรฐาน DRACO

ในวันนี้ เราขอเปิดตัวเกณฑ์มาตรฐาน Deep Research Accuracy, Completeness, and Objectivity (DRACO) ซึ่งเป็นเกณฑ์มาตรฐานแบบโอเพนซอร์สสำหรับการประเมินตัวแทนการวิจัยเชิงลึกโดยอิงจากวิธีที่ผู้ใช้งานจริงใช้งาน AI สำหรับงานวิจัยที่ซับซ้อน ด้วยการทำให้ DRACO เป็นโอเพนซอร์ส เรามุ่งหวังที่จะช่วยให้ชุมชน AI ในวงกว้างสามารถสร้างเครื่องมือวิจัยที่ตอบสนองความต้องการของผู้ใช้จริงได้ดียิ่งขึ้น

DRACO เน้นให้เห็นถึงช่องว่างระหว่างการแก้ไขงานจำลองและการตอบสนองความต้องการด้านการวิจัยจริง ระบบการประเมินนี้ไม่ยึดติดกับโมเดล: เมื่อมี LLM แบบเอเจนต์ที่ทรงพลังมากขึ้น เราจะทำการประเมินซ้ำและเผยแพร่ผลลัพธ์ที่อัปเดต และเมื่อเราส่งมอบการปรับปรุงสำหรับการวิจัยเชิงลึกบน Perplexity.ai ผู้ใช้จะเห็นการพัฒนาเหล่านั้นสะท้อนให้เห็นทั้งในด้านประสิทธิภาพของผลิตภัณฑ์และคะแนนเกณฑ์มาตรฐาน

การวิจัยเชิงลึกล้ำสมัย

การวิจัยเชิงลึกของ Perplexity บรรลุประสิทธิภาพระดับล้ำสมัยในเกณฑ์มาตรฐานภายนอกชั้นนำ รวมถึง DeepSearchQA ของ Google DeepMind และ ResearchRubrics ของ Scale AI

ขยาย

ขยาย

ผลลัพธ์เหล่านี้มาจากการผสมผสานระหว่างโมเดลที่ดีที่สุดที่มีอยู่และความสามารถของเอเจนต์ที่สร้างขึ้นเพื่อวัตถุประสงค์เฉพาะของ Perplexity ซึ่งได้แก่ เครื่องมือค้นหากรรมสิทธิ์ โครงสร้างพื้นฐานเบราว์เซอร์ และการรันโค้ด เมื่อรวมกันแล้ว สิ่งเหล่านี้จะก่อให้เกิดระบบที่ได้รับการปรับให้เหมาะสมแบบต้นทางถึงปลายทางสำหรับการเรียกค้น การสังเคราะห์ และการให้เหตุผลเกี่ยวกับข้อมูลในโลกแห่งความเป็นจริง

ในกระบวนการสร้างผลิตภัณฑ์นี้ เราตระหนักดีว่าเกณฑ์มาตรฐานภายนอก แม้ว่าจะมีประโยชน์สำหรับการเปรียบเทียบโมเดล แต่บ่อยครั้งมักจะไม่ครอบคลุมถึงคำค้นหาที่มีหลายแง่มุมและความต้องการในการสังเคราะห์ที่ผู้ใช้จริงสอบถามทุกวัน ในวันนี้ เรากำลังเปิดซอร์ส DRACO Benchmark ซึ่งเป็นเกณฑ์มาตรฐานที่อิงตามวิธีที่ผู้คนใช้งานการวิจัยเชิงลึกจริงๆ โดยได้รับแรงบันดาลใจจากงานการผลิตนับล้านรายการในสิบโดเมน

ขยาย

เหตุใดการประเมินที่อิงตามกระบวนการผลิตจึงมีความสำคัญ

เกณฑ์มาตรฐานที่มีอยู่มักจะทดสอบทักษะแคบๆ แบบแยกส่วน เช่น การดึงข้อเท็จจริงเดี่ยว การตอบคำถามเรื่องไม่สำคัญ หรือการแก้ไขปัญหาที่มีการกำหนดไว้อย่างดี แต่คำค้นหางานวิจัยจริงต้องการการสังเคราะห์จากแหล่งข้อมูลต่างๆ การวิเคราะห์เชิงลึก และคำแนะนำที่นำไปปฏิบัติได้จริง ทั้งหมดนี้ในขณะที่ต้องรักษาความถูกต้องตามข้อเท็จจริงและการอ้างอิงที่เหมาะสม

DRACO Benchmark ประกอบด้วยงานที่คัดสรรมาอย่างพิถีพิถัน 100 งาน ครอบคลุมสาขาวิชาการ การเงิน กฎหมาย การแพทย์ เทคโนโลยี ความรู้ทั่วไป การออกแบบ UX ผู้ช่วยส่วนบุคคล การเปรียบเทียบช้อปปิ้ง/ผลิตภัณฑ์ และเข็มในกองฟาง (Needle in a Haystack) โดยแต่ละงานมาพร้อมกับชุดเกณฑ์การประเมินที่ผู้เชี่ยวชาญสร้างขึ้น ซึ่งมีค่าเฉลี่ยอยู่ที่ประมาณ 40 เกณฑ์การประเมิน

งานเหล่านี้มีต้นกำเนิดมาจากคำขอของผู้ใช้จริงบน Perplexity Deep Research ซึ่งสุ่มตัวอย่างจากคำขอการผลิตนับล้านรายการ แล้วนำมาปรับปรุงใหม่ กำหนดรูปแบบใหม่ และกรองอย่างเป็นระบบผ่านกระบวนการ 5 ขั้นตอน ได้แก่ การลบข้อมูลที่สามารถระบุตัวตนได้ส่วนบุคคล การเพิ่มบริบทและขอบเขต การกรองความถูกต้องและระดับความยาก และการดำเนินการตรวจสอบขั้นสุดท้ายโดยผู้เชี่ยวชาญเฉพาะด้าน ผลลัพธ์ที่ได้คือเกณฑ์มาตรฐานที่สะท้อนความต้องการของผู้ใช้จริง แทนที่จะเป็นแบบฝึกหัดสังเคราะห์หรือคลังงานที่ผู้เชี่ยวชาญคัดสรรมา

วิธีที่ DRACO Benchmark ทำงาน

ขยาย

แต่ละงานในเกณฑ์มาตรฐานผ่านกระบวนการพัฒนาเกณฑ์การประเมินอย่างเข้มงวด Perplexity ได้ร่วมมือกับพาร์ทเนอร์ด้านการสร้างข้อมูลอย่าง The LLM Data Company เพื่อพัฒนาและทดสอบความกดดันของเกณฑ์การประเมินสำหรับชุดข้อมูลนี้ ผู้เชี่ยวชาญเฉพาะด้านได้ร่างเกณฑ์เบื้องต้นด้วยความช่วยเหลือของเครื่องมือ LLM จากนั้นจึงผ่านการตรวจสอบโดยผู้ทรงคุณวุฒิและการปรับเทียบ เกณฑ์ที่ระบุไม่ชัดเจนและมีความผ่อนปรนมากเกินไปจะถูกส่งกลับเพื่อแก้ไข โดยมีเกณฑ์ประมาณ 45% ที่ได้รับการปรับปรุงอย่างน้อยหนึ่งครั้งผ่านกระบวนการนี้ ผลลัพธ์ที่ได้คือเกณฑ์การประเมินที่แยกแยะความสามารถของระบบได้อย่างแท้จริง

เกณฑ์การประเมินจะประเมินในสี่มิติ ได้แก่ ความถูกต้องตามข้อเท็จจริง (ประมาณครึ่งหนึ่งของเกณฑ์ทั้งหมด) ความกว้างและความลึกของการวิเคราะห์ คุณภาพการนำเสนอ และการอ้างอิงแหล่งข้อมูลปฐมภูมิ แต่ละเกณฑ์จะได้รับน้ำหนักที่สะท้อนถึงความสำคัญ และบางเกณฑ์จะเป็นเกณฑ์เชิงลบ ซึ่งจะหักคะแนนสำหรับข้อผิดพลาดเช่น ฮัลลูซิเนชัน (Hallucination) หรือการกล่าวอ้างที่ไม่มีหลักฐานรองรับ

การตอบสนองจะถูกให้คะแนนโดยใช้โปรโตคอล LLM-as-judge ซึ่งแต่ละเกณฑ์จะได้รับคำตัดสินแบบไบนารี แนวทางนี้เหมาะอย่างยิ่งสำหรับการประเมินความถูกต้องตามข้อเท็จจริง เนื่องจากเกณฑ์การประเมินจะทำให้ผู้ตัดสินยึดโยงกับข้อมูลในโลกแห่งความเป็นจริงที่ได้มาจากผลการค้นหา ซึ่งเปลี่ยนการประเมินเชิงอัตวิสัยให้กลายเป็นข้อเท็จจริงที่ตรวจสอบได้ เราได้ตรวจสอบความน่าเชื่อถือผ่านโมเดลผู้ตัดสินสามโมเดลและพบว่า แม้คะแนนสัมบูรณ์จะแตกต่างกัน แต่การจัดอันดับระบบสัมพัทธ์ยังคงสอดคล้องกัน

ขยาย

ชุดเครื่องมือและสภาพแวดล้อมการประเมิน

เกณฑ์มาตรฐานนี้ได้รับการออกแบบมาเพื่อประเมินเอเจนต์ที่มีการเข้าถึงชุดเครื่องมือวิจัยแบบเต็มรูปแบบ รวมถึงแซนด์บ็อกซ์ (sandbox) สำหรับการรันโค้ดและความสามารถของเบราว์เซอร์

สิ่งที่เราพบ

ประสิทธิภาพตามโดเมน เราประเมินระบบการวิจัยเชิงลึกสี่ระบบใน 10 โดเมนความรู้ โดยวัดอัตราการผ่าน (เปอร์เซ็นต์ของเกณฑ์การประเมินที่เป็นไปตามข้อกำหนด) การวิจัยเชิงลึกทำอัตราการผ่านสูงสุดในทุกโดเมน โดยมีประสิทธิภาพที่โดดเด่นเป็นพิเศษในด้านกฎหมาย (89.4%) และวิชาการ (82.4%)

ขยาย

สำหรับผู้ใช้ นั่นหมายถึงคำตอบที่น่าเชื่อถือมากขึ้น ไม่ว่าคุณจะกำลังเตรียมเอกสารทางกฎหมาย ดำเนินการทบทวนวรรณกรรม หรือเปรียบเทียบตัวเลือกการรักษาทางการแพทย์ ช่องว่างด้านประสิทธิภาพกว้างขึ้นอย่างเห็นได้ชัดในงานให้เหตุผลที่ซับซ้อน: ในสถานการณ์ผู้ช่วยส่วนบุคคลและเข็มในกองฟาง Perplexity มีประสิทธิภาพเหนือกว่าระบบที่ได้คะแนนต่ำที่สุดมากกว่า 20 เปอร์เซ็นต์พอยต์ โดเมนเหล่านี้สะท้อนความต้องการของผู้ใช้จริง เช่น คำแนะนำส่วนบุคคลและการค้นหาข้อเท็จจริงเฉพาะเจาะจงที่ซ่อนอยู่ในเอกสารขนาดใหญ่

ขยาย

ประสิทธิภาพตามแง่มุมการประเมิน จากสี่มิติการประเมินหลัก การวิจัยเชิงลึกเป็นผู้นำในสามมิติ ได้แก่ ความถูกต้องตามข้อเท็จจริง ความกว้างและความลึกของการวิเคราะห์ และคุณภาพการอ้างอิง สิ่งเหล่านี้คือมิติที่มีความสำคัญที่สุดเมื่อคุณจำเป็นต้องไว้วางใจงานวิจัยของคุณสำหรับการตัดสินใจจริง ไม่ว่าคุณจะให้คำปรึกษาลูกค้า ตัดสินใจลงทุน หรือเขียนรายงานที่มีชื่อของคุณกำกับอยู่ มีเพียงระบบอื่นอีกหนึ่งระบบเท่านั้นที่แสดงประสิทธิภาพเทียบเคียงได้กับ Perplexity Deep Research ในด้านคุณภาพการนำเสนอ ซึ่งบ่งชี้ว่าปัญหาที่ยากในการวิจัยเชิงลึกนั้นไม่ได้เกี่ยวกับการจัดรูปแบบ แต่เกี่ยวกับการทำให้ข้อถูกต้องและการวิเคราะห์สมบูรณ์ครบถ้วน

ขยาย

คุณภาพและประสิทธิภาพ เป็นที่น่าสังเกตว่าระบบที่มีประสิทธิภาพสูงสุดยังทำเวลาแฝงได้ต่ำที่สุดด้วย (459.6วินาที เทียบกับ 592 ถึง 1808 วินาทีสำหรับคู่แข่ง) สำหรับผู้ใช้ นั่นหมายความว่าคุณไม่ต้องเลือกระหว่างงานวิจัยที่ละเอียดถี่ถ้วนกับการได้รับคำตอบอย่างรวดเร็ว สิ่งนี้สะท้อนให้เห็นถึงข้อได้เปรียบของโครงสร้างพื้นฐานแบบบูรณาการในแนวตั้งและแบบครบวงจร: การค้นหาที่ดีกว่า¹ [ลิงก์เชิงอรรถไปยัง API การค้นหาของเรา] และการผสานรวมเบราว์เซอร์เข้ากับสภาพแวดล้อมการทำงานที่ได้รับการปรับแต่งจะช่วยแปลงตรงไปสู่การวิจัยที่รวดเร็วและแม่นยำยิ่งขึ้น

ขั้นตอนถัดไป

ระบบการวิจัยเชิงลึกของ Perplexity ไม่ยึดติดกับโมเดล: เมื่อมี LLM แบบเอเจนต์ที่ทรงพลังมากขึ้น เราจะทำการประเมินซ้ำและเผยแพร่ผลลัพธ์ที่อัปเดต และเมื่อเราส่งมอบการปรับปรุงสำหรับการวิจัยเชิงลึกบน Perplexity.ai ผู้ใช้จะเห็นการพัฒนาเหล่านั้นสะท้อนให้เห็นทั้งในด้านประสิทธิภาพของผลิตภัณฑ์และคะแนนเกณฑ์มาตรฐาน

ปัจจุบันเกณฑ์มาตรฐานประเมินเฉพาะภาษาอังกฤษและการโต้ตอบแบบเทิร์นเดี่ยวในสิบโดเมน การทำซ้ำในอนาคตจะขยายความหลากหลายทางภาษา เพิ่มการประเมินแบบหลายเทิร์น และขยายความครอบคลุมของโดเมน

สร้างตัวแทนการวิจัยที่ดีขึ้นด้วย DRACO Benchmark

DRACO Benchmark เป็นโอเพนซอร์สเต็มรูปแบบแล้วในขณะนี้ ทีมใดก็ตามที่สร้างระบบการวิจัยเชิงลึกสามารถประเมินโมเดลของตนเทียบกับงานวิจัยในโลกแห่งความเป็นจริงแทนที่จะเป็นปริศนาทางวิชาการจำลอง เรากำลังเผยแพร่เกณฑ์มาตรฐานที่สมบูรณ์ เกณฑ์การประเมินทั้งหมด และพรอมต์ของผู้ตัดสิน

หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับระเบียบวิธีและผลลัพธ์โดยละเอียด โปรดอ่านรายงานทางเทคนิคฉบับเต็ม: เกณฑ์มาตรฐาน DRACO และสำรวจชุดข้อมูลบน Hugging Face

การอ้างอิง

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}