เกณฑ์มาตรฐาน WANDR: การประเมินเอเจนต์วิจัยที่ต้องค้นหาแบบกว้างและลึก

ในวันนี้ เรากำลังเปิดตัว WANDR (Wide ANd Deep Research) ซึ่งเป็นชุดทดสอบและเครื่องมือประเมินแบบโอเพนซอร์สที่สร้างขึ้นจากงานรวบรวมข้อมูลที่สมจริงและท้าทายถึง 500 งานสำหรับการทำงานด้านความรู้ WANDR คือพี่น้องฝั่ง "กว้าง" ของ DRACO benchmark for deep research ของเรา โดย DRACO จะทดสอบว่าเอเจนต์สามารถสร้างรายงานขนาดยาวที่แม่นยำ สมบูรณ์ และเป็นกลางได้หรือไม่ ในขณะที่ WANDR จะทดสอบว่าเอเจนต์สามารถสร้างคอลเลกชันขนาดใหญ่และสนับสนุนสมาชิกทุกรายด้วยหลักฐานเฉพาะได้หรือไม่

นี่คือประเภทของงานที่ผู้คนมอบหมายให้เอเจนต์การวิจัยทำอยู่แล้ว เช่น การจัดทำแผนที่การแข่งขัน การตรวจสอบสถานะ การทบทวนวรรณกรรม การวิเคราะห์ตลาด การเปรียบเทียบผลิตภัณฑ์ การจัดหาบุคลากร และอื่นๆ งานเหล่านี้มีตั้งแต่หลักสิบไปจนถึงหลายพันรายการที่ตรวจสอบความถูกต้องได้อย่างอิสระ แม้จะตั้งค่าการทำงานระดับสูง แต่ระบบที่แข็งแกร่งที่สุดในการประเมินของเราก็ทำคะแนนได้เพียง 0.363 soft F1 และ 0.133 hard F1 เท่านั้น การวิจัยแบบกว้างและลึกยังคงอีกยาวไกลกว่าจะแก้ปัญหาได้สำเร็จ

ขยาย

ทำไมการวิจัยแบบกว้างและลึกจึงมีความสำคัญ

งานวิจัยที่มีประโยชน์หลายงานไม่ได้สิ้นสุดลงเมื่อเอเจนต์หาคำตอบได้หนึ่งคำตอบ นักวิเคราะห์ตลาดอาจต้องการคู่แข่งที่มีคุณสมบัติครบถ้วนทุกราย พร้อมด้วยหลักฐานชิ้นเดียวกันสำหรับแต่ละราย ทีมตรวจสอบสถานะอาจต้องการบริษัทจำนวนหลายสิบแห่ง ตามด้วยความเป็นเจ้าของ ผู้บริหาร การจัดหาเงินทุน และสถานะด้านกฎระเบียบของแต่ละบริษัท ซึ่งสร้างความต้องการที่แตกต่างกันสองประการ:

กว้าง (Wide): ค้นพบชุดเอนทิตีที่มีคุณสมบัติเหมาะสมจำนวนมากและมักจะไม่มีขอบเขตจำกัด

ลึก (Deep): ตรวจสอบเอนทิตีแต่ละตัวให้ลึกเพียงพอที่จะสนับสนุนข้ออ้างอิงที่ร้องขอแต่ละรายการด้วยหลักฐาน

การรวมทั้งสองอย่างเข้าด้วยกันทำให้ปัญหาเปลี่ยนไป ตัวอย่างที่น่าสนใจเพียงหยิบมือเดียวย่อมไม่เพียงพอ และเรื่องราวที่ขัดเกลามาอย่างดีซึ่งสร้างขึ้นจากการวิจัยที่ไม่สมบูรณ์ก็เช่นกัน เอเจนต์จะต้องรักษาการค้นพบในวงกว้างโดยไม่ลดทอนคุณภาพเชิงข้อเท็จจริงจากบันทึกหนึ่งไปยังอีกบันทึกหนึ่ง

WANDR จับโครงสร้างนั้นด้วย ลำดับชั้นคีย์คุณสมบัติ (qualification key hierarchy) ที่มีความยืดหยุ่นและนำมาประกอบกันได้ งานหนึ่งอาจร้องขอ

company(n) → employee(m) → url(k)

นี่หมายถึงการค้นหาบริษัทที่มีคุณสมบัติเหมาะสมจำนวน n แห่ง, พนักงานที่มีคุณสมบัติเหมาะสมจำนวน m คนในแต่ละบริษัท และหน้าเว็บสนับสนุนจำนวน k หน้าสำหรับพนักงานแต่ละคน เส้นทางที่สมบูรณ์ทุกเส้นทางผ่านต้นไม้สามารถตรวจสอบความถูกต้องได้โดยอิสระ โครงสร้างพื้นฐานเดียวกันนี้สามารถแสดงถึงรายการแบบแบน การค้นหาแบบซ้อน เมทริกซ์ หรือภารกิจที่มีสาขาหลักฐานหลายสาขา นอกจากนี้ รูปแบบเหล่านี้ยังสามารถนำมารวมกันได้ ทำให้การแสดงผลเพียงชุดเดียวครอบคลุมกรณีการใช้งานในโลกแห่งความเป็นจริงได้หลากหลาย

ขยาย

งานหนึ่งที่ปล่อยออกมาแสดงให้เห็นโครงสร้างนี้ในการปฏิบัติจริง

ceo_cfo_appointments

งานหลัก ค้นหาบริษัทในสหรัฐอเมริกาอย่างน้อย 70 แห่งที่มีการแต่งตั้ง CEO หรือ CFO ซึ่งประกาศครั้งแรกระหว่างวันที่ 1 มีนาคมถึง 30 เมษายน 2026 สำหรับแต่ละบริษัท ให้จัดเตรียมหน้าเว็บการแต่งตั้งที่เป็นทางการซึ่งระบุบริษัทและผู้ได้รับการแต่งตั้ง กำหนดบทบาทและวันที่ประกาศ และมาจากผู้ออกหลักทรัพย์ เอกสารยื่นต่อทางการ สำนักข่าว หรือสื่อมวลชนทางธุรกิจมือหนึ่งที่ระบุแหล่งที่มาโดยตรง

ลำดับชั้นหลัก company(70) → company_appointee(1) → url(1)

งานย่อยการแสดงรายชื่อบริษัท สำหรับบริษัทเดียวกัน ให้จัดเตรียมหน้าหน่วยงานที่ทำหน้าที่แสดงรายชื่อที่เป็นที่ยอมรับ ซึ่งแสดงการจดทะเบียนในตลาดหลักทรัพย์แห่งชาติของสหรัฐอเมริกา หรือสถานะเป็นผู้ออกหลักทรัพย์ที่รายงานต่อ SEC ของสหรัฐอเมริกาที่มีถิ่นที่อยู่ในสหรัฐอเมริกา

ลำดับชั้นงานย่อย company(70) → url(1)

บันทึกที่จำเป็น 140 รายการ: บันทึกการแต่งตั้ง 70 รายการบวกกับบันทึกการแสดงรายชื่อ 70 รายการ

เส้นทางแต่ละเส้นจะสิ้นสุดลงที่หน้าเว็บและข้อความตัดตอนที่ผู้ตรวจให้คะแนนสามารถตรวจสอบซ้ำได้ คีย์บริษัทที่ใช้ร่วมกันจะเชื่อมโยงสาขาการแต่งตั้งและสาขาการแสดงรายชื่อเข้าด้วยกัน ดังนั้น การแต่งตั้งที่ไม่มีหลักฐานสถานะการแสดงรายชื่อแยกต่างหากจึงยังคงทำให้บริษัทนั้นไม่สมบูรณ์

งานที่สมจริง สร้างขึ้นในสเกลที่ใหญ่

WANDR เริ่มต้นจากรูปแบบที่ผ่านการถอดระบุตัวตนแล้วซึ่งสังเกตได้จากการใช้งานจริง มากกว่าการใช้พรอมต์สังเคราะห์ ซึ่งช่วยให้เกณฑ์มาตรฐานนี้ใกล้เคียงกับงานที่ผู้คนมอบหมายจริง ๆ ได้แก่ การค้นหาแบบปลายเปิด การเติมข้อมูลซ้ำ การตรวจสอบจากหลายแหล่ง และการเปรียบเทียบเชิงโครงสร้างในสเกลระดับมืออาชีพ พ่อแม่พันธุ์แบบกึ่งอัตโนมัติจะแปลงรูปแบบเหล่านั้นให้เป็นงาน โดยสงวนความพยายามของมนุษย์ไว้สำหรับการควบคุมคุณภาพแทนที่จะเป็นการใส่คำอธิบายประกอบคำตอบอย่างละเอียดถี่ถ้วน

ไปป์ไลน์มี 4 ขั้นตอน Seeding คัดแยกคำขอผลิตภัณฑ์ที่ไม่ระบุตัวตนเพื่อหารูปแบบการวิจัยแบบกว้างที่นำกลับมาใช้ซ้ำได้ Authoring รันลูป author–critic แบบสลับกัน: เอเจนต์ร่างและทดสอบความทนทานของการออกแบบ เขียนข้อกำหนดของงานและตัวตัดสิน สร้างเรคคอร์ดฟิกซ์เจอร์ และใช้ลินเตอร์เชิงกลเพื่อให้ทุกอย่างสอดคล้องกัน Admission ตรวจสอบว่าปริมาณเป้าหมายสามารถบรรลุได้โดยการรวมเอาต์รันของ authoring 10–12 รอบ ตรวจสอบตัวตัดสินเฉพาะงาน และเพิ่มการอนุมัติจากมนุษย์เป็นตัวเลือก Curation ติดป้ายกำกับงานที่ผ่านการรับเข้าและคัดเลือกชุดสุดท้ายที่สมดุลครอบคลุมหัวข้อ ขนาด ทอพอโลยี และความยาก

ขยาย

งานมัธยฐานร้องขอสมาชิก 50 คน บันทึก 4 รายการต่อสมาชิกหนึ่งคน และบันทึกรวม 245 รายการ เมื่อนำมารวมกัน งาน 500 งานนี้ต้องใช้บันทึกที่สนับสนุนด้วยแหล่งที่มาถึง 170,495 รายการ เราทำการเทียบมาตรฐานความยากจากผลลัพธ์ในขั้นตอนการออกแบบในอดีต จากนั้นจึงแบ่งงานตามอันดับออกเป็นตัวอย่างที่มีความยากต่ำ 167 รายการ ความยากปานกลาง 166 รายการ และความยากสูง 167 รายการ กราฟด้านล่างแสดงให้เห็นว่าความยากไม่ได้ถูกกำหนดโดยสเกลเพียงอย่างเดียว แต่ยังขึ้นอยู่กับงานที่จำเป็นสำหรับบันทึกแต่ละรายการด้วย

ขยาย

การให้คะแนนแบบปราศจากข้อมูลอ้างอิงและตรวจสอบยืนยันด้วยหลักฐาน

คีย์คำตอบแบบคงที่ไม่ค่อยเหมาะสมกับการวิจัยแบบปลายเปิด เนื่องจากมีค่าใช้จ่ายสูงในการสร้าง กลายเป็นข้อมูลล้าสมัยอย่างรวดเร็ว และไม่สามารถแสดงคำถามที่คำตอบเปลี่ยนแปลงไปตามกาลเวลาได้อย่างดี WANDR จึงใช้วิธีให้คะแนนคำอ้างอิงแต่ละรายการที่ส่งเข้ามาเทียบกับหลักฐานที่เอเจนต์อ้างอิงแทน

บันทึกแต่ละรายการประกอบด้วยรายการ URL ข้อความตัดตอนที่เลือก และคำตอบ ระบบตรวจให้คะแนนจะดึงหน้าเว็บมาใหม่อีกครั้งและตรวจสอบว่าสามารถใช้งานได้หรือไม่ ข้อความอ้างอิงมีความชัดเจนและอยู่ในขอบเขตหรือไม่ ข้อความตัดตอนปรากฏบนหน้าเว็บอย่างถูกต้องหรือไม่ และทั้งหน้าเว็บและข้อความตัดตอนสนับสนุนข้อกำหนดทุกข้อหรือไม่

ผลการตัดสินบันทึกแบบไบนารีเหล่านี้จะถูกรวมขึ้นผ่านลำดับชั้น ความแม่นยำ (Precision) วัดคุณภาพของสิ่งที่ระบบส่งเข้ามา ความครอบคลุม (Recall) วัดความสมบูรณ์ที่ปรับตามคุณภาพเทียบกับปริมาณที่ร้องขอ โดยเติมส่วนที่ขาดหายไปด้วยศูนย์ F1 สร้างความสมดุลระหว่างทั้งสองค่า คะแนนแบบ Soft ให้เครดิตบางส่วนแก่สมาชิกที่ไม่สมบูรณ์ คะแนนแบบ Hard นับเฉพาะสมาชิกที่มีซับทรีที่จำเป็นครบถ้วนถูกต้องเท่านั้น สำหรับการวินิจฉัย WANDR ยังรายงานผลการตัดสินแบบเรียกค้นอย่างเดียว ซึ่งถามว่าหน้าที่ดึงมานั้นตรงตามข้อกำหนดของงานหรือไม่ ก่อนที่จะเพิ่มการตรวจสอบที่เข้มงวดมากขึ้นเกี่ยวกับความถูกต้องและข้อความตัดตอนที่ส่งเข้ามา

สิ่งนี้ทำให้ความล้มเหลวตีความได้และระบุจุดได้ แม่นยำสูงแต่เรียกคืนต่ำมักหมายความว่าระบบพบสมาชิกที่ดีบางส่วน แต่ยังไม่มากพอ ช่องว่างขนาดใหญ่จาก soft ไป hard หมายความว่าระบบคืบหน้าได้บางส่วนแต่แทบไม่เสร็จครบทุกกิ่งที่จำเป็นต่อการได้เครดิตเต็ม คะแนนทรีสามารถระบุตำแหน่งการสูญเสียไปยังการค้นพบ การเสริมข้อมูล การจัดการเอกลักษณ์ การคัดกรองหน้า หรือการสกัดหลักฐาน

ขยาย

สิ่งที่เราพบ

เราเปรียบเทียบระบบการใช้งานจริงหกรายการ ได้แก่ API งานและค้นหาที่โฮสต์ไว้ API เว็บเอเจนต์ทั่วไป ผลิตภัณฑ์การวิจัยเชิงลึก และระบบการจัดระเบียบการค้นหาด้วยโปรแกรมของเรา Search as Code (SaC) แต่ละระบบได้รับการกำหนดเวลาในงานทั้ง 500 งานภายใต้การกำหนดค่าที่ตรึงไว้ จากนั้นจึงผ่านกระบวนการดึงข้อมูล การตัดสิน การแก้ไขข้อมูลเอกลักษณ์ และการให้คะแนนแบบเดียวกัน

Perplexity Search as Code เป็นผู้นำด้วย 0.363 soft F1 และ 0.133 hard F1 Anthropic ตามมาเป็นอันดับสองที่ 0.249 และ 0.072; ระบบอื่นๆ ทั้งหมดสูงสุดอยู่ที่ 0.121 soft F1 และ 0.035 hard F1 ไม่มีระบบใดที่โดดเด่นทั้งในด้านคุณภาพและประสิทธิภาพ Perplexity อยู่ในระดับกลางของช่วงต้นทุนที่ $5.20 ต่อหนึ่งงาน โดยมีเวลาแก้ปัญหามัธยฐาน 14.9 นาที และรายงานโทเค็น 3.82 ล้านโทเค็นต่อหนึ่งงาน OpenAI และ Exa เร็วและถูกกว่า แต่ได้คะแนนต่ำกว่ามาก Anthropic ทำได้ใกล้เคียงที่สุดในด้านคุณภาพ แต่ใช้เวลา เงิน และโทเค็นมากกว่าอย่างเห็นได้ชัด

ขยาย

ขยาย

นอกจากนี้ เรายังประเมินการตั้งค่าความพยายามที่มีอยู่ทั้งหมดในชุดย่อย 45 งานที่ตรงกัน ความพยายามที่มากขึ้นช่วยพัฒนา Perplexity, Gemini และ Exa ในทุกขั้นตอน โดย Perplexity สูงถึง 0.447 soft F1 และ 0.224 hard F1 ที่ xhigh อย่างไรก็ตาม ความพยายามที่สูงขึ้นไม่ได้ดีขึ้นเสมอไป: OpenAI สูงสุดที่ high และ hard F1 ของ Parallel ลดลงเล็กน้อยระหว่าง ultra2x และ ultra4x ต้นทุนครอบคลุมมากกว่าสี่ลำดับความสำคัญ ตั้งแต่ $0.03 ต่อหนึ่งงานสำหรับ Exa low ไปจนถึง $324.83 สำหรับ Gemini max

ขยาย

ขยาย

ข้อค้นพบสี่ประการที่โดดเด่น

ความคืบหน้าแบบบางส่วนเกิดขึ้นบ่อย; การครอบคลุมครบถ้วนไม่ใช่เรื่องปกติ recall แบบ soft ต่ำกว่า precision แบบ soft สำหรับทุกระบบ ซึ่งหมายความว่าประสิทธิภาพลดลงเมื่อปริมาณที่ร้องขอทั้งหมดเข้าสู่ตัวหาร Perplexity คง recall ไว้ที่ 0.357 จาก precision 0.389 ซึ่งเป็นช่องว่างที่น้อยที่สุด; Anthropic ลดจาก 0.354 เหลือ 0.222 การแปลงจาก soft ไป hard รุนแรงยิ่งกว่า Perplexity ลดจาก soft F1 0.363 เหลือ hard F1 0.133 และ Anthropic จาก 0.249 เหลือ 0.072 precision แบบ hard ที่ดีที่สุดคือ 0.150 และ recall แบบ hard ที่ดีที่สุดคือ 0.134: แม้แต่ผู้นำก็ได้เครดิตเต็มสำหรับสมาชิกที่ส่งมาเพียงประมาณ 1 ใน 7 และสมาชิกที่งานร้องขอเพียงประมาณ 1 ใน 7

สเกลทำให้ปัญหาซับซ้อนยิ่งขึ้น จากถังปริมาณเป้าหมายที่เล็กที่สุดไปจนถึงใหญ่ที่สุด ความแม่นยำแบบ Hard ของ Perplexity ลดลงจาก 0.235 เป็น 0.096 และความครอบคลุมแบบ Hard ลดลงจาก 0.219 เป็น 0.079 Anthropic ลดลงจาก 0.205 เป็น 0.113 และจาก 0.127 เป็น 0.042; OpenAI ลดลงจาก 0.109 เป็น 0.034 และจาก 0.102 เป็น 0.016 โดยทั่วไปความครอบคลุมจะลดลงเร็กว่าความแม่นยำ: ระบบอาจรักษากลุ่มสมาชิกที่สมบูรณ์ขนาดเล็กไว้ได้ในขณะที่ครอบคลุมชุดที่ร้องขอน้อยลงเรื่อยๆ

ลำดับชั้นที่ลึกยิ่งขึ้นนั้นมีความโหดหินยิ่งกว่าเดิม เมื่อเปลี่ยนจากการไม่มีคีย์ระดับกลางไปเป็นมีตั้งแต่สามคีย์ขึ้นไป ความแม่นยำแบบ Hard ของ Perplexity ลดลงจาก 0.392 เป็น 0.019 และความครอบคลุมแบบ Hard ลดลงจาก 0.378 เป็น 0.017; Anthropic ลดลงจาก 0.311 เป็น 0.049 และจาก 0.229 เป็น 0.022; OpenAI ลดลงจาก 0.136 เป็น 0.012 และจาก 0.120 เป็น 0.011 สาขาที่เพิ่มเข้ามาแต่ละสาขาจะสร้างจุดอื่นที่สมาชิกอาจพลาดคะแนนแบบ Hard แบบได้ทั้งหมดหรือไม่ได้เลย ต้นทุนและเวลาแฝงไม่ได้เป็นไปตามรูปแบบโมโนโทนิกทั่วไป

ขยาย

แม้กระทั่งก่อนที่จะตัดสินคุณภาพ การค้นหาก็เป็นคอขวดเชิงโครงสร้างอันดับแรก หากพิจารณาเฉพาะจำนวนดิบก่อนการยุบตัว ความสมบูรณ์ของการค้นหาระดับบนสุดเฉลี่ยจะมีตั้งแต่ 0.611 ถึง 0.951 การเพิ่มประสิทธิภาพแบบมีเงื่อนไขนั้นแข็งแกร่งกว่าที่ 0.767–0.967 และความสมบูรณ์ของช่องหลักฐานปลายทางสูงถึง 0.979–0.994 เมื่อมีสมาชิกและเส้นทางการเพิ่มประสิทธิภาพนั้นๆ Perplexity เป็นผู้นำในการค้นหาที่ 0.951 และการเพิ่มประสิทธิภาพที่ 0.967 แต่ OpenAI สูงกว่าเล็กน้อยในส่วนช่องหลักฐานปลายทางที่ 0.994 เทียบกับ 0.991 การยุบตัวที่ซ้ำกันคิดเป็นเพียง 0.017–0.205 เปอร์เซ็นต์ของการสูญเสียจำนวนทั่วทั้งการรันเต็มรูปแบบทั้งหกครั้ง ดังนั้น การส่งมอบไม่ครบจึงเป็นคำอธิบายรวมหลัก ไม่ใช่การรวมข้อมูลเอกลักษณ์ การสูญเสียเชิงโครงสร้างดิบที่ใหญ่ที่สุดเกิดขึ้นก่อนที่จะมีการแนบ URL สุดท้าย

ขยาย

การหาหน้าเว็บที่ใช้งานได้มักเป็นเรื่องง่าย แต่การหาหลักฐานที่สมบูรณ์นั้นเป็นเรื่องยาก สำหรับห้าบบริษัท มีเพียง 3.2%–8.9% ของหน้าที่ส่งมาที่ไม่สามารถใช้งานได้ โดย OpenAI เป็นค่าผิดปกติที่ 23.1% บันทึกที่ไม่ถูกต้องหรือผิดประเภทยังค่อนข้างพบน้อยที่ 4.2%–17.4% การสูญเสียหลักจะเกิดขึ้นในลำดับถัดมา: 33.6%–68.3% ของหน้าที่ส่งมาไม่ผ่านข้อกำหนดงานที่เป็นสาระสำคัญอย่างน้อยหนึ่งข้อ และ 57.5%–86.6% ของข้อความตัดตอนที่ส่งมาไม่สนับสนุนทุกสิ่งที่บันทึกกล่าวอ้าง อัตราของ Perplexity คือ 41.4% และ 57.5% Soft F1 ของบริษัทลดลงจาก 0.531 ภายใต้การตรวจสอบแบบเรียกค้นอย่างเดียว ซึ่งถามเพียงว่าหน้าเว็บตรงตามข้อกำหนดที่เป็นสาระสำคัญทุกข้อหรือไม่ เหลือ 0.363 ภายใต้ผลการตัดสินแบบสมบูรณ์ ซึ่งกำหนดให้ต้องมีการตรวจสอบแบบสากล ความถูกต้องเฉพาะของงาน และการสนับสนุนข้อความตัดตอนที่สมบูรณ์ด้วย Hard F1 ก็ลดลงเช่นกันจาก 0.245 เป็น 0.133 ส่วนที่ยากไม่ใช่แค่การเข้าถึงหน้าเว็บที่ดูน่าเชื่อถือเท่านั้น แต่คือการแปลงหน้าเว็บนั้นให้เป็นหลักฐานที่เพียงพอสำหรับคำกล่าวอ้างทั้งหมด

ขยาย

Search as Code เหมาะอย่างยิ่งกับรูปแบบงานนี้ โมเดลสามารถแสดงการสืบค้น การกรอง การกระจายออก การเรนเดอร์ การเชื่อม การลบข้อมูลซ้ำ และตรรกะการหยุดเป็นโปรแกรม ขณะที่การคำนวณแบบกำหนดแน่นอนจัดการกับการทำงานซ้ำ ๆ ที่อยู่นอกบริบทของโมเดล โปรไฟล์ดังกล่าวสอดคล้องกับการคงความกว้างของ Perplexity และการสร้างข้อความตัดตอนที่แข็งแรงกว่า แม้ว่าจะไม่ได้เป็นผู้นำในทุกชั้น: Anthropic มีอัตราความล้มเหลวในการต้องใช้หน้าเอกสารต่ำที่สุด

จะมีอะไรต่อไป

WANDR ให้มากกว่าคะแนนลีดเดอร์บอร์ดเพียงค่าเดียว โครงสร้างงานที่พบได้บ่อยและไปป์ไลน์กึ่งอัตโนมัติรองรับการสร้างงานปริมาณสูงที่หลากหลาย ขณะที่คำตัดสินระดับเรคคอร์ดและคะแนนระดับลำดับชั้นแสดงให้เห็นว่ารันล้มเหลวตรงไหน: การค้นพบ การเสริมข้อมูล การจัดการเอกลักษณ์ การคัดกรองเชิงความหมาย หรือการสร้างหลักฐาน งานที่เผยแพร่ ตัวตรวจสอบ และการวินิจฉัยเชิงโครงสร้างเหล่านี้เป็นฐานสำหรับการปรับปรุงระบบค้นหาแบบครอบคลุม และทดสอบว่าการปรับปรุงเหล่านั้นยังคงอยู่เมื่อขยายสเกลหรือไม่

โครงสร้างเดียวกันนี้อาจทำให้ WANDR มีประโยชน์ต่อการเรียนรู้แบบเสริมแรงเช่นกัน แทนที่จะพึ่งพารางวัลปลายทางแบบเบาบางเพียงค่าเดียว ผู้ฝึกสอนสามารถใช้คำตัดสินระดับเรคคอร์ดและระดับกิ่ง มอบเครดิตบางส่วนสำหรับความก้าวหน้าในการค้นพบและการเสริมข้อมูล และสร้างหลักสูตรการเรียนรู้โดยเพิ่มจำนวนที่ต้องการขึ้นตามเวลา ไปป์ไลน์สามารถสร้างงานพี่น้องแบบกันไว้สำหรับทดสอบข้ามโดเมน รูปแบบลำดับชั้น กฎหลักฐาน และการตั้งค่าความกว้าง–ความลึก โดยไม่ต้องแจกแจงคำตอบทองคำ สิ่งนี้สร้างเส้นทางสำหรับการฝึกเอเจนต์ไม่เพียงให้หาข้อเท็จจริงที่ถูกต้อง แต่ยังวางแผนให้ครอบคลุม ตรวจจับกิ่งที่ขาดหาย และกู้คืนก่อนหยุด

งานเกณฑ์มาตรฐาน ชุดเครื่องมือประเมิน และรายงานทางเทคนิคฉบับเต็ม พร้อมใช้งานบน GitHub แล้ว

การอ้างอิง

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}