Q2D-Web: การประเมินตัวดึงข้อมูลในขั้นตอนแรกที่สเกลใหญ่

เกณฑ์มาตรฐานและลีดเดอร์บอร์ดที่มีข้อกําหนดจากเอเจนต์ 70,000 รายการ เอกสารเว็บ 190 ล้านฉบับ และชุดการตัดสินความเกี่ยวข้องสามชุด

ผู้เขียนPerplexity Research

วันนี้ เราขอแนะนำ Q2D-Web (Query2Doc-Web) ซึ่งเป็นเกณฑ์มาตรฐานส่วนตัวและลีดเดอร์บอร์ดสาธารณะสำหรับการประเมินการดึงข้อมูลในระบบ RAG แบบเอเจนต์ Q2D-Web ขยายขอบเขต เกณฑ์มาตรฐาน Q2D เดิมของเราให้ครอบคลุมคอร์ปัสขนาดใหญ่ ชุดข้อกําหนดที่ใหญ่ขึ้น และคำอธิบายประกอบการตัดสินที่ลึกยิ่งขึ้น

Q2D-Web ถูกสร้างขึ้นเพื่อประเมินโมเดลการฝัง (embedding models) ในการค้นหาเว็บสเกลใหญ่ ประกอบด้วยเอกสารเว็บ 190 ล้านฉบับและข้อกําหนดที่ปรับปรุงใหม่โดยเอเจนต์ 69,721 รายการในสิบภาษา ซึ่งสุ่มตัวอย่างในช่วงเก้าเดือนของทราฟฟิกการค้นหาจริงที่ปราศจาก PII

ในสเกลนี้ สัญญาณความเกี่ยวข้องในระดับข้อกําหนดและเอกสารย่อมมีความเบาบางอย่างหลีกเลี่ยงไม่ได้ แทนที่จะถือว่าแหล่งที่มาแหล่งหนึ่งเป็นความจริงแท้ เรามีชุดการตัดสินความเกี่ยวข้องสามชุด ซึ่งได้มาจากการอ้างอิงของเอเจนต์ การจัดอันดับเว็บจริง และการตัดสินเพิ่มเติมจาก LLM สำหรับคู่ที่ยังไม่ได้ตัดสินมาก่อน แหล่งที่มาที่หลากหลายช่วยจำกัดอคติจากไปป์ไลน์การกำกับป้ายกำกับใด ๆ ในขณะที่การใส่คำอธิบายประกอบที่ลึกขึ้นจะช่วยลดผลลบเท็จ

ลีดเดอร์บอร์ด ของเราแสดงผลลัพธ์สำหรับโมเดลการดึงข้อมูลที่เผยแพร่ต่อสาธารณะ ซึ่งได้รับการประเมินโดยตรงเทียบกับเกณฑ์มาตรฐานโดยใช้ไปป์ไลน์การจัดทำดัชนี การดึงข้อมูล และการให้คะแนนที่สอดคล้องกัน สามารถส่งผลงานการประเมินได้ผ่าน แบบฟอร์มคำขอ ของเรา

ความท้าทายของการประเมินการดึงข้อมูลตามความเป็นจริง

สำหรับข้อกําหนดแต่ละรายการ ระบบการดึงข้อมูลสเกลการใช้งานจริงจะค้นหาคอร์ปัสของหน้าเว็บหลายพันล้านหน้าและส่งคืนเอกสารตัวเลือกนับพันรายการ ตัวเลือกเหล่านี้เป็นตัวกำหนดว่าแหล่งข้อมูลใดที่ระบบปลายทางจะมองเห็นได้ ซึ่งจะช่วยกำหนดหลักฐานที่เอเจนต์สามารถเข้าถึงได้โดยตรง

ดังนั้นการประเมินขั้นตอนแรกนี้ตามความเป็นจริงจึงต้องอาศัยเกณฑ์มาตรฐานที่มีสเกลในสามมิติ ได้แก่ จำนวนเอกสารในคอร์ปัส จำนวนข้อกําหนดที่ได้รับการตัดสิน และจำนวนการตัดสินความเกี่ยวข้องต่อข้อกําหนด

คอร์ปัสที่มีขนาดใหญ่ขึ้นสามารถทำให้เกณฑ์มาตรฐานมีความสามารถในการจำแนกแยกแยะมากขึ้นโดยการนำเสนอข้อมูลรบกวนที่ยาก ซึ่งได้แก่ เอกสารที่มีความหมายคล้ายคลึงกันกับข้อกําหนดแต่ไม่ได้ให้ข้อมูลตามที่ร้องขอ ตัวดึงข้อมูลต้องแยกแยะผลลัพธ์ที่น่าเชื่อถือเหล่านี้ออกจากเอกสารที่เกี่ยวข้อง การย่อขนาดคอร์ปัสในขณะที่ยังคงรักษาเอกสารที่เกี่ยวข้องที่เป็นที่รู้จักไว้อาจลบข้อมูลรบกวนเหล่านี้และทำให้ค่าการเรียกคืน (recall) สูงเกินจริง ดังที่การทดลองการสุ่มตัวอย่างย่อยของเราด้านล่างแสดงให้เห็น

ชุดข้อกําหนดที่ได้รับการตัดสินจำนวนมากขึ้นช่วยให้การประมาณประสิทธิภาพมีความน่าเชื่อถือยิ่งขึ้น ด้วยชุดข้อกําหนดขนาดเล็ก ผลลัพธ์ของเกณฑ์มาตรฐานจะขึ้นอยู่กับข้อกําหนดที่ถูกสุ่มมาเป็นอย่างมาก ทำให้ยากต่อการประมาณประสิทธิภาพของแต่ละโมเดลอย่างแม่นยำ และยากต่อการแยกแยะความแตกต่างระหว่างโมเดลได้อย่างมั่นใจ

การตัดสินที่ลึกขึ้นช่วยลดผลลบเท็จในการประเมิน ด้วยป้ายกำกับที่เบาบาง ตัวดึงข้อมูลสามารถแสดงเอกสารที่เกี่ยวข้องซึ่งยังไม่ได้ตัดสิน และจึงถูกนับว่าไม่เกี่ยวข้องอย่างไม่ถูกต้อง ทำให้การประเมินมีความน่าเชื่อถือน้อยลง MS MARCO เป็นชุดข้อมูลเปิดขนาดใหญ่หลักในการดึงข้อมูล และเป็นตัวกำหนดการพัฒนาของโมเดลการดึงข้อมูลเชิงประสาท โดยในนั้น 70% ของข้อความที่มีการดึงข้อมูลขึ้นมาด้านบนสูงสุดจากการตรวจสอบด้วยตนเองแต่ไม่มีป้ายกำกับ แท้จริงแล้วมีความเกี่ยวข้อง

เกณฑ์มาตรฐานที่มีอยู่มักจะมีสเกลในมิติเหล่านี้เพียงหนึ่งหรือสองมิติเท่านั้น คอลเลกชันในระดับเว็บมักจะมีข้อกําหนดที่ได้รับการตัดสินค่อนข้างน้อย ในขณะที่เกณฑ์มาตรฐานที่มีข้อกําหนดจำนวนมากโดยทั่วไปจะใช้คอร์ปัสที่เล็กกว่ามากและมีป้ายกำกับที่เบาบาง นอกจากนี้ เกณฑ์มาตรฐานส่วนใหญ่ยังใช้ข้อกําหนดที่เขียนโดยมนุษย์ ในขณะที่ระบบ RAG แบบเอเจนต์จะค้นหาด้วยข้อกําหนดที่ปรับปรุงใหม่โดยเอเจนต์ ซึ่งอาจแตกต่างกันในด้านการใช้ถ้อยคำ โครงสร้าง และความเฉพาะเจาะจง

Q2D-Web มีสเกลครอบคลุมทั้งสามมิติ โดยประกอบด้วยเอกสารเว็บ 190 ล้านฉบับ ข้อกําหนดที่ปรับปรุงใหม่โดยเอเจนต์ 69,721 รายการ และการตัดสินความเกี่ยวข้องที่เป็นบวกเฉลี่ย 99.6 รายการต่อข้อกําหนดในชุดการตัดสินแบบผสม การเปรียบเทียบสาธารณะที่ใกล้เคียงที่สุดคือ MS MARCO Web Search ซึ่งเป็นเวอร์ชันสเกลเว็บของ MS MARCO โดยมีเอกสาร 100.9 ล้านฉบับ ข้อกําหนดทดสอบ 9,374 รายการ และป้ายกำกับเชิงบวกที่ได้จากการคลิก 1 รายการต่อข้อกําหนด

เราสร้าง Q2D-Web ได้อย่างไร

การสร้าง Q2D-Web: การสุ่มตัวอย่างคำค้นหาที่กรองความเป็นส่วนตัว การรวบรวมคลังข้อมูลและการขจัดข้อมูลซ้ำ การติดป้ายกำกับความเกี่ยวข้อง และการสุ่มตัวอย่างคลังข้อมูลย่อย

ข้อกําหนด

Q2D-Web สร้างขึ้นจากข้อมูลการค้นหาจริงจำนวน 23,000 รายการที่ปราศจาก PII ในสิบภาษาและโดนเมนหลายสิบรายการ ซึ่งรวบรวมในช่วงระยะเวลาเก้าเดือน

การค้นหาหนึ่งครั้งประกอบด้วยการเรียกใช้เครื่องมือค้นหาเว็บทั้งหมดที่เอเจนต์ดำเนินการเพื่อตอบข้อความของผู้ใช้ แต่ละการเรียกใช้เครื่องมือจะประกอบด้วยหนึ่งข้อกําหนดหรือมากกว่านั้น แต่ละข้อกําหนดถูกปรับปรุงใหม่จากคำขอของผู้ใช้ บทสนทนาก่อนหน้า และเอกสารที่ดึงมาก่อนหน้านี้ในการค้นหาเดียวกันหากมี การค้นหาจริงแต่ละรายการจะมีข้อกําหนดหลักหนึ่งรายการ ซึ่งระบุความต้องการข้อมูลของผู้ใช้ซ้ำ และมีข้อกําหนดสนับสนุนศูนย์รายการหรือมากกว่านั้น ซึ่งสำรวจการใช้ถ้อยคำที่แตกต่างกัน ข้อมูลพื้นหลัง หรือเอนทิตีที่เกี่ยวข้อง แม้ว่าข้อกําหนดเหล่านี้จะจัดการกับคำขอที่กว้างขึ้นเหมือนกัน แต่อาจต้องใช้เอกสารที่แตกต่างกัน ดังนั้น Q2D-Web จึงประเมินแต่ละข้อกําหนดอย่างอิสระด้วยการตัดสินความเกี่ยวข้องของตนเอง

การแจกแจงความยาวและภาษาของคำค้นหา 69,721 รายการของ Q2D-Web ความยาววัดเป็นจำนวนอักขระ แผนภูมิแท่งแสดงสัดส่วนของคำค้นหาในแต่ละหมวดหมู่
การแจกแจงของคำค้นหา Q2D-Web ตามโดเมนหัวข้อ แผนภูมิแท่งแสดงสัดส่วนของแต่ละโดเมนในชุดคำค้นหา โดย "อื่นๆ" รวมโดเมนเพิ่มเติมอีกสิบห้าโดเมน

เราใช้การกรองความเป็นส่วนตัวที่เข้มงวดสำหรับข้อกําหนดทั้งหมดที่รวมอยู่ ข้อกําหนดต้องมาจากผู้ใช้ที่อนุญาตให้ใช้ข้อมูลของตนได้ และการตรวจจับ PII โดยใช้ perplexity-ai/pplx-pii-masking จะไม่รวมข้อกําหนดที่มีข้อมูลส่วนบุคคล นอกจากนี้ เรายังลบรายการที่ซ้ำกันทุกประการ ข้อกําหนดที่สั้นมาก และข้อกําหนดที่มีตัวดำเนินการค้นหา เช่น site: หรือวลีที่มีเครื่องหมายคำพูด

เกณฑ์มาตรฐานนี้ครอบคลุมสิบภาษา ภาษาอังกฤษคิดเป็น 65.8% ของข้อกําหนด ตามด้วยภาษาสเปน รัสเซีย เยอรมัน ฝรั่งเศส โปรตุเกส อิตาลี เกาหลี ญี่ปุ่น และจีน การกระจายตัวของข้อกําหนดครอบคลุมโดนเมนหลากหลาย เช่น สินค้าอุปโภคบริโภค การเขียนโปรแกรม กฎหมาย สุขภาพ ธุรกิจ วิทยาศาสตร์ การศึกษา เทคโนโลยี การเงิน การท่องเที่ยว ความบันเทิง การเมือง ข้อมูลท้องถิ่น และข่าวสาร

คอร์ปัส

สำหรับทุกข้อกําหนด เราจะดึงเอกสาร 5,000 อันดับแรกด้วยระบบการดึงข้อมูลสำหรับการใช้งานจริง และนำชุดผลลัพธ์เหล่านี้มารวมกัน จากนั้นเราจะขจัดความซ้ำซ้อนของคอร์ปัสโดยใช้ MinHash–LSH โดยจัดกลุ่มเอกสารที่ชุดโทเค็น 5-gram มีความคล้ายคลึงกันแบบ Jaccard อย่างน้อย 0.975

ชุดข้อมูลนี้จงใจไม่ใช่ตัวอย่างเว็บแบบสุ่ม เอกสารแต่ละฉบับได้รับการพิจารณาว่าเป็นผลลัพธ์ที่น่าเชื่อถือสำหรับข้อกําหนดของเกณฑ์มาตรฐานอย่างน้อยหนึ่งรายการ การดำเนินการนี้สร้างชุดข้อมูลรบกวนที่ยากและหนาแน่น ได้แก่ หน้าเว็บที่ตรงกับหัวข้อหรือภาษาของข้อกําหนด แต่อาจพลาดวันที่ เอนทิตี เวอร์ชันปริมาณ หรือแง่มุมที่จำเป็นไป

การแจกแจงความยาวและภาษาของเอกสารในคลังข้อมูลที่มีเอกสารประมาณ 190 ล้านฉบับ ความยาววัดเป็นจำนวนอักขระ แผนภูมิแท่งแสดงสัดส่วนของเอกสารในแต่ละหมวดหมู่

การตัดสิน

ป้ายกำกับความเกี่ยวข้องนั้นไม่สมบูรณ์ตามธรรมชาติในสเกลขนาดใหญ่ การกำกับป้ายกำกับให้กับทุกคู่ข้อกําหนดและเอกสารที่เป็นไปได้นั้นเป็นไปไม่ได้ และการตัดสินแต่ละแหล่งก็มีอคติที่แตกต่างกัน

Q2D-Web ใช้ชุดความเกี่ยวข้องสามชุดแทนที่จะถือว่าแหล่งที่มาแหล่งหนึ่งเป็นความจริงแท้ เพื่อเพิ่มความลึกของการใส่คำอธิบายประกอบโดยไม่ประสบปัญหาอคติเพียงแหล่งเดียว

การอ้างอิงจะติดป้ายกำกับเอกสารว่ามีความเกี่ยวข้องเมื่อเอเจนต์อ้างอิงเอกสารนั้นในการตอบกลับ นี่คือสัญญาณที่ใกล้เคียงกับการใช้งานปลายทางมากที่สุด นั่นคือ เอเจนต์เลือกเอกสารนั้นเป็นหลักฐานสำหรับข้อกล่าวอ้าง แต่การอ้างอิงมีความแม่นยำสูงและมีความสามารถในการเรียกคืนต่ำโดยโครงสร้าง เมื่อเอเจนต์มีข้อมูลสนับสนุนเพียงพอแล้ว ก็แทบไม่มีเหตุผลที่จะต้องไปอ้างอิงหน้าเว็บอื่นๆ ที่เกี่ยวข้องทั้งหมด

การจัดอันดับเว็บประกอบด้วยเอกสารสูงสุด 50 ฉบับต่อข้อกําหนด (เฉลี่ย 43.1 ฉบับ) ซึ่งระบุโดยไปป์ไลน์การดึงข้อมูลภายในโดยใช้ BM25 และการดึงข้อมูลแบบหนาแน่นในขั้นตอนแรก ตามด้วยการจัดอันดับใหม่ด้วย cross-encoder วิธีนี้ช่วยจับภาพเอกสารที่มีประโยชน์แต่ไม่ได้ถูกอ้างอิง

Combined + LLM-Judged นำยูเนียนของการอ้างอิงและการจัดอันดับเว็บมารวมกัน จากนั้นจึงเพิ่มการตัดสินจาก LLM สำหรับตัวเลือกที่ยังไม่ได้ตัดสินก่อนหน้านี้ โดยมีเป้าหมายเพื่อลดจำนวนผลลัพธ์ลบเท็จ เรานำผลลัพธ์มารวมกันจาก BM25, ColBERTv2 และตัวดึงข้อมูลแบบหนาแน่นเจ็ดตัวที่เผยแพร่ก่อนวันที่ 1 มกราคม 2025 ผสานการจัดอันดับเข้าด้วยกันโดยใช้ reciprocal rank fusion (RRF) เลือกเอกสาร 500 อันดับแรกที่ยังไม่ได้ตัดสิน และใช้การตัดสินความเกี่ยวข้องแบบไบนารีที่เข้มงวดโดยใช้ DeepSeek-V4-Flash

ชุดข้อมูลทั้งสามชุดช่วยให้เราสามารถสอบถามได้ว่าประสิทธิภาพของโมเดลขึ้นอยู่กับวิธีการกำหนดความเกี่ยวข้องหรือไม่ นอกจากนี้ยังช่วยลดการพึ่งพากำหนดป้ายกำกับชุดเดียว ซึ่งอาจเอื้อประโยชน์ต่อตัวดึงข้อมูลที่คล้ายกับระบบที่ใช้สร้างป้ายกำกับอีกด้วย

การแจกแจงของเอกสารที่เกี่ยวข้องต่อคำค้นหาในสเกลลอการิทึม ป้ายกำกับแบบรวมเป็นการรวบรวมการอ้างอิง การจัดอันดับเว็บ และการประเมินเพิ่มเติมจาก LLM

การสุ่มตัวอย่างย่อย: การประเมินที่มีประสิทธิภาพในสเกลขนาดใหญ่

การประเมินคอร์ปัสเต็มรูปแบบมีราคาแพงและช้า การประเมินครั้งเดียวบน Q2D-Web ด้วย pplx-embed-v1-4b ต้องใช้เวลา 4,608 H200 GPU-hours ในขณะที่แม้แต่โมเดลขนาดเล็กอย่าง EmbeddingGemma-300M ก็ยังต้องใช้เวลาเกือบ 200 H200 GPU-hours

เพื่อให้การประเมินเป็นจริงได้ เราจึงสร้างคอร์ปัสเวอร์ชันสุ่มตัวอย่างย่อยขึ้นมา

เราได้ทำการทดลองตัดทอน (ablation) อย่างกว้างขวางเกี่ยวกับกลยุทธ์การสุ่มตัวอย่าง เพื่อสร้างซับคอร์ปัสขนาดเล็กที่สะท้อนถึงพฤติกรรมของคอร์ปัสเต็มรูปแบบ กลยุทธ์ทุกรูปแบบจะรักษาเอกสารทั้งหมดที่ได้รับการตัดสินว่าเป็นบวกไว้ และแตกต่างกันเฉพาะในวิธีที่เลือกข้อมูลรบกวนที่ยังไม่ได้ตัดสินเท่านั้น ข้อมูลรบกวนที่มีความสำคัญคือข้อมูลที่ตัวดึงข้อมูลมีแนวโน้มที่จะจัดอันดับให้อยู่เหนือเอกสารที่เกี่ยวข้อง เนื่องจากสิ่งเหล่านั้นจะเปลี่ยนคะแนนของโมเดลและตำแหน่งในการจัดอันดับ

เราได้ทำการเปรียบเทียบการสุ่มแบบสม่ำเสมอ (uniform random sampling) การรวมกลุ่ม (pooling) ที่ความลึกคงที่ในบรรดาตัวดึงข้อมูลแบบ construction และการทำ RRF แบบต่อคิวรี่ (per-query RRF) ที่ความลึกต่างๆ การสุ่มตัวอย่างโดยใช้ RRF ใช้เอกสารเพียง 31.7% ในคลังข้อมูลทั้งหมด ซึ่งยังคงรักษาลำดับโมเดลของคลังข้อมูลทั้งหมดภายใต้ชุดการประเมิน Combined ไว้ได้ พร้อมทั้งยังคงใกล้เคียงกับคะแนนสัมบูรณ์ โดยเพิ่มค่าเฉลี่ย Recall@1000 ขึ้น 5.2 จุด เทียบกับ 12.8 จุดสำหรับการสุ่มตัวอย่างแบบสุ่มที่ขนาดเท่ากัน

ค่าเฉลี่ย Recall@1000 และความสอดคล้องกับลำดับโมเดลของคลังข้อมูลทั้งหมดภายใต้ชุดการประเมิน Combined ในกลยุทธ์การสุ่มตัวอย่างต่างๆ Reciprocal rank fusion (RRF) รักษารูปแบบการจัดอันดับของโมเดลที่ได้รับการประเมินโดยใช้คลังข้อมูล 31.7% และมีค่าความเบี่ยงเบนของความระลึก (recall inflation) น้อยกว่าการสุ่มแบบสุ่ม

การดำเนินการนี้ช่วยลดต้นทุนการประเมินเหลือประมาณหนึ่งในสามของต้นทุนคอร์ปัสเต็มรูปแบบ เมื่อใช้ซับคอร์ปัสที่อิงตาม RRF โมเดล pplx-embed-v1-4b จะใช้เวลาประมาณ 1,500 H200 GPU-hours และ EmbeddingGemma-300M ใช้เวลาไม่ถึง 70 ชั่วโมง

การส่งผลงานแต่ละรายการจะได้รับการประเมินบนเวอร์ชันซับคอร์ปัสที่สุ่มตัวอย่างก่อน ผลงานที่ส่งจะถูกแบ่งออกเป็นสองกลุ่มตามจำนวนพารามิเตอร์รวม ได้แก่ สูงสุด 1B และมากกว่า 1B โมเดลที่ติดอันดับท็อปเท็นของกลุ่มบนซับคอร์ปัสที่สุ่มตัวอย่างจะได้รับการประเมินต่อบนคอร์ปัสเต็มรูปแบบ โมเดลที่อยู่นอก 10 อันดับแรกในกลุ่มของตนจะถูกเผยแพร่บนลีดเดอร์บอร์ดซับคอร์ปัสที่สุ่มตัวอย่างเท่านั้น

ผลการประเมิน

ในบรรดาโมเดลที่ได้รับการประเมิน Q2D-Web ให้มุมมองที่สอดคล้องกันเกี่ยวกับประสิทธิภาพการดึงข้อมูลในสเกลเว็บผ่านชุดความเกี่ยวข้องที่แตกต่างกัน 3 ชุด ลีดเดอร์บอร์ดทำให้มุมมองเสริมเหล่านี้ใช้งานได้ควบคู่กัน ช่วยให้ผู้ใช้สามารถตรวจสอบประสิทธิภาพของโมเดลภายใต้ป้ายกำกับอ้างอิงที่แคบกว่าและการตัดสินความเกี่ยวข้องที่กว้างขึ้น

เรามุ่งเน้นไปที่ Recall@1000 เป็นเมตริกหลักของเรา เนื่องจากตัวดึงข้อมูลในขั้นตอนแรกจำเป็นต้องวางเอกสารที่เกี่ยวข้องไว้ในกลุ่มตัวเลือกเท่านั้น ในขณะที่การจัดลำดับใหม่ในขั้นตอนถัดไปจะเป็นตัวกำหนดลำดับสุดท้าย

Combined Recall@1000 เทียบกับ Combined nDCG@10 สำหรับระบบดึงข้อมูลสิบสามระบบ จัดกลุ่มตามตระกูลโมเดล โมเดลที่ได้คะแนนสูงสุดจะแตกต่างกันไปในแต่ละมาตรวัด

ตารางที่ 1 ค่า Recall@1000 และ nDCG@10 ของคลังข้อมูลทั้งหมดสำหรับตัวดึงข้อมูล 13 ตัวในชุดความเกี่ยวข้อง Citation, Web Ranking และ Combined คะแนนที่สูงกว่าหมายถึงผลลัพธ์ที่ดีกว่า

Model

Recall@1000: Citation

Recall@1000: Web Ranking

Recall@1000: Combined

nDCG@10: Citation

nDCG@10: Web Ranking

nDCG@10: Combined

BM25-tantivy

60.84

42.50

45.25

7.30

11.45

29.27

EmbeddingGemma-300M

80.10

58.93

66.24

12.21

17.30

41.95

mDenseOn

73.72

52.56

60.09

10.08

15.06

38.87

Nemotron-3-Embed-1B

75.64

54.37

62.44

9.69

14.83

38.84

Nemotron-3-Embed-8B

83.14

61.73

69.33

13.17

18.69

45.65

pplx-embed-v1-0.6b

81.85

62.15

67.91

12.52

19.76

42.73

pplx-embed-v1-4b

85.03

65.73

70.00

14.18

21.29

44.12

Qwen3-Embedding-0.6B

71.19

51.82

58.68

8.53

14.11

36.19

Qwen3-Embedding-4B

76.49

55.60

62.78

9.91

14.97

38.82

Qwen3-Embedding-8B

79.26

58.34

65.32

10.75

16.27

41.20

voyage-4-nano

69.55

50.14

57.42

6.96

11.77

30.59

mLateOn

74.16

53.12

61.77

10.94

15.51

41.61

pplx-embed-v1-late-0.6b

78.64

58.14

64.20

11.88

17.25

41.77

pplx-embed-v1-4b มีค่า Recall@1000 สูงที่สุดในชุดการประเมินทั้งสามชุด ได้แก่ Citation (85.03), Web Ranking (65.73) และ Combined (70.00) สำหรับ Combined Recall@100 และ nDCG@10 นั้น Nemotron-3-Embed-8B (30.32 และ 45.65) มีคะแนนสูงกว่า pplx-embed-v1-4b (30.17 และ 44.12)

ภายในตระกูลโมเดลเดียวกัน โมเดลที่มีขนาดใหญ่กว่าจะมีคะแนน Combined Recall@1000 สูงกว่า โดย Qwen3-Embedding เพิ่มขึ้นจาก 58.68 (0.6B) เป็น 65.32 (8B), Nemotron-3-Embed เพิ่มขึ้นจาก 62.44 (1B) เป็น 69.33 (8B) และ pplx-embed-v1 เพิ่มขึ้นจาก 67.91 (0.6B) เป็น 70.00 (4B)

โมเดล Perplexity ได้รับการประเมินโดยใช้ไปป์ไลน์เดียวกันกับโมเดลอื่นๆ ทั้งหมดที่ส่งเข้ามา อย่างไรก็ตาม เนื่องจาก Q2D-Web ได้มาจากทราฟฟิกการใช้งานจริงของ Perplexity โมเดลเหล่านี้จึงอาจได้รับประโยชน์จากความได้เปรียบในการกระจายข้อมูลเดียวกัน แม้ว่าข้อกําหนดการประเมินและคอร์ปัสของเกณฑ์มาตรฐานจะไม่รวมอยู่ในการฝึกโมเดล แต่ควรตีความผลลัพธ์โดยคำนึงถึงความได้เปรียบที่เป็นไปได้นี้ด้วย

วิธีการส่งผลงานเข้าร่วมลีดเดอร์บอร์ด

หากต้องการขอรับการประเมิน ให้ส่งโมเดล Hugging Face ที่เปิดให้ใช้งานสาธารณะผ่านแบบฟอร์มคำขอประเมินของเรา

เราปฏิบัติตามการ์ดโมเดลในที่เก็บที่ส่งเข้ามาสำหรับการตั้งค่าการอนุมานเฉพาะของโมเดล ซึ่งรวมถึงคำแนะนำหรือคำนำหน้าข้อกําหนดและเอกสารที่แนะนำ การพูล (pooling) การปรับมาตรฐาน (normalization) และฟังก์ชันความคล้ายคลึงกัน ข้อกําหนดและเอกสารทั้งหมดจะถูกตัดทอนเหลือ 512 โทเค็นด้วยโทเค็นไนเซอร์ของโมเดลเอง รวมถึงคำแนะนำ คำนำหน้า และโทเค็นพิเศษ ดังนั้นบริบทที่รองรับที่ยาวนานขึ้นจึงไม่ได้ให้ความได้เปรียบใดๆ โปรดตรวจสอบให้แน่ใจว่าการ์ดโมเดลมีคำแนะนำที่สมบูรณ์และชัดเจนสำหรับการจำลองการตั้งค่าการดึงข้อมูลที่ต้องการ

โมเดลที่มีสิทธิ์ต้องโหลดผ่าน API transformers หรือ sentence-transformers มาตรฐาน โมเดลที่ไม่ทำงานด้วย trust_remote_code=False จำเป็นต้องมีการตรวจสอบโค้ดกำหนดเองและผู้ส่งด้วยตนเองก่อนการประเมิน ซึ่งจะใช้เวลานานขึ้นอย่างมาก ที่เก็บข้อมูลส่วนตัวหรือที่ถูกจำกัดสิทธิ์ไม่มีสิทธิ์เข้าร่วม

อ่านรายงานทางเทคนิคของเราเพื่อเรียนรู้เพิ่มเติมเกี่ยวกับระเบียบวิธีและผลการค้นพบ

การอ้างอิง

BibTeX
@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}