การฝังตัวเชิงบริบทเหนือส่วนทองคำ

การฝังตัวเชิงบริบทจะจับความหมายของแต่ละย่อหน้าหรือส่วนในบริบทของเอกสารทั้งฉบับ การฝึกอบรมและการประเมินมักจะสันนิษฐานว่ามีส่วนที่เกี่ยวข้องหนึ่งส่วนต่อข้อความค้นหา ซึ่งเรียกว่า “ส่วนทองคำ” (gold passage) อย่างไรก็ตาม ในทางปฏิบัติ ส่วนทองคำมักจะไม่เพียงพอ อาจมีคำตอบแต่ขาดบริบทสนับสนุนที่จำเป็นในการทำความเข้าใจหรือตรวจสอบ ทำให้มีความคลุมเครือเมื่ออยู่โดดเดี่ยว

เรากำลังแนะนำ pplx-embed-v2-context-9b-preview ซึ่งเป็นโมเดลการฝังตัวเชิงบริบทใหม่ของเรา โมเดลนี้ได้รับการฝึกอบรมด้วยแนวทางใหม่ที่ใช้ โมเดลการบีบอัดบริบท ของ Perplexity เป็นครู เรานำการทำนายระดับโทเค็นมารวมกันเป็นคะแนนความเกี่ยวข้องระดับส่วน สอนให้โมเดลการฝังตัวดึงทั้งส่วนคำตอบและบริบทสนับสนุนแทนที่จะเป็นส่วนทองคำเดี่ยว โมเดลสร้างการฝังตัวหนึ่งรายการต่อส่วนโดยไม่มีต้นทุนการอนุมานเพิ่มเติม และรองรับการฝังตัวแบบ 1024 มิติและ int8

มันบรรลุผลลัพธ์ล้ำสมัยบน context-bench ซึ่งเป็นเกณฑ์มาตรฐานใหม่สำหรับการดึงข้อมูลที่ตระหนักรู้บริบทที่สร้างและถือครองโดย turbopuffer และบน ConTEB ซึ่งเป็นเกณฑ์มาตรฐานสาธารณะที่ใช้กันอย่างแพร่หลาย โมเดลของเราได้รับการพัฒนาขึ้นโดยอิสระจาก context-bench และได้รับการประเมินในฐานะการส่งผลงานแบบไม่เปิดเผยข้อมูลล่วงหน้า (blind submission)

context-bench ประกอบด้วยข้อความค้นหา 2,099 รายการ บนเอกสารขนาดยาว 38,894 ฉบับ ใน 21โดเมน และประเมินความสามารถสามประการของการฝังตัวเชิงบริบท ได้แก่ การแยกแยะเอกสารท่ามกลางเอกสารที่เกือบจะซ้ำกัน, การดึงส่วนทองคำที่มีความหมายขึ้นอยู่กับบริบทที่อยู่ห่างไกล และการเรียกคืนหลักฐานสนับสนุนที่จำเป็นในการตรวจสอบคำตอบ

ตัวอย่างตัวอย่างของโมเดลมีให้ใช้งานแบบสาธารณะบน Hugging Face เกณฑ์มาตรฐานนี้ถูกเก็บรักษาไว้เป็นความลับโดย turbopuffer เพื่อลดความเสี่ยงของการปนเปื้อนในการฝึกอบรมและรักษาคุณค่าในการวัดความคืบหน้า หากต้องการขอรับการประเมิน โปรดติดต่อ turbopuffer ที่ contextbench@turbopuffer.com

ผลลัพธ์การดึงเอกสาร คำตอบ และหลักฐานบน context-bench — รูปที่ 1: Answer@K, Document@K, Evidence Recall@K และ All-Evidence@10 บน context-bench เปรียบเทียบ Perplexity v2 preview 9B กับ Voyage Context 4, Voyage 4 Large และ Perplexity context v1 4B

ระบบการดึงข้อมูลมักจะแบ่งเอกสารขนาดยาวออกเป็นส่วนย่อยๆ ที่สามารถทำดัชนีและค้นหาได้อย่างอิสระ การแบ่งส่วนมีความสะดวกในทางปฏิบัติ แต่มันจะลบ ็context ซึ่งเดิมทีส่วนนั้นปรากฏอยู่ ส่งผลให้เกิดการแลกเปลี่ยน (trade-off) ระหว่างความละเอียดของการบีบอัดข้อมูลและบริบทที่ใช้ระหว่างการเข้ารหัส ส่วนหนึ่งอาจอ้างถึงเอนทิตีที่ถูกแนะนำไว้ก่อนหน้านี้ ได้รับความหมายมาจากหัวข้อของส่วน หรือพึ่งพาคำนิยามที่อยู่ส่วนอื่นในเอกสาร เมื่อถูกดึงออกมาแล้ว มันอาจไม่มีข้อมูลเพียงพอที่จะจับคู่กับข้อความค้นหาได้อย่างน่าเชื่อถือ การเข้ารหัสเอกสารทั้งฉบับเป็นเวกเตอร์เดียวนั้นไม่สามารถแก้ปัญหานี้ได้ เนื่องจากตัวแทนแบบพูล (pooled representation) หนึ่งตัวไม่สามารถจับทุกแง่มุมของเอกสารขนาดยาวได้อย่างแม่นยำ

โมเดลการฝังตัวเชิงบริบทแก้ปัญหานี้โดยการแทนที่แต่ละส่วนในบริบทของเนื้อหาโดยรอบ โดยส่วนใหญ่ผ่าน late chunking: เอกสารจะถูกเข้ารหัสในการส่งผ่านครั้งเดียวและรวมตัวแทนของส่วนภายหลัง เพื่อให้เวกเตอร์ของแต่ละส่วนถูกคำนวณโดยมองเห็นเอกสารทั้งหมด งานก่อนหน้านี้ เช่น ConTEB และ pplx-embed-context-v1 ของเรา ได้แสดงให้เห็นว่าตัวแทนส่วนที่อยู่ในบริบทช่วยปรับปรุงการดึงข้อมูลได้อย่างมากเมื่อเทียบกับส่วนที่เข้ารหัสอย่างอิสระ โดยเฉพาะอย่างยิ่งบนเอกสารขนาดยาว

การฝึกอบรมโมเดลการฝังตัวเชิงบริบทจำเป็นต้องมีการกำกับดูแลที่ระบุว่าส่วนใดของเอกสารที่เกี่ยวข้องกับข้อความค้นหาที่กำหนด แนวทางทั่วไปคือการใส่คำอธิบายประกอบส่วนทองคำ: สำหรับแต่ละข้อความค้นหา ผู้ใส่คำอธิบายประกอบ ซึ่งมักจะเป็นโมเดลภาษาขนาดใหญ่ (LLM) จะระบุส่วนของเอกสารที่ตอบคำถามนั้น

โดยทั่วไปการฝึกอบรมจะรวมการสูญเสียแบบตัดกันสองรูปแบบ (contrastive losses): การสูญเสียระดับเอกสาร ที่เปรียบเทียบส่วนทองคำกับส่วนจากเอกสารอื่นๆ และ การสูญเสียระดับส่วน ที่เปรียบเทียบส่วนทองคำกับส่วนอื่นๆ ในเอกสารเดียวกัน

แนวทางนี้มีข้อจำกัดบางประการ:

มีเพียงส่วนเดียวที่เกี่ยวข้อง ระบบปฏิบัติกับทุกส่วนอื่นในเอกสารว่าเป็นข้อมูลเชิงลบ รวมถึงส่วนที่มีข้อมูลสนับสนุนที่เป็นประโยชน์ การกำกับดูแลระดับเอกสารทำงานในอีกขั้วหนึ่ง โดยระบุว่าเอกสารนั้นเกี่ยวข้องโดยไม่ต้องระบุว่าส่วนใดภายในเอกสารที่มีความสำคัญ ในทางปฏิบัติ ความเกี่ยวข้องมักจะอยู่ระหว่างขั้วเหล่านี้ ส่วนที่มีคำตอบอาจขึ้นอยู่กับส่วนสนับสนุนบางส่วนที่แนะนำเอนทิตี แก้ไขการอ้างอิง หรือให้ข้อเท็จจริงเสริม ในขณะที่ส่วนที่เหลือของเอกสารไม่เกี่ยวข้อง ดังนั้นโมเดลจึงต้องเรียนรู้ระดับความเฉพาะเจาะจงที่ถูกต้อง: กว้างกว่าส่วนทองคำเดี่ยว แต่เน้นย้ำมากกว่าเอกสารทั้งฉบับ
การกำกับดูแลแบบหยาบ เนื่องจากคำอธิบายประกอบแต่ละรายการระบุส่วนทองคำเพียงส่วนเดียวแทนที่จะจับระดับความเกี่ยวข้องทั่วทั้งเอกสาร จึงให้สัญญาณการฝึกอบรมที่จำกัดสำหรับปริมาณการประมวลผลที่ใช้ในการสร้างมันขึ้นมา
มีค่าใช้จ่ายสูงในการขยายขนาด คู่การฝึกอบรมแต่ละคู่ต้องใช้ LLM ในการอ่านเอกสารและเลือกส่วนที่เกี่ยวข้อง ดังนั้นต้นทุนในการใส่คำอธิบายประกอบจึงเพิ่มขึ้นแบบเชิงเส้นตามขนาดของชุดข้อมูลการฝึกอบรม และจำกัดว่าข้อมูลการฝึกอบรมจะมีปริมาณและความหลากหลายมากเพียงใด
ไวต่อขอบเขตของส่วน ป้ายกำกับยังผูกติดอยู่กับขอบเขตของส่วนที่ใช้ระหว่างการใส่คำอธิบายประกอบ ป้ายกำกับทองคำที่กำหนดให้กับหน้าต่างขนาดโทเค็นคงที่ไม่ได้ระบุว่าประโยคที่สั้นกว่าหรือย่อหน้าที่ยาวกว่ามีความเกี่ยวข้อง การเปลี่ยนกลยุทธ์การแบ่งส่วน หรือการฝึกอบรมข้ามการแบ่งส่วนหลายแบบเพื่อปรับปรุงความทนทานต่อวิธีที่เอกสารถูกแบ่งในเวลาทำดัชนี จึงอาจต้องมีการใส่คำอธิบายประกอบคอร์ปัสใหม่อีกครั้ง

เราแก้ปัญหาข้อจำกัดของการกำกับดูแลส่วนทองคำด้วยการกลั่นกรองการตัดสินความเกี่ยวข้องจาก โมเดลการบีบอัดบริบทที่รับรู้ข้อความค้นหา โมเดลนี้ทำหน้าที่เป็นครู: มันอ่านข้อความค้นหาและเอกสารร่วมกันและกำหนดคะแนนความเกี่ยวข้องให้กับแต่ละโทเค็นของเอกสาร การทำนายของมันมีข้อดีหลายประการสำหรับการฝึกอบรมการฝังตัวเชิงบริบท:

ขอบเขตของส่วนที่ยืดหยุ่น คะแนนความเกี่ยวข้องระดับโทเค็นสามารถรวมเข้าด้วยกันเหนือขอบเขตของส่วนใดๆ ที่เลือก ทำให้การทำนายของครูชุดเดิมสามารถกำกับดูแลการแบ่งส่วนที่แตกต่างกันได้โดยไม่ต้องใส่คำอธิบายประกอบใหม่
ความเกี่ยวข้องแบบต่อเนื่อง ต่างจากป้ายกำกับส่วนทองคำแบบไบนารี ครูจะให้คะแนนแบบต่อเนื่องที่จับระดับความเกี่ยวข้องซึ่งแยกแยะส่วนที่มีคำตอบ บริบทสนับสนุน และเนื้อหาที่ไม่เกี่ยวข้องได้อย่างเป็นธรรมชาติ
ต้นทุนคำอธิบายประกอบที่ต่ำลง ครูมีขนาดกะทัดรัดและมีความเชี่ยวชาญในการให้คะแนนความเกี่ยวข้อง ทำให้มีราคาถูกกว่ามากในการกำกับดูแลในระดับสเกลเมื่อเทียบกับ LLM อเนกประสงค์

เราฝึกอบรมโมเดลของเราด้วยผลรวมถ่วงน้ำหนักของ การสูญเสียแบบตัดกันระดับเอกสาร และ การสูญเสียการกลั่นระดับส่วน ข้ามชุดคู่ข้อความค้นหาและเอกสาร สำหรับแต่ละข้อความค้นหา เอกสารที่จับคู่จะทำหน้าที่เป็นเชิงบวก ในขณะที่เอกสารที่เหลือในชุดเดียวกันจะทำหน้าที่เป็นเชิงลบ

สำหรับแต่ละแบตช์ เราจะสุ่มเลือกกลยุทธ์การแบ่งชังก์ แบ่งเอกสารตามนั้น และแทรกโทเค็นตัวคั่นระหว่างชังก์ จากนั้นเราจะประมวลผลเอกสารแต่ละฉบับด้วยการส่งผ่านไปข้างหน้าครั้งเดียว และทำ mean pooling กับการแทนค่าของโทเค็นภายในแต่ละชังก์เพื่อให้ได้ contextual chunk embeddings จากนั้นเข้ารหัสคำค้นหาแยกต่างหาก โดยทำ mean pooling กับการแทนค่าของโทเค็นของคำค้นหา สุดท้าย เราคำนวณ cosine similarity ระหว่าง embedding ของคำค้นหาแต่ละตัวกับ embedding ของชังก์แต่ละตัวในแบตช์

แม้ว่าโมเดลการฝังตัวของเราจะสร้างความคล้ายคลึงระดับส่วนเท่านั้น แต่เราสามารถอนุมานความคล้ายคลึงระดับเอกสารจากสิ่งเหล่านั้นได้ตามธรรมชาติ เราถือว่าเอกสาร d มีความเกี่ยวข้องกับข้อความค้นหา q พอๆ กับส่วนที่เกี่ยวข้องที่สุดของมัน กฎการให้คะแนนนี้ได้รับแรงบันดาลใจจากการดำเนินการ MaxSim ของ ColBERT ซึ่งนำมาใช้กับส่วนต่างๆ แทนที่จะเป็นโทเค็น

โดยเฉพาะอย่างยิ่ง เมื่อกำหนดข้อความค้นหา q พร้อมการฝังตัว q และเอกสาร d เป็นรายการส่วน c ที่เรียงลำดับพร้อมการฝังตัว c เราจะนิยามความคล้ายคลึงระดับเอกสารเป็น:

s(q,d):=\max_{c\in d}\mathbf{q}^{\top}\mathbf{c}.

เมื่อกำหนดความคล้ายคลึงระดับเอกสารเหล่านี้ เราสามารถกำหนด วัตถุประสงค์ InfoNCE ระดับเอกสารเหนือข้อมูลเชิงลบภายในชุดได้

สำหรับข้อความค้นหา q ให้ d⁺ แทนเอกสารที่เกี่ยวข้อง และ 𝒟 แทนเอกสารในชุด การสูญเสียแบบตัดกันมีดังนี้ โดยละเว้นอุณหภูมิเพื่อให้อ่านง่ายขึ้น:

\mathcal{L}_{\mathrm{doc}}(q,d^{+})=-\log\frac{\exp(s(q,d^{+}))}{\sum_{d\in\mathcal{D}}\exp(s(q,d))}

การสูญเสียแบบตัดกันสอนให้โมเดลรู้ว่าเอกสารใดเกี่ยวข้องกับข้อความค้นหา การสูญเสียการกลั่นสอนให้รู้ว่าความเกี่ยวข้องนั้นอยู่ที่ใดภายในเอกสารนั้น ซึ่งเป็นสิ่งจำเป็นสำหรับโมเดลเชิงบริบท

ในระหว่างการฝึกอบรม เราจะส่งคู่ข้อความค้นหาและเอกสารเชิงบวกแต่ละคู่ไปยังโมเดลการบีบอัดบริบท ซึ่งจะกำหนดคะแนนความเกี่ยวข้องให้กับทุกโทเค็นในเอกสาร เช่นเดียวกับการให้คะแนนระดับเอกสาร เราจะอนุมานความเกี่ยวข้องของแต่ละส่วนจากเนื้อหาที่เกี่ยวข้องที่สุด เพื่อลดความไวต่อโทเค็นที่เป็นค่าผิดปกติ รวมถึงโทเค็นที่ขอบเขตของส่วน เราจึงนิยามความเกี่ยวข้องระดับส่วนเป็นค่าเฉลี่ยของคะแนนโทเค็น n อันดับแรกภายในส่วนนั้น

สำหรับแต่ละข้อความค้นหา เราจะใช้ซอฟต์แม็กซ์ปรับขนาดอุณหภูมิกับคะแนนความเกี่ยวข้องระดับส่วนของครูภายในเอกสารเชิงบวกเพื่อให้ได้การแจกแจงเป้าหมาย ส่วนในเอกสารอื่นๆ ในชุดจะได้รับความน่าจะเป็นเป้าหมายเป็นศูนย์ เราฝึกอบรมโมเดลการฝังตัวให้ตรงกับเป้าหมายนี้โดยลดความเบี่ยงเบนของ Kullback-Leibler ไปข้างหน้า (forward KL divergence) ระหว่างเป้าหมายและการแจกแจงที่ทำนายไว้ข้ามส่วนทั้งหมดในชุด:

\mathcal{L}_{\mathrm{dist}}(q,d^{+})=\mathrm{KL}\!\left(p^{\mathrm{T}}\parallel p^{\mathrm{S}}\right)

p^{\mathrm{T}}(c_j)=\frac{\exp(r_j)}{\sum_{c_k\in d^{+}}\exp(r_k)}

p^{\mathrm{S}}(c)=\frac{\exp(\mathbf{q}^{\top}\mathbf{c})}{\sum_{d\in\mathcal{D}}\sum_{c_k\in d}\exp(\mathbf{q}^{\top}\mathbf{c}_k)}

ในที่นี้ ตัวยก T และ S ระบุครูและนักเรียน และ rⱼ คือคะแนนความเกี่ยวข้องของครูสำหรับส่วน cⱼ ในเอกสารเชิงบวก d⁺ การแจกแจงเป้าหมายของครูจะกำหนดความน่าจะเป็นศูนย์ให้กับส่วนในเอกสารอื่นๆ ทั้งหมดในชุด

ต่างจากป้ายกำกับส่วนทองคำเดี่ยว เป้าหมายนี้จับระดับความเกี่ยวข้องได้ ส่วนสนับสนุนจะได้รับน้ำหนักตามคะแนนของครูแทนที่จะถูกปฏิบัติว่าเป็นข้อมูลเชิงลบ สอนให้โมเดลสามารถดึงบริบทสนับสนุนรวมถึงคำตอบได้

วัตถุประสงค์การฝึกอบรมรวมของเราคือผลรวมถ่วงน้ำหนักของการสูญเสียแบบตัดกันระดับเอกสารและการสูญเสียการกลั่นระดับส่วน เราหาค่าเฉลี่ยการสูญเสียที่ถ่วงน้ำหนักนี้ข้ามชุดคู่ข้อความค้นหาและเอกสาร

รูปที่ 2 แสดงภาพแนวทางปฏิบัติในการฝึกอบรมของเรา ตัวบีบอัดบริบททำหน้าที่เป็นครูเฉพาะในระหว่างการฝึกอบรม ในเวลาอนุมาน โมเดลการฝังตัวจะสร้างการฝังตัวเชิงบริบทหนึ่งรายการต่อส่วน โดยไม่มีการบีบอัดเพิ่มเติมหรือขั้นตอนการจัดลำดับใหม่ แนวทางนี้ช่วยปรับปรุงวิธีการเรียนรู้การฝังตัวเชิงบริบทโดยไม่ต้องเพิ่มพื้นที่จัดเก็บดัชนีหรือเพิ่มความหน่วงของโมเดลครูในเวลาดึงข้อมูล

การตั้งค่าการฝึกอบรมสำหรับการกลั่นการฝังตัวเชิงบริบท — รูปที่ 2: การตั้งค่าการฝึกอบรมของโมเดลของเรา ตัวเข้ารหัสเชิงบริบท (นักเรียน, ซ้าย) ประมวลผลเอกสาร ซึ่งแต่ละฉบับประกอบด้วยหลายส่วน ส่วนแต่ละส่วนจะถูกฝังตัวโดยคำถึงบริบทเอกสารโดยรอบ ข้อความค้นหา A เป็นคู่ที่ทราบแล้วสำหรับเอกสาร A และถูกให้คะแนนเทียบกับส่วนของเอกสารทั้งหมดเพื่อให้ได้ความคล้ายคลึงที่ทำนายไว้ คะแนนระดับส่วนเหล่านี้จะถูก max-pooled เป็นคะแนนระดับเอกสาร เราฝึกอบรมการทำนายระดับส่วนและการทำนายระดับเอกสารให้ตรงกับการแจกแจงเป้าหมาย (ขวา) เป้าหมายระดับส่วนจะถูกคำนวณในเวลาฝึกอบรมเป็นการทำนายของตัวบีบอัดบริบทภายในเอกสารที่เกี่ยวข้องที่ทราบแล้ว และถูกตั้งค่าเป็นศูนย์ภายในเอกสารที่ไม่เกี่ยวข้องที่ทราบ การแจกแจงเป้าหมายระดับเอกสารถูกตั้งค่าให้เป็นแบบ one-hot บนเอกสารที่เกี่ยวข้องที่ทราบ

ข้อมูลการฝึกอบรมประกอบด้วยชุดข้อมูลคำค้นหาและเอกสารทั้งแบบสาธารณะและภายในองค์กรประมาณ 430 ชุด ครอบคลุมกว่า 50 ภาษา

เราสร้างชุดข้อมูลคู่ภายในจากข้อมูลการผลิตที่ผ่านการกรองข้อมูลส่วนบุคคล (PII) และโดยการสังเคราะห์ข้อความค้นหาที่เกี่ยวข้องกับเอกสารขนาดยาว สำหรับการส่งผ่านข้อมูลแต่ละครั้ง เราจะเลือกชุดข้อมูลหนึ่งชุดและสุ่มตัวอย่างชุดข้อมูลทั้งหมดจากชุดนั้นเพื่อเพิ่มความยากของข้อมูลเชิงลบภายในชุด (in-batch negatives) และหลีกเลี่ยงการเรียนรู้แบบทางลัด ไม่มีชุดข้อมูลการฝึกอบรมใดของเราที่มีคำอธิบายประกอบระดับส่วน: การกำกับดูแลภายในเอกสารทั้งหมดมาจากโมเดลการบีบอัด และไม่มีการใช้ข้อมูล ConTEB สำหรับการฝึกอบรม นอกจากนี้ ไม่มีข้อมูล context-bench ใดๆ ที่พร้อมใช้งานระหว่างการพัฒนาโมเดล

โมเดลเริ่มต้นจากโมเดลการดึงข้อมูล ColBERT ขนาด 9B พารามิเตอร์ภายในองค์กร และสร้างการฝังตัวแบบ 2048 มิติผ่านชั้นการฉายภาพเชิงเส้น เราทำเครื่องหมายขอบเขตของส่วนด้วยโทเค็น <|chunk_sep|> ที่เรียนรู้ได้ และสร้างการฝังตัวของแต่ละส่วนโดยการหาค่าเฉลี่ยของการฝังตัวโทเค็นในส่วนนั้น ข้อความค้นหาจะถูกเข้ารหัสโดยโมเดลเดียวกัน โดยมีการหาค่าเฉลี่ยของการฝังตัวโทเค็นเป็นเวกเตอร์เดียว

เราใช้ การฝึกอบรมแบบ Matryoshka เพื่อรองรับทั้งการฝังตัวแบบ 1024 และ 2048 มิติ และการฝึกอบรมที่คำนึงถึงการควอนตัมเพื่อรองรับ การฝังตัว int8 แบบเนทีฟ ระหว่างการฝึกอบรม เราจะค่อยๆ เพิ่มอัตราการเรียนรู้ คงค่าไว้ จากนั้นจึงลดลง

โมเดลที่เผยแพร่คือ ซุปโมเดล (model soup) ที่หาค่าเฉลี่ยน้ำหนักของจุดตรวจสอบหลายจุดจากการฝึกอบรมรอบเดียวกัน

เกณฑ์มาตรฐานการเรียกคืนตามบริบทแบบสาธารณะ เช่น ConTEB ใช้สมมติฐานเดียวกับการกำกับดูแลแบบ gold-chunk: แต่ละคำถามมีเพียงหนึ่งชังก์ที่เกี่ยวข้อง และโมเดลจะได้รับรางวัลก็ต่อเมื่อจัดอันดับชังก์นั้นเป็นอันดับแรกเท่านั้น นอกจากนี้ยังรับข้อจำกัดของวิธีนี้มาด้วย

ประการแรก ConTEB ทดสอบการดึงข้อมูลในงานที่ส่วนหนึ่งๆ มีความคลุมเครือหากไม่มีบริบทโดยรอบ ในงานเหล่านี้ โมเดลเชิงบริบทมีประสิทธิภาพเหนือกว่าโมเดลที่เข้ารหัสแต่ละส่วนอย่างอิสระ อย่างไรก็ตาม มันไม่ได้ถามว่าโมเดลแสดงส่วนอื่นๆ ของเอกสารที่ทำให้ส่วนนั้นเข้าใจได้ออกมาด้วยหรือไม่

ประการที่สอง มันไม่ได้ทดสอบอย่างเป็นระบบว่าสามารถหาเอกสารที่ถูกต้องได้หรือไม่ เมื่อเอกสารที่เกือบจะเหมือนกันทุกประการในคอร์ปัสเดียวกันมีความแตกต่างกันเฉพาะที่บริบทซึ่งอยู่ล้อมรอบประโยคที่เหมือนกันทุกประการ

ความสามารถทั้งสองประการนี้มีความสำคัญเมื่อเอเจนต์ค้นหาหรือผู้ใช้ต้องทำความเข้าใจและตรวจสอบคำตอบจากประโยคที่ดึงมาบางประโยคแทนที่จะเป็นเอกสารทั้งฉบับ ดังนั้น เราจึงสร้าง context-bench ซึ่งเป็นเกณฑ์มาตรฐานแบบควบคุมสำหรับการดึงข้อมูลในเอกสารขนาดยาว ออกแบบมาเพื่อแยกแยะการใช้บริบทของเอกสารออกจากคุณภาพการดึงข้อมูลทั่วไป โดยจะทดสอบว่าการฝังตัวเชิงบริบทใช้ข้อมูลจากส่วนอื่นในเอกสารเพื่อสนับสนุนความสามารถสามประการหรือไม่:

การแยกแยะเอกสาร: ระบุเอกสารที่ถูกต้องท่ามกลางตัวเลือกที่เกือบจะเหมือนกันทุกประการ
การดึงข้อมูลคำตอบ: ดึงส่วนที่มีคำตอบซึ่งมีความหมายขึ้นอยู่กับรายละเอียดส่วนอื่นในเอกสาร
การดึงข้อมูลหลักฐาน: ดึงส่วนสนับสนุนที่ชี้แจงหรือยืนยันคำตอบ

context-bench ประกอบด้วยข้อความค้นหา 2,099 รายการและเอกสาร 38,894 ฉบับ มีการใช้ส่วนที่มีขนาดเท่าประโยค ส่งผลให้มีส่วนทั้งหมด 2,458,072 ส่วน ข้อความค้นหาครอบคลุม 21โดเมน รวมถึงเอกสารยื่นต่อองค์กร, การวิจัยทางคลินิก, การท่องเที่ยว, ความบันเทิง, การศึกษา, ภาครัฐ, สัญญาทางกฎหมาย และเอกสารซอฟต์แวร์

ข้อความค้นหาแต่ละรายการได้รับการออกแบบมาเพื่อทดสอบความสามารถเชิงบริบทหนึ่งในสิบสองประการ เอกสารเป้าหมายหลักมีความยาวโดยเจตนา: เอกสารเป้าหมายหลักที่แตกต่างกัน 1,197 ฉบับ มี 1,061 ฉบับที่มีอย่างน้อย 200 ประโยค โดยมีความยาวมัธยฐานประมาณ 6,100 โทเค็น ข้อความค้นหาทุกรายการมีคำตอบที่ถูกต้องเพียงคำตอบเดียวในคอร์ปัส ในกรณีที่มีการระบุข้อเท็จจริงเดียวกันมากกว่าหนึ่งครั้งในเอกสารทองคำ เช่น ในประโยคสรุปและแถวในตาราง ประโยคใดก็ตามจะถูกยอมรับว่าเป็นคำตอบ

เส้นทางคำตอบคือการผสมผสานที่ถูกต้องอย่างหนึ่งของส่วนคำตอบและหลักฐานสนับสนุนที่จำเป็นในการตีความหรือตรวจสอบ ทั่วทั้งข้อความค้นหา 2,099 รายการ เส้นทางคำตอบของเอกสารเป้าหมายหลักจะมีกลุ่มหลักฐาน 1 กลุ่มสำหรับ 964 ข้อความค้นหา, 2 กลุ่มสำหรับ 735 ข้อความค้นหา, 3 กลุ่มขึ้นไปสำหรับ 332 ข้อความค้นหา และไม่มีเลยสำหรับ 68 ข้อความค้นหา เส้นทางคำตอบที่ถูกต้องทางเลือกอื่นอาจต้องใช้กลุ่มหลักฐานที่แตกต่างกัน

ตารางที่ 1: สถิติเกณฑ์มาตรฐาน

สถิติ	ค่า
ข้อความค้นหา	2,099
เอกสาร	38,894
ส่วนระดับประโยค	2,458,072
ความยาวมัธยฐานของเอกสารเป้าหมายหลัก	6,100 โทเค็น
โดเมน	21
กลุ่มหลักฐานต่อข้อความค้นหา (เส้นทางคำตอบของเอกสารเป้าหมายหลัก)	1: 964; 2: 735; 3+: 332; ไม่มี: 68

ตารางที่ 2: ความสามารถเชิงบริบทสิบสองประการที่ทดสอบโดย context-bench พร้อมตัวอย่างประกอบ

ความสามารถ	ตัวอย่างข้อความค้นหา	ส่วนคำตอบ	บริบทเอกสารที่จำเป็น
1. ข้อมูลระบุตัวตนของเอนทิตี	Northlake ใช้จ่ายไปเท่าใดกับการซื้อหุ้นคืน	บริษัทซื้อหุ้นคืนเป็นมูลค่า 1.28 หมื่นล้านดอลลาร์	บทนำระบุว่า Northlake คือ “บริษัท” รายงานของ Southlake ที่คล้ายกันจึงไม่เกี่ยวข้อง
2. ช่วงเวลาหรือเวอร์ชัน	ตลับหมึกใดใช้ได้กับ M40 ฉบับแก้ไข B	ติดตั้งตลับหมึก KC-42	ส่วนการใช้งานระบุว่าคำแนะนำเหล่านี้ครอบคลุมฉบับแก้ไข B ไม่ใช่ฉบับแก้ไข C
3. คำนิยามและชื่อเรียกอื่น	กลุ่ม 15 มก. มีอัตราการถอนตัวเท่าใด	Zeta มีอัตราการถอนตัวอยู่ที่ 12.7%	รายงานระบุว่า Zeta คือกลุ่ม 15 มก. หากไม่มีคำนิยามดังกล่าว ส่วนนี้จะไม่สามารถระบุกลุ่มที่ต้องการได้
4. โครงสร้างตาราง	ความจุแบตเตอรี่ของรุ่น Max คือเท่าใด	ความจุทั่วไป: 4,250 \| 4,700 \| 5,150	ส่วนหัวของตารางกำหนดเป็น Mini \| Base \| Max วัดหน่วยเป็น mAh ดังนั้นคำตอบจึงเป็น 5,150 mAh
5. เงื่อนไขและข้อยกเว้น	การคุ้มครองแบตเตอรี่สำหรับการใช้งานเชิงพาณิชย์มีระยะเวลานานเท่าใด	การคุ้มครองแบตเตอรี่มีอายุ 18 เดือน	บทนำของส่วนหนึ่งจำกัดความคุ้มครองนี้ไว้สำหรับการติดตั้งเชิงพาณิชย์ ส่วนการติดตั้งในครัวเรือนจะมีการรับประกันที่แตกต่างกัน
6. การอ้างอิงและสรรพนาม	Mara ดำรงตำแหน่งรองนายกเทศมนตรีเมื่อใด	เธอเข้ารับตำแหน่งในปี 2021	เนื้อหาก่อนหน้านี้ระบุว่า “เธอ” หมายถึง Mara ไม่ใช่ Elin ซึ่งถูกกล่าวถึงเช่นกัน
7. ลำดับและตำแหน่งในรายการ	เพลงใดเปิดช่วงอังกอร์	14. Lantern Road	หมายเหตุในส่วนอื่นระบุว่าเพลงที่ 14–16 คือช่วงอังกอร์ ดังนั้นเพลงที่ 14 จึงเป็นเพลงเปิด
8. ขอบเขตของส่วน	เลนส์ใดที่ใช้ในการถ่ายทำภาพยนตร์เรื่องนี้	ใช้เลนส์ไพรม์ 35 มม. ตลอดทั้งเรื่อง	ข้อความนี้อยู่ในส่วน “การถ่ายทำหลัก” ไม่ใช่ส่วนแยกต่างหากเกี่ยวกับภาพถ่ายประชาสัมพันธ์
9. การระบุตัวผู้พูด	นายกเทศมนตรีสัญญาว่าจะเปิดให้บริการอีกครั้งในวันที่เท่าใด	เราจะเปิดให้บริการอีกครั้งในวันที่ 12 มิถุนายน	บันทึกการสนทนาระบุว่านายกเทศมนตรีคือผู้พูด คำพูดเดียวกันนี้หากมาจากผู้รับเหมาจะไม่ถือเป็นการสัญญาของนายกเทศมนตรี
10. การเปลี่ยนแปลงตามกาลเวลา	ระยะเวลาแจ้งล่วงหน้าใดมีผลบังคับใช้หลังจากการแก้ไขเพิ่มเติมในเดือนพฤษภาคม	ปัจจุบันระยะเวลาแจ้งล่วงหน้าคือ 45 วัน	ประวัติการแก้ไขเพิ่มเติมระบุว่าการเปลี่ยนแปลงนี้มีผลในเดือนพฤษภาคม โดยแทนที่กฎเดิม 30 วัน
11. ความสัมพันธ์เชิงเหตุและผล	เหตุใดปั๊มฝั่งตะวันตกจึงหยุดทำงาน	ความผิดปกตินั้นทำให้ระบบต้องปิดการทำงาน	การตรวจสอบระบุว่า “ความผิดปกตินั้น” คือตลับลูกปืนติดขัดในปั๊มฝั่งตะวันตก และแยกแยะออกจากสิ่งกีดขวางทางเข้าที่ไม่เกี่ยวข้อง
12. ความหมายเชิงเปรียบเทียบหรือข้ามภาษา	เชิงเปรียบเทียบ: คำว่า “ห้องฤดูหนาว” ในบทกวีเป็นสัญลักษณ์ของอะไร ข้ามภาษา: คำแนะนำภาษาฝรั่งเศสระบุให้ช่างเทคนิคถอดส่วนประกอบใด	เชิงเปรียบเทียบ: สื่อถึงการเนรเทศ ไม่ใช่ห้องทางกายภาพจริง ข้ามภาษา: Retirez le capot. (ถอดฝาครอบออก)	เชิงเปรียบเทียบ: บทวิจารณ์ระบุว่า “มัน” คือภาพ “ห้องฤดูหนาว” ที่ปรากฏซ้ำๆ ในบทกวี ข้ามภาษา: อภิธานศัพท์ของคู่มือระบุว่า “capot” หมายถึงฝาครอบมอเตอร์ป้องกัน ไม่ใช่ฝาครอบสำหรับจัดส่ง

ข้อความค้นหา เอกสาร และความสามารถที่กำลังทดสอบได้รับแรงบันดาลใจจากการสนทนากับลูกค้าของ turbopuffer

ขอยกตัวอย่างหนึ่ง พิจารณาความต้องการค้นหาของบริษัทจัดการทรัพย์สิน บริษัทเหล่านี้มีสัญญาเช่าหลายร้อยหรือบางครั้งหลายพันฉบับที่มีความแตกต่างกันเฉพาะชื่อผู้เช่า วันที่ และรายละเอียดสำคัญอื่นๆ อีกเล็กน้อย ข้อความค้นหาทั่วไปสำหรับชุดข้อมูลดังกล่าวอาจเป็น “สัญญาเช่าของ 5 park avenue สิ้นสุดเมื่อใดและค่าเช่าปัจจุบันเท่าไหร่” สัญญาเช่ายังอาจมีความยาวมาก และองค์ประกอบสำคัญในการแยกแยะที่จะยืนยันว่าคุณดึงเอกสารที่ถูกต้องมาแล้ว (เช่น วันที่ ที่อยู่ ชื่อผู้เช่า ฯลฯ) มักจะอยู่ห่างจากประโยคคำตอบสำคัญที่มีจำนวนเงินค่าเช่ารายเดือนมาก ในทางปฏิบัติ ประโยคที่เหมือนกันทุกประการเช่น “ค่าเช่ารายเดือนคือ $X,XXX” อาจปรากฏในเอกสารหลายฉบับทั่วทั้งคอร์ปัส

โมเดลการฝังตัวเชิงบริบทที่ดีควรใช้บริบทจากทั่วทั้งเอกสารเพื่อระบุเอกสารที่ถูกต้อง และดึงทั้งคำตอบและประโยคสนับสนุน วิธีนี้ช่วยให้ผู้ใช้หรือเอเจนต์ค้นหาสามารถตรวจสอบคำตอบได้อย่างรวดเร็วและยืนยันว่าคำตอบนั้นมาจากเอกสารที่ถูกต้อง

สำหรับแต่ละข้อความค้นหา เราจะติดป้ายกำกับประโยค “คำตอบ” และ “หลักฐาน” ในเอกสารเป้าหมาย โมเดลจะผ่านการทดสอบ “ความเพียงพอของผู้อ่าน” (reader sufficiency) หากสามารถดึงประโยคคำตอบพร้อมกับประโยคอย่างน้อยหนึ่งประโยคจากแต่ละกลุ่มหลักฐาน เมื่อรวมกันแล้ว ประโยคเหล่านี้จะมีบริบทเพียงพอสำหรับผู้อ่านในการตรวจสอบคำตอบด้วยหลักฐานสนับสนุน

เมื่อโมเดลการฝังตัวเชิงบริบททำเช่นนี้ได้ดี โมเดลจะสามารถลดจำนวนโทเค็นที่เอเจนต์ค้นหาต้องตรวจสอบได้อย่างมาก รวมถึงทำให้บุคคลยืนยันได้อย่างรวดเร็วว่าตนได้ค้นหาคำตอบที่ถูกต้องสำหรับข้อความค้นหาดั้งเดิมแล้วโดยไม่ต้องอ่านเอกสารทั้งฉบับ

ต้องกู้คืนกลุ่มหลักฐานทุกกลุ่ม แต่ทางเลือกใดๆ ในกลุ่มก็เพียงพอสำหรับการกู้คืน เป็นเรื่องปกติที่จะเห็นข้อเท็จจริงเดียวกันถูกระบุไว้ในหลายๆ จุดทั่วทั้งเอกสารขนาดยาวเหล่านี้ การดึงเพียงประโยคเดียวจากแต่ละกลุ่มหลักฐานจะตรงตามเกณฑ์ความเพียงพอของผู้อ่าน และด้วยเหตุนี้จึงจะได้รับการยอมรับว่าเป็นการเรียกคืนหลักฐานที่สมบูรณ์แบบ

เอกสารแต่ละฉบับจะถูกแบ่งเป็นส่วนๆ ในระดับประโยค และใช้ขอบเขตเดียวกันสำหรับทุกโมเดล มีการทดสอบ 2 เงื่อนไขสำหรับโมเดลการฝังตัวแบบไม่ใช้บริบท ได้แก่ เงื่อนไขที่แต่ละประโยคถูกฝังตัวอย่างอิสระ และเงื่อนไขที่เอกสารทั้งหมดถูกฝังตัวเป็นส่วนเดียว

เราใช้เงื่อนไขระดับประโยคเพื่อวัดการเรียกคืนคำตอบและการเรียกคืนหลักฐาน โดยจะทดสอบว่าโมเดลแบบไม่ใช้บริบทสามารถระบุคำตอบที่ถูกต้องและหลักฐานสนับสนุนได้หรือไม่ เมื่อประโยคแต่ละประโยคถูกฝังตัวโดยไม่มีการเข้าถึงเอกสารโดยรอบ ซึ่งถือเป็นความท้าทายโดยเจตนา ในข้อความค้นหาจำนวนมาก ประโยคคำตอบเพียงอย่างเดียวขาดรายละเอียดที่จำเป็นในการแยกแยะออกจากประโยคที่คล้ายคลึงกันในส่วนอื่นของคอร์ปัส

เราใช้เงื่อนไขระดับเอกสารเป็นเกณฑ์มาตรฐานการเรียกคืนเอกสาร โดยจะทดสอบว่าการฝังตัวประโยคแบบละเอียดให้ประโยชน์ในการดึงข้อมูลมากพอที่จะคุ้มค่ากับต้นทุนการจัดเก็บเพิ่มเติมเมื่อเทียบกับการจัดเก็บหนึ่งเวกเตอร์ต่อเอกสารหรือไม่ ดัชนีระดับประโยคสร้างเวกเตอร์มากกว่าดัชนีระดับเอกสารอย่างมาก ดังนั้นจึงควรมีประสิทธิภาพเหนือกว่าเกณฑ์มาตรฐานแบบหนึ่งเวกเตอร์ต่อเอกสารจึงจะคุ้มค่าใช้จ่ายดังกล่าว

การประเมินทั้งหมดใช้การจัดอันดับแบบสมบูรณ์เทียบกับส่วนทั้งหมด 2,458,072 ส่วน ความแตกต่างระหว่างโมเดลจึงสะท้อนถึงการแสดงแทน ไม่ใช่การกำหนดค่าดัชนี เรามุ่งเน้นไปที่ตัวชี้วัดสำคัญสามประการ:

Document@K นิยามไว้ดังนี้:

\text{Document@K}=1[\operatorname{rank}(d^{*})\le K]

โดยที่ $d^{*}$ คือเอกสารที่มีลำดับสูงสุดใน $D_q$

Answer@K นิยามไว้ดังนี้:

\text{Answer@K}=1[A_q\cap C_K(q)\ne\varnothing]

โดยที่ $C_K(q)$ คือส่วน $K$ อันดับต้นๆ จากคอร์ปัสทั้งหมด และ $A_{q}$ คือชุดของส่วนคำตอบที่ยอมรับ

Evidence Recall@K วัดภายใน $d^{*}$ ดังนี้: จัดอันดับประโยคของ $d^{*}$ ตามความคล้ายคลึง, ลบประโยคคำตอบที่มีอันดับสูงสุดออก, และให้ $R_K(q)$ เป็น $K$ อันดับแรกที่เหลืออยู่ สำหรับกลุ่มหลักฐาน $G_q=\{g_1,\ldots,g_m\}$ , กลุ่ม $g_j$ จะถูกกู้คืนหากทางเลือก $E\in g_j$ บางรายการเป็นไปตาม $E\subseteq R_K(q)$ และ

\text{EvidenceRecall@K}=1[\operatorname{rank}(d^{*})\le10]\cdot\frac{1}{m}\sum_{j=1}^{m}1[g_j\ \text{recovered}].

Document@K ถามว่าการทำให้อยู่ในบริบทช่วยให้เอกสารที่ถูกต้องเอาชนะเอกสารพี่น้องและเอกสารรบกวนที่มีคำศัพท์ร่วมกันได้หรือไม่

Answer@K ถามว่าตัวประโยคคำตอบเองติดอยู่ในกลุ่มส่วนอันดับต้นๆ หรือไม่

Evidence Recall@K ถามว่าบริบทสนับสนุนถูกกู้คืนมากแค่ไหนท่ามกลางส่วน K อันดับแรกของเอกสารที่ถูกต้อง หลังจากยกเว้นส่วนคำตอบที่มีอันดับสูงสุดออก การลบคำตอบออกช่วยป้องกันไม่ให้การเรียกคืนหลักฐานนับซ้ำกับสิ่งที่ Answer@K วัดไปแล้ว และเปิดพื้นที่ช่อง $K$ ทั้งหมดสำหรับบริบทสนับสนุน การกำหนดให้เอกสารทองคำต้องอยู่ใน 10 เอกสารที่ดึงมาอันดับแรกหมายความว่าจะไม่มีโมเดลใดได้รับเครดิตหลักฐานสำหรับเอกสารที่โมเดลนั้นจะไม่แสดงผลออกมา นอกจากนี้เรายังรายงาน All-Evidence@K ซึ่งเป็นสัดส่วนของข้อความค้นหาที่มีการกู้คืนทุกกลุ่ม

เมื่อรวมกันแล้ว ตัวชี้วัดเหล่านี้จะช่วยแยกแยะความท้าทายที่โมเดลการฝังตัวเชิงบริบทต้องเผชิญ ได้แก่ การค้นหาเอกสารที่ถูกต้อง, การค้นหาคำตอบที่ถูกต้อง และการกู้คืนบริบทขั้นต่ำที่แสดงให้เห็นว่าเหตุใดคำตอบจึงถูกต้อง

รูปที่ 3 แสดงภาพตัวชี้วัดด้วยตัวอย่างการจัดการทรัพย์สิน

วิธีการให้คะแนนการดึงเอกสาร คำตอบ และหลักฐานของ context-bench — รูปที่ 3: ตัวชี้วัดของ context-bench ที่แสดงภาพประกอบด้วยข้อความค้นหาเกี่ยวกับสัญญาเช่า Document@K ทดสอบการดึงเอกสารที่ถูกต้อง; Answer@K ทดสอบการดึงส่วนคำตอบของเอกสารนั้น; Evidence Recall@K วัดการกู้คืนกลุ่มหลักฐานสนับสนุนภายในเอกสารเป้าหมาย ในตัวอย่างนี้ การตรวจสอบค่าเช่าจำเป็นต้องมีทั้งหลักฐานที่อยู่และปีที่เช่า การเรียกคืนหลักฐานจะไม่รวมส่วนคำตอบอันดับสูงสุดและกำหนดให้เอกสารเป้าหมายต้องติดอันดับ 1 ใน 10

เราประเมินโมเดลของเราเทียบกับโมเดลการฝังตัวเชิงบริบทและแบบไม่ใช้บริบทใน 4 ด้าน

เบสไลน์เชิงบริบทของเราคือ pplx-embed-context-v1-4B และ voyage-context-4 เบสไลน์แบบไม่ใช้บริบทของเราคือ voyage-4-large และ Nemotron-3-Embed-8B-BF16 ของ NVIDIA ซึ่งเข้ารหัสส่วนต่างๆ อย่างอิสระ ชุดเบสไลน์จะแตกต่างกันไปตามการทดลอง ดังที่ระบุไว้ในแต่ละรูป

เราเริ่มต้นด้วย context-bench ซึ่งทดสอบความสามารถที่เป็นแรงบันดาลใจเบื้องหลังงานนี้โดยตรง จากนั้นจึงรายงานผลลัพธ์บน ConTEB ซึ่งเป็นเกณฑ์มาตรฐานสาธารณะมาตรฐานสำหรับการฝังตัวเชิงบริบท เพื่อตรวจสอบว่าการพัฒนาเหล่านี้ไม่ได้แลกมาด้วยการลดลงของคุณภาพการดึงข้อมูลทั่วไป เราจึงประเมินเกณฑ์มาตรฐานการดึงเอกสารและส่วนเฉพาะโดเมนที่เราสร้างขึ้นจากชุดข้อมูลสาธารณะด้วย สุดท้ายเราตรวจสอบคุณสมบัติในทางปฏิบัติสองประการสำหรับการปรับ ใช้งาน: คุณภาพการดึงข้อมูลเทียบกับต้นทุนการจัดเก็บต่อเวกเตอร์ และความไวต่อขนาดส่วนที่ใช้ในเวลาทำดัชนี การประเมินทั้งหมดเข้ารหัสเอกสารสูงสุด 32,768 โทเค็นในการส่งผ่านครั้งเดียว

ดังแสดงใน รูปที่ 1 ในบทนำ ตัวอย่างตัวอย่างของเราเป็นผู้นำในด้าน Answer@K และ Evidence Recall@K ทุกจุดตัดที่มีการรายงาน รวมถึง All-Evidence@10 ที่ K = 10 มันบรรลุการเรียกคืนคำตอบ 45.5%, การเรียกคืนหลักฐาน 40.6% และการเรียกคืนหลักฐานทั้งหมด 31.1% นอกจากนี้ยังเป็นผู้นำในด้าน Document@1 และ Document@10 โดยสูงถึง 15.2% และ 61.6% ตามลำดับ ที่ K = 10 ตัวอย่างตัวอย่างของเรามีค่าสูงกว่า voyage-context-4 อยู่ 14.4เปอร์เซ็นต์ ในการเรียกคืนคำตอบ และ 5.0 จุดในการเรียกคืนหลักฐาน

โมเดลตัวอย่างของเราทำคะแนนเฉลี่ย nDCG@10 สูงสุดในบรรดาโมเดลที่แสดงบน ConTEB ในรูปที่ 4 โดยไม่ได้เป็นผู้นำในทุกงาน: pplx-context-v1-4B ทําคะแนนสูงกว่าใน NarrativeQA ในขณะที่ Nemotron-3-8B ทําคะแนนสูงสุดใน COVID-QA ตามที่ผู้เขียนหลักได้ชี้ 3 ไว้ในรายงาน ConTEB ด้วย COVID-QA ส่วนใหญ่ประกอบด้วยคู่ข้อความค้นหาและส่วนที่มีการดึงข้อมูลออกมาชัดเจน (extractive) และสามารถตอบได้ด้วยการจับคู่คำศัพท์พื้นผิวอย่างง่ายๆ เกี่ยวกับคำศัพท์ทางการแพทย์ ดังนั้น ความเข้าใจบริบทจึงมีประโยชน์น้อยลงสำหรับงานนี้ และโมเดลแบบไม่ใช้บริบทมักจะมีประสิทธิภาพดีกว่าโมเดลเชิงบริบท

รูปที่ 4: nDCG@10 ระดับงานบน ConTEB ในการตั้งค่าข้อความค้นหาถึงส่วน ค่าเฉลี่ยคือค่าเฉลี่ยแบบไม่ถ่วงน้ำหนักข้ามแปดงาน

นอกเหนือจากเกณฑ์มาตรฐานที่ออกแบบมาสำหรับการฝังตัวเชิงบริบทแล้ว เรายังประเมินประสิทธิภาพเฉพาะโดเมนของโมเดลของเราด้วย

ชุดงานข้อความค้นหาถึงส่วน (Q2C) ของเราใช้งาน MTEB เช่น LegalBench และ FinanceBench ควบคู่ไปกับงานดึงข้อมูลเพิ่มเติมที่เราคัดสรรมาจากชุดข้อมูลสาธารณะ ภายในเอกสารที่เกี่ยวข้องแต่ละฉบับ ส่วนหนึ่งจะถูกติดป้ายกำกับว่าเกี่ยวข้องหากมีช่วงคำตอบที่แน่นอนเมื่อมีงานระบุไว้ หรือประเมินโดย LLM ว่ามีความเกี่ยวข้องกับข้อความค้นหาหรือไม่ในกรณีอื่น ชุดงานข้อความค้นหาถึงเอกสาร (Q2D) ใช้งานแบบเดียวกันและให้คะแนนว่าดึงเอกสารที่เกี่ยวข้องได้หรือไม่

โมเดลของเราทำคะแนนเฉลี่ยสูงสุดในการดึงข้อมูลส่วนในรูปที่ 5 และเป็นผู้นำในโดเมนกฎหมาย เทคนิค และสุขภาพ โดยไม่ได้เป็นผู้นำในทุกโดเมน: voyage-context-4 ทำคะแนนสูงกว่าในด้านการเงินและการดึงข้อมูลหลายภาษา และ Nemotron-3-8B ทำคะแนนสูงสุดในการดึงข้อมูลการสนทนา สำหรับการดึงเอกสารในรูปที่ 6 โมเดลของเราทำคะแนนต่ำกว่า voyage-context-4 เล็กน้อยโดยเฉลี่ย ในขณะที่เป็นผู้นำในโดเมนเทคนิค เบสไลน์ pplx-context-v1-4B ทำคะแนนเฉลี่ยต่ำกว่าในทั้งสองชุด ซึ่งสอดคล้องกับการที่โมเดลได้รับการฝึกอบรมเฉพาะชุดข้อมูลการฝึกอบรมของ ConTEB เท่านั้น ซึ่งแสดงให้เห็นว่าการกำกับดูแลที่ผูกติดอยู่กับส่วนทองคำของเกณฑ์มาตรฐานเดียวไม่สามารถถ่ายโอนไปยังโดเมนอื่นได้ดีนัก

คะแนนการดึงส่วนด้วยข้อความค้นหาตามโดเมน — รูปที่ 5: nDCG@10 เฉลี่ยในงานข้อความค้นหาถึงส่วน (Q2C) จัดกลุ่มตามโดเมน แท่งกราฟโดเมนคือค่าเฉลี่ยแบบไม่ถ่วงน้ำหนักของคะแนนระดับงานในโดนั้น ค่าเฉลี่ยโดยรวมคือค่าเฉลี่ยแบบไม่ถ่วงน้ำหนักข้ามงานทั้งหมดที่แสดง

คะแนนการดึงเอกสารด้วยข้อความค้นหาตามโดเมน — รูปที่ 6: คะแนนการดึงข้อมูลเฉลี่ยในงานข้อความค้นหาถึงเอกสาร (Q2D) จัดกลุ่มตามโดเมน แท่งกราฟแต่ละแท่งในโดเมนคือค่าเฉลี่ยแบบไม่ถ่วงน้ำหนักของคะแนนหลักระดับงาน ค่าเฉลี่ยโดยรวมคือค่าเฉลี่ยแบบไม่ถ่วงน้ำหนักข้ามงานทั้งหมดที่แสดง

โมเดลการฝังตัวเชิงบริบทสร้างหนึ่งเวกเตอร์ต่อส่วน ดังนั้นดัชนีที่สร้างด้วยโมเดลของเราจึงมีจำนวนเวกเตอร์เท่ากับดัชนีระดับส่วนทั่วไปที่มีกลยุทธ์การแบ่งส่วนเดียวกันทุกประการ การทำให้อยู่ในบริบทจะเปลี่ยนแปลงสิ่งที่แต่ละเวกเตอร์เข้ารหัส ไม่ใช่จำนวนเวกเตอร์ที่จัดเก็บ ดังนั้นพื้นที่จัดเก็บจึงถูกกำหนดโดยขนาดของแต่ละเวกเตอร์ โมเดลมีสองวิธีในการลดขนาดดังกล่าว: การตัดทอนการฝังตัวจาก 2048 เป็น 1024 มิติ และการทำควอนตัมเป็น int8

รูปที่ 7 แสดงความสมดุลที่ดีระหว่างคุณภาพการดึงข้อมูลและการจัดเก็บเวกเตอร์ ที่ 1024 มิติ การฝังตัว int8 ของเราใช้พื้นที่ 1 KB ต่อเวกเตอร์ ในขณะที่ยังมีคะแนนการดึงส่วนสูงกว่า voyage-context-4 ที่ 2048 มิติใน float32 ซึ่งใช้พื้นที่ 8 KB ต่อเวกเตอร์ การเพิ่มขนาดการฝังตัวของเราเป็น 2048 มิติจะช่วยเพิ่มคุณภาพการดึงข้อมูลให้สูงขึ้นไปอีกที่ 2 KB ต่อเวกเตอร์ ตัวเลขการจัดเก็บเหล่านี้อ้างอิงเฉพาะเวกเตอร์เท่านั้น ไม่รวมส่วนที่เหลือของดัชนี

คุณภาพการดึงส่วนเทียบกับการจัดเก็บต่อเวกเตอร์ — รูปที่ 7: คุณภาพการดึงส่วน (nDCG@10 เฉลี่ย) เป็นฟังก์ชันของพื้นที่จัดเก็บต่อเวกเตอร์ เส้นทึบแสดง float32 และเส้นประแสดง int8 ป้ายกำกับระบุขนาดมิติของการฝังตัว

รูปที่ 8 แสดงการเปลี่ยนแปลงเพียงเล็กน้อยของคุณภาพการดึงข้อมูลเมื่อขนาดส่วนเพิ่มขึ้นจาก 64 เป็น 512 โทเค็น: คะแนนเฉลี่ยลดลงจาก 81.0% เป็น 79.9% ซึ่งลดลง 1.1เปอร์เซ็นต์ สิ่งนี้บ่งชี้ว่าโมเดลยังคงมีประสิทธิภาพทั่วทั้งขนาดส่วนที่ทดสอบ ทำให้ไปป์ไลน์การทำดัชนีมีความยืดหยุ่นในการแบ่งเอกสาร

ความไวต่อขนาดส่วน: คะแนนการดึงข้อมูลสำหรับส่วนขนาดตั้งแต่ 64 ถึง 512 โทเค็น — รูปที่ 8: ความไวต่อขนาดส่วนของโมเดลของเรา จุดแต่ละจุดคือค่าเฉลี่ยแบบไม่ถ่วงน้ำหนัก nDCG@10 ข้าม 74 งาน MTEB โดยทำดัชนีเอกสารตามขนาดวันที่กำหนด

turbopuffer จะเก็บรักษาคอร์ปัสทั้งหมด, ข้อความค้นหา และป้ายกำกับของ context-bench ไว้เป็นความลับ และรายงานผลลัพธ์สำหรับโมเดลที่ส่งเข้ามา การจัดทำเกณฑ์มาตรฐานสาธารณะในลักษณะนี้เปิดทางให้เกิดการฝึกอบรมโดยตรงกับข้อความค้นหาและเอกสาร ซึ่งจะทำให้เกณฑ์มาตรฐานดังกล่าวเสื่อมความนิยมลงทีละน้อยและลดทอนคุณค่าในการติดตามความคืบหน้าตามกาลเวลา หากคุณต้องการให้โมเดลของคุณได้รับการประเมินบนเกณฑ์มาตรฐานนี้ โปรดติดต่อ turbopuffer ที่ contextbench@turbopuffer.com

ตัวอย่างของโมเดลของเราพร้อมให้ใช้งานบน Hugging Face และผลลัพธ์ทั้งหมดในโพสต์นี้รายงานสำหรับตัวอย่างนี้ เรากำลังดำเนินการเพื่อให้โมเดลใช้งานได้ผ่าน Perplexity API และปรับปรุงการดึงข้อมูลบนเอกสารขนาดยาวร่วมกับ turbopuffer ต่อไป

BibTeX

@online{perplexity2026ContextualEmbeddingBeyondTheGoldPassage,
  author = {{Perplexity} and Sarah Eslami and William Barber and Markus Krimmel and Antoine Chaffin and Bo Wang and Louis Milliken and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Contextual embedding beyond the gold passage}},
  date = {2026-09-30},
  url = {https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage}
}

บทนำ

เหตุใดบริบทจึงสำคัญสำหรับการดึงข้อมูล

ข้อจำกัดของการกำกับดูแลส่วนทองคำ

แนวทางใหม่ในการเรียนรู้เชิงบริบท

ฟังก์ชันสูญเสีย

การสูญเสียแบบตัดกันระดับเอกสาร

การสูญเสียการกลั่นระดับส่วน

การสูญเสียรวม

ข้อมูลการฝึกอบรม

การตั้งค่าการฝึกอบรม

เกณฑ์มาตรฐานใหม่สำหรับการดึงข้อมูลระดับส่วน

เอกสารและข้อความค้นหา

ป้ายกำกับคำตอบและหลักฐาน

ตัวชี้วัด

ผลการประเมิน

context-bench

ConTEB

คุณภาพการดึงข้อมูลทั่วไปข้ามโดเมน

คุณภาพการดึงข้อมูลและต้นทุนการจัดเก็บ

ความไวต่อขนาดส่วน

การเผยแพร่

การอ้างอิง