เอ็มเบดดิงแบบมัลติโมดัลที่ก้าวข้ามเวกเตอร์เดียว

นับตั้งแต่เปิดตัว pplx-embed-v1 ในเดือนกุมภาพันธ์ เราได้ทำงานกับโมเดลฝังเวกเตอร์รุ่นใหม่ สัปดาห์ที่แล้ว เราเปิดตัวโมเดลฝังเวกเตอร์เชิงบริบทตัวใหม่ pplx-embed-v2-context วันนี้ เรากำลังขยายตระกูลนี้ด้วย pplx-embed-v2-late ซึ่งเป็นชุดโมเดล late-interaction ควบคู่ไปกับความสามารถด้านการค้นคืนที่แข็งแกร่งขึ้น โมเดลเหล่านี้ยังเป็นรุ่นแรกที่ผสานสามความสามารถหลักเข้าด้วยกัน:

• การแทนค่าหลายเวกเตอร์ แทนที่จะบีบอัดอินพุตแต่ละรายการให้เป็นเวกเตอร์เพียงตัวเดียว โมเดลเหล่านี้จะเก็บเวกเตอร์ระดับโทเค็นไว้เพื่อให้การเปรียบเทียบระหว่างคำค้นกับเอกสารมีรายละเอียดมากขึ้น วิธีนี้ทำให้ส่วนต่าง ๆ ของคำค้นสามารถจับคู่กับส่วนต่าง ๆ ของเอกสารได้ รักษารายละเอียดที่มีคุณค่าเป็นพิเศษสำหรับการค้นคืนแบบหลายโมดัล
• การรองรับทั้งโมดาลิตีข้อความและภาพ นอกเหนือจากความสามารถในการค้นคืนข้อความต่อข้อความของโมเดลรุ่นก่อนหน้า โมเดลใหม่เหล่านี้ยังรองรับการค้นคืนข้อความต่อภาพ ทำให้สามารถค้นหาหน้า PDF ที่เรนเดอร์แล้วได้โดยตรง โดยไม่ต้องใช้ OCR หรือข้อความที่แยกวิเคราะห์
• สเปซการฝังเวกเตอร์ร่วม เรากำลังเปิดตัวโมเดลสองขนาด คือ 0.6B และ 9B เพื่อรองรับข้อกำหนดด้านคุณภาพ เวลาแฝง และการประมวลผลที่แตกต่างกัน แต่ละรุ่นสามารถใช้งานได้อย่างอิสระ แต่สเปซการฝังเวกเตอร์ร่วมยังเปิดโอกาสให้โมเดลขนาดเล็กสามารถค้นดัชนีที่สร้างด้วยโมเดลขนาดใหญ่ได้ ผสานเอกสารที่ฝังเวกเตอร์คุณภาพสูงเข้ากับการอนุมานตอนเวลาคำค้นที่ถูกและรวดเร็ว

โมเดลใหม่เหล่านี้ให้ผลลัพธ์ระดับล้ำสมัย (state-of-the-art) ในเบนช์มาร์กด้านการค้นคืนข้อมูลภาพและข้อความหลากหลายรายการ รวมถึงงานตอบคำถามแบบเอเจนต์ ที่โดดเด่นคือ ใน ViDoRe (V3) ซึ่งเป็นเบนช์มาร์กชั้นนำด้านการค้นคืนเอกสารเชิงภาพ โมเดลขนาด 0.6B ของเราทำผลงานได้ทัดเทียมกับโมเดลที่มีพารามิเตอร์ที่ทำงานจริง (active parameters) มากกว่าถึงห้าเท่า โมเดลทั้งสองเปิดให้ใช้งานแบบสาธารณะบน Hugging Face แล้ว ดูรายละเอียดเพิ่มเติมเกี่ยวกับระเบียบวิธีและผลการประเมินได้ในรายงานทางเทคนิคของเรา

จากเวกเตอร์เดี่ยวสู่ late interaction

ระบบค้นคืนต้องหาสมดุลระหว่างประสิทธิภาพกับความลึกของการโต้ตอบระหว่างคำค้นและเอกสาร โมเดลฝังเวกเตอร์แบบ dense เข้ารหัสแต่ละคำค้นและเอกสารอย่างอิสระ ทำให้สามารถเปรียบเทียบกันได้ด้วย inner product ที่ต้นทุนต่ำ สิ่งนี้ทำให้การค้นหา approximate nearest-neighbor (ANN) บนเอกสารนับพันล้านรายการใช้งานได้จริง ในอีกขั้วหนึ่ง cross-encoder ประมวลผลคำค้นและเอกสารไปพร้อมกัน ทำให้เกิดการโต้ตอบที่สมบูรณ์ยิ่งขึ้น แต่ต้องทำ forward pass แยกสำหรับทุกผู้สมัคร การนำการคำนวณนี้ไปใช้กับคอร์ปัสเอกสารขนาดใหญ่สำหรับการค้นหาทุกครั้งมีค่าใช้จ่ายสูงเกินไป ดังนั้น cross-encoder จึงมักถูกสงวนไว้สำหรับการ rerank ผู้สมัครจำนวนน้อยที่ค้นคืนมาแล้ว

ข้อจำกัดของ embeddings แบบ dense

การแทนเอกสารทั้งฉบับด้วยเวกเตอร์ขนาดคงที่เพียงตัวเดียวสร้างคอขวดของข้อมูล เมื่อเอกสารยาวขึ้นและครอบคลุมหลายหัวข้อ โมเดลต้องบีบอัดเนื้อหามากขึ้นลงในเวกเตอร์เดียวกัน ทำให้รักษาทุกสิ่งที่เกี่ยวข้องกับคำค้นได้ยากขึ้น การแบ่งเป็นชังก์สามารถลดแรงกดดันนี้ได้ แต่จะทำให้เอกสารถูกแยกออกเป็นส่วน ๆ และอาจแยกข้อมูลที่ต้องเข้าใจร่วมกัน ซึ่งเป็นปัญหาที่เรายังจัดการด้วย โมเดลฝังเวกเตอร์เชิงบริบท ของเรา คอขวดนี้รุนแรงยิ่งขึ้นในบริบทหลายโมดัล ซึ่งความหนาแน่นของข้อมูลจากภาพต้องอาศัยการบีบอัดมากขึ้นไปอีก

การค้นคืนแบบ dense ที่ใช้เวกเตอร์เดี่ยวก็ทำให้ทุกการเปรียบเทียบลดลงเหลือ inner product ระหว่างเวกเตอร์สองตัว ซึ่งจำกัดความสามารถในการแสดงออกของฟังก์ชันการให้คะแนน สำหรับมิติของ embeddings ที่กำหนดและคอร์ปัสขนาดใหญ่พอ รูปแบบคะแนนบางอย่างระหว่างคู่คำค้น-เอกสารเป็นสิ่งที่ไม่อาจสร้างขึ้นได้ ไม่ว่าการฝึกจะเป็นอย่างไร LIMIT benchmark เปลี่ยนความกังวลเชิงทฤษฎีนี้ให้กลายเป็นการทดสอบแบบเค้นที่เป็นรูปธรรมสำหรับการค้นคืนเวกเตอร์เดี่ยว

การค้นคืนแบบ Late-interaction

โมเดล late-interaction อยู่กึ่งกลางระหว่างโมเดลฝังเวกเตอร์แบบ dense ที่ถูกกว่าและ cross-encoder ที่มีความสามารถในการแสดงออกมากกว่า เช่นเดียวกับโมเดลแบบ dense พวกมันเข้ารหัสเอกสารอย่างอิสระจากคำค้น ทำให้สามารถคำนวณตัวแทนของเอกสารแบบออฟไลน์ได้ อย่างไรก็ตาม แทนที่จะลดอินพุตแต่ละรายการให้เหลือเวกเตอร์เดียว พวกมันเก็บหลายเวกเตอร์ไว้และใช้ฟังก์ชันการให้คะแนนที่สมบูรณ์ยิ่งขึ้นเมื่อเปรียบเทียบคำค้นกับเอกสาร

โมเดล pplx-embed-v2-late ของเราใช้สถาปัตยกรรมแบบ ColBERT โดยให้ embeddings ขนาด 128 มิติสำหรับแต่ละโทเค็นในอินพุต เราให้คะแนนคู่คำค้น-เอกสารด้วย MaxSim; สำหรับแต่ละโทเค็นของคำค้น โมเดลจะเลือกโทเค็นเอกสารที่ได้คะแนนสูงที่สุด แล้วรวมค่าความคล้ายคลึงสูงสุดรายโทเค็นเพื่อให้ได้คะแนนสุดท้าย วิธีนี้ทำให้ส่วนต่าง ๆ ของคำค้นสามารถจับคู่กับส่วนต่าง ๆ ของเอกสารได้ โดยการจับคู่โทเค็นที่แข็งแรงกว่าจะมีส่วนต่อคะแนนมากกว่า

ขยาย

ความสามารถในการแสดงออกที่เพิ่มขึ้นนี้มาพร้อมกับต้นทุนการจัดเก็บและการให้คะแนนผู้สมัครที่สูงขึ้น การค้นคืนแบบ dense จัดเก็บหนึ่งเวกเตอร์ต่อเอกสารและให้คะแนนผู้สมัครด้วย inner product หนึ่งครั้ง ส่วน late interaction จัดเก็บเวกเตอร์สำหรับโทเค็นของเอกสารและประเมินค่าความคล้ายคลึงระหว่างโทเค็นจำนวนมาก ต้นทุนจะเพิ่มขึ้นตามความยาวของเอกสาร ดังนั้น late interaction จึงต้องแลกกับการทำดัชนีและการให้บริการที่ต่างจากการค้นคืน ANN แบบเวกเตอร์เดียว แต่ตอบแทนด้วยการค้นคืนระยะแรกที่มีข้อมูลมากขึ้นสำหรับคอร์ปัสที่อ่อนไหวต่อคุณภาพ และยังสามารถทำหน้าที่เป็นระยะหลังในไปป์ไลน์การค้นคืนระดับเว็บขนาดใหญ่ได้

หนึ่งโมเดล หลายโมดาลิตี

ความลึกของการโต้ตอบที่ดีขึ้นนี้ได้รับการพิสูจน์แล้วว่ามีประโยชน์อย่างมากสำหรับงานหลากหลายประเภท รวมถึงการค้นคืนในบริบทระยะยาว, แบบ agentic และนอกโดเมน ความแตกต่างนี้เห็นได้ชัดเป็นพิเศษในการค้นคืนแบบหลายโมดัล ดังที่แสดงจากความนำห่างมากของโมเดล ColPali บนลีดเดอร์บอร์ด ViDoRe(V3)

คอร์ปัสในโลกจริงไม่ได้ประกอบด้วยข้อความที่สะอาดเพียงอย่างเดียว แต่มาในรูปของ PDF, สไลด์, ภาพหน้าจอ, หน้าที่สแกน, แผนภูมิ และตาราง ไปป์ไลน์แบบดั้งเดิมจะวิเคราะห์เอกสารเหล่านี้ ใช้ OCR หรือการใส่คำบรรยาย แล้วค้นหาข้อความที่ได้ ซึ่งทั้งมีค่าใช้จ่ายสูงและสูญเสียข้อมูล: อาจก่อให้เกิดข้อผิดพลาดจาก OCR และตัดทอนเค้าโครง โครงสร้างตาราง รูปภาพ และความสัมพันธ์เชิงพื้นที่ การค้นหาเอกสารเชิงภาพข้ามขั้นตอนนั้นไป โดยฉายหน้าที่เรนเดอร์แล้วโดยตรงเข้าสู่สเปซการแทนค่า ซึ่งคำค้นที่เป็นข้อความสามารถค้นหาได้

ครอบครัวโมเดลใหม่ของเราต่อยอดจากประสิทธิภาพอันแข็งแกร่งของโมเดลหลายเวกเตอร์สำหรับการค้นหาแบบหลายโมดาล และผลักดันพรมแดน Pareto สำหรับโมเดลขนาดเล็กบนเบนช์มาร์กการค้นหาเอกสารที่ใช้กันแพร่หลายที่สุดอย่าง ViDoRe(V3) แม้ว่าเราคาดว่าการเรนเดอร์เอกสารจะเป็นรูปแบบอินพุตเชิงภาพที่พบบ่อยที่สุด โมเดลของเรายังรองรับการค้นหารูปภาพเชิงความหมายบนภาพธรรมชาติ เช่น ภาพทิวทัศน์

การฝึกตระกูลโมเดลที่ทำงานร่วมกันได้

การค้นหาเป็นแบบไม่สมมาตรโดยพื้นฐาน: การทำดัชนีและการเข้ารหัสคำค้นมีข้อจำกัดด้านการปฏิบัติการต่างกัน การทำดัชนีทำงานแบบออฟไลน์และสามารถขนานได้ ดังนั้นต้นทุนการประมวลผลจึงถูกเฉลี่ยไปกับการค้นหาในอนาคตจำนวนมาก ส่วนการเข้ารหัสคำค้นทำงานออนไลน์สำหรับทุกคำขอ ทำให้ไวต่อเวลาแฝงและบางครั้งถูกจำกัดโดยการให้บริการหรืออุปกรณ์ปลายทาง โมเดลตระกูลของเราใช้ประโยชน์จากความไม่สมมาตรนี้ โดยเสนอขนาดที่เหมาะกับแต่ละด้านของไปป์ไลน์การค้นคืน

เราฝึก teacher ขนาด 18B แบบ contrastive จากนั้นกลั่นแยกลงเป็น student ขนาด 9B และ 0.6B แทนที่จะฝึกแต่ละ student เพียงเพื่อเลียนแบบการกระจายการจัดอันดับของ teacher เราใช้การกลั่นแยกการแทนค่าในสไตล์ LEAF: สำหรับแต่ละโทเค็นอินพุต เราจับคู่ embeddings เอาต์พุตของ student กับของ teacher แม้ว่าการกลั่นในสเปซการแทนค่าจะเคยถูกใช้กับโมเดล dense แบบเวกเตอร์เดี่ยวมาก่อนแล้ว เราก็ขยายวิธีนี้ไปสู่ late interaction ซึ่งเป้าหมายการจับคู่คือเวกเตอร์สำหรับทุกโทเค็นที่คงไว้

ผลลัพธ์คือเช็กพอยต์ที่ปล่อยออกมาทั้งสองใช้สเปซการฝังเวกเตอร์หลายเวกเตอร์เดียวกัน ซึ่งเปิดให้ค้นคืนข้ามโมเดลได้ และทำให้มีตัวเลือกในการใช้งานเพิ่มเติม

• คุณภาพสูงสุด: เข้ารหัสเอกสารและคำค้นด้วยโมเดล 9B
• ประสิทธิภาพสูงสุด: เข้ารหัสเอกสารและคำค้นด้วยโมเดล 0.6B สำหรับการอนุมานภายในเครื่อง 100%
• การค้นคืนที่เวลาแฝงต่ำ: สร้างดัชนีของคอร์ปัสด้วยโมเดล 9B จากนั้นเข้ารหัสคำค้นแบบสดด้วยโมเดล 0.6B เพื่อใช้ประโยชน์จากการคำนวณในขั้นทำดัชนีในขณะที่ยังคงให้การค้นหาทำได้รวดเร็ว
• การค้นคืนแบบ local–cloud: เข้ารหัสเอกสารภายในเครื่องแบบส่วนตัวหรือคำค้นแบบสดด้วยโมเดล 0.6B บนอุปกรณ์ และเปรียบเทียบหรือผสานการแทนค่าเหล่านั้นกับผลลัพธ์จากดัชนี 9B ที่โฮสต์อยู่บนคลาวด์

สำหรับสภาพแวดล้อมที่ไวต่อเวลาแฝง เราออกแบบโมเดล 0.6B ให้เป็นตัวเข้ารหัสคำค้นน้ำหนักเบาที่สามารถรันบนอุปกรณ์ปลายทางได้ด้วย เริ่มจาก Qwen3.5-0.8B เราตัดแต่ง text tower 24 ชั้นให้เหลือ 12 ชั้น ลดพารามิเตอร์ที่ไม่ใช่ส่วน embeddings ของ tower นั้นจาก 498M เหลือ 240M โมเดลที่ได้มีพารามิเตอร์รวม 594M แต่ขนาดตามชื่อทางการกลับประเมินต้นทุนการให้บริการสูงเกินจริง: 100M ใช้สำหรับการเข้ารหัสภาพ และ 254M อยู่ในตาราง token-embedding ซึ่งมีผลต่อรันไทมน้อยมาก มีเพียงประมาณ 240M พารามิเตอร์ที่ทำงานอยู่สำหรับการเข้ารหัสข้อความและ 340M สำหรับการเข้ารหัสภาพ ทำให้โมเดลมีต้นทุนการให้บริการเทียบเท่าโมเดลที่เล็กกว่ามาก ในขณะที่ยังคงความเข้ากันได้กับดัชนี 9B ไว้

เราใช้กระบวนการเดียวกันนี้สร้าง teacher ขนาด 18B จาก backbone ขนาด 27B ซึ่งทำให้การกลั่นจาก teacher นี้มีต้นทุนต่ำลงมาก โดยไม่ลดทอนสัญญาณที่มันส่งให้

ข้อมูลฝึกสอนแบบหลายภาษา หลายโมดาล และปราศจากการปนเปื้อน

เราฝึกโมเดลทั้งสองด้วยชุดข้อมูลคู่คำค้น-เอกสาร 186 ล้านคู่ที่รวบรวมจาก 594 ชุดข้อมูลใน 46 ภาษา ในบรรดาคู่นั้น 88.3% เป็นข้อความต่อข้อความ 8.3% เป็นข้อความต่อภาพ และ 3.4% เป็นคู่ข้อความต่อเอกสารเชิงภาพ แทนที่จะสุ่มตัวอย่างตามสัดส่วนขนาดชุดข้อมูล เรากำหนดน้ำหนักการสุ่มให้แต่ละชุดข้อมูล ซึ่งทำให้ส่วนผสมการฝึกสมดุลขึ้นเป็น 56.5%, 30.9% และ 12.6% ตามลำดับ

เมื่อสร้างข้อมูลฝึก เราจะยกเว้นชุดข้อมูลใด ๆ ที่เกี่ยวข้องกับเบนช์มาร์กที่เราใช้ประเมิน เพื่อให้สะท้อนผลลัพธ์ของเราอย่างซื่อสัตย์โดยไม่ทำให้คะแนนเบนช์มาร์กสูงเกินจริง การตัดสินใจนี้มาพร้อมการแลกเปลี่ยนว่า ชุดข้อมูลบางส่วนที่เราเลือกยกเว้นมีข้อมูลคุณภาพสูงซึ่งอาจช่วยปรับปรุงประสิทธิภาพของโมเดลในงานอื่นนอกเหนือจากเบนช์มาร์กต้นทาง ท้ายที่สุด เราเลือกยอมรับต้นทุนนั้น: ตัวเลขที่เชื่อถือได้มีประโยชน์กับเรามากกว่าในระหว่างการพัฒนา และกับผู้ใช้เมื่อเปรียบเทียบโมเดล

การประเมินผล

เราประเมินโมเดลทั้งสองในงานค้นคืนแบบข้อความ, เอกสารเชิงภาพ, ภาพผสม และ agentic โมเดลทั้งสองทำผลงานได้ดีกว่าเบสไลน์ที่ประเมินบน Q2D-Web และ BrowseComp+ และได้ผลลัพธ์ที่แข็งแกร่งในการค้นคืนเอกสารเชิงภาพและ MADQA

การค้นคืนข้อความ

เราประเมินการค้นคืนข้อความต่อข้อความบนสามเบนช์มาร์ก:

• เบนช์มาร์กเฉพาะโดเมน: ชุดงานสไตล์ MTEB จำนวน 72 งาน โดย 55 งานครอบคลุมห้าโดเมน (การเงิน กฎหมาย สุขภาพ การสนทนา เทคโนโลยี) และอีก 17 งานหลากหลายแบบหลายภาษา ชุดนี้รวมงานอย่าง FinQA, AILACasedocs และ XLSum ไม่มีชุดข้อมูลเหล่านี้อยู่ในข้อมูลฝึกของเรา ดังที่อธิบายไว้ข้างต้น
• Q2D-Web: เบนช์มาร์กการค้นคืนระดับเว็บของเราที่มีคำค้นที่เอเจนต์ปรับรูปใหม่ประมาณ 70,000 รายการ ซึ่งดึงมาจากทราฟฟิกการค้นหาจริง บนคอร์ปัสเอกสารเว็บ 190 ล้านรายการ เบนช์มาร์กนี้วัดประสิทธิภาพการค้นคืนในบริบทที่ใกล้เคียงกับการค้นคืนเว็บในโลกจริงมากกว่าเบนช์มาร์กการค้นคืนอื่น ๆ ที่มีอยู่ เนื่องจากคำค้นที่คล้ายกับการใช้งานจริงและคอร์ปัสขนาดใหญ่
• ViDoRe(V3) Markdown: โดยทั่วไป ViDoRe(V3) เป็นงานค้นคืนข้อความต่อเอกสารเชิงภาพ แต่ก็สามารถประเมินเป็นงานข้อความได้โดยใช้คอร์ปัสเวอร์ชันที่แปลงเป็น Markdown ทำให้เราสามารถประเมินการค้นคืนเอกสารที่มีข้อมูลหนาแน่นได้ทั้งในโมดาลิตีภาพและข้อความ

เราวัดประสิทธิภาพด้วย nDCG@10 ยกเว้นบน Q2D-Web ซึ่งเรารายงาน Recall@1000 เนื่องจากเบนช์มาร์กนี้เน้นสถานการณ์การค้นคืนเว็บระยะแรก ตลอดการประเมินของเรา เราเปรียบเทียบกับโมเดลฝังเวกเตอร์ระดับอุตสาหกรรมที่เป็นผู้นำในแต่ละช่วงขนาด สำหรับการค้นคืนข้อความ nemotron-embed-8b, gemini-embedding-2, voyage-large-4, และ qwen3-embed-8b เป็นคู่แข่ง dense ที่แข็งแกร่งและใช้กันแพร่หลายที่สุด ขณะที่ voyage-4-nano และ qwen3-embed-0.6b ทำหน้าที่เป็นเบสไลน์ dense ที่มีพารามิเตอร์ต่ำกว่าพันล้าน เรายังเปรียบเทียบกับโมเดล late-interaction topk-embed-v1 ที่เพิ่งเปิดตัวของ TopK บนเบนช์มาร์กที่ TopK เผยแพร่ผลลัพธ์ไว้แล้ว คะแนน ViDoRe(V3) นำมาจาก model cards ของพวกเขาที่ขนาด 128 มิติ ซึ่งตรงกับความกว้างของ embeddings โทเค็นของเรา ส่วนคะแนน Q2D-Web นำมาจากลีดเดอร์บอร์ดของเรา

บนเบนช์มาร์กเฉพาะโดเมน โมเดล 9B และ 0.6B ของเราทำคะแนนเฉลี่ยได้ 81.3% และ 78.0% ตามลำดับ โมเดล 9B ของเราได้คะแนนสูงสุดเหนือทุกรุ่นที่เราประเมิน ชนะโมเดลอันดับถัดไป 1.6 จุดเปอร์เซ็นต์ โมเดล 0.6B ของเราแข่งขันได้กับโมเดลคะแนนสูงสุดอื่น ๆ โดยตามหลัง gemini-embedding-2 เพียง 0.3 จุดเปอร์เซ็นต์ ที่สำคัญ เนื่องจากเราไม่ได้ฝึกด้วยข้อมูลใด ๆ สำหรับงานเบนช์มาร์กเหล่านี้ เบนช์มาร์กเฉพาะโดเมนจึงแสดงให้เห็นว่าโมเดลฝังเวกเตอร์ของเราสามารถทั่วไปไปยังโดเมนใหม่ได้

ขยาย

ความแข็งแกร่งสัมพัทธ์ของโมเดล 0.6B ของเรายิ่งสูงขึ้นไปอีกบนงาน ViDoRe(V3) Markdown; คะแนน 61.2% ของมันชนะทุกโมเดลอื่นยกเว้นโมเดล 9B ของเรา ซึ่งได้ 64.7% โมเดลภายนอกที่ดีที่สุดถัดมาได้ 60.6% และโมเดลที่ดีที่สุดถัดไปที่มีขนาดต่ำกว่า 1B คือ topk-embed-v1-0.8b ซึ่งตามหลังโมเดล 0.6B ของเรา 4.3 จุดเปอร์เซ็นต์

ขยาย

บน Q2D-Web ความเกี่ยวข้องมาจากชุดการตัดสินสามชุด ได้แก่ เอกสารที่เอเจนต์อ้างถึง (Citation), เอกสารที่จัดอันดับโดยระบบค้นคืนสำหรับการใช้งานจริงของเรา (Web) และสหภาพของทั้งสองชุดที่ขยายด้วยการตัดสินของ LLM สำหรับเอกสารที่ยังไม่มีป้ายกำกับ (Combined) โมเดล pplx-embed-v2-late ทั้งสองรุ่นนำทุกเบสไลน์ในทั้งสามชุดการตัดสิน เราเน้นการตัดสินแบบ Combined เนื่องจากชุด Citation และ Web มาจากสิ่งที่ระบบของเราแสดงออกมาอยู่แล้ว จึงเอื้อให้โมเดลที่จัดอันดับในลักษณะเดียวกับระบบของเรา การตัดสินของ LLM ที่เพิ่มเข้ามาใน Combined ครอบคลุมเอกสารที่ทั้งสองระบบไม่เคยค้นคืนได้ บนชุดนั้น โมเดล 9B และ 0.6B ของเราทั้งคู่ชนะคู่แข่งทั้งหมด โดยทำคะแนนได้ 74.8% และ 73.6% ตามลำดับ เทียบกับคะแนนที่ดีที่สุดก่อนหน้านี้ 69.3%

ขยาย

การค้นคืนเชิงภาพ

เกณฑ์มาตรฐานการค้นคืนเชิงภาพหลักของเราคือชุดย่อยสาธารณะมาตรฐานของ ViDoRe(V3) ซึ่งคอร์ปัสประกอบด้วยภาพหน้าที่เรนเดอร์แล้วแทนการแปลงเป็น Markdown เราเปรียบเทียบกับโมเดล dense vision-language ชั้นนำสองรุ่น ได้แก่ qwen3-vl-embed-8b และ gemini-embedding-2 และกับโมเดล late-interaction topk-embed-v1 นอกจากนี้ โมเดล EVIE ของ Tencent และโมเดล ColEmbed V2 ของ NVIDIA ยังเป็นเบสไลน์แบบ “vision-only” หลายเวกเตอร์ที่ฝึกมาโดยเฉพาะสำหรับงานค้นคืนภาพ

โมเดลทั้งสองของเราทำผลงานได้ระดับแนวหน้าสำหรับโมเดล vision-language โมเดล 9B ของเราได้คะแนนเฉลี่ย 65.2% ตามหลังเพียง EVIE เท่านั้น โมเดล 0.6B ของเราได้คะแนน 62.3% สูงกว่า topk-embed-v1-2b และตามหลังเพียง EVIE ที่มีขนาดใหญ่กว่ามาก และ nemotron-colembed-v2-8b ในบรรดาเบสไลน์ภายนอก

ขยาย

โมเดล 0.6B ของเราแข่งขันได้เป็นพิเศษเมื่อพิจารณาในบริบทของขนาดโมเดล มันนำหน้าโมเดลขนาดใกล้เคียงทั้งหมด และตามหลัง nemotron-colembed-v2-8b เพียง 1.2 จุดเปอร์เซ็นต์ ขณะที่ใช้งานพารามิเตอร์เพียง 340M สำหรับอินพุตภาพ โมเดลของเราผลิต embeddings ขนาด 128 มิติในแต่ละโทเค็น เทียบกับ 2,048 สำหรับ EVIE-4.5B และ 4,096 สำหรับ EVIE-8B และ nemotron-colembed-v2-8b ความแตกต่างด้านต้นทุนการจัดเก็บนี้สามารถส่งผลอย่างมากต่อสถานการณ์ที่โมเดลเหล่านี้ใช้งานได้จริง

ขยาย

เรายังประเมินการค้นคืนเชิงภาพบน MIRACL-Vision ซึ่งเป็นเบนช์มาร์กที่คอร์ปัสประกอบด้วยภาพหน้าจอของบทความ wikipedia และ PPLX-Q2I ซึ่งเป็นเบนช์มาร์กภายในที่ครอบคลุมทั้งเอกสารเชิงภาพและภาพธรรมชาติ PPLX-Q2I สร้างจากล็อกการค้นภาพของ Perplexity ในการใช้งานจริง และออกแบบมาให้สะท้อนความหลากหลายของกรณีใช้งานการค้นภาพ เราใช้ตัวอย่างคำค้น 10,000 รายการที่แบ่งชั้นตามภาษาและโดเมนเทียบกับคอร์ปัสภาพ 100,000 ภาพ โดยเอกสารที่เกี่ยวข้องกับแต่ละคำค้นคือภาพที่ถูกให้บริการสำหรับคำนั้น เราไม่ได้ประเมิน EVIE-8B หรือ Nemotron ColEmbed บน PPLX-Q2I เนื่องจากการทำดัชนีคอร์ปัสขนาดนี้ด้วยมิติเอาต์พุตเริ่มต้นของพวกมัน (2,560 สำหรับ Nemotron ColEmbed 4B และ 4,096 สำหรับ Nemotron ColEmbed 8B และ EVIE-8B) ไม่เหมาะสมในทางปฏิบัติ

เช่นเดียวกับประสิทธิภาพบน ViDoRe(V3) โมเดล 0.6B ของเราแข่งขันได้กับโมเดลที่มีขนาดใหญ่กว่ามาก โดยตามหลัง qwen3-vl-embed-8b เพียง 1 จุดเปอร์เซ็นต์บน MIRACL-Vision โมเดล 9B ของเราเหนือกว่าโมเดลอื่นทั้งหมด ยกเว้น gemini-embedding-2

บน PPLX-Q2I โมเดลทั้งสองของเราชนะ qwen3-vl-embedding-8b ด้วยระยะมากกว่า 9 จุดเปอร์เซ็นต์ และโมเดล 9B ของเราอยู่ตามหลัง gemini-embedding-2 เพียง 2 จุดเปอร์เซ็นต์ ผลลัพธ์ของเรายังคงแข่งขันได้บนคอร์ปัสที่มีทั้งภาพธรรมชาติและเอกสารเชิงภาพ ดังนั้นการแทนค่าหลายเวกเตอร์ที่ให้ผลดีบน ViDoRe(V3) จึงไม่ได้แลกมาด้วยการสูญเสียประสิทธิภาพในการค้นภาพทั่วไป

ขยาย

การค้นคืนข้ามโมเดล

ผลลัพธ์ในส่วนก่อนหน้าเป็นการประเมินแต่ละโมเดลกับคอร์ปัสที่มันฝังเวกเตอร์เอง ช่องว่างการฝังเวกเตอร์ร่วมทำให้สิ่งนี้ไม่ใช่ข้อบังคับ: คอร์ปัสที่ทำดัชนีด้วยโมเดล 9B สามารถค้นได้ด้วยคำค้นที่ฝังเวกเตอร์โดยโมเดล 0.6B นี่คือการกำหนดค่าที่เราคาดว่าการใช้งานจริงส่วนใหญ่จะใช้ เพราะการทำดัชนีเป็นต้นทุนครั้งเดียวที่ถูกเฉลี่ยไปตลอดอายุการใช้งานของคอร์ปัส ในขณะที่การฝังเวกเตอร์คำค้นจะทำงานอยู่บนเส้นทางที่ไวต่อเวลาแฝงของทุกคำขอ

การใช้งานที่ไม่สามารถรันโมเดล 9B ในเวลาคำค้นได้ มิฉะนั้นก็จะทำดัชนีด้วยโมเดล 0.6B เช่นกัน ดังนั้นการกำหนดค่าแบบสมมาตร 0.6B จึงเป็นจุดเปรียบเทียบที่เหมาะสม เราประเมินเทียบกับเบนช์มาร์กเฉพาะโดเมน 72 งานที่ใช้ข้างต้น และบนการค้นคืนภาพ ViDoRe v3 คำค้นถูกฝังเวกเตอร์ด้วย pplx-embed-v2-late-0.6b และเราเปลี่ยนเฉพาะสิ่งที่ฝังเวกเตอร์คอร์ปัสเท่านั้น

การทำดัชนีด้วยโมเดล 9B เป็นการปรับปรุงที่ชัดเจน บนเบนช์มาร์กเฉพาะโดเมน การกำหนดค่าแบบไม่สมมาตรทำให้คะแนนดีขึ้นเฉลี่ย 1.6 จุดเปอร์เซ็นต์ บนการค้นคืนภาพ ViDoRe v3 มันได้ 63.5% เพิ่มขึ้นจาก 62.3% เมื่อใช้โมเดล 0.6B ทั้งสองฝั่ง เป็นกำไร 1.2 จุดเปอร์เซ็นต์ ต้นทุนการเข้ารหัสคำค้นไม่เปลี่ยนระหว่างการกำหนดค่าแบบสมมาตร 0.6B และแบบไม่สมมาตร เนื่องจากใช้โมเดล 0.6B เดิมเข้ารหัสคำค้นทั้งสองกรณี ต้นทุนการเข้ารหัสเอกสารเพิ่มเติมเกิดขึ้นในขั้นทำดัชนี

การรันโมเดล 9B ทั้งสองฝั่งยังคงดีกว่านั้น โดยทำคะแนนเฉลี่ย 81.3% บนเบนช์มาร์กเฉพาะโดเมน ดังนั้นการกำหนดค่าแบบไม่สมมาตรจึงกู้คืนความแตกต่างด้านคุณภาพระหว่างสองโมเดลบนข้อความได้ประมาณครึ่งหนึ่ง โดยไม่ต้องเสียต้นทุนการเข้ารหัสคำค้นเพิ่มเติม การเลือกการกำหนดค่าขึ้นอยู่กับว่าโมเดล 9B สามารถใช้ได้ในเวลาคำค้นหรือไม่ หากใช้ไม่ได้ การตั้งค่าแบบไม่สมมาตรจะจับประโยชน์ของมันได้ส่วนสำคัญ

ขยาย

การค้นคืนแบบ Agentic

การค้นคืนแบบ agentic เป็นอีกสถานการณ์หนึ่งที่การฝังเวกเตอร์หลายเวกเตอร์แข็งแกร่งเป็นพิเศษ ใน BrowseComp+ LLM (GPT-OSS-120B ในกรณีของเรา) ใช้โมเดลฝังเวกเตอร์เพื่อค้นคอร์ปัสหาข้อมูลที่เกี่ยวข้องกับคำถามผู้ใช้ที่ซับซ้อน และ LLM ตัวที่สองจะตัดสินว่าคำตอบที่ได้ตรงกับคำตอบจริงหรือไม่ โมเดล 9B ของเราได้ความแม่นยำ 64.0% ชนะโมเดล ColBERT ที่ดีที่สุดถัดมา 4.9 จุดเปอร์เซ็นต์ และโมเดล dense ที่ดีที่สุดถัดมา 8.7 จุดเปอร์เซ็นต์ ขณะเดียวกันก็ใช้จำนวนการค้นหาน้อยกว่าโมเดลอื่นใด ยกเว้น 0.6B ของเรา โมเดล 0.6B ก็ยังนำหน้าโมเดลทุกตัวนอกตระกูลของเรา

ขยาย

MADQA ทดสอบการถามตอบแบบ agentic บน PDF จริงหลากหลายชนิด 800 ไฟล์ ครอบคลุมมากกว่า 18,000 หน้า พร้อมคำถามที่มนุษย์เขียน 500 ข้อซึ่งไม่สามารถตอบได้จากความรู้ทั่วไป เอเจนต์ (Gemini 3.5 Flash ในกรณีของเรา) ค้นหาคอลเล็กชันด้วย retriever ที่กำลังทดสอบ และถูกให้คะแนนทั้งในด้านความแม่นยำของคำตอบและ F1 ระดับหน้าเทียบกับหน้าหลักฐานที่มีคำอธิบายประกอบ โมเดล 9B ของเราสร้างสถิติใหม่ในกลุ่ม retriever ที่ความแม่นยำ 92.4% นำหน้าเอเจนต์เดียวกันที่ใช้ retriever ของ Mixedbread อยู่ 3.5 จุดเปอร์เซ็นต์; โมเดล 0.6B ของเราทำได้ 90.1% เรายังสังเกตว่า retriever ของเราทำผลลัพธ์ได้แข่งขันได้กับ Mixedbread Agentic Search ซึ่งใช้ search sub-agent ในระบบค้นหาของพวกเขาที่วางแผนและรันการค้นหาหลายครั้งต่อหนึ่งคำเรียกจากเอเจนต์หลัก (93.4% ภายในช่วงความเชื่อมั่นของเรา)

ขยาย

เริ่มต้นใช้งาน

ทั้งโมเดล 0.6B และ 9B ของเราพร้อมใช้งานบน Hugging Face และใช้งานร่วมกันได้ทันทีแบบ out of the box กับ sentence-transformers >= 6.0.0 และ transformers >= 5.4.0. รายละเอียดทางเทคนิคเพิ่มเติมและผลการประเมินทั้งหมดจะเผยแพร่ในรายงานทางเทคนิคภายในปีนี้

ขณะนี้เรากำลังฝึกโมเดลเอ็มเบดดิงแบบ dense รุ่นถัดไปของเรา และจะทยอยเปิดให้รองรับเอ็มเบดดิงทั้งแบบ late-interaction แบบ dense และแบบ contextual บน Perplexity API Platform

การอ้างอิง

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}