pplx-embed: โมเดลการฝังตัวล้ำสมัยสำหรับการดึงข้อมูลระดับเว็บ

วันนี้ เราขอเปิดตัว pplx-embed-v1 และ pplx-embed-context-v1 สองโมเดลฝังข้อความล้ำสมัยที่สร้างขึ้นสำหรับการดึงข้อมูลระดับเว็บในโลกแห่งความเป็นจริง

ผู้เขียนPerplexity Research

วันนี้ เราขอเปิดตัว pplx-embed-v1 และ pplx-embed-context-v1 โมเดลฝังตัวข้อความล้ำสมัยสองรุ่นที่สร้างขึ้นสำหรับการดึงข้อมูลในโลกแห่งความเป็นจริงระดับเว็บ pplx-embed-v1 ได้รับการปรับแต่งสำหรับการดึงข้อมูลข้อความแบบหนาแน่นมาตรฐาน ในขณะที่ pplx-embed-context-v1 จะฝังส่วนข้อความโดยคำนึงถึงบริบทระดับเอกสารโดยรอบ

ทั้ง pplx-embed-v1 และ pplx-embed-context-v1 มีให้บริการในขนาดพารามิเตอร์ 0.6B และ 4B โมเดล 0.6B มุ่งเป้าไปที่การสร้างการฝังตัวที่มีน้ำหนักเบาและมีความหน่วงต่ำ ในขณะที่โมเดล 4B ช่วยเพิ่มคุณภาพการดึงข้อมูลสูงสุด จากการประเมินของเรา ตระกูล pplx-embed เป็นผู้นำในการจัดอันดับมาตรฐานสาธารณะหลายรายการ รวมถึง MTEB(Multilingual, v2), BERGEN, ToolRet และ ConTEB ยิ่งไปกว่านั้น pplx-embed-v1 ยังมอบผลลัพธ์ที่ดีที่สุดในระดับเดียวกันในเกณฑ์มาตรฐานระดับเว็บภายในของเรา: PPLXQuery2Query, PPLXQuery2Doc

โมเดลเหล่านี้สร้างการฝังตัวแบบ INT8 และ ไบนารี ซึ่งช่วยลดความต้องการพื้นที่จัดเก็บลง 4 เท่า และ 32 เท่า ตามลำดับ เมื่อเทียบกับ FP32 ความกะทัดรัดนี้ทำให้การจัดเก็บและการดึงข้อมูลแบบฝังระดับเว็บมีความเป็นจริงมากขึ้นอย่างมาก

โมเดล

มิติข้อมูล

บริบท

MRL

การทำควอนไทเซชัน

คำสั่ง

พูลลิ่ง

pplx-embed-v1-0.6B

1024

32K

ใช่

INT8/BINARY

ไม่ใช่

ค่าเฉลี่ย

pplx-embed-v1-4B

2560

32K

ใช่

INT8/BINARY

ไม่ใช่

ค่าเฉลี่ย

pplx-embed-context-v1-0.6B

1024

32K

ใช่

INT8/BINARY

ไม่ใช่

ค่าเฉลี่ย

pplx-embed-context-v1-4B

2560

32K

ใช่

INT8/BINARY

ไม่ใช่

ค่าเฉลี่ย

ขนาดโมเดล pplx-embed, ความยาวบริบท, การควอนไทซ์ และการตั้งค่าพูลลิง

ตรวจสอบ รายงานทางเทคนิค, โมเดล Hugging Face และ เอกสาร API ของเรา

แรงจูงใจ

การฝังข้อความแบบหนาแน่นจะแมปคิวรีและเอกสารลงในสเปซเชิงความหมายที่ใช้ร่วมกัน ซึ่งการดึงข้อมูลจะลดรูปเป็นการค้นหาเพื่อนบ้านใกล้เคียงโดยประมาณ ในระดับของ Perplexity การฝังตัวเป็นขั้นตอนแรกของไปป์ไลน์การดึงข้อมูลของเรา ซึ่งเป็นตัวกำหนดว่าเอกสารใดจากหน้าเว็บหลายพันล้านหน้าที่จะได้รับการพิจารณาจากตัวจัดอันดับปลายน้ำและโมเดลภาษา

โมเดลการฝังตัวชั้นนำส่วนใหญ่ในปัจจุบันสร้างขึ้นบน LLM แบบตัวถอดรหัสเท่านั้นที่มีการมาสก์ความสนใจเชิงเหตุและผล ซึ่งแต่ละโทเค็นจะสนใจเฉพาะโทเค็นก่อนหน้าเท่านั้น สำหรับการดึงข้อมูล นี่คือข้อจำกัดพื้นฐาน: การทำความเข้าใจข้อความมักจะต้องอาศัยบริบทแบบสองทิศทาง เราแก้ไขปัญหานี้ผ่าน การฝึกอบรมล่วงหน้าต่อเนื่องแบบอิงการแพร่กระจาย ซึ่งแปลง LLM เชิงเหตุและผลให้เป็นตัวเข้ารหัสแบบสองทิศทาง ความสนใจแบบสองทิศทางเต็มรูปแบบช่วยให้สามารถทำ mean pooling ข้ามการแทนค่าโทเค็นทั้งหมด และรองรับการทำ chunking แบบปลายน้ำสำหรับการฝังตัวตามบริบท ซึ่งการฝังตัวของแต่ละส่วนจะได้รับแจ้งจากเอกสารฉบับเต็มที่ปรากฏอยู่

ในระดับเว็บ การจัดเก็บการฝังตัวใน FP32 นั้นมีค่าใช้จ่ายสูงเกินไป แทนที่จะใช้การทำควอนไทเซชันเป็นขั้นตอนการบีบอัดแบบโพสต์ฮอก โมเดลของเราใช้การฝึกอบรมที่คำนึงถึงควอนไทเซชันเพื่อสร้างการฝังตัว INT8 โดยกำเนิด ซึ่งช่วยลดพื้นที่จัดเก็บลง 4 เท่าโดยไม่ลดทอนประสิทธิภาพ การทำควอนไทเซชันแบบไบนารีช่วยลดพื้นที่จัดเก็บลง 32 เท่าโดยสูญเสียคุณภาพเพียงเล็กน้อย โดยเฉพาะอย่างยิ่งในระดับ 4B

โมเดลการฝังตัวสมัยใหม่จำนวนมากต้องการคำนำหน้าคำสั่งที่ใส่ไว้ก่อนอินพุตทุกรายการ แม้ว่าสิ่งนี้จะช่วยเพิ่มประสิทธิภาพเล็กน้อยในเกณฑ์มาตรฐาน แต่ในทางปฏิบัติแล้วจะเพิ่มความซับซ้อน: คำสั่งที่ไม่ตรงกันระหว่างการทำดัชนีและเวลาคิวรีจะลดทอนการดึงข้อมูลโดยเงียบๆ และการเลือกพรอมต์ที่เหมาะสมสำหรับแต่ละกรณีการใช้งานก็กลายเป็นอีกสิ่งหนึ่งที่ต้องทำให้ถูกต้อง โมเดลของเราไม่ต้องใช้คำสั่งใดๆ ทำให้การบูรณาการเป็นไปอย่างตรงไปตรงมา

การฝึกอบรม

pplx-embed-v1 และ pplx-embed-context-v1 ได้รับการฝึกอบรมผ่านไปป์ไลน์หลายขั้นตอนที่ค่อยๆ กำหนดรูปร่างการแทนค่าข้อความสำหรับการดึงข้อมูล

ไปป์ไลน์การฝึกสอนหลักสูตรแบบหลายขั้นตอน เราผสานสี่กระบวนทัศน์การฝึกที่แตกต่างกันในลักษณะแตกแขนง ตามด้วยขั้นตอนการรวมและการคัดเลือก

การฝึกอบรมล่วงหน้าแบบแพร่กระจายต่อเนื่อง

เราเริ่มต้นจากโมเดลฐาน Qwen3 ที่ได้รับการฝึกอบรมล่วงหน้า (0.6B และ 4B) และแปลงจากตัวถอดรหัสเชิงเหตุและผลเป็นตัวเข้ารหัสแบบสองทิศทางโดยปิดการใช้งานมาสก์ความสนใจเชิงเหตุและผลและฝึกอบรมด้วยวัตถุประสงค์การลดสัญญาณรบกวนแบบแพร่กระจาย ซึ่งแตกต่างจากโมเดลแบบถดถอยอัตโนมัติที่ทำนายโทเค็นจากซ้ายไปขวา การฝึกอบรมแบบแพร่กระจายบังคับให้โมเดลสร้างโทเค็นที่ถูกมาสก์แบบสุ่มขึ้นใหม่โดยใช้บริบทสองทิศทางเต็มรูปแบบรอบๆ ตำแหน่งที่ถูกมาสก์แต่ละตำแหน่ง ซึ่งหมายความว่าเมื่อการปรับแต่งเชิงเปรียบเทียบเริ่มต้นขึ้น การแทนค่าได้เข้ารหัสความหมายแบบสองทิศทางไว้แล้ว ซึ่งเป็นรากฐานที่แข็งแกร่งสำหรับการดึงข้อมูลมากกว่าจุดเริ่มต้นเชิงเหตุและผล เราฝึกอบรมล่วงหน้ากับโทเค็นข้อความหลายภาษาประมาณ 2.5 แสนล้านโทเค็นครอบคลุม 30 ภาษา ในการทดสอบแบบ ablation แบ็คบอนที่ฝึกอบรมล่วงหน้าแบบแพร่กระจายบรรลุการสูญเสียการฝึกอบรมเชิงเปรียบเทียบที่ต่ำกว่าอย่างมีนัยสำคัญเมื่อเทียบกับแบ็คบอนเชิงเหตุและผล ซึ่งแปลเป็นการปรับปรุงงานดึงข้อมูลประมาณ 1 เปอร์เซ็นต์

การฝึกอบรมเชิงเปรียบเทียบ

หลังจากการ pretraining เราดำเนินการเรียนรู้เชิงเปรียบเทียบ 3 ขั้นตอน การฝึกแบบคู่ วางรากฐานการจัดแนวเชิงความหมายระหว่างคำค้นหาและเอกสารโดยใช้ค่าเสียหาย InfoNCE พร้อม in-batch negatives เมื่อมีขนาดแบตช์ใหญ่ in-batch negatives บางส่วนแท้จริงแล้วเป็นรายการที่เกือบซ้ำกับ positive เราจึงใช้มาสก์ที่อิงความคล้ายคลึงเพื่อป้องกันไม่ให้ false negatives เหล่านี้ทำให้สัญญาณการฝึกเสียหาย การฝึกดำเนินไปเป็นช่วงๆ ได้แก่ เฉพาะภาษาอังกฤษ จากนั้นข้ามภาษา และสุดท้ายหลายภาษาเต็มรูปแบบ เพื่อค่อยๆ สร้างความสามารถแทนที่จะทำทั้งหมดพร้อมกัน การฝึกตามบริบท จากนั้นสอนให้โมเดลเข้าใจความหมายระดับชังก์โดยอ้างอิงบริบทระดับเอกสาร โดยใช้ dual loss ที่ผสาน in-sequence และ in-batch contrast ทั้งในระดับชังก์และระดับเอกสาร—ขั้นตอนนี้สร้าง pplx-embed-context-v1 สุดท้าย การฝึกแบบ triplet ด้วย hard negatives ที่คัดมา ช่วยปรับขอบเขตระหว่างเอกสารที่คล้ายกันแต่ไม่เกี่ยวข้องกันให้คมชัดยิ่งขึ้น โมเดล pplx-embed-v1 สุดท้ายได้มาจากการรวมเช็กพอยต์ของ contextual และ triplet เข้าด้วยกันผ่านการอินเตอร์โพเลชันเชิงเส้นบนทรงกลม (SLERP)

การทำควอนไทเซชันแบบเนทีฟ

ตลอดทุกขั้นตอนเชิงเปรียบเทียบ การฝังตัวจะถูกทำควอนไทเซชันเป็น INT8 ทั้งในระหว่างการฝึกอบรมและการอนุมาน เราใช้การดำเนินการ mean pooling แบบอิง tanh ตามด้วยการปัดเศษ และใช้การประมาณการไล่ระดับสีแบบทะลุผ่านเพื่อแพร่ย้อนกลับผ่านขั้นตอนการทำควอนไทเซชันที่ไม่สามารถหาอนุพันธ์ได้ เพื่อให้แน่ใจว่าโมเดลเรียนรู้การแทนค่าที่ปรับแต่งมาเพื่อความแม่นยำที่ลดลงตั้งแต่เริ่มต้น แทนที่จะประสบกับการเสื่อมถอยจากการบีบอัดแบบโพสต์ฮอก สำหรับการทำควอนไทเซชันแบบไบนารี โมเดล 4B มีความทนทานมากกว่า 0.6B อย่างเห็นได้ชัด: มิติข้อมูลการฝังตัวที่ใหญ่กว่า (2560 เทียบกับ 1024) รักษาข้อมูลไว้ได้มากกว่าหลังจากการทำไบนารี ซึ่งช่วยจำกัดการลดลงของประสิทธิภาพให้อยู่ที่ต่ำกว่า 1.6 เปอร์เซ็นต์ เมื่อเทียบกับ 2–4 จุดในสเกลที่เล็กกว่า

เกณฑ์มาตรฐานสาธารณะ

ประสิทธิภาพการดึงข้อมูลบน MTEB (หลายภาษา, v2) โมเดล pplx-embed แสดงด้วยตัวแปรความแม่นยำแบบ INT8 และ BINARY โมเดล INT8 ขนาด 4B ของเราทำได้ในระดับแข่งขันได้ด้านคุณภาพการดึงข้อมูล ขณะเดียวกันก็จัดเก็บหน้าได้มากกว่า FP32 ทางเลือกถึง 4 เท่าต่อ GB ส่วนตัวแปรไบนารีจัดเก็บหน้าได้มากกว่า 32 เท่าต่อ GB โดยมีประสิทธิภาพลดลงเพียง 1.5 คะแนน

บนเกณฑ์มาตรฐานการดึงข้อมูล MTEB (Multilingual, v2) pplx-embed-v1-4B (INT8) บรรลุค่าเฉลี่ย nDCG@10 ที่ 69.66% ซึ่งเทียบเท่ากับ Qwen3-Embedding-4B (69.60%) และสูงกว่า gemini-embedding-001 (67.71%) ในขณะที่ต้องการพื้นที่จัดเก็บต่อการฝังตัวน้อยกว่าอย่างมาก โมเดล 0.6B ของเรามีประสิทธิภาพเหนือกว่าคู่แข่ง Qwen3 ในสเกลพารามิเตอร์เดียวกัน

ประสิทธิภาพการดึงข้อมูลตามบริบทบนเกณฑ์มาตรฐาน ConTEB ซ้าย: โมเดลที่มีบริบท ขวา: โมเดลที่ไม่มีบริบท pplx-embed-context-v1-4B (INT8) ทำคะแนนสูงสุดได้ 81.96 ตามด้วย voyage-context-3 (79.45) และ pplx-embed-context-v1-0.6B (INT8) ที่ 76.53

สำหรับการดึงข้อมูลตามบริบท pplx-embed-context-v1-4B กำหนดมาตรฐานใหม่บนเกณฑ์มาตรฐาน ConTEB ด้วยค่าเฉลี่ย nDCG@10 ที่ 81.96% ซึ่งมีประสิทธิภาพเหนือกว่า voyage-context-3 (79.45%) และ Anthropic Contextual (72.4%) ด้วยการฝึกอบรมการแทนค่าระดับส่วนที่ผสมผสานความหมายระดับเอกสาร โมเดลของเราจึงดึงข้อมูลส่วนที่ถูกต้องได้แม้ว่าความหมายจะขึ้นอยู่กับบริบทโดยรอบก็ตาม

นอกจากนี้เรายังประเมินโมเดลของเราใน RAG แบบ end-to-end โดยใช้เกณฑ์มาตรฐาน BERGEN ซึ่งส่วนข้อความที่ดึงมาจะถูกป้อนไปยังโมเดลภาษาเพื่อสร้างคำตอบ pplx-embed-v1-4B มีประสิทธิภาพเหนือกว่า Qwen3-Embedding-4B ในสี่จากห้างานตอบคำถามที่ประเมิน น่าสังเกตคือ pplx-embed-v1-0.6B มีประสิทธิภาพเหนือกว่า Qwen3-Embedding-4B ที่ใหญ่กว่าในสามจากห้างาน ซึ่งแสดงให้เห็นว่าโมเดลขนาดเล็กของเราสามารถเทียบเคียงหรือเหนือกว่าคู่แข่งในสเกลพารามิเตอร์ที่ใหญ่กว่ามากในการตั้งค่า RAG ทางปฏิบัติ สำหรับรายละเอียดเพิ่มเติมเกี่ยวกับการประเมินนี้ โปรดดูที่ รายงานทางเทคนิค

การดึงข้อมูลในโลกแห่งความเป็นจริงในสเกลใหญ่

เกณฑ์มาตรฐานสาธารณะมีประโยชน์ แต่ยังไม่ครอบคลุมความท้าทายในการดึงข้อมูลระดับเว็บอย่างเต็มรูปแบบ ได้แก่ คิวรีหางยาว เอกสารที่มีสัญญาณรบกวน และความผันผวนของการกระจายข้อมูลซึ่งเป็นลักษณะของสภาพแวดล้อมการผลิต เพื่อวัดสิ่งที่สำคัญในทางปฏิบัติ เราได้สร้างเกณฑ์มาตรฐานภายในสองรายการที่มีคิวรีในโลกแห่งความเป็นจริงมากถึง 115,000 รายการ ซึ่งประเมินเทียบกับเอกสารมากกว่า 30 ล้านฉบับที่รวบรวมมาจากหน้าเว็บมากกว่า 1,000 ล้านหน้า PPLXQuery2Query ประเมินว่าโมเดลการฝังตัวสามารถระบุคิวรีที่มีความหมายเทียบเท่ากันจากปริมาณการค้นหาจริงได้หรือไม่ PPLXQuery2Doc วัดการดึงข้อมูลเอกสารจากคลังข้อมูล 30 ล้านหน้า

บน PPLXQuery2Query (คลังข้อมูล 2.4 ล้านรายการ) pplx-embed-v1-4B บรรลุ Recall@10 ที่ 73.5% ซึ่งแซงหน้า Qwen3-Embedding-4B (67.9%) อยู่ 5.6 เปอร์เซ็นต์ โมเดล 0.6B ของเราบรรลุ Recall@10 ที่ 71.1% ซึ่งมีประสิทธิภาพเหนือกว่า BGE-M3 (61.8%) และ Qwen3-Embedding-0.6B (55.1%) อย่างมาก

เบนช์มาร์กการดึงข้อมูล Multilingual PPLXQuery2Query (คอร์ปัส 2.4M) และ PPLXQuery2Doc (คอร์ปัส 30M) โมเดล pplx-embed-v1-4B (INT8) และ pplx-embed-v1-0.6B (INT8) นำในทั้งสองเบนช์มาร์ก แสดงให้เห็นถึงความสามารถในการทำรีคอลได้อย่างแข็งแกร่งในระดับสเกลสำหรับการดึงข้อมูลระยะแรก

ในงาน PPLXQuery2Doc แบบหลายภาษา (คลังข้อมูล 30 ล้านรายการ) pplx-embed-v1-4B บรรลุ Recall@1000 ที่ 91.7% เทียบกับ 88.6% สำหรับ Qwen3-Embedding-4B การเรียกคืนที่สูงที่ความลึกของการดึงข้อมูลขนาดใหญ่มีความสำคัญอย่างยิ่งสำหรับโมเดลการฝังตัวทำหน้าที่เป็นตัวดึงข้อมูลขั้นตอนแรกในไปป์ไลน์การจัดอันดับหลายขั้นตอน ซึ่งการเพิ่มจำนวนผู้สมัครที่เกี่ยวข้องที่ส่งไปยังตัวจัดอันดับใหม่ปลายน้ำส่งผลกระทบโดยตรงต่อคุณภาพผลลัพธ์สุดท้าย

เริ่มต้นใช้งาน

โมเดลทั้งหมดมีให้บริการบน Hugging Face (ภายใต้ใบอนุญาต MIT) และผ่าน Perplexity API เรารองรับการอนุมานผ่าน Transformers, SentenceTransformers, Text Embeddings Inference และ ONNX สำหรับรายละเอียดทั้งหมดเกี่ยวกับแต่ละตัวเลือก โปรดดูที่ ชุดโมเดล Hugging Face

สำหรับรายละเอียดทางเทคนิคที่ครอบคลุมและผลการประเมินที่สมบูรณ์ โปรดดู รายงานทางเทคนิค ของเรา

การอ้างอิง

BibTeX
@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://www.perplexity.ai/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}