超越單一向量的多模態嵌入

自 2 月發表 pplx-embed-v1 以來，我們一直在研發新一代嵌入模型。上週，我們推出了新的上下文嵌入模型 pplx-embed-v2-context。今天，我們以 pplx-embed-v2-late 擴充這個系列，這是一組晚期互動模型。除了更強的檢索能力外，這些模型也是首批結合三項核心特性的模型：

• 多向量表示。這些模型不會將每個輸入壓縮成單一向量，而是保留 token 層級的向量，以便進行更細緻的查詢-文件比較。這使得查詢的不同部分可以對應文件的不同部分，保留在多模態檢索中特別重要的細節。
• 同時支援文字與影像模態。除了我們先前模型的文字對文字檢索能力之外，這些新模型也能處理文字對影像檢索，因此可以直接搜尋渲染後的 PDF 頁面，而無需 OCR 或解析文字。
• 共享的嵌入空間。我們推出 0.6B 與 9B 兩種模型規模，以支援不同的品質、延遲與運算需求。兩者都可獨立使用，但共享的嵌入空間也讓較小的模型能夠查詢由較大模型建立的索引，將更高品質的文件嵌入與低成本、快速的查詢時推理結合起來。

這些新模型在多項視覺與文字檢索基準測試，以及代理式問答任務中，皆達到業界頂尖水準。值得一提的是，在領先的視覺文件檢索基準測試 ViDoRe (V3) 上，我們的 0.6B 模型足以媲美啟用參數量多達其五倍的模型。兩款模型皆已在 Hugging Face 上公開提供。我們的技術報告進一步說明了研究方法與評估結果。

從單一向量到晚期互動

檢索系統必須在效率與查詢和文件之間互動的深度之間取得平衡。密集嵌入模型會獨立編碼每個查詢與文件，因此可以用低成本的內積進行比較。這使得在數十億文件上進行近似最近鄰（ANN）搜尋成為可行。另一端，交叉編碼器會將查詢與文件一起處理，提供更豐富的互動，但需要對每個候選項各自進行一次前向傳播。對大型語料庫中的每次搜尋都套用這種計算成本過於高昂，因此交叉編碼器通常只用於對少量已檢索候選項進行重新排序。

密集嵌入的限制

用單一固定大小向量表示整份文件會形成資訊瓶頸。隨著文件變長並涵蓋更多主題，模型必須把更多內容壓縮進同一個向量中，這使得保留與查詢相關的全部資訊更加困難。切塊可以減輕這種壓力，但也會把文件切碎，並可能將只有放在一起才有意義的資訊分離開來；這個問題我們也在 上下文嵌入模型 中處理。這種瓶頸在多模態場景中會更加嚴重，因為影像資訊密度更高，所需壓縮程度也更大。

單向量密集檢索也會把每一次比較都簡化為兩個向量之間的內積，限制了評分函數的表達能力。對於固定的嵌入維度與足夠大的語料庫來說，無論如何訓練，某些查詢-文件配對上的分數模式都不可能產生。LIMIT 基準把這個理論性疑慮轉化為單向量檢索的具體壓力測試。

晚期互動檢索

晚期互動模型位於較便宜的密集嵌入模型與更具表達力的交叉編碼器之間。與密集模型一樣，它們在與查詢無關的情況下對文件進行編碼，因此文件表示可以離線計算。然而，它們不會將每個輸入縮減為單一向量，而是保留多個向量，並在比較查詢與文件時使用更豐富的評分函數。

我們的 pplx-embed-v2-late 模型採用 ColBERT 風格架構，對輸入中的每個 token 輸出 128 維嵌入。我們使用 MaxSim 為查詢-文件配對評分；對每個查詢 token，模型會選取分數最高的文件 token，並將各 token 的最大相似度加總，得到最終分數。這使得查詢的不同部分可以匹配文件的不同部分，而更強的 token 匹配會對分數貢獻更多。

放大

這種額外的表達能力伴隨著更高的儲存與候選項評分成本。密集檢索對每個文件只儲存一個向量，並以一次內積為候選項評分；晚期互動則會為文件 token 儲存向量，並評估大量 token 對 token 的相似度。成本會隨文件長度增加，因此晚期互動需要與單向量 ANN 檢索不同的索引與服務取捨。不過，作為回報，它能為品質敏感的語料庫提供更豐富的第一階段檢索，也能作為更大規模網頁檢索流程中的後續階段。

一個模型，多種模態

這種更深入的互動能力已被證明對多種任務非常有用，包括長上下文、代理式與領域外檢索。這種差異在多模態檢索中特別明顯，這也反映在 ColPali 模型於 ViDoRe(V3) 排行榜上的大幅領先。

真實世界的語料不只由乾淨文字組成。它們可能以 PDF、投影片、截圖、掃描頁面、圖表與表格的形式出現。傳統流程會解析這些文件，套用 OCR 或圖說生成，然後搜尋產生的文字；這既昂貴又有資訊損失：它可能引入 OCR 錯誤，並且會丟失版面配置、表格結構、圖形與空間關係。視覺文件搜尋則跳過這一步，直接將渲染後的頁面投射到表示空間中，讓文字查詢可以對其進行搜尋。

我們的新模型系列建立在多向量模型於多模態搜尋中的強大表現之上，並在最廣泛使用的文件搜尋基準 ViDoRe(V3) 上，將小型模型的 Pareto 前緣推進一步。雖然我們預期文件渲染會是最常見的視覺輸入形式，但我們的模型也支援對自然影像的語意影像搜尋，例如風景照片。

訓練一個可互操作的模型系列

搜尋本質上是非對稱的：索引與查詢編碼有不同的運作限制。索引在離線進行且可平行化，因此其運算成本會攤提到許多未來搜尋之上。查詢編碼則在每次請求時線上執行，因此對延遲敏感，有時還會受到服務或邊緣裝置限制。我們的模型系列利用了這種非對稱性，提供針對檢索流程兩端量身打造的不同規模。

我們先以對比式方式訓練一個 18B 教師模型，然後再分別蒸餾成 9B 與 0.6B 學生模型。我們不是只讓每個學生去重現教師的排序分布，而是採用 LEAF 風格的表示蒸餾：對於每個輸入 token，我們將學生的輸出嵌入與教師的輸出對齊。雖然表示空間蒸餾先前已用於密集式單向量模型，但我們將其擴展到晚期互動，這裡的對齊目標是每個保留 token 對應的一個向量。

因此，兩個已發布的 checkpoint 共享相同的多向量嵌入空間。這使跨模型檢索成為可能，並開啟更多部署選項。

• 最高品質：使用 9B 模型為文件與查詢編碼。
• 最高效率：使用 0.6B 模型為文件與查詢編碼，可實現 100% 本地推理
• 低延遲檢索：以 9B 模型建立語料庫索引，再用 0.6B 模型為即時查詢編碼，以善用索引階段的運算，同時保持查詢速度。
• 本地－雲端檢索：在裝置端使用 0.6B 模型為私有本地文件或即時查詢編碼，並將這些表示與雲端託管的 9B 索引結果進行比較或合併。

對於延遲敏感的設定，我們將 0.6B 模型設計為一個輕量級查詢編碼器，也可在邊緣裝置上執行。以 Qwen3.5-0.8B 為基礎，我們將其 24 層文字主幹修剪至 12 層，把該主幹的非嵌入參數從 498M 降至 240M。最終模型總參數為 594M，但其標稱大小高估了部署成本：其中 100M 用於影像編碼，254M 位於 token 嵌入表中，對執行時間幾乎沒有影響。實際上只有約 240M 參數用於文字編碼、340M 參數用於影像編碼，使該模型具備明顯更小模型的部署成本，同時仍保持與 9B 索引的相容性。

我們以相同流程，將 27B 骨幹模型蒸餾成 18B 教師模型，這使得從該教師進行蒸餾的成本大幅降低，同時不削弱其提供的訊號。

多語言、多模態、未受污染的訓練資料

我們以一個包含 46 種語言、來自 594 個資料集的 1.86 億組查詢-文件配對資料集訓練兩個模型。其中 88.3% 為文字對文字，8.3% 為文字對影像，3.4% 為文字對視覺文件配對。我們並非按資料集大小比例抽樣，而是為每個資料集指定抽樣權重，從而得到更平衡的訓練混合：分別為 56.5%、30.9% 與 12.6%。

在建構訓練資料時，我們會排除任何與我們評估基準相關的資料集，以忠實呈現結果而不灌高基準分數。這項決定的取捨在於，我們排除的某些資料集本身包含高品質資料，可能會改善模型在其來源基準以外任務上的表現。最終，我們選擇接受這個代價：在開發期間，以及使用者比較模型時，可信的數字對我們更有價值。

評估

我們在文字、視覺文件、混合影像與代理式檢索上評估兩個模型。兩個模型在 Q2D-Web 與 BrowseComp+ 上都優於已評估的基準，並在視覺文件檢索與 MADQA 上取得強勁結果。

文字檢索

我們在三個基準上評估文字對文字檢索：

• 特定領域基準：一組 72 個 MTEB 風格任務，其中 55 個涵蓋五個領域（金融、法律、健康、對話、技術），另有 17 個其他多語言任務。此集合包含 FinQA、AILACasedocs 與 XLSum 等任務。如上所述，這些資料集都未出現在我們的訓練資料中。
• Q2D-Web： 我們的網頁規模檢索基準，約包含 70,000 個由代理程式改寫的搜尋查詢，來自生產環境的搜尋流量，並建立在 1.9 億份網頁文件的語料庫之上。由於其接近生產環境的查詢與大規模語料庫，這個基準比其他可用檢索基準更貼近真實世界的網頁檢索場景。
• ViDoRe(V3) Markdown：ViDoRe(V3) 通常是一項文字對視覺文件檢索任務，但也可以使用已解析為 Markdown 的語料版本將其作為文字任務來評估，讓我們能在影像與文字兩種模態下評估資訊密集型文件檢索。

我們使用 nDCG@10 衡量效能，但在 Q2D-Web 上則回報 Recall@1000，因為該基準聚焦於第一階段網頁檢索場景。在整個評估過程中，我們將各種規模級別的業界領先嵌入模型納入比較。對於文字檢索，nemotron-embed-8b、gemini-embedding-2、voyage-large-4 與 qwen3-embed-8b 代表最強且最廣泛使用的密集式競爭者，而 voyage-4-nano 與 qwen3-embed-0.6b 則作為十億參數以下的密集基準。我們也在 TopK 已公布結果的基準上，額外比較其近期釋出的 topk-embed-v1 晚期互動模型。ViDoRe(V3) 分數取自其 model card 中 128 維設定，與我們的 token 嵌入寬度一致；Q2D-Web 分數則取自我們的排行榜。

在特定領域基準上，我們的 9B 與 0.6B 模型平均分別為 81.3% 與 78.0%。我們的 9B 模型取得所有評估模型中的最高分，領先次佳模型 1.6 個百分點。0.6B 模型與其他高分模型相比也具競爭力，只比 gemini-embedding-2 低 0.3 個百分點。重要的是，由於我們未使用這些基準任務的任何資料進行訓練，這些特定領域基準證明了我們的嵌入模型可以泛化到新領域。

放大

我們的 0.6B 模型在 ViDoRe(V3) Markdown 任務上的相對優勢更大；其 61.2% 的分數擊敗了除我們 9B 模型以外的所有其他模型，而 9B 模型得分為 64.7%。次佳外部模型得分為 60.6%，而次佳的 10 億參數以下模型 topk-embed-v1-0.8b 比我們的 0.6B 模型低 4.3 個百分點。

放大

在 Q2D-Web 上，相關性來自三組判定集：代理程式引用的文件（Citation）、由我們的生產檢索系統排序的文件（Web），以及將兩者聯集後再加上 LLM 對未標註文件的判定（Combined）。兩個 pplx-embed-v2-late 模型在三組判定集上都領先所有基準。我們聚焦於 Combined 判定，因為 Citation 與 Web 兩組都源自我們自己的系統已經呈現出的內容，因此會偏向與其排序方式相同的模型；而在 Combined 中新增的 LLM 判定涵蓋了兩個系統都未檢索到的文件。在該集合上，我們的 9B 與 0.6B 模型都擊敗所有競爭者，分別達到 74.8% 與 73.6%，而前一最佳分數為 69.3%。

放大

視覺檢索

我們的主要視覺檢索基準是 ViDoRe(V3) 的標準公開子集，其中語料由渲染後的頁面影像而非 Markdown 轉換版本組成。我們將其與兩個領先的密集式視覺語言模型 qwen3-vl-embed-8b 和 gemini-embedding-2，以及 topk-embed-v1 這類晚期互動模型進行比較。此外，Tencent 的 EVIE 模型與 NVIDIA 的 Nemotron ColEmbed V2 模型是專為影像檢索任務訓練的「僅視覺」多向量基準。

我們的兩個模型都達到了視覺語言模型的最先進效能。我們的 9B 模型平均得分為 65.2%，僅落後於 EVIE。我們的 0.6B 模型得分為 62.3%，領先 topk-embed-v1-2b，在外部基準中僅落後於體量大得多的 EVIE 與 nemotron-colembed-v2-8b。

放大

就模型規模而言，我們的 0.6B 模型尤其具有競爭力。它領先所有同級別模型，且在僅為影像輸入啟用 340M 參數的情況下，與 nemotron-colembed-v2-8b 只差 1.2 個百分點。我們的模型每個 token 產生 128 維嵌入，相較之下 EVIE-4.5B 為 2,048 維，EVIE-8B 與 nemotron-colembed-v2-8b 則為 4,096 維。這種儲存成本上的差異，會大幅影響這些模型實際可用的應用場景。

放大

我們也在 MIRACL-Vision 上評估視覺檢索，這是一個語料庫由 Wikipedia 文章截圖構成的基準，以及 PPLX-Q2I，這是一個涵蓋視覺文件與自然影像的內部基準。PPLX-Q2I 由 Perplexity 的生產影像搜尋日誌構建，旨在反映影像搜尋用例的多樣性。我們使用 10,000 筆查詢樣本，依語言與領域分層，對 100,000 張影像的語料庫進行評估；每個查詢的相關文件即為為其提供的那些影像。我們未在 PPLX-Q2I 上評估 EVIE-8B 或 Nemotron ColEmbed，因為以其預設輸出維度（Nemotron ColEmbed 4B 為 2,560，Nemotron ColEmbed 8B 與 EVIE-8B 為 4,096）對如此規模的語料庫建立索引並不實際。

與其在 ViDoRe(V3) 上的表現相似，我們的 0.6B 模型與更大的模型相比也具競爭力，在 MIRACL-Vision 上僅比 qwen3-vl-embed-8b 低 1 個百分點。我們的 9B 模型則優於除 gemini-embedding-2 之外的所有其他模型。

在 PPLX-Q2I 上，我們的兩個模型都以超過 9 個百分點的差距擊敗 qwen3-vl-embedding-8b，而我們的 9B 模型只比 gemini-embedding-2 低 2 個百分點。即使在同時包含自然影像與視覺文件的語料庫上，我們的結果仍具競爭力，因此在 ViDoRe(V3) 上見效的多向量表示，並不會以犧牲通用影像搜尋為代價。

放大

跨模型檢索

前述各節的結果是讓每個模型與其自身所嵌入的語料庫進行評估。共享的嵌入空間意味著這並非必要：由 9B 模型建立索引的語料庫，可以使用由 0.6B 模型嵌入的查詢來搜尋。這正是我們預期大多數生產部署會採用的配置，因為索引是一筆一次性成本，會在語料庫的整個生命週期內攤提；而查詢嵌入則處於每次請求延遲關鍵路徑上。

無法在查詢時執行 9B 模型的部署，否則也會改以 0.6B 模型來建立索引，因此對稱的 0.6B 配置就是相關的比較點。我們在上文使用的 72 個特定領域基準，以及 ViDoRe v3 影像檢索上進行評估。查詢由 pplx-embed-v2-late-0.6b 編碼，而我們只變更語料庫由誰編碼。

使用 9B 模型建立索引是明確的改進。在特定領域基準上，非對稱配置平均提升 1.6 個百分點。在 ViDoRe v3 影像檢索上，其得分為 63.5%，相較於兩邊都使用 0.6B 模型時的 62.3%，提升了 1.2 個百分點。由於兩種配置都由同一個 0.6B 模型編碼查詢，因此查詢編碼成本在對稱 0.6B 與非對稱配置之間並無差異；額外的文件編碼成本則在索引階段產生。

兩邊都使用 9B 模型仍然更好，在特定領域基準上的平均分數為 81.3%。因此，非對稱配置在不增加查詢編碼成本的情況下，大致彌補了兩個模型在文字上的一半品質差距。應選擇哪種配置取決於查詢時是否負擔得起 9B 模型；若無法負擔，非對稱設定仍能抓住其相當大一部分優勢。

放大

代理式檢索

代理式檢索是另一個多向量嵌入特別強的場景。在 BrowseComp+ 中，一個 LLM（我們這裡使用 GPT-OSS-120B）會使用嵌入模型在語料庫中搜尋與複雜使用者查詢相關的資訊，然後由第二個 LLM 判定最終答案是否符合真值。我們的 9B 模型達到 64.0% 的準確率，比分數次高的 ColBERT 模型高 4.9 個百分點，比分數次高的密集模型高 8.7 個百分點，同時發出的搜尋次數少於除我們 0.6B 模型以外的任何其他模型。0.6B 模型也領先我們家族以外的所有模型。

放大

MADQA 針對 800 份異質的真實世界 PDF 進行代理式問答測試，總頁數超過 18,000 頁，並包含 500 個無法僅憑一般知識回答的人工撰寫問題。一個代理程式（我們這裡使用 Gemini 3.5 Flash）會使用受測檢索器在整個集合中搜尋，並根據標註的證據頁面，以答案準確率與 page F1 進行評分。我們的 9B 模型以 92.4% 的準確率在檢索器中創下新的最先進表現，較使用 Mixedbread 檢索器的同一代理程式高出 3.5 個百分點；0.6B 模型則達到 90.1%。我們也注意到，我們的檢索器相較於 Mixedbread Agentic Search 仍具競爭力；後者在其搜尋系統中使用一個搜尋子代理程式，由主代理程式每次呼叫時規劃並執行多次搜尋（93.4%，落在我們的信賴區間內）。

放大

開始使用

我們的 0.6B 與 9B 模型都已在 Hugging Face 上提供，並可直接與 sentence-transformers >= 6.0.0 和 transformers >= 5.4.0。 相容。更多技術細節與完整評估結果將於今年稍晚在技術報告中發布。

我們目前正在訓練下一代密集嵌入模型，並將在 Perplexity API Platform 上逐步推出後期互動（late-interaction）嵌入、密集嵌入與情境嵌入的支援。

引用

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}