Embedding đa phương thức vượt ra ngoài một vector đơn

Một họ mô hình tương tác muộn mới cho truy xuất văn bản và hình ảnh, với không gian embedding chung giữa các kích cỡ mô hình.

Tác giảPerplexity Research

Kể từ khi phát hành pplx-embed-v1 vào tháng 2, chúng tôi đã làm việc trên một thế hệ mô hình embedding mới. Tuần trước, chúng tôi đã giới thiệu mô hình embedding theo ngữ cảnh mới của mình, pplx-embed-v2-context. Hôm nay, chúng tôi mở rộng họ mô hình với pplx-embed-v2-late, một bộ mô hình tương tác muộn. Bên cạnh năng lực truy xuất mạnh hơn, đây là những mô hình đầu tiên kết hợp ba tính năng cốt lõi:

  • Biểu diễn đa vector. Thay vì nén mỗi đầu vào thành một vector duy nhất, các mô hình này giữ lại các vector ở mức token để so sánh truy vấn-tài liệu chi tiết hơn. Điều này cho phép các phần khác nhau của một truy vấn khớp với các phần khác nhau của một tài liệu, bảo toàn chi tiết đặc biệt có giá trị cho truy xuất đa phương thức.
  • Hỗ trợ cả hai phương thức văn bản và hình ảnh. Ngoài khả năng truy xuất văn bản-văn bản của các mô hình trước đây, các mô hình mới này còn xử lý truy xuất văn bản-hình ảnh, cho phép chúng tìm kiếm trực tiếp các trang PDF đã render mà không cần OCR hay văn bản đã phân tích.
  • Không gian embedding chung. Chúng tôi phát hành hai kích cỡ mô hình, 0,6B và 9B, để đáp ứng các yêu cầu khác nhau về chất lượng, độ trễ và tính toán. Mỗi mô hình có thể được dùng độc lập, nhưng không gian embedding chung cũng cho phép mô hình nhỏ hơn truy vấn một chỉ mục được tạo bằng mô hình lớn hơn, kết hợp embedding tài liệu chất lượng cao hơn với suy luận khi truy vấn rẻ và nhanh.

Các mô hình mới này đạt kết quả tiên tiến nhất trên nhiều bộ đánh giá chuẩn về truy xuất hình ảnh và văn bản, cũng như các tác vụ hỏi đáp dạng tác nhân. Đáng chú ý, trên ViDoRe (V3), một bộ đánh giá chuẩn hàng đầu về truy xuất tài liệu trực quan, mô hình 0.6B của chúng tôi đạt hiệu năng ngang bằng các mô hình có số tham số hoạt động gấp năm lần. Cả hai mô hình đều được phát hành công khai trên Hugging Face. Báo cáo kỹ thuật của chúng tôi cung cấp thêm chi tiết về phương pháp và kết quả đánh giá.

Từ một vector đơn đến tương tác muộn

Các hệ thống truy xuất phải cân bằng giữa hiệu quả và độ sâu tương tác giữa truy vấn và tài liệu. Các mô hình embedding dense mã hóa từng truy vấn và tài liệu một cách độc lập, cho phép so sánh bằng một tích vô hướng rẻ. Điều này khiến việc tìm kiếm láng giềng gần đúng (ANN) trên hàng tỷ tài liệu trở nên khả thi. Ở cực đối lập, các cross-encoder xử lý truy vấn và tài liệu cùng nhau, cho phép tương tác phong phú hơn nhưng yêu cầu một lượt forward riêng cho mỗi ứng viên. Áp dụng phép tính này trên một corpus tài liệu lớn cho mỗi lần tìm kiếm là quá tốn kém, nên cross-encoder thường chỉ được dùng để xếp hạng lại một tập nhỏ các ứng viên đã truy xuất.

Hạn chế của embedding dense

Biểu diễn toàn bộ một tài liệu bằng một vector kích thước cố định tạo ra một nút thắt thông tin. Khi tài liệu dài hơn và bao phủ nhiều chủ đề hơn, mô hình phải nén nhiều nội dung hơn vào cùng một vector, khiến việc giữ lại mọi thứ liên quan đến truy vấn trở nên khó hơn. Chia đoạn có thể giảm áp lực này, nhưng nó làm tài liệu bị phân mảnh và có thể tách rời những thông tin chỉ có ý nghĩa khi đi cùng nhau, một vấn đề mà chúng tôi cũng giải quyết với mô hình embedding theo ngữ cảnh của mình. Nút thắt này còn trầm trọng hơn trong bối cảnh đa phương thức, nơi mật độ thông tin của hình ảnh đòi hỏi mức nén lớn hơn nữa.

Truy xuất dense một vector cũng giản lược mọi so sánh thành một tích vô hướng giữa hai vector, làm hạn chế tính biểu đạt của hàm chấm điểm. Với một chiều embedding cố định và một corpus đủ lớn, một số mẫu điểm giữa các cặp truy vấn-tài liệu là không thể tạo ra, bất kể huấn luyện thế nào. Chuẩn LIMIT biến mối lo lý thuyết này thành một bài kiểm tra sức chịu đựng cụ thể cho truy xuất một vector.

Truy xuất tương tác muộn

Các mô hình tương tác muộn nằm ở khoảng giữa các mô hình embedding dense rẻ hơn và các cross-encoder biểu đạt hơn. Giống như các mô hình dense, chúng mã hóa tài liệu độc lập với truy vấn, cho phép tính trước biểu diễn tài liệu ngoại tuyến. Tuy nhiên, thay vì rút gọn mỗi đầu vào thành một vector duy nhất, chúng giữ lại nhiều vector và dùng một hàm chấm điểm phong phú hơn khi so sánh truy vấn với tài liệu.

Các mô hình pplx-embed-v2-late của chúng tôi sử dụng kiến trúc kiểu ColBERT, xuất ra embedding 128 chiều cho mỗi token trong đầu vào. Chúng tôi chấm điểm các cặp truy vấn-tài liệu bằng MaxSim; với mỗi token truy vấn, mô hình chọn token tài liệu có điểm cao nhất và cộng các độ tương đồng cực đại theo từng token để tạo ra điểm cuối cùng. Điều này cho phép các phần khác nhau của một truy vấn khớp với các phần khác nhau của một tài liệu, với các khớp token mạnh hơn đóng góp nhiều hơn vào điểm số.

Một ví dụ về chấm điểm MaxSim: Mỗi token truy vấn chọn token tài liệu có điểm cao nhất, các độ tương đồng cực đại ở cấp token cộng lại thành điểm tương đồng ở cấp truy vấn-tài liệu.

Tính biểu đạt bổ sung này đi kèm với chi phí lưu trữ và chấm điểm ứng viên cao hơn. Truy xuất dense lưu một vector cho mỗi tài liệu và chấm một ứng viên bằng một tích vô hướng; tương tác muộn lưu các vector cho token của tài liệu và đánh giá nhiều độ tương đồng token với token. Chi phí tăng theo độ dài tài liệu, nên tương tác muộn đòi hỏi một sự đánh đổi khác về lập chỉ mục và phục vụ so với truy xuất ANN một vector. Đổi lại, nó cung cấp khả năng truy xuất giai đoạn đầu phong phú hơn cho các corpus nhạy cảm về chất lượng và cũng có thể đóng vai trò là một giai đoạn sau trong một pipeline truy xuất web quy mô lớn hơn.

Một mô hình, nhiều phương thức

Độ sâu tương tác được cải thiện này đã được chứng minh là rất hữu ích cho nhiều tác vụ, bao gồm truy xuất ngữ cảnh dài, theo kiểu tác nhân và ngoài miền. Sự khác biệt này đặc biệt rõ trong truy xuất đa phương thức, như được thể hiện qua lợi thế lớn của các mô hình ColPali trên bảng xếp hạng ViDoRe(V3).

Các corpus thực tế không chỉ bao gồm văn bản sạch. Chúng đến dưới dạng PDF, bộ slide, ảnh chụp màn hình, trang quét, biểu đồ và bảng biểu. Quy trình truyền thống phân tích các tài liệu này, áp dụng OCR hoặc tạo chú thích, rồi tìm kiếm trên phần văn bản thu được, vốn vừa tốn kém vừa hao hụt: nó có thể tạo ra lỗi OCR và làm mất bố cục, cấu trúc bảng, hình vẽ và các quan hệ không gian. Tìm kiếm tài liệu trực quan bỏ qua bước đó, chiếu trực tiếp trang đã render vào không gian biểu diễn nơi các truy vấn văn bản có thể tìm kiếm nó.

Họ mô hình mới của chúng tôi xây dựng trên hiệu năng mạnh của các mô hình đa vector cho tìm kiếm đa phương thức và mở rộng biên Pareto cho các mô hình nhỏ trên chuẩn đánh giá tìm kiếm tài liệu được dùng rộng rãi nhất, ViDoRe(V3). Mặc dù chúng tôi kỳ vọng các bản render tài liệu sẽ là dạng đầu vào trực quan phổ biến nhất, các mô hình của chúng tôi cũng hỗ trợ tìm kiếm ảnh ngữ nghĩa trên ảnh tự nhiên, chẳng hạn như ảnh phong cảnh.

Huấn luyện một họ mô hình có thể tương tác với nhau

Tìm kiếm về bản chất là bất đối xứng: lập chỉ mục và mã hóa truy vấn có các ràng buộc vận hành khác nhau. Lập chỉ mục chạy ngoại tuyến và có thể được song song hóa, nên chi phí tính toán của nó được khấu hao trên nhiều lượt tìm kiếm trong tương lai. Mã hóa truy vấn chạy trực tuyến cho từng yêu cầu, khiến nó nhạy với độ trễ và đôi khi bị ràng buộc bởi giới hạn phục vụ hoặc thiết bị biên. Họ mô hình của chúng tôi tận dụng sự bất đối xứng này, cung cấp các kích cỡ được điều chỉnh cho từng phía của pipeline truy xuất.

Chúng tôi huấn luyện một teacher 18B theo cách tương phản, rồi chưng cất riêng nó thành các student 9B và 0,6B. Thay vì chỉ huấn luyện từng student để tái tạo phân phối xếp hạng của teacher, chúng tôi dùng chưng cất biểu diễn kiểu LEAF: với mỗi token đầu vào, chúng tôi căn chỉnh embedding đầu ra của student với embedding của teacher. Mặc dù chưng cất trong không gian biểu diễn trước đây đã được dùng cho các mô hình dense một vector, chúng tôi mở rộng nó sang tương tác muộn, nơi mục tiêu căn chỉnh là một vector cho mỗi token được giữ lại.

Kết quả là, cả hai checkpoint được phát hành đều chia sẻ cùng một không gian embedding đa vector. Điều này cho phép truy xuất liên mô hình, mở ra thêm các lựa chọn triển khai.

  • Chất lượng tối đa: mã hóa tài liệu và truy vấn bằng mô hình 9B.
  • Hiệu quả tối đa: mã hóa tài liệu và truy vấn bằng mô hình 0,6B để suy luận 100% cục bộ
  • Truy xuất độ trễ thấp: xây dựng chỉ mục corpus bằng mô hình 9B, rồi mã hóa các truy vấn trực tiếp bằng mô hình 0,6B để tận dụng tính toán tại thời điểm lập chỉ mục trong khi vẫn giữ cho việc truy vấn nhanh.
  • Truy xuất cục bộ–đám mây: mã hóa các tài liệu cục bộ riêng tư hoặc các truy vấn trực tiếp bằng mô hình 0,6B ngay trên thiết bị, và so sánh hoặc gộp những biểu diễn đó với kết quả từ một chỉ mục 9B được lưu trữ trên đám mây.

Đối với các thiết lập nhạy cảm với độ trễ, chúng tôi thiết kế mô hình 0,6B như một bộ mã hóa truy vấn nhẹ cũng có thể chạy trên thiết bị biên. Bắt đầu từ Qwen3.5-0.8B, chúng tôi cắt tỉa text tower 24 lớp của nó xuống còn 12 lớp, giảm số tham số không bao gồm embedding của text tower đó từ 498M xuống 240M. Mô hình thu được có tổng cộng 594M tham số, nhưng kích thước danh nghĩa của nó làm quá lên chi phí phục vụ: 100M được dùng cho mã hóa hình ảnh, và 254M nằm trong bảng token-embedding, phần này hầu như không ảnh hưởng đến thời gian chạy. Chỉ khoảng 240M tham số hoạt động cho mã hóa văn bản và 340M cho mã hóa hình ảnh, giúp mô hình có chi phí phục vụ của một mô hình nhỏ hơn đáng kể trong khi vẫn giữ khả năng tương thích với chỉ mục 9B.

Chúng tôi đã áp dụng cùng quy trình này để xây dựng teacher 18B từ một backbone 27B, qua đó khiến teacher rẻ hơn đáng kể để chưng cất mà không làm suy giảm tín hiệu mà nó cung cấp.

Dữ liệu huấn luyện đa ngôn ngữ, đa phương thức, không nhiễm bẩn

Chúng tôi huấn luyện cả hai mô hình trên một bộ dữ liệu gồm 186 triệu cặp truy vấn-tài liệu được rút ra từ 594 bộ dữ liệu ở 46 ngôn ngữ. Trong số các cặp này, 88,3% là văn bản-văn bản, 8,3% là văn bản-hình ảnh, và 3,4% là văn bản-tài liệu trực quan. Thay vì lấy mẫu theo tỷ lệ với kích thước bộ dữ liệu, chúng tôi gán cho mỗi bộ dữ liệu một trọng số lấy mẫu, tạo ra một hỗn hợp huấn luyện cân bằng hơn với lần lượt 56,5%, 30,9% và 12,6%.

Khi xây dựng dữ liệu huấn luyện, chúng tôi loại trừ bất kỳ bộ dữ liệu nào gắn với các chuẩn đánh giá mà chúng tôi dùng để đánh giá, nhằm phản ánh trung thực kết quả của mình mà không làm phình điểm benchmark. Quyết định này đi kèm đánh đổi rằng một số bộ dữ liệu mà chúng tôi chọn loại trừ chứa dữ liệu chất lượng cao, có thể cải thiện hiệu năng của mô hình chúng tôi ở các tác vụ khác ngoài benchmark mà chúng xuất phát từ đó. Cuối cùng, chúng tôi chọn chấp nhận chi phí đó: những con số đáng tin cậy hữu ích hơn đối với chúng tôi trong quá trình phát triển, và đối với người dùng khi so sánh các mô hình.

Đánh giá

Chúng tôi đánh giá cả hai mô hình trên truy xuất văn bản, tài liệu trực quan, ảnh hỗn hợp và truy xuất theo kiểu tác nhân. Cả hai mô hình đều vượt qua các baseline được đánh giá trên Q2D-Web và BrowseComp+, và đạt kết quả mạnh trên truy xuất tài liệu trực quan và MADQA.

Truy xuất văn bản

Chúng tôi đánh giá truy xuất văn bản-văn bản trên ba chuẩn đánh giá:

  • Các benchmark theo miền: Một bộ sưu tập gồm 72 tác vụ kiểu MTEB, 55 tác vụ trải trên năm miền (tài chính, pháp lý, sức khỏe, hội thoại, công nghệ), cộng thêm 17 tác vụ đa ngôn ngữ linh tinh. Bộ sưu tập bao gồm các tác vụ như FinQA, AILACasedocs và XLSum. Không có bộ dữ liệu nào trong số này xuất hiện trong dữ liệu huấn luyện của chúng tôi, như đã mô tả ở trên.
  • Q2D-Web: chuẩn đánh giá truy xuất quy mô web của chúng tôi với khoảng 70.000 truy vấn tìm kiếm được tác nhân diễn đạt lại, lấy từ lưu lượng tìm kiếm thực tế, trên một corpus gồm 190 triệu tài liệu web. Chuẩn này đo lường hiệu năng truy xuất trong bối cảnh gần với truy xuất web thực tế hơn nhiều so với các chuẩn truy xuất hiện có khác, nhờ các truy vấn giống với truy vấn thực tế và corpus quy mô lớn.
  • ViDoRe(V3) Markdown: ViDoRe(V3) thường là một tác vụ truy xuất văn bản-tài liệu trực quan, nhưng cũng có thể được đánh giá như một tác vụ văn bản bằng cách sử dụng phiên bản corpus đã được phân tích sang Markdown, cho phép chúng tôi đánh giá truy xuất tài liệu giàu thông tin ở cả hai phương thức hình ảnh và văn bản.

Chúng tôi đo lường hiệu năng bằng nDCG@10, trừ trên Q2D-Web, nơi chúng tôi báo cáo Recall@1000 do chuẩn này tập trung vào kịch bản truy xuất web giai đoạn đầu. Xuyên suốt các đánh giá của mình, chúng tôi so sánh với các mô hình embedding dẫn đầu ngành ở các nhóm kích cỡ khác nhau. Đối với truy xuất văn bản, nemotron-embed-8b, gemini-embedding-2, voyage-large-4, và qwen3-embed-8b đại diện cho các đối thủ dense mạnh nhất và được dùng rộng rãi nhất, trong khi voyage-4-nano và qwen3-embed-0.6b đóng vai trò baseline dense dưới một tỷ tham số. Chúng tôi cũng so sánh với các mô hình tương tác muộn topk-embed-v1 mới phát hành của TopK trên những benchmark mà TopK đã công bố kết quả. Điểm ViDoRe(V3) được lấy từ model card của họ tại 128 chiều, khớp với bề rộng của các embedding token của chúng tôi; điểm Q2D-Web được lấy từ bảng xếp hạng của chúng tôi.

Trên các chuẩn đánh giá theo miền, các mô hình 9B và 0.6B của chúng tôi đạt trung bình lần lượt 81,3% và 78,0%. Mô hình 9B của chúng tôi đạt điểm cao nhất trong số tất cả các mô hình chúng tôi đánh giá, vượt mô hình tốt thứ hai 1,6 điểm phần trăm. Mô hình 0,6B của chúng tôi cạnh tranh với các mô hình điểm cao khác, chỉ kém gemini-embedding-2 0,3 điểm phần trăm. Quan trọng là, vì chúng tôi không huấn luyện trên bất kỳ dữ liệu nào cho các tác vụ chuẩn này, các chuẩn theo miền cho thấy các mô hình embedding của chúng tôi có thể khái quát sang miền mới.

Hiệu năng truy xuất văn bản theo miền, đo bằng nDCG@10. Giá trị trung bình tính trọng số đều cho sáu miền, và các số trong ngoặc cho biết số tác vụ trong mỗi nhóm.

Ưu thế tương đối của mô hình 0,6B của chúng tôi còn lớn hơn nữa trên tác vụ ViDoRe(V3) Markdown; điểm số 61,2% của nó vượt tất cả các mô hình khác ngoại trừ mô hình 9B của chúng tôi, vốn đạt 64,7%. Mô hình bên ngoài tốt thứ hai đạt 60,6%, và mô hình sub-1B tốt thứ hai, topk-embed-v1-0.8b, kém mô hình 0,6B của chúng tôi 4,3 điểm phần trăm.

Truy xuất văn bản trên tập con công khai của ViDoRe v3 sau khi chuyển ảnh trang sang Markdown bằng OCR. Mô hình 0,6B của chúng tôi chỉ xếp sau mô hình 9B của chúng tôi khi xét trung bình nDCG@10.

Trên Q2D-Web, mức độ liên quan đến từ ba bộ phán xét: các tài liệu mà tác nhân đã trích dẫn (Citation), các tài liệu được hệ thống truy xuất đang vận hành của chúng tôi xếp hạng (Web), và hợp của cả hai, được mở rộng thêm bằng các phán xét LLM đối với những tài liệu chưa gán nhãn (Combined). Cả hai mô hình pplx-embed-v2-late đều dẫn đầu mọi baseline ở cả ba bộ phán xét. Chúng tôi tập trung vào các phán xét Combined, vì các bộ Citation và Web được suy ra từ những gì chính hệ thống của chúng tôi đã đưa ra và do đó ưu ái các mô hình xếp hạng theo cách của chúng; các phán xét LLM được thêm vào trong Combined bao phủ những tài liệu mà không hệ thống nào truy xuất. Ở bộ này, cả mô hình 9B và 0.6B của chúng tôi đều vượt qua tất cả đối thủ, đạt lần lượt 74,8% và 73,6%, so với mức tốt nhất trước đó là 69,3%.

Truy xuất văn bản quy mô web trên Q2D-Web, đo bằng Recall@1000 dưới các phán xét mức độ liên quan Citation, Web và Combined. Cả hai mô hình đều vượt qua các baseline được đánh giá trên cả ba bộ phán xét.

Truy xuất hình ảnh

Chuẩn đánh giá truy xuất hình ảnh chính của chúng tôi là tập con công khai tiêu chuẩn của ViDoRe(V3), trong đó corpus gồm các ảnh trang đã được render thay vì bản chuyển đổi Markdown. Chúng tôi so sánh với hai mô hình ngôn ngữ-thị giác dense hàng đầu, qwen3-vl-embed-8b và gemini-embedding-2, cùng với các mô hình tương tác muộn topk-embed-v1. Ngoài ra, các mô hình EVIE của Tencent và các mô hình Nemotron ColEmbed V2 của NVIDIA là các baseline đa vector “chỉ thị giác”, được huấn luyện riêng cho các tác vụ truy xuất hình ảnh.

Cả hai mô hình của chúng tôi đều đạt hiệu năng tiên tiến nhất đối với các mô hình ngôn ngữ-thị giác. Mô hình 9B của chúng tôi đạt điểm trung bình 65,2%, chỉ đứng sau EVIE. Mô hình 0,6B của chúng tôi đạt 62,3%, cao hơn topk-embed-v1-2b và chỉ xếp sau các mô hình lớn hơn nhiều là EVIE và nemotron-colembed-v2-8b trong số các baseline bên ngoài.

Truy xuất tài liệu trực quan trên tập con công khai của ViDoRe v3, đo bằng nDCG@10. Cả hai mô hình Perplexity đều dẫn đầu các baseline ngôn ngữ-thị giác được đánh giá; các mô hình chỉ thị giác được hiển thị riêng.

Mô hình 0,6B của chúng tôi đặc biệt cạnh tranh xét theo kích thước mô hình. Nó vượt tất cả các mô hình có kích thước tương đương và chỉ kém nemotron-colembed-v2-8b 1,2 điểm phần trăm trong khi chỉ kích hoạt 340M tham số cho đầu vào hình ảnh. Các mô hình của chúng tôi tạo embedding 128 chiều cho mỗi token, so với 2.048 của EVIE-4.5B và 4.096 của EVIE-8B và nemotron-colembed-v2-8b. Sự chênh lệch về chi phí lưu trữ này có thể ảnh hưởng mạnh đến những kịch bản mà các mô hình này thực tế có thể sử dụng.

Chất lượng truy xuất ảnh ViDoRe v3 so với số tham số hoạt động của mô hình trên thang logarit. Các đường nối biên Pareto trong mỗi bảng: những mô hình không bị một mô hình có cùng hoặc nhỏ hơn kích thước vượt qua.

Chúng tôi cũng đánh giá truy xuất hình ảnh trên MIRACL-Vision, một benchmark mà corpus của nó gồm các ảnh chụp màn hình bài viết Wikipedia, và PPLX-Q2I, một benchmark nội bộ bao gồm cả tài liệu trực quan lẫn ảnh tự nhiên. PPLX-Q2I được xây dựng từ nhật ký tìm kiếm hình ảnh sản phẩm của Perplexity và được thiết kế để phản ánh sự đa dạng của các trường hợp sử dụng tìm kiếm ảnh. Chúng tôi dùng mẫu 10.000 truy vấn, được phân tầng theo ngôn ngữ và miền, trên một corpus 100.000 ảnh; các tài liệu liên quan của mỗi truy vấn là những ảnh được phục vụ cho truy vấn đó. Chúng tôi không đánh giá EVIE-8B hoặc Nemotron ColEmbed trên PPLX-Q2I, vì việc lập chỉ mục một corpus kích thước này ở các chiều đầu ra mặc định của chúng (2.560 cho Nemotron ColEmbed 4B và 4.096 cho Nemotron ColEmbed 8B và EVIE-8B) là không khả thi.

Tương tự như hiệu năng của nó trên ViDoRe(V3), mô hình 0,6B của chúng tôi cạnh tranh với các mô hình lớn hơn nhiều, chỉ kém qwen3-vl-embed-8b 1 điểm phần trăm trên MIRACL-Vision. Mô hình 9B của chúng tôi vượt tất cả các mô hình khác ngoại trừ gemini-embedding-2.

Trên PPLX-Q2I, cả hai mô hình của chúng tôi đều vượt qwen3-vl-embedding-8b với khoảng cách hơn 9 điểm phần trăm, và mô hình 9B của chúng tôi chỉ kém gemini-embedding-2 2 điểm phần trăm. Kết quả của chúng tôi vẫn cạnh tranh trên các corpus có cả ảnh tự nhiên lẫn tài liệu trực quan, vì vậy các biểu diễn đa vector mang lại hiệu quả trên ViDoRe(V3) không phải đánh đổi bằng khả năng tìm kiếm ảnh tổng quát.

Truy xuất ảnh trên MIRACL-Vision và PPLX-Q2I, đo bằng nDCG@10. Các mô hình Nemotron ColEmbed không được đánh giá trên PPLX-Q2I vì việc lập chỉ mục corpus ở các chiều đầu ra mặc định của chúng là không khả thi.

Truy xuất liên mô hình

Các kết quả ở các phần trước đánh giá từng mô hình trên một corpus mà chính nó đã tạo embedding. Không gian embedding chung có nghĩa là đây không phải là một yêu cầu bắt buộc: một corpus được lập chỉ mục bởi mô hình 9B có thể được tìm kiếm bằng các truy vấn được embed bởi mô hình 0.6B. Đây là cấu hình mà chúng tôi kỳ vọng hầu hết các triển khai thực tế sẽ dùng, vì việc lập chỉ mục là chi phí một lần được khấu hao trong suốt vòng đời của corpus, trong khi embedding truy vấn chạy trên đường dẫn độ trễ quan trọng của mọi yêu cầu.

Một triển khai không thể chạy mô hình 9B vào thời điểm truy vấn thì ngược lại cũng sẽ lập chỉ mục bằng mô hình 0,6B, nên cấu hình đối xứng 0,6B đó là điểm so sánh phù hợp. Chúng tôi đánh giá trên 72 benchmark theo miền đã dùng ở trên và trên truy xuất ảnh ViDoRe v3. Các truy vấn được embed bằng pplx-embed-v2-late-0.6b, và chúng tôi chỉ thay đổi phần nào đã embed corpus.

Lập chỉ mục bằng mô hình 9B là một cải thiện rõ rệt. Trên các benchmark theo miền, cấu hình bất đối xứng đạt mức tăng trung bình 1,6 điểm phần trăm. Trên truy xuất ảnh ViDoRe v3, nó đạt 63,5%, tăng từ 62,3% khi dùng mô hình 0,6B ở cả hai phía, tức tăng 1,2 điểm phần trăm. Chi phí mã hóa truy vấn không đổi giữa cấu hình đối xứng 0,6B và cấu hình bất đối xứng, vì cùng một mô hình 0,6B mã hóa truy vấn trong cả hai trường hợp; chi phí mã hóa tài liệu bổ sung được phát sinh tại thời điểm lập chỉ mục.

Chạy mô hình 9B ở cả hai phía vẫn còn tốt hơn nữa, đạt trung bình 81,3% trên các benchmark theo miền. Do đó, cấu hình bất đối xứng thu hồi khoảng một nửa chênh lệch chất lượng giữa hai mô hình trên văn bản, mà không tốn thêm chi phí mã hóa truy vấn. Nên chọn cấu hình nào phụ thuộc vào việc mô hình 9B có khả thi về chi phí vào thời điểm truy vấn hay không; khi không khả thi, thiết lập bất đối xứng nắm bắt được một phần đáng kể lợi ích của nó.

Việc dùng mô hình 9B để lập chỉ mục và mô hình 0,6B cho truy vấn cải thiện truy xuất so với việc dùng mô hình 0,6B cho cả hai. Điểm số là nDCG@10; trung bình sáu miền không bao gồm các kết quả ViDoRe v3 được báo cáo riêng.

Truy xuất theo kiểu tác nhân

Truy xuất theo kiểu tác nhân cũng là một bối cảnh mà embedding đa vector đặc biệt mạnh. Trong BrowseComp+, một LLM (GPT-OSS-120B trong trường hợp của chúng tôi) dùng mô hình embedding để tìm kiếm trong corpus các thông tin liên quan đến một truy vấn người dùng phức tạp, và một LLM thứ hai phán xét liệu câu trả lời thu được có khớp với ground truth hay không. Mô hình 9B của chúng tôi đạt độ chính xác 64,0%, vượt mô hình ColBERT tốt thứ hai 4,9 điểm phần trăm và mô hình dense tốt thứ hai 8,7 điểm phần trăm, trong khi thực hiện ít lượt tìm kiếm hơn mọi mô hình khác ngoại trừ mô hình 0,6B của chúng tôi. Mô hình 0,6B cũng đứng trên mọi mô hình bên ngoài họ của chúng tôi.

Độ chính xác trả lời BrowseComp+ và độ hồi truy xuất so với số lượt tìm kiếm trung bình của một tác nhân GPT-OSS-120B (mức nỗ lực cao). Điểm số cao hơn và số lượt tìm kiếm ít hơn cho thấy chất lượng và hiệu quả tốt hơn.

MADQA kiểm tra hỏi-đáp theo kiểu tác nhân trên 800 tệp PDF thực tế không đồng nhất, trải rộng hơn 18.000 trang, với 500 câu hỏi do con người biên soạn mà không thể trả lời chỉ từ kiến thức chung. Một tác nhân (Gemini 3.5 Flash trong trường hợp của chúng tôi) tìm kiếm trong bộ sưu tập bằng trình truy xuất đang được kiểm tra và được chấm điểm theo độ chính xác câu trả lời và F1 cấp trang so với các trang bằng chứng đã chú thích. Mô hình 9B của chúng tôi thiết lập một mức tiên tiến mới trong số các trình truy xuất với độ chính xác 92,4%, cao hơn 3,5 điểm phần trăm so với cùng tác nhân dùng trình truy xuất của Mixedbread; mô hình 0,6B của chúng tôi đạt 90,1%. Chúng tôi cũng lưu ý rằng trình truy xuất của chúng tôi đạt kết quả cạnh tranh với Mixedbread Agentic Search, hệ thống dùng một tác nhân con tìm kiếm trong hệ thống tìm kiếm của họ để lập kế hoạch và chạy nhiều lượt tìm kiếm cho mỗi lần gọi từ tác nhân chính (93,4%, nằm trong khoảng tin cậy của chúng tôi).

Độ chính xác trả lời và F1 cấp trang trên MADQA. Kết hợp với Gemini 3.5 Flash, các mô hình 9B và 0,6B của chúng tôi đạt độ chính xác lần lượt 92,4% và 90,1%, so với 88,9% của trình truy xuất Mixedbread và 93,4% của Mixedbread Agentic Search.

Bắt đầu

Cả hai mô hình 0,6B và 9B của chúng tôi đều có sẵn trên Hugging Face và tương thích ngay khi dùng với sentence-transformers >= 6.0.0 và transformers >= 5.4.0. Các chi tiết kỹ thuật bổ sung và kết quả đánh giá đầy đủ sẽ được công bố trong một báo cáo kỹ thuật vào cuối năm nay.

Chúng tôi hiện đang huấn luyện thế hệ tiếp theo của các mô hình embedding dày đặc và sẽ dần triển khai hỗ trợ embedding tương tác muộn (late-interaction), embedding dày đặc và embedding theo ngữ cảnh trên Perplexity API Platform.

Trích dẫn

BibTeX
@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}