Q2D-Web: Đánh giá các bộ truy xuất giai đoạn đầu ở quy mô lớn

Một chuẩn đánh giá và bảng xếp hạng với 70 nghìn truy vấn tác nhân, 190 triệu tài liệu web và ba tập đánh giá mức độ liên quan.

Tác giảPerplexity Research

Hôm nay, chúng tôi giới thiệu Q2D-Web (Query2Doc-Web), một chuẩn đánh giá riêng tư và bảng xếp hạng công khai để đánh giá quá trình truy xuất trong các hệ thống RAG tác nhân. Q2D-Web mở rộng chuẩn đánh giá Q2D ban đầu của chúng tôi lên một tập ngữ liệu quy mô lớn, một tập truy vấn lớn hơn và các chú thích đánh giá sâu hơn.

Q2D-Web được xây dựng để đánh giá các mô hình nhúng trên tìm kiếm web quy mô lớn. Nó bao gồm 190 triệu tài liệu web và 69.721 truy vấn được tác nhân viết lại bằng mười ngôn ngữ, được lấy mẫu trong chín tháng lưu lượng tìm kiếm thực tế không có PII.

Ở quy mô này, tín hiệu mức độ liên quan ở cấp độ truy vấn-tài liệu chắc chắn là thưa thớt. Thay vì coi một nguồn là chân lý gốc, chúng tôi cung cấp ba tập đánh giá mức độ liên quan, được lấy từ các trích dẫn của tác nhân, bảng xếp hạng web thực tế và các đánh giá LLM bổ sung cho các cặp chưa được đánh giá trước đó. Nhiều nguồn giúp hạn chế sự thiên vị từ bất kỳ quy trình tạo nhãn đơn lẻ nào, trong khi việc chú thích sâu hơn giúp giảm thiểu các kết quả âm tính giả.

Bảng xếp hạng của chúng tôi báo cáo kết quả cho các mô hình truy xuất được phát hành công khai, được đánh giá trực tiếp dựa trên chuẩn đánh giá bằng cách sử dụng quy trình lập chỉ mục, truy xuất và chấm điểm nhất quán. Có thể gửi bài đánh giá qua biểu mẫu yêu cầu của chúng tôi.

Thách thức của việc đánh giá truy xuất thực tế

Đối với mỗi truy vấn, một hệ thống truy xuất quy mô thực tế tìm kiếm trong tập ngữ liệu gồm hàng tỷ trang web và trả về hàng nghìn tài liệu ứng viên. Các ứng viên này xác định nguồn nào mà các hệ thống hạ nguồn có thể nhìn thấy, định hình trực tiếp bằng chứng có sẵn cho tác nhân.

Do đó, việc đánh giá thực tế giai đoạn đầu này đòi hỏi các chuẩn đánh giá mở rộng theo ba chiều: số lượng tài liệu trong tập ngữ liệu, số lượng truy vấn được đánh giá và số lượng đánh giá mức độ liên quan cho mỗi truy vấn.

Các tập ngữ liệu lớn hơn có thể làm cho một chuẩn đánh giá có tính phân biệt cao hơn bằng cách giới thiệu các trường hợp phủ định khó—các tài liệu có cấu trúc ngữ nghĩa tương tự với truy vấn nhưng không cung cấp thông tin được yêu cầu. Các bộ truy xuất phải phân biệt các kết quả khớp hợp lý này với các tài liệu có liên quan. Việc thu nhỏ tập ngữ liệu trong khi vẫn giữ lại các tài liệu có liên quan đã biết có thể loại bỏ các yếu tố gây nhiễu này và làm tăng độ thu hồi (recall), như các thí nghiệm lấy mẫu phụ của chúng tôi bên dưới cho thấy.

Nhiều truy vấn được đánh giá hơn giúp cho các ước tính hiệu suất trở nên đáng tin cậy hơn. Với một tập truy vấn nhỏ, kết quả chuẩn đánh giá phụ thuộc rất nhiều vào các truy vấn nào được lấy mẫu, làm cho việc ước tính chính xác hiệu suất của từng mô hình và phân biệt tự tin giữa các mô hình trở nên khó khăn hơn.

Các đánh giá sâu hơn làm giảm các kết quả âm tính giả trong đánh giá. Với các nhãn thưa thớt, một bộ truy xuất có thể đưa ra các tài liệu có liên quan chưa được đánh giá và do đó bị tính nhầm là không có liên quan. Điều này làm cho việc đánh giá kém tin cậy hơn. MS MARCO là tập dữ liệu mở quy mô lớn chính trong lĩnh vực truy xuất thông tin và đã định hình sự phát triển của các mô hình truy xuất thần kinh. Ở đó, 70% các đoạn văn được kiểm tra thủ công được truy xuất hàng đầu nhưng không có nhãn thực tế là có liên quan.

Các chuẩn đánh giá hiện tại có xu hướng mở rộng theo chỉ một hoặc hai trong số các chiều này: các bộ sưu tập quy mô web thường có tương đối ít truy vấn được đánh giá, trong khi các chuẩn đánh giá có nhiều truy vấn thường sử dụng các tập ngữ liệu nhỏ hơn nhiều và các nhãn thưa thớt. Hơn nữa, hầu hết các chuẩn đánh giá sử dụng các truy vấn do con người viết, trong khi các hệ thống RAG tác nhân tìm kiếm bằng các truy vấn được tác nhân viết lại có thể khác nhau về cách diễn đạt, cấu trúc và tính cụ thể.

Q2D-Web mở rộng trên cả ba chiều. Nó chứa 190 triệu tài liệu web, 69.721 truy vấn được tác nhân viết lại và trung bình 99,6 đánh giá mức độ liên quan tích cực cho mỗi truy vấn trong tập đánh giá kết hợp của nó. Sự so sánh công khai gần nhất là MS MARCO Web Search, phiên bản quy mô web của MS MARCO. Nó có 100,9 triệu tài liệu, 9.374 truy vấn kiểm tra và một nhãn tích cực bắt nguồn từ cú nhấp chuột cho mỗi truy vấn.

Cách chúng tôi tạo ra Q2D-Web

Quy trình xây dựng Q2D-Web: lấy mẫu truy vấn đã lọc quyền riêng tư, tổng hợp và khử trùng lặp tập ngữ liệu, dán nhãn mức độ liên quan, và lấy mẫu tập ngữ liệu phụ.

Truy vấn

Q2D-Web được xây dựng dựa trên 23.000 lượt tìm kiếm thực tế không có PII bằng mười ngôn ngữ và hàng chục lĩnh vực được thu thập trong khoảng thời gian chín tháng.

Một lượt tìm kiếm bao gồm tất cả các lệnh gọi công cụ tìm kiếm web mà một tác nhân thực hiện để phản hồi tin nhắn của người dùng. Mỗi lệnh gọi công cụ chứa một hoặc nhiều truy vấn. Mỗi truy vấn được viết lại từ yêu cầu của người dùng, cuộc trò chuyện trước đó và, nếu có, các tài liệu được truy xuất trước đó trong cùng một tìm kiếm. Mỗi lượt tìm kiếm thực tế chứa một truy vấn chính, nêu lại thông tin mà người dùng cần, và không hoặc nhiều truy vấn hỗ trợ, khám phá các cách diễn đạt thay thế, thông tin nền hoặc các thực thể có liên quan. Mặc dù chúng giải quyết cùng một yêu cầu rộng hơn, chúng có thể yêu cầu các tài liệu khác nhau, vì vậy Q2D-Web đánh giá từng truy vấn một cách độc lập với các đánh giá mức độ liên quan của riêng nó.

Phân phối độ dài và ngôn ngữ của 69.721 truy vấn trong Q2D-Web. Độ dài được tính bằng ký tự; các thanh biểu thị tỷ lệ truy vấn trong mỗi danh mục.
Phân phối các truy vấn Q2D-Web theo các lĩnh vực chủ đề. Các thanh biểu thị tỷ trọng của từng lĩnh vực trong tập truy vấn; "Khác" gồm mười lăm lĩnh vực bổ sung.

Chúng tôi áp dụng bộ lọc quyền riêng tư nghiêm ngặt cho tất cả các truy vấn được bao gồm. Các truy vấn phải đến từ những người dùng cho phép sử dụng dữ liệu của họ và tính năng phát hiện PII bằng cách sử dụng perplexity-ai/pplx-pii-masking sẽ loại trừ các truy vấn chứa thông tin cá nhân. Chúng tôi cũng xóa các bản sao chính xác, các truy vấn rất ngắn và các truy vấn chứa các toán tử tìm kiếm như site: hoặc các cụm từ trong ngoặc kép.

Chuẩn đánh giá bao gồm mười ngôn ngữ. Tiếng Anh chiếm 65,8% số truy vấn, tiếp theo là tiếng Tây Ban Nha, tiếng Nga, tiếng Đức, tiếng Pháp, tiếng Bồ Đào Nha, tiếng Ý, tiếng Hàn, tiếng Nhật và tiếng Trung. Phân phối truy vấn cũng bao gồm nhiều lĩnh vực đa dạng, bao gồm hàng tiêu dùng, lập trình, luật, y tế, kinh doanh, khoa học, giáo dục, công nghệ, tài chính, du lịch, giải trí, chính trị, thông tin địa phương và tin tức.

Tập ngữ liệu

Đối với mọi truy vấn, chúng tôi truy xuất 5.000 tài liệu hàng đầu bằng hệ thống truy xuất thực tế và lấy hợp của các tập kết quả này. Sau đó, chúng tôi khử trùng lặp tập ngữ liệu bằng MinHash–LSH, phân cụm các tài liệu có tập 5-gram token có độ tương đồng Jaccard ít nhất là 0,975.

Bộ sưu tập này cố ý không phải là một mẫu web ngẫu nhiên. Mỗi tài liệu được coi là một kết quả hợp lý cho ít nhất một truy vấn chuẩn. Điều này tạo ra một tập hợp dày đặc các yếu tố gây nhiễu khó: các trang khớp với chủ đề hoặc ngôn ngữ của truy vấn nhưng có thể thiếu ngày tháng, thực thể, phiên bản, số lượng hoặc khía cạnh được yêu cầu.

Phân phối độ dài tài liệu và ngôn ngữ trong tập ngữ liệu gồm khoảng 190 triệu tài liệu. Độ dài được tính bằng ký tự; các thanh biểu thị tỷ lệ tài liệu trong mỗi danh mục.

Các đánh giá

Các nhãn mức độ liên quan vốn dĩ không đầy đủ ở quy mô lớn. Việc dán nhãn cho mọi cặp truy vấn-tài liệu có thể xảy ra là không khả thi, và mỗi nguồn đánh giá mang lại một độ lệch khác nhau.

Q2D-Web sử dụng ba tập mức độ liên quan thay vì coi một nguồn là chân lý gốc, nhằm tăng độ sâu chú thích mà không bị ảnh hưởng bởi một độ lệch duy nhất.

Trích dẫn (Citation) dán nhãn một tài liệu là có liên quan khi một tác nhân trích dẫn nó trong một phản hồi. Đây là tín hiệu gần nhất với việc sử dụng ở hạ nguồn: tác nhân đã chọn tài liệu làm bằng chứng cho một tuyên bố. Nhưng việc trích dẫn có độ chính xác cao và độ thu hồi thấp theo cấu trúc. Khi một tác nhân có đủ hỗ trợ, nó có rất ít lý do để trích dẫn mọi trang có liên quan khác.

Xếp hạng Web (Web Ranking) bao gồm tối đa 50 tài liệu cho mỗi truy vấn (trung bình là 43,1), được xác định bởi một hệ thống truy xuất nội bộ sử dụng BM25 và truy xuất dày đặc ở giai đoạn đầu, theo sau là việc sắp xếp lại bằng bộ mã hóa chéo (cross-encoder reranking). Điều này thu thập các tài liệu hữu ích nhưng không được trích dẫn.

Kết hợp + Được LLM đánh giá (Combined + LLM-Judged) lấy hợp của Trích dẫn và Xếp hạng Web, sau đó thêm các đánh giá của LLM cho các ứng viên chưa được đánh giá trước đó, với mục tiêu giảm số lượng kết quả âm tính giả. Chúng tôi gộp các kết quả từ BM25, ColBERTv2 và bảy bộ truy xuất dày đặc được phát hành trước ngày 1 tháng 1 năm 2025, hợp nhất các bảng xếp hạng của chúng bằng cách sử dụng hợp nhất thứ hạng tương ứng (RRF), chọn ra 500 tài liệu chưa được đánh giá hàng đầu và áp dụng bộ đánh giá mức độ liên quan nhị phân nghiêm ngặt bằng cách sử dụng DeepSeek-V4-Flash.

Ba tập dữ liệu cho phép chúng tôi đặt câu hỏi liệu hiệu suất của mô hình có phụ thuộc vào cách định nghĩa mức độ liên quan hay không. Chúng cũng làm giảm sự phụ thuộc vào một tập nhãn duy nhất, điều này có thể thiên vị các bộ truy xuất tương tự như hệ thống được sử dụng để tạo nhãn.

Phân phối các tài liệu liên quan cho mỗi truy vấn trên thang đo logarit. Các nhãn kết hợp quy tụ các trích dẫn, thứ hạng web và các đánh giá bổ sung từ LLM.

Lấy mẫu phụ: đánh giá hiệu quả ở quy mô lớn

Việc đánh giá toàn bộ tập ngữ liệu rất tốn kém và chậm chạp. Một đánh giá duy nhất trên Q2D-Web với pplx-embed-v1-4b đòi hỏi 4.608 giờ GPU H200, trong khi ngay cả một mô hình nhỏ như EmbeddingGemma-300M cũng đòi hỏi gần 200 giờ GPU H200.

Để giữ cho việc đánh giá có tính thực tế, chúng tôi xây dựng một phiên bản tập con được lấy mẫu của tập ngữ liệu.

Chúng tôi đã chạy một quá trình loại bỏ mở rộng trên các chiến lược lấy mẫu để xây dựng một tập con nhỏ hơn phản ánh hành vi của toàn bộ tập ngữ liệu. Mọi chiến lược đều giữ lại tất cả các tài liệu được đánh giá là tích cực và chỉ thay đổi cách chọn các yếu tố gây nhiễu chưa được đánh giá. Các yếu tố gây nhiễu quan trọng là những yếu tố mà bộ truy xuất có khả năng xếp hạng cao hơn một tài liệu có liên quan, bởi vì chúng làm thay đổi điểm số của mô hình và vị trí của nó trong bảng xếp hạng.

Chúng tôi đã so sánh việc lấy mẫu ngẫu nhiên đồng đều, gom cụm (pooling) đến một độ sâu cố định trên các bộ thu hồi xây dựng và RRF theo từng truy vấn (per-query RRF) ở các độ sâu khác nhau. Việc lấy mẫu dựa trên RRF chỉ sử dụng 31,7% số tài liệu trong toàn bộ tập ngữ liệu. Phương pháp này bảo toàn thứ hạng mô hình trên toàn bộ tập ngữ liệu theo các tập đánh giá Kết hợp, đồng thời duy trì gần gũi với điểm số tuyệt đối, làm tăng mức trung bình của Recall@1000 thêm 5,2 điểm so với 12,8 điểm của việc lấy mẫu ngẫu nhiên ở cùng quy mô.

Độ thu hồi trung bình Recall@1000 và mức độ tương đồng với thứ hạng mô hình trên toàn bộ tập ngữ liệu theo các tập đánh giá Kết hợp qua các chiến lược lấy mẫu. Phương pháp kết hợp hạng tương hỗ (RRF) bảo toàn thứ hạng của các mô hình được đánh giá bằng cách sử dụng 31,7% tập ngữ liệu, với mức tăng độ thu hồi ít hơn so với việc lấy mẫu ngẫu nhiên.

Điều này làm giảm chi phí đánh giá xuống khoảng một phần ba chi phí toàn bộ tập ngữ liệu. Sử dụng tập con dựa trên RRF, pplx-embed-v1-4b tiêu tốn khoảng 1.500 giờ GPU H200 và EmbeddingGemma-300M tiêu tốn dưới 70 giờ.

Mỗi bài nộp được đánh giá trước tiên trên phiên bản tập con được lấy mẫu. Các bài nộp được chia thành hai nhóm theo tổng số lượng tham số: tối đa 1B và trên 1B. Một mô hình lọt vào top mười của nhóm trên tập con được lấy mẫu sau đó sẽ được đánh giá trên toàn bộ tập ngữ liệu. Các mô hình xếp ngoài top 10 trong nhóm của chúng sẽ chỉ được công bố trên bảng xếp hạng tập con được lấy mẫu.

Kết quả đánh giá

Trên các mô hình được đánh giá, Q2D-Web cung cấp một cái nhìn nhất quán về hiệu suất truy xuất ở quy mô web trên 3 tập mức độ liên quan khác nhau của nó. Bảng xếp hạng làm cho các góc nhìn bổ sung này có sẵn song song, cho phép người dùng kiểm tra cách các mô hình hoạt động dưới các nhãn dựa trên trích dẫn hẹp hơn và các đánh giá mức độ liên quan rộng hơn.

Chúng tôi tập trung vào Recall@1000 làm chỉ số chính vì bộ truy xuất giai đoạn đầu chỉ cần đặt các tài liệu có liên quan vào nhóm ứng viên, trong khi việc sắp xếp lại sau đó sẽ quyết định thứ tự cuối cùng của chúng.

Combined Recall@1000 so với Combined nDCG@10 cho mười ba bộ truy xuất, được nhóm theo họ mô hình. Mô hình đạt điểm cao nhất khác nhau giữa hai chỉ số.

Bảng 1. Recall@1000 và nDCG@10 trên toàn bộ tập ngữ liệu cho mười ba bộ thu hồi qua các tập mức độ liên quan Trích dẫn, Xếp hạng Web và Kết hợp. Điểm số càng cao càng tốt.

Mô hình

Recall@1000: Trích dẫn

Recall@1000: Xếp hạng Web

Recall@1000: Kết hợp

nDCG@10: Trích dẫn

nDCG@10: Xếp hạng Web

nDCG@10: Kết hợp

BM25-tantivy

60,84

42,50

45,25

7,30

11,45

29,27

EmbeddingGemma-300M

80,10

58,93

66,24

12,21

17,30

41,95

mDenseOn

73,72

52,56

60,09

10,08

15,06

38,87

Nemotron-3-Embed-1B

75,64

54,37

62,44

9,69

14,83

38,84

Nemotron-3-Embed-8B

83,14

61,73

69,33

13,17

18,69

45,65

pplx-embed-v1-0.6b

81,85

62,15

67,91

12,52

19,76

42,73

pplx-embed-v1-4b

85,03

65,73

70,00

14,18

21,29

44,12

Qwen3-Embedding-0.6B

71,19

51,82

58,68

8,53

14,11

36,19

Qwen3-Embedding-4B

76,49

55,60

62,78

9,91

14,97

38,82

Qwen3-Embedding-8B

79,26

58,34

65,32

10,75

16,27

41,20

voyage-4-nano

69,55

50,14

57,42

6,96

11,77

30,59

mLateOn

74,16

53,12

61,77

10,94

15,51

41,61

pplx-embed-v1-late-0.6b

78,64

58,14

64,20

11,88

17,25

41,77

pplx-embed-v1-4b đạt điểm Recall@1000 cao nhất trên cả ba tập đánh giá: Trích dẫn (85,03), Xếp hạng Web (65,73) và Kết hợp (70,00). Trên Combined Recall@100 và nDCG@10, Nemotron-3-Embed-8B (30,32 và 45,65) đạt điểm cao hơn pplx-embed-v1-4b (30,17 và 44,12).

Trong cùng một họ mô hình, các mô hình lớn hơn đạt điểm cao hơn về Combined Recall@1000. Qwen3-Embedding tăng từ 58,68 (0,6B) lên 65,32 (8B), Nemotron-3-Embed từ 62,44 (1B) lên 69,33 (8B) và pplx-embed-v1 từ 67,91 (0,6B) lên 70,00 (4B).

Các mô hình Perplexity được đánh giá bằng cách sử dụng cùng một quy trình như tất cả các mô hình được gửi khác. Tuy nhiên, vì Q2D-Web được lấy từ lưu lượng truy cập thực tế của Perplexity, các mô hình này có thể hưởng lợi từ lợi thế trong phân phối. Mặc dù các truy vấn đánh giá và tập ngữ liệu của chuẩn đánh giá đã bị loại khỏi quá trình huấn luyện mô hình, kết quả vẫn nên được giải thích với lợi thế tiềm năng này trong tâm trí.

Cách gửi bài lên Bảng xếp hạng

Để yêu cầu đánh giá, hãy gửi mô hình Hugging Face có sẵn công khai thông qua biểu mẫu yêu cầu đánh giá của chúng tôi.

Chúng tôi tuân theo thẻ mô hình trong kho lưu trữ đã gửi cho các cài đặt suy luận dành riêng cho mô hình, bao gồm các hướng dẫn hoặc tiền tố truy vấn và tài liệu được khuyến nghị, gộp nhóm, chuẩn hóa và hàm tương đồng. Tất cả các truy vấn và tài liệu được cắt ngắn thành 512 token bằng chính bộ tách token của mô hình, bao gồm các hướng dẫn, tiền tố và token đặc biệt, vì vậy ngữ cảnh được hỗ trợ dài hơn không mang lại lợi thế nào. Vui lòng đảm bảo thẻ mô hình cung cấp các hướng dẫn đầy đủ, không mơ hồ để tái生成 thiết lập truy xuất dự kiến.

Các mô hình đủ điều kiện phải tải qua các API transformers hoặc sentence-transformers tiêu chuẩn. Các mô hình không chạy với trust_remote_code=False yêu cầu xem xét thủ công về mã tùy chỉnh và người gửi trước khi đánh giá, quá trình này sẽ mất nhiều thời gian hơn đáng kể. Các kho lưu trữ riêng tư hoặc có cổng bảo vệ không đủ điều kiện.

Đọc báo cáo kỹ thuật của chúng tôi để tìm hiểu thêm về phương pháp luận và các phát hiện.

Trích dẫn

BibTeX
@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}