Vector nhúng theo ngữ cảnh vượt ra ngoài đoạn vàng

Các vectơ nhúng theo ngữ cảnh nắm bắt ý nghĩa của mỗi đoạn văn hoặc đoạn trong ngữ cảnh của toàn bộ tài liệu. Việc huấn luyện và đánh giá của chúng thường giả định một đoạn liên quan duy nhất cho mỗi truy vấn, được gọi là “đoạn vàng”. Tuy nhiên, đoạn vàng thường là không đủ trong thực tế. Nó có thể chứa câu trả lời nhưng thiếu ngữ cảnh hỗ trợ cần thiết để hiểu hoặc xác minh nó, khiến nó trở nên mơ hồ khi đứng một mình.

Chúng tôi giới thiệu pplx-embed-v2-context-9b-preview, mô hình nhúng theo ngữ cảnh mới của chúng tôi. Mô hình được huấn luyện bằng một cách tiếp cận mới sử dụng mô hình nén ngữ cảnh của Perplexity làm giáo viên. Chúng tôi tổng hợp các dự đoán cấp mã thông báo của nó thành điểm số liên quan cấp đoạn, dạy mô hình nhúng truy xuất cả các đoạn trả lời và ngữ cảnh hỗ trợ thay vì một đoạn vàng duy nhất. Mô hình tạo ra một vectơ nhúng cho mỗi đoạn mà không có chi phí suy luận bổ sung và hỗ trợ các vectơ nhúng 1024 chiều và int8.

Nó đạt được kết quả tiên tiến trên context-bench, một điểm chuẩn mới cho việc truy xuất nhận biết ngữ cảnh được tạo ra và giữ kín bởi turbopuffer, và trên ConTEB, một điểm chuẩn công khai được sử dụng rộng rãi. Mô hình của chúng tôi được phát triển độc lập với context-bench và được đánh giá như một lần gửi mù.

Context-bench bao gồm 2.099 truy vấn trên 38.894 tài liệu dài trong 21 lĩnh vực và đánh giá ba năng lực của các vectơ nhúng theo ngữ cảnh: phân biệt tài liệu giữa các tài liệu gần giống nhau, truy xuất các đoạn vàng có nghĩa phụ thuộc vào ngữ cảnh ở xa, và gợi nhớ lại bằng chứng hỗ trợ cần thiết để xác minh câu trả lời.

Bản xem trước của mô hình hiện có sẵn công khai trên Hugging Face. Điểm chuẩn được giữ kín bởi turbopuffer để giảm rủi ro ô nhiễm dữ liệu huấn luyện và bảo tồn giá trị của nó trong việc đo lường tiến độ. Để yêu cầu đánh giá, vui lòng liên hệ với turbopuffer tại contextbench@turbopuffer.com.

Kết quả truy xuất tài liệu, câu trả lời và bằng chứng trên context-bench — Hình 1: Answer@K, Document@K, Evidence Recall@K và All-Evidence@10 trên context-bench, so sánh Perplexity v2 preview 9B với Voyage Context 4, Voyage 4 Large và Perplexity context v1 4B.

Các hệ thống truy xuất thường chia các tài liệu dài thành các đoạn nhỏ hơn có thể được lập chỉ mục và tìm kiếm một cách độc lập. Việc chia đoạn thuận tiện trong thực tế, nhưng nó loại bỏ ngữ cảnh mà mỗi đoạn ban đầu xuất hiện, tạo ra sự đánh đổi giữa mức độ chi tiết của việc nén thông tin và ngữ cảnh được sử dụng trong quá trình mã hóa. Một đoạn có thể đề cập đến một thực thể được giới thiệu trước đó, kế thừa ý nghĩa của nó từ tiêu đề phần hoặc dựa vào các định nghĩa nằm ở nơi khác trong tài liệu. Sau khi được trích xuất, nó có thể không còn chứa đủ thông tin để được khớp đáng tin cậy với một truy vấn. Mã hóa toàn bộ tài liệu thành một vectơ duy nhất không giải quyết được vấn đề này, vì một biểu diễn được gộp nhóm không thể nắm bắt trung thực mọi khía cạnh của một tài liệu dài.

Các mô hình nhúng theo ngữ cảnh giải quyết hạn chế này bằng cách biểu diễn mỗi đoạn trong ngữ cảnh của nội dung xung quanh nó, phổ biến nhất thông qua chia đoạn trễ (late chunking): tài liệu được mã hóa trong một lần truyền duy nhất và các biểu diễn đoạn được gộp nhóm sau đó, sao cho mọi vectơ đoạn được tính toán với toàn bộ tài liệu trong tầm nhìn. Công việc trước đây, chẳng hạn như ConTEB và pplx-embed-context-v1 của chính chúng tôi, đã chỉ ra rằng các biểu diễn đoạn theo ngữ cảnh cải thiện đáng kể việc truy xuất qua các đoạn được mã hóa độc lập, đặc biệt là trên các tài liệu dài.

Việc huấn luyện các mô hình nhúng theo ngữ cảnh đòi hỏi sự giám sát xác định phần nào của tài liệu có liên quan đến một truy vấn cho trước. Một cách tiếp cận phổ biến là chú thích đoạn vàng: đối với mỗi truy vấn, một người chú thích, thường là một mô hình ngôn ngữ lớn (LLM), xác định đoạn của tài liệu trả lời cho truy vấn đó.

Việc huấn luyện thường kết hợp hai hàm mất mát tương phản: hàm mất mát đối nghịch cấp tài liệu đối chiếu đoạn vàng với các đoạn từ các tài liệu khác, và hàm mất mát trong tài liệu đối chiếu nó với các đoạn khác trong cùng một tài liệu.

Cách tiếp cận này có một vài hạn chế:

Chỉ có một đoạn là liên quan. Nó coi mọi đoạn khác trong tài liệu là âm tính, bao gồm cả những đoạn có thông tin hỗ trợ hữu ích. Sự giám sát cấp tài liệu hoạt động ở thái cực ngược lại. Nó xác định tài liệu là có liên quan mà không chỉ định đoạn nào trong đó là quan trọng. Trong thực tế, mức độ liên quan thường nằm giữa các thái cực này. Đoạn chứa câu trả lời có thể phụ thuộc vào một vài đoạn hỗ trợ giới thiệu một thực thể, giải quyết một tham chiếu hoặc cung cấp một sự thật bổ sung, trong khi phần còn lại của tài liệu là không liên quan. Do đó, mô hình phải học mức độ lựa chọn phù hợp: rộng hơn một đoạn vàng duy nhất, nhưng tập trung hơn so với tổng thể tài liệu.
Giám sát thô. Bởi vì mỗi chú thích xác định một đoạn vàng duy nhất thay vì nắm bắt mức độ liên quan trên toàn bộ tài liệu, nó cung cấp các tín hiệu huấn luyện hạn chế cho lượng tính toán bỏ ra để tạo ra nó.
Tốn kém khi mở rộng quy mô. Mọi cặp huấn luyện đều yêu cầu một LLM đọc tài liệu và chọn đoạn liên quan, vì vậy chi phí chú thích tăng tuyến tính theo kích thước của tập dữ liệu huấn luyện và giới hạn mức độ cũng như tính đa dạng của dữ liệu huấn luyện.
Nhạy cảm với ranh giới đoạn. Các nhãn cũng gắn liền với các ranh giới đoạn được sử dụng trong quá trình chú thích. Nhãn vàng được gán cho một cửa sổ kích thước mã thông báo cố định không chỉ định câu ngắn hơn hay đoạn dài hơn nào có liên quan. Do đó, việc thay đổi chiến lược chia đoạn, hoặc huấn luyện trên nhiều cách chia đoạn để cải thiện tính mạnh mẽ đối với cách các tài liệu được tách ra tại thời điểm lập chỉ mục, có thể yêu cầu chú thích lại tập ngữ liệu.

Chúng tôi giải quyết các hạn chế của việc giám sát đoạn vàng bằng cách chắt lọc các đánh giá mức độ liên quan từ mô hình nén ngữ cảnh nhận biết truy vấn. Mô hình này đóng vai trò là giáo viên: nó đọc truy vấn và tài liệu cùng nhau và gán cho mỗi mã thông báo tài liệu một điểm số liên quan. Các dự đoán của nó mang lại một số lợi thế cho việc huấn luyện các vectơ nhúng theo ngữ cảnh:

Ranh giới đoạn linh hoạt. Điểm số liên quan cấp mã thông báo có thể được tổng hợp trên bất kỳ ranh giới đoạn nào đã chọn, cho phép các dự đoán của giáo viên giám sát việc chia đoạn khác nhau mà không cần chú thích lại.
Mức độ liên quan liên tục. Không giống như các nhãn đoạn vàng nhị phân, giáo viên cung cấp điểm số liên tục nắm bắt mức độ liên quan phân biệt tự nhiên các đoạn chứa câu trả lời, ngữ cảnh hỗ trợ và nội dung không liên quan.
Chi phí chú thích thấp hơn. Giáo viên nhỏ gọn và chuyên biệt trong việc chấm điểm mức độ liên quan, giúp việc giám sát ở quy mô lớn rẻ hơn nhiều so với một LLM đa năng.

Chúng tôi huấn luyện mô hình của mình với tổng có trọng số của hàm mất mát đối nghịch cấp tài liệu và hàm mất mát chắt lọc cấp đoạn trên các lô cặp truy vấn-tài liệu. Đối với mỗi truy vấn, tài liệu được ghép đôi đóng vai trò là mẫu dương tính, trong khi các tài liệu còn lại trong cùng một lô đóng vai trò là mẫu âm tính.

Đối với mỗi lô, chúng tôi ngẫu nhiên chọn một chiến lược chia đoạn, chia nhỏ các tài liệu cho phù hợp và chèn các mã thông báo phân tách giữa các đoạn. Sau đó, chúng tôi xử lý từng tài liệu trong một lần truyền chuyển tiếp duy nhất và lấy trung bình các biểu diễn mã thông báo trong mỗi đoạn để có được các vectơ nhúng đoạn theo ngữ cảnh. Các truy vấn được mã hóa riêng biệt, với việc lấy trung bình trên các biểu diễn mã thông báo của chúng. Cuối cùng, chúng tôi tính toán độ tương đồng cô-sin giữa mọi vectơ nhúng truy vấn và mọi vectơ nhúng đoạn trong lô.

Mặc dù mô hình nhúng của chúng tôi chỉ tạo ra các độ tương đồng cấp đoạn, chúng tôi có thể tự nhiên suy ra các độ tương đồng cấp tài liệu từ chúng. Chúng tôi coi một tài liệu d có liên quan đến một truy vấn q tương đương với đoạn có liên quan nhất của nó. Quy tắc tính điểm này lấy cảm hứng từ hoạt động MaxSim của ColBERT, được áp dụng ở đây cho các đoạn thay vì mã thông báo.

Cụ thể, cho một truy vấn q với vectơ nhúng q và một tài liệu d dưới dạng một danh sách có thứ tự các đoạn c với các vectơ nhúng c, chúng tôi định nghĩa độ tương đồng cấp tài liệu là:

s(q,d):=\max_{c\in d}\mathbf{q}^{\top}\mathbf{c}.

Cho các độ tương đồng cấp tài liệu này, chúng tôi có thể xây dựng mục tiêu InfoNCE cấp tài liệu trên các mẫu âm tính trong lô.

Đối với một truy vấn q, gọi d⁺ biểu thị tài liệu liên quan của nó và 𝒟 là các tài liệu trong lô. Hàm mất mát đối nghịch như sau, bỏ qua nhiệt độ để dễ đọc:

\mathcal{L}_{\mathrm{doc}}(q,d^{+})=-\log\frac{\exp(s(q,d^{+}))}{\sum_{d\in\mathcal{D}}\exp(s(q,d))}

Hàm mất mát đối nghịch dạy cho mô hình tài liệu nào có liên quan đến một truy vấn. Hàm mất mát chắt lọc dạy cho nó biết mức độ liên quan nằm ở đâu trong tài liệu đó, điều này là thiết yếu đối với một mô hình theo ngữ cảnh.

Trong quá trình huấn luyện, chúng tôi chuyển từng cặp truy vấn–tài liệu dương tính đến mô hình nén ngữ cảnh của chúng tôi, mô hình này gán điểm số liên quan cho mọi mã thông báo trong tài liệu. Giống như việc tính điểm cấp tài liệu, chúng tôi suy ra mức độ liên quan của mỗi đoạn từ các nội dung có liên quan nhất của nó. Để giảm độ nhạy cảm đối với các mã thông báo ngoại lai, bao gồm cả những mã thông báo ở ranh giới đoạn, chúng tôi định nghĩa mức độ liên quan cấp đoạn là giá trị trung bình của top n điểm số mã thông báo trong đoạn.

Đối với mỗi truy vấn, chúng tôi áp dụng hàm softmax được chia tỷ lệ theo nhiệt độ cho điểm số liên quan cấp đoạn của giáo viên trong tài liệu dương tính để thu được phân phối mục tiêu. Các đoạn trong các tài liệu khác trong lô nhận xác suất mục tiêu bằng không. Chúng tôi huấn luyện mô hình nhúng để khớp với mục tiêu này bằng cách thiểu hóa độ phân kỳ KL chuyển tiếp giữa mục tiêu và phân phối dự đoán của nó trên tất cả các đoạn trong lô:

\mathcal{L}_{\mathrm{dist}}(q,d^{+})=\mathrm{KL}\!\left(p^{\mathrm{T}}\parallel p^{\mathrm{S}}\right)

p^{\mathrm{T}}(c_j)=\frac{\exp(r_j)}{\sum_{c_k\in d^{+}}\exp(r_k)}

p^{\mathrm{S}}(c)=\frac{\exp(\mathbf{q}^{\top}\mathbf{c})}{\sum_{d\in\mathcal{D}}\sum_{c_k\in d}\exp(\mathbf{q}^{\top}\mathbf{c}_k)}

Ở đây, các siêu chữ cái T và S chỉ giáo viên và học sinh, và rⱼ là điểm số liên quan của giáo viên cho đoạn cⱼ trong tài liệu dương tính d⁺. Phân phối mục tiêu của giáo viên gán xác suất bằng không cho các đoạn trong tất cả các tài liệu khác trong lô.

Không giống như nhãn đoạn vàng đơn lẻ, mục tiêu này nắm bắt các mức độ liên quan. Các đoạn hỗ trợ nhận trọng số theo điểm số của giáo viên thay vì được coi là các mẫu âm tính, dạy cho mô hình truy xuất ngữ cảnh hỗ trợ cũng như câu trả lời.

Mục tiêu huấn luyện kết hợp của chúng tôi là tổng có trọng số của hàm mất mát đối nghịch cấp tài liệu và hàm mất mát chắt lọc cấp đoạn. Chúng tôi tính trung bình hàm mất mát có trọng số này trên lô cặp truy vấn–tài liệu.

Hình 2 minh họa phương pháp huấn luyện của chúng tôi. Bộ nén ngữ cảnh chỉ đóng vai trò là giáo viên trong quá trình huấn luyện. Tại thời điểm suy luận, mô hình nhúng tạo ra một vectơ nhúng theo ngữ cảnh cho mỗi đoạn, không có thêm giai đoạn nén hoặc xếp hạng lại nào. Phương pháp này cải thiện cách các vectơ nhúng theo ngữ cảnh được học mà không làm tăng dung lượng lưu trữ chỉ mục hoặc thêm độ trễ của mô hình giáo viên tại thời điểm truy xuất.

Cài đặt huấn luyện cho việc chắt lọc vectơ nhúng theo ngữ cảnh — Hình 2: Cài đặt huấn luyện của mô hình của chúng tôi. Bộ mã hóa theo ngữ cảnh (học sinh, bên trái) xử lý các tài liệu, mỗi tài liệu bao gồm một số đoạn. Mỗi đoạn được nhúng liên quan đến ngữ cảnh tài liệu xung quanh nó. Truy vấn A là một kết quả khớp đã biết cho Tài liệu A và được chấm điểm dựa trên các đoạn của tất cả các tài liệu để thu được độ tương đồng dự đoán. Các điểm số cấp đoạn này được gộp max-pool thành điểm số cấp tài liệu. Chúng tôi huấn luyện các dự đoán cấp đoạn và dự đoán cấp tài liệu để khớp với các phân phối mục tiêu (bên phải). Mục tiêu cấp đoạn được tính toán tại thời điểm huấn luyện dưới dạng dự đoán của bộ nén ngữ cảnh trong tài liệu liên quan đã biết và được đặt thành không trong các tài liệu không liên quan đã biết. Phân phối mục tiêu cấp tài liệu được đặt thành dạng one-hot trên tài liệu liên quan đã biết.

Dữ liệu huấn luyện bao gồm khoảng 430 tập dữ liệu truy vấn–tài liệu công khai và nội bộ bao gồm hơn 50 ngôn ngữ.

Chúng tôi xây dựng các tập dữ liệu cặp nội bộ từ dữ liệu sản xuất đã được lọc PII và bằng cách tổng hợp các truy vấn có liên quan qua các tài liệu dài. Đối với mỗi lần chuyển tiếp (forward pass), chúng tôi chọn một tập dữ liệu và lấy mẫu toàn bộ một lô từ đó để tăng độ khó của các mẫu âm trong lô và tránh việc học đường tắt. Không có tập dữ liệu huấn luyện nào của chúng tôi mang chú thích cấp đoạn: tất cả sự giám sát trong tài liệu đều đến từ mô hình nén và không có dữ liệu ConTEB nào được sử dụng để huấn luyện. Hơn nữa, không có dữ liệu context-bench nào khả dụng trong quá trình phát triển mô hình.

Mô hình bắt đầu từ mô hình truy xuất ColBERT 9B tham số nội bộ và tạo ra các vectơ nhúng 2048 chiều thông qua một lớp chiếu tuyến tính. Chúng tôi đánh dấu ranh giới đoạn bằng mã thông báo <|chunk_sep|> đã học và hình thành mỗi vectơ nhúng đoạn bằng cách lấy trung bình các vectơ nhúng mã thông báo của nó. Các truy vấn được mã hóa bởi cùng một mô hình, với các vectơ nhúng mã thông báo của chúng được tính trung bình thành một vectơ duy nhất.

Chúng tôi sử dụng huấn luyện Matryoshka để hỗ trợ cả vectơ nhúng 1024 và 2048 chiều, và huấn luyện nhận biết lượng tử hóa để hỗ trợ vectơ nhúng int8 nguyên bản. Trong quá trình huấn luyện, chúng tôi tăng dần tốc độ học, giữ nguyên tốc độ đó, rồi sau đó giảm xuống.

Mô hình được phát hành là một tổ hợp mô hình (model soup) tính trung bình trọng số của một số điểm kiểm tra từ cùng một lần chạy huấn luyện.

Các điểm chuẩn truy xuất theo ngữ cảnh công khai như ConTEB có chung giả định đằng sau việc giám sát đoạn vàng: mỗi truy vấn có một đoạn liên quan duy nhất và mô hình chỉ được thưởng khi xếp hạng đoạn đó ở vị trí đầu tiên. Chúng cũng kế thừa các hạn chế của nó.

Đầu tiên, ConTEB kiểm tra việc truy xuất trên các tác vụ mà một đoạn có thể có mơ hồ nếu không có ngữ cảnh xung quanh. Trong các tác vụ này, các mô hình theo ngữ cảnh vượt trội hơn các mô hình mã hóa từng đoạn một cách độc lập. Tuy nhiên, nó không hỏi liệu mô hình có hiển thị các phần khác của tài liệu làm cho đoạn đó dễ hiểu hay không.

Thứ hai, nó không kiểm tra một cách có hệ thống xem có thể tìm thấy tài liệu phù hợp hay không khi các tài liệu gần như giống hệt nhau trong cùng một tập ngữ liệu chỉ khác nhau ở ngữ cảnh xung quanh một câu giống hệt nhau.

Cả hai năng lực đều quan trọng khi một tác nhân tìm kiếm hoặc người dùng phải hiểu và xác minh câu trả lời từ một vài câu được truy xuất thay vì toàn bộ tài liệu. Do đó, chúng tôi đã xây dựng context-bench, một điểm chuẩn có kiểm soát để truy xuất trên các tài liệu dài, được thiết kế để phân biệt việc sử dụng ngữ cảnh tài liệu với chất lượng truy xuất chung. Nó kiểm tra xem các vectơ nhúng theo ngữ cảnh có sử dụng thông tin từ nơi khác trong tài liệu để hỗ trợ ba năng lực hay không:

Phân biệt tài liệu: Xác định tài liệu chính xác trong số các lựa chọn thay thế gần như giống hệt nhau.
Truy xuất câu trả lời: Truy xuất các đoạn chứa câu trả lời có nghĩa phụ thuộc vào các chi tiết ở nơi khác trong tài liệu.
Truy xuất bằng chứng: Truy xuất các đoạn hỗ trợ làm rõ hoặc chứng minh cho câu trả lời.

Context-bench chứa 2.099 truy vấn và 38.894 tài liệu. Các đoạn có độ dài bằng câu được sử dụng, tạo ra tổng cộng 2.458.072 đoạn. Các truy vấn bao gồm 21 lĩnh vực bao gồm hồ sơ doanh nghiệp, nghiên cứu lâm sàng, du lịch, giải trí, giáo dục, chính phủ, hợp đồng pháp lý và tài liệu phần mềm.

Mỗi truy vấn được thiết kế để kiểm tra một trong mười hai năng lực theo ngữ cảnh. Các tài liệu mục tiêu chính được chủ đích làm cho dài: 1.061 trong số 1.197 tài liệu mục tiêu chính riêng biệt có ít nhất 200 câu, với độ dài trung vị khoảng 6.100 mã thông báo. Mọi truy vấn đều có chính xác một câu trả lời đúng trong tập ngữ liệu. Khi cùng một sự thật được trình bày nhiều hơn một lần trong tài liệu vàng, ví dụ như trong một câu tóm tắt và một hàng trong bảng, bất kỳ câu nào trong số đó cũng được chấp nhận là câu trả lời.

Đường dẫn câu trả lời là một tổ hợp hợp lệ gồm một đoạn trả lời và bằng chứng hỗ trợ cần thiết để diễn giải hoặc xác minh nó. Trong số 2.099 truy vấn, đường dẫn câu trả lời của tài liệu mục tiêu chính có một nhóm bằng chứng cho 964 truy vấn, hai nhóm cho 735 truy vấn, ba nhóm trở lên cho 332 truy vấn và không có nhóm nào cho 68 truy vấn. Các đường dẫn câu trả lời thay thế hợp lệ có thể yêu cầu các nhóm bằng chứng khác nhau.

Bảng 1: Thống kê điểm chuẩn.

Thống kê	Giá trị
Truy vấn	2.099
Tài liệu	38.894
Đoạn câu	2.458.072
Độ dài tài liệu mục tiêu chính trung vị	6.100 mã thông báo
Lĩnh vực	21
Nhóm bằng chứng cho mỗi truy vấn (đường dẫn câu trả lời tài liệu mục tiêu chính)	1: 964; 2: 735; 3+: 332; không có: 68

Bảng 2: Mười hai năng lực theo ngữ cảnh được kiểm tra bởi context-bench, kèm theo các ví dụ minh họa.

Năng lực	Truy vấn ví dụ	Đoạn chứa câu trả lời	Ngữ cảnh tài liệu bắt buộc
1. Nhận dạng thực thể	Northlake đã chi bao nhiêu cho việc mua lại cổ phiếu?	Công ty đã mua lại 12,8 tỷ USD cổ phiếu.	Phần giới thiệu xác định Northlake là “công ty”. Báo cáo Southlake tương tự không liên quan.
2. Thời kỳ hoặc phiên bản	Hộp mực nào phù hợp với M40 phiên bản B?	Lắp hộp mực KC-42.	Phần phạm vi áp dụng cho biết các hướng dẫn này bao gồm phiên bản B, chứ không phải phiên bản C.
3. Định nghĩa và bí danh	Tỷ lệ rút lui của nhóm 15 mg là bao nhiêu?	Zeta có tỷ lệ rút lui là 12,7%.	Báo cáo định nghĩa Zeta là nhóm 15 mg. Nếu không có định nghĩa đó, đoạn văn sẽ không xác định được nhóm được yêu cầu.
4. Cấu trúc bảng	Dung lượng pin của mẫu Max là bao nhiêu?	Dung lượng thông thường: 4.250 \| 4.700 \| 5.150.	Tiêu đề bảng thiết lập Mini \| Base \| Max, tính bằng mAh. Do đó, câu trả lời là 5.150 mAh.
5. Điều kiện và ngoại lệ	Thời gian bảo hành pin cho mục đích thương mại là bao lâu?	Bảo hành pin kéo dài 18 tháng.	Phần giới thiệu hạn chế bảo hành này đối với các cơ sở thương mại; các cơ sở gia đình có chính sách bảo hành khác.
6. Tham chiếu và đại từ	Mara trở thành phó thị trưởng khi nào?	Bà nhậm chức vào năm 2021.	Phần tường thuật trước đó thiết lập rằng “cô ấy” đề cập đến Mara, chứ không phải Elin, người cũng được thảo luận.
7. Thứ tự và vị trí danh sách	Bài hát nào mở đầu phần biểu diễn thêm (encore)?	14. Lantern Road.	Một ghi chú ở nơi khác cho biết các bài hát 14–16 cấu thành phần biểu diễn thêm. Do đó, bài hát số 14 là bài hát mở đầu.
8. Phạm vi phần	Ống kính nào được sử dụng cho quay phim của bộ phim?	Ống kính cố định 35 mm được sử dụng xuyên suốt.	Đoạn này thuộc về “Quay phim chính,” chứ không phải phần riêng biệt về ảnh quảng cáo.
9. Quy thuộc người nói	Thị trưởng đã hứa ngày mở cửa lại là khi nào?	Chúng tôi sẽ mở cửa trở lại vào ngày 12 tháng Sáu.	Bản ghi chép xác định thị trưởng là người nói. Cùng những lời đó từ một nhà thầu sẽ không xác nhận lời hứa của thị trưởng.
10. Thay đổi theo thời gian	Thời gian thông báo nào được áp dụng sau bản sửa đổi tháng Năm?	Thời hạn thông báo hiện là 45 ngày.	Lịch sử sửa đổi xác định rằng thay đổi này có hiệu lực vào tháng Năm, thay thế quy tắc 30 ngày trước đó.
11. Mối quan hệ nguyên nhân kết quả	Tại sao máy bơm phía tây dừng hoạt động?	Lỗi đó đã gây ra sự cố ngừng hoạt động.	Cuộc điều tra xác định “lỗi đó” là ổ bi bị kẹt trong máy bơm phía tây và phân biệt nó với tình trạng tắc nghẽn đường ống hút không liên quan.
12. Nghĩa bóng hoặc nghĩa đa ngôn ngữ	Nghĩa bóng: “Phòng mùa đông” tượng trưng cho điều gì trong bài thơ? Đa ngôn ngữ: Hướng dẫn bằng tiếng Pháp yêu cầu kỹ thuật viên tháo bộ phận nào?	Nghĩa bóng: Nó tượng trưng cho sự lưu đày, thay vì một căn phòng vật lý. Đa ngôn ngữ: Retirez le capot. (Tháo nắp ra.)	Nghĩa bóng: Phần bình luận xác định “nó” là hình ảnh “phòng mùa đông” xuất hiện lặp đi lặp lại trong bài thơ. Đa ngôn ngữ: Bảng chú giải của hướng dẫn chỉ định rằng “capot” có nghĩa là nắp đậy động cơ bảo vệ, chứ không phải nắp đậy vận chuyển.

Các truy vấn, tài liệu và năng lực được kiểm tra lấy cảm hứng từ các cuộc trò chuyện với khách hàng của turbopuffer.

Để lấy một ví dụ, hãy xem xét nhu cầu tìm kiếm của một công ty quản lý tài sản. Các công ty này có hàng trăm, đôi khi hàng nghìn thỏa thuận thuê nhà chỉ khác nhau về tên người thuê, ngày tháng và một vài chi tiết quan trọng khác. Một truy vấn phổ biến cho tập dữ liệu đó có thể là “hợp đồng thuê của số 5 Park Avenue kết thúc khi nào và tiền thuê hiện tại là bao nhiêu?”. Các thỏa thuận thuê nhà cũng có thể rất dài và các thành phần phân biệt quan trọng xác nhận rằng bạn đã truy xuất đúng tài liệu (như ngày tháng, địa chỉ, tên người thuê, v.v.) thường có thể cách rất xa câu trả lời chính chứa số tiền thanh toán tiền thuê nhà hàng tháng. Trong thực tế, các câu giống hệt nhau như “Tiền thuê hàng tháng là $X,XXX.” có thể xuất hiện ở nhiều tài liệu trong tập ngữ liệu.

Một mô hình nhúng theo ngữ cảnh tốt nên sử dụng ngữ cảnh từ khắp tài liệu để xác định tài liệu chính xác và truy xuất cả câu trả lời lẫn các câu hỗ trợ của nó. Điều này cho phép người dùng hoặc tác nhân tìm kiếm nhanh chóng xác minh câu trả lời và xác nhận rằng nó đến từ đúng tài liệu.

Đối với mỗi truy vấn, chúng tôi gắn nhãn các câu “câu trả lời” và “bằng chứng” trong tài liệu mục tiêu. Một mô hình vượt qua bài kiểm tra “độ đầy đủ của người đọc” của chúng tôi nếu nó truy xuất một câu trả lời cùng với ít nhất một câu từ mỗi nhóm bằng chứng. Cùng nhau, các câu này cung cấp đủ ngữ cảnh để người đọc xác minh câu trả lời bằng bằng chứng hỗ trợ.

Khi các mô hình nhúng theo ngữ cảnh thực hiện việc này tốt, chúng có thể giảm đáng kể số lượng mã thông báo mà các tác nhân tìm kiếm cần xem xét cũng như giúp con người dễ dàng xác nhận nhanh chóng rằng họ đã định vị được câu trả lời chính xác cho truy vấn ban đầu của mình mà không phải đọc toàn bộ tài liệu.

Mọi nhóm bằng chứng phải được khôi phục, nhưng bất kỳ lựa chọn thay thế nào trong số các lựa chọn thay thế của một nhóm đều đủ để khôi phục nó. Thường thấy cùng một sự thật được nêu ở vài nơi trong các tài liệu dài này. Việc truy xuất chỉ một câu từ mỗi nhóm bằng chứng đáp ứng các tiêu chí đầy đủ của người đọc và do đó sẽ được chấp nhận là việc thu hồi bằng chứng hoàn hảo.

Mọi tài liệu được chia thành các câu, và các ranh giới giống nhau được sử dụng cho tất cả các mô hình. Hai điều kiện được kiểm tra cho các mô hình nhúng phi ngữ cảnh: một điều kiện trong đó mỗi câu được nhúng độc lập và điều kiện còn lại trong đó toàn bộ tài liệu được nhúng thành một đoạn duy nhất.

Chúng tôi sử dụng điều kiện cấp câu để đo lường độ thu hồi câu trả lời và độ thu hồi bằng chứng. Nó kiểm tra xem một mô hình phi ngữ cảnh có thể xác định câu trả lời chính xác và bằng chứng hỗ trợ hay không khi mỗi câu được nhúng mà không có quyền truy cập vào tài liệu xung quanh. Điều này có chủ ý là đầy thách thức. Trong nhiều truy vấn, chỉ riêng câu trả lời thiếu các chi tiết cần thiết để phân biệt nó với các câu tương tự ở nơi khác trong tập ngữ liệu.

Chúng tôi sử dụng điều kiện cấp tài liệu làm cơ sở thu hồi tài liệu. Nó kiểm tra xem các vectơ nhúng câu chi tiết có cung cấp đủ lợi ích truy xuất để biện minh cho chi phí lưu trữ bổ sung của chúng so với việc lưu trữ một vectơ cho mỗi tài liệu hay không. Chỉ mục cấp câu tạo ra nhiều vectơ hơn đáng kể so với chỉ mục cấp tài liệu, vì vậy nó nên vượt trội hơn cơ sở một-vectơ-trên-mỗi-tài liệu để xứng đáng với chi phí đó.

Tất cả các đánh giá đều sử dụng xếp hạng vét cạn đối với tất cả 2.458.072 đoạn. Do đó, sự khác biệt giữa các mô hình phản ánh các biểu diễn, chứ không phải cấu hình chỉ mục. Chúng tôi tập trung vào ba chỉ số chính:

Document@K được định nghĩa là:

\text{Document@K}=1[\operatorname{rank}(d^{*})\le K]

trong đó $d^{*}$ là tài liệu được xếp hạng cao nhất trong $D_q$ .

Answer@K được định nghĩa là:

\text{Answer@K}=1[A_q\cap C_K(q)\ne\varnothing]

trong đó $C_K(q)$ là top $K$ đoạn trên toàn bộ tập ngữ liệu và $A_{q}$ là tập hợp các đoạn trả lời được chấp nhận.

Evidence Recall@K được đo lường trong $d^{*}$ như sau: Xếp hạng các câu của $d^{*}$ theo độ tương đồng, loại bỏ câu trả lời được xếp hạng cao nhất và để $R_K(q)$ là top $K$ còn lại. Đối với các nhóm bằng chứng $G_q=\{g_1,\ldots,g_m\}$ , nhóm $g_j$ được khôi phục nếu một số lựa chọn thay thế $E\in g_j$ thỏa mãn $E\subseteq R_K(q)$ , và

\text{EvidenceRecall@K}=1[\operatorname{rank}(d^{*})\le10]\cdot\frac{1}{m}\sum_{j=1}^{m}1[g_j\ \text{recovered}].

Document@K hỏi xem việc đưa vào ngữ cảnh có cho phép tài liệu đúng đánh bại các tài liệu cùng cấp và gây nhiễu có chung từ vựng với nó hay không.

Answer@K hỏi xem bản thân câu trả lời có nằm trong số các đoạn hàng đầu hay không.

Evidence Recall@K hỏi xem bao nhiêu ngữ cảnh hỗ trợ được khôi phục trong số top K đoạn của tài liệu đúng, sau khi loại bỏ đoạn trả lời được xếp hạng cao nhất. Việc loại bỏ câu trả lời giúp độ thu hồi bằng chứng không bị tính đúp những gì Answer@K đã đo lường, và để lại tất cả các vị trí $K$ cho ngữ cảnh hỗ trợ. Yêu cầu tài liệu vàng phải nằm trong top 10 tài liệu được truy xuất có nghĩa là không có mô hình nào nhận được tín dụng bằng chứng cho một tài liệu mà nó sẽ không hiển thị. Chúng tôi cũng báo cáo All-Evidence@K, tỷ lệ phần trăm các truy vấn có mọi nhóm được khôi phục.

Cùng với nhau, các chỉ số này phân rã các thách thức mà các mô hình nhúng theo ngữ cảnh phải đối mặt: tìm tài liệu phù hợp, tìm câu trả lời phù hợp và khôi phục ngữ cảnh tối thiểu cho thấy lý do tại sao câu trả lời là chính xác.

Hình 3 minh họa các chỉ số với ví dụ quản lý tài sản.

Cách tính điểm truy xuất tài liệu, câu trả lời và bằng chứng của context-bench — Hình 3: Các chỉ số của context-bench được minh họa bằng truy vấn hợp đồng thuê nhà. Document@K kiểm tra việc truy xuất tài liệu đúng; Answer@K kiểm tra việc truy xuất đoạn trả lời của nó; Evidence Recall@K đo lường việc khôi phục các nhóm bằng chứng hỗ trợ trong tài liệu mục tiêu. Trong ví dụ này, việc xác minh tiền thuê nhà yêu cầu cả bằng chứng về địa chỉ và năm thuê. Độ thu hồi bằng chứng loại trừ đoạn trả lời hàng đầu và yêu cầu tài liệu mục tiêu phải xếp hạng trong top 10.

Chúng tôi đánh giá mô hình của mình so với các mô hình nhúng theo ngữ cảnh và phi ngữ cảnh trên bốn mặt trận.

Các mô hình cơ sở theo ngữ cảnh của chúng tôi là pplx-embed-context-v1-4B và voyage-context-4. Các mô hình cơ sở phi ngữ cảnh của chúng tôi là voyage-4-large và Nemotron-3-Embed-8B-BF16 của NVIDIA, mã hóa các đoạn một cách độc lập. Tập mô hình cơ sở thay đổi tùy theo thí nghiệm, như được chỉ ra trong mỗi hình.

Chúng tôi bắt đầu với context-bench, nơi kiểm tra trực tiếp các năng lực thúc đẩy công việc này, và sau đó báo cáo kết quả trên ConTEB, điểm chuẩn công khai tiêu chuẩn cho các vectơ nhúng theo ngữ cảnh. Để kiểm tra xem những mức tăng này không đánh đổi bằng chất lượng truy xuất chung, chúng tôi cũng đánh giá các điểm chuẩn truy xuất đoạn và tài liệu dành riêng cho miền mà chúng tôi đã xây dựng từ các tập dữ liệu công khai. Cuối cùng, chúng tôi kiểm tra hai thuộc tính thực tế để triển khai: chất lượng truy xuất so với chi phí lưu trữ trên mỗi vectơ, và độ nhạy cảm đối với kích thước đoạn được sử dụng tại thời điểm lập chỉ mục. Tất cả các đánh giá đều mã hóa các tài liệu có kích thước lên đến 32.768 mã thông báo trong một lần truyền duy nhất.

Như được hiển thị trong Hình 1 trong phần giới thiệu, bản xem trước của chúng tôi dẫn đầu về Answer@K và Evidence Recall@K ở mọi ngưỡng cắt được báo cáo, cũng như All-Evidence@10. Ở K = 10, nó đạt độ thu hồi câu trả lời 45,5%, độ thu hồi bằng chứng 40,6% và độ thu hồi tất cả bằng chứng 31,1%. Nó cũng dẫn đầu về Document@1 và Document@10, lần lượt đạt 15,2% và 61,6%. Ở K = 10, bản xem trước của chúng tôi vượt qua voyage-context-4 14,4 điểm phần trăm về độ thu hồi câu trả lời và 5,0 điểm về độ thu hồi bằng chứng.

Mô hình bản xem trước của chúng tôi đạt nDCG@10 trung bình cao nhất trong số các mô hình được hiển thị trên ConTEB trong Hình 4. Nó không dẫn đầu mọi tác vụ: pplx-context-v1-4B đạt điểm cao hơn trên NarrativeQA, trong khi Nemotron-3-8B đạt điểm cao nhất trên COVID-QA. Như các tác giả chính cũng chỉ ra trong bài báo ConTEB, COVID-QA bao gồm chủ yếu các cặp truy vấn-đoạn mang tính chất trích xuất cao và có thể được thỏa mãn bằng việc khớp từ vựng bề mặt đơn giản trên các thuật ngữ y tế kỹ thuật. Do đó, việc hiểu ngữ cảnh ít hữu ích hơn đối với tác vụ này và các mô hình phi ngữ cảnh thường vượt trội hơn các mô hình theo ngữ cảnh.

nDCG cấp tác vụ ở 10 trên ConTEB — Hình 4: nDCG@10 cấp tác vụ trên ConTEB ở cài đặt truy vấn đến đoạn. Giá trị trung bình là trung bình không trọng số trên tám tác vụ.

Ngoài các điểm chuẩn được thiết kế cho các vectơ nhúng theo ngữ cảnh, chúng tôi đánh giá hiệusuất theo miền cụ thể của mô hình của mình.

Bộ công cụ truy vấn đến đoạn (Q2C) của chúng tôi sử dụng các tác vụ MTEB như LegalBench và FinanceBench bên cạnh các tác vụ truy xuất bổ sung mà chúng tôi đã tuyển chọn từ các tập dữ liệu công khai. Trong mỗi tài liệu liên quan, một đoạn được dán nhãn là liên quan nếu nó chứa khoảng thời gian câu trả lời chính xác khi tác vụ cung cấp một khoảng, và nếu không thì dựa vào LLM đánh giá mức độ liên quan của nó với truy vấn. Bộ công cụ truy vấn đến tài liệu (Q2D) sử dụng các tác vụ tương tự và tính điểm xem tài liệu liên quan có được truy xuất hay không.

Mô hình của chúng tôi đạt điểm trung bình cao nhất về truy xuất đoạn trong Hình 5 và dẫn đầu trong các lĩnh vực pháp lý, kỹ thuật và y tế. Nó không dẫn đầu ở mọi lĩnh vực: voyage-context-4 đạt điểm cao hơn trong lĩnh vực tài chính và truy xuất đa ngôn ngữ, và Nemotron-3-8B đạt điểm cao nhất trong truy xuất hội thoại. Về truy xuất tài liệu trong Hình 6, mô hình của chúng tôi đạt điểm thấp hơn một chút so với voyage-context-4 tính trung bình, đồng thời dẫn đầu trong lĩnh vực kỹ thuật. Mô hình cơ sở pplx-context-v1-4B đạt điểm thấp hơn tính trung bình ở cả hai bộ công cụ, điều này phù hợp với việc nó chỉ được huấn luyện trên tập huấn luyện ConTEB, cho thấy rằng sự giám sát gắn liền với các đoạn vàng của một điểm chuẩn chuyển giao kém sang các lĩnh vực khác.

Điểm truy xuất truy vấn đến đoạn theo lĩnh vực — Hình 5: nDCG@10 trung bình trên các tác vụ truy vấn đến đoạn (Q2C), nhóm theo lĩnh vực. Các thanh lĩnh vực là mức trung bình không trọng số của các điểm cấp tác vụ trong lĩnh vực đó; mức trung bình tổng thể là mức trung bình không trọng số trên tất cả các tác vụ được hiển thị.

Điểm truy xuất truy vấn đến tài liệu theo lĩnh vực — Hình 6: Điểm truy xuất trung bình trên các tác vụ truy vấn đến tài liệu (Q2D), nhóm theo lĩnh vực. Mỗi thanh trong một lĩnh vực là mức trung bình không trọng số của các điểm chính cấp tác vụ của nó; mức trung bình tổng thể là mức trung bình không trọng số trên tất cả các tác vụ được hiển thị.

Một mô hình nhúng theo ngữ cảnh tạo ra một vectơ cho mỗi đoạn, do đó một chỉ mục được xây dựng bằng mô hình của chúng tôi chứa chính xác số lượng vectơ tương đương với chỉ mục cấp đoạn thông thường với cùng chiến lược chia đoạn. Việc đưa vào ngữ cảnh thay đổi những gì mỗi vectơ mã hóa, chứ không phải số lượng vectơ được lưu trữ. Do đó, dung lượng lưu trữ được chi phối bởi kích thước của mỗi vectơ. Mô hình cung cấp hai cách để giảm dung lượng: cắt ngắn vectơ nhúng từ 2048 xuống 1024 chiều và lượng tử hóa nó thành int8.

Hình 7 cho thấy sự đánh đổi thuận lợi giữa chất lượng truy xuất và dung lượng lưu trữ vectơ. Ở 1024 chiều, các vectơ nhúng int8 của chúng tôi sử dụng 1 KB cho mỗi vectơ trong khi vẫn vượt trội hơn điểm truy xuất đoạn của voyage-context-4 ở 2048 chiều ở dạng float32, sử dụng 8 KB cho mỗi vectơ. Việc tăng kích thước vectơ nhúng của chúng tôi lên 2048 chiều làm tăng thêm chất lượng truy xuất ở mức 2 KB cho mỗi vectơ. Các con số lưu trữ này chỉ đề cập đến các vectơ đơn thuần, chứ không phải phần còn lại của chỉ mục.

Chất lượng truy xuất đoạn so với dung lượng lưu trữ trên mỗi vectơ — Hình 7: Chất lượng truy xuất đoạn (nDCG@10 trung bình) như một hàm của dung lượng lưu trữ trên mỗi vectơ. Các đường liền nét biểu thị float32 và các đường đứt nét biểu thị int8; các nhãn cung cấp chiều của vectơ nhúng.

Hình 8 chỉ cho thấy một sự thay đổi nhỏ về chất lượng truy xuất khi kích thước đoạn tăng từ 64 lên 512 mã thông báo: điểm trung bình giảm từ 81,0% xuống 79,9%, giảm 1,1 điểm phần trăm. Điều này cho thấy rằng mô hình vẫn giữ nguyên hiệu quả trên các kích thước đoạn được kiểm thử, mang lại sự linh hoạt cho các đường ống lập chỉ mục trong cách chia nhỏ tài liệu.

Độ nhạy cảm kích thước đoạn: điểm truy xuất cho các đoạn từ 64 đến 512 mã thông báo — Hình 8: Độ nhạy cảm kích thước đoạn của mô hình của chúng tôi. Mỗi điểm là nDCG@10 trung bình không trọng số trên 74 tác vụ MTEB, với các tài liệu được lập chỉ mục theo kích thước đoạn đã cho.

turbopuffer giữ kín toàn bộ tập ngữ liệu, truy vấn và nhãn của context-bench, đồng thời báo cáo kết quả cho các mô hình đã gửi. Một điểm chuẩn công khai dạng này tạo cơ hội cho việc huấn luyện trực tiếp trên các truy vấn và tài liệu của nó, điều này sẽ dần làm bão hòa điểm chuẩn và làm giảm giá trị của nó trong việc theo dõi tiến độ theo thời gian. Nếu bạn muốn mô hình của mình được đánh giá trên điểm chuẩn, vui lòng liên hệ với turbopuffer qua địa chỉ contextbench@turbopuffer.com.

Bản xem trước của mô hình của chúng tôi có sẵn trên Hugging Face và tất cả kết quả trong bài đăng này đều được báo cáo cho bản xem trước này. Chúng tôi đang nỗ lực cung cấp mô hình thông qua API Perplexity, và tiếp tục cải thiện việc truy xuất trên các tài liệu dài cùng với turbopuffer.

BibTeX

@online{perplexity2026ContextualEmbeddingBeyondTheGoldPassage,
  author = {{Perplexity} and Sarah Eslami and William Barber and Markus Krimmel and Antoine Chaffin and Bo Wang and Louis Milliken and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Contextual embedding beyond the gold passage}},
  date = {2026-09-30},
  url = {https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage}
}

Giới thiệu

Lý do ngữ cảnh quan trọng đối với việc truy xuất

Những giới hạn của việc giám sát đoạn vàng

Một cách tiếp cận mới đối với việc học tập theo ngữ cảnh

Hàm mất mát

Hàm mất mát đối nghịch cấp tài liệu

Hàm mất mát chắt lọc cấp đoạn

Hàm mất mát kết hợp

Dữ liệu huấn luyện

Cài đặt huấn luyện

Một điểm chuẩn mới cho việc truy xuất cấp đoạn

Tài liệu và truy vấn

Nhãn câu trả lời và bằng chứng

Chỉ số

Kết quả đánh giá

Context-bench

ConTEB

Chất lượng truy xuất chung trên các lĩnh vực

Chất lượng truy xuất và chi phí lưu trữ

Độ nhạy cảm kích thước đoạn

Phát hành

Trích dẫn