Bộ tiêu chuẩn WANDR: Đánh giá các tác nhân nghiên cứu phải tìm kiếm rộng và sâu

Bộ tiêu chuẩn cho công việc tri thức khối lượng lớn, nhiều bằng chứng.

Tác giảPerplexity Research

Hôm nay, chúng tôi ra mắt WANDR (Wide ANd Deep Research), một bộ tiêu chuẩn đánh giá và công cụ kiểm định mở gồm 500 tác vụ thu thập dữ liệu thực tế và mang tính thử thách dành cho công việc tri thức. WANDR là “người anh em” có phạm vi rộng của bộ tiêu chuẩn DRACO dành cho nghiên cứu chuyên sâu. DRACO đặt câu hỏi liệu một tác nhân có thể tạo ra một báo cáo dài chính xác, đầy đủ và khách quan hay không; trong khi WANDR đặt câu hỏi liệu tác nhân đó có thể xây dựng một tập hợp lớn và chứng thực mọi thành phần bằng bằng chứng cụ thể hay không.

Đây là những loại công việc mà con người thường giao cho các tác nhân nghiên cứu: lập bản đồ cạnh tranh, thẩm định chi tiết, tổng quan tài liệu, phân tích thị trường, so sánh sản phẩm, tìm kiếm nhân tài, v.v. Các tác vụ có quy mô từ hàng chục đến hàng nghìn bản ghi có thể xác minh độc lập. Ngay cả ở cài đặt nỗ lực cao, hệ thống mạnh nhất trong quá trình đánh giá của chúng tôi cũng chỉ đạt được 0,363 điểm F1 mềm và 0,133 điểm F1 cứng. Nghiên cứu rộng-và-chuyên sâu vẫn còn một chặng đường dài mới được giải quyết.

Quy mô chuẩn WANDR và các điểm số soft F1 và hard F1 tốt nhất được báo cáo trong đánh giá này.

Tại sao nghiên cứu rộng-và-chuyên sâu lại quan trọng

Nhiều công việc nghiên cứu hữu ích không kết thúc khi tác nhân tìm được một câu trả lời. Một nhà phân tích thị trường có thể cần mọi đối thủ cạnh tranh đủ điều kiện, với cùng một bằng chứng cho mỗi đối thủ. Một nhóm thẩm định có thể cần hàng chục công ty, sau đó là quyền sở hữu, các giám đốc điều hành, tài chính và trạng thái quản lý cho từng công ty trong số đó. Điều đó tạo ra hai nhu cầu riêng biệt:

Rộng: khám phá một tập hợp lớn các thực thể đủ điều kiện và thường mang tính mở.

Chuyên sâu: điều tra từng thực thể đủ sâu để hỗ trợ mọi khiếu nại được yêu cầu bằng bằng chứng.

Kết hợp cả hai sẽ làm thay đổi vấn đề. Một vài ví dụ thuyết phục là chưa đủ, và một bản tường thuật trau chuốt được xây dựng dựa trên nghiên cứu chưa đầy đủ cũng vậy. Tác nhân phải duy trì việc khám phá diện rộng mà không làm hy sinh chất lượng thực tế từ bản ghi này sang bản ghi khác.

WANDR nắm bắt cấu trúc đó bằng một hệ thống phân cấp khóa đủ điều kiện linh hoạt, có thể kết hợp. Một tác vụ có thể yêu cầu

company(n) → employee(m) → url(k)

Điều này có nghĩa là tìm kiếm n công ty đủ điều kiện, m nhân viên đủ điều kiện tại mỗi công ty và k trang hỗ trợ cho mỗi nhân viên. Mọi đường dẫn hoàn chỉnh qua cây đều có thể được xác thực độc lập. Cấu trúc cơ bản tương tự có thể đại diện cho một danh sách phẳng, một tìm kiếm lồng nhau, một ma trận hoặc một tác vụ có nhiều nhánh bằng chứng. Các mẫu này cũng có thể được kết hợp, cho phép một đại diện bao quát một loạt các trường hợp sử dụng trong thế giới thực.

Sáu mẫu phân cấp phổ biến. Các hình tròn tô đặc là thực thể, hình tròn nét đứt là nhãn cố định và các hình vuông là các lá URL. Trong ma trận, các nhãn con lặp lại biểu thị cùng một giá trị con dưới các cha khác nhau.

Một tác vụ được phát hành minh họa cấu trúc này trong thực tế.

ceo_cfo_appointments

Tác vụ chính. Tìm ít nhất 70 công ty có trụ sở tại Hoa Kỳ có thông báo bổ nhiệm CEO hoặc CFO lần đầu tiên được công bố trong khoảng thời gian từ ngày 1 tháng 3 đến ngày 30 tháng 4 năm 2026. Đối với mỗi công ty, hãy cung cấp một trang bổ nhiệm có thẩm quyền xác định công ty và người được bổ nhiệm, thiết lập vai trò và ngày thông báo, đồng thời đến từ đơn vị phát hành, hồ sơ nộp, hãng tin hoặc báo chí kinh doanh trực tiếp.

Hệ thống phân cấp chính. company(70) → company_appointee(1) → url(1).

Tác vụ phụ liệt kê công ty. Đối với các công ty tương tự, hãy cung cấp một trang cơ quan niêm yết được công nhận cho thấy việc niêm yết trên sàn giao dịch chứng khoán quốc gia Hoa Kỳ hoặc tư cách là tổ chức phát hành báo cáo theo Đạo luật Giao dịch SEC có trụ sở tại Hoa Kỳ.

Hệ thống phân cấp tác vụ phụ. company(70) → url(1).

Số bản ghi được yêu cầu. 140: 70 bản ghi bổ nhiệm cộng với 70 bản ghi niêm yết.

Mọi đường dẫn đều kết thúc ở một trang và các đoạn trích mà bộ chấm điểm có thể kiểm tra lại. Khóa công ty được chia sẻ liên kết các nhánh bổ nhiệm và niêm yết lại với nhau, vì vậy việc bổ nhiệm mà không có bằng chứng riêng về trạng thái niêm yết sẽ khiến công ty đó vẫn chưa hoàn thành.

Các tác vụ thực tế, được tạo ra ở quy mô lớn

WANDR bắt đầu từ các mẫu được khử danh tính quan sát thấy trong quá trình sử dụng thực tế thay vì các câu lệnh tổng hợp. Điều này giúp bộ tiêu chuẩn bám sát công việc mà con người thực sự ủy quyền: khám phá mở, làm giàu lặp đi lặp lại, kiểm tra đa nguồn và so sánh có cấu trúc ở quy mô chuyên nghiệp. Một quy trình tự động một phần chuyển đổi các mẫu đó thành các tác vụ, dành nỗ lực của con người cho việc kiểm soát chất lượng thay vì chú thích câu trả lời đầy đủ.

Quy trình này có bốn giai đoạn. Gieo mầm (Seeding) khai thác các yêu cầu sản phẩm đã khử danh tính để tìm ra mẫu nghiên cứu rộng có thể tái sử dụng. Soạn thảo (Authoring) chạy một vòng lặp tác giả–phản biện xen kẽ: các tác nhân phác thảo và kiểm tra độ chịu tải của thiết kế, viết thông số kỹ thuật tác vụ và bộ đánh giá, tạo bản ghi mẫu, và sử dụng trình linter cơ học để giữ cho mọi thứ đồng bộ. Chấp nhận (Admission) kiểm tra xem khối lượng mục tiêu có thể đạt được hay không bằng cách hợp nhất 10–12 lần chạy soạn thảo, kiểm toán bộ đánh giá cụ thể cho tác vụ và tùy chọn thêm chữ ký phê duyệt của con người. Tuyển chọn (Curation) dán nhãn các tác vụ được chấp nhận và chọn một tập hợp cuối cùng cân bằng trên các chủ đề, quy mô, cấu trúc liên kết và độ khó.

Quy trình xây dựng tác vụ có bốn giai đoạn. Seeding xác định một yêu cầu thực tế; authoring biến nó thành một tác vụ độc lập thông qua vòng lặp author–critic và các kiểm tra cơ học; admission kiểm tra tính khả thi và chất lượng giám khảo; và curation lựa chọn một bản phát hành cân bằng. Kết quả là 500 gói tác vụ công khai.

Tác vụ trung bình yêu cầu 50 thành viên, bốn bản ghi cho mỗi thành viên và tổng cộng 245 bản ghi. Nhìn chung, 500 tác vụ yêu cầu 170.495 bản ghi được hỗ trợ bởi nguồn. Chúng tôi hiệu chỉnh độ khó từ các lần chạy ở giai đoạn thiết kế lịch sử, sau đó chia các tác vụ theo thứ hạng thành 167 ví dụ độ khó thấp hơn, 166 ví dụ độ khó trung bình và 167 ví dụ độ khó cao hơn. Biểu đồ bên dưới cho thấy độ khó không chỉ được quyết định bởi quy mô; nó còn phụ thuộc vào công việc được yêu cầu cho mỗi bản ghi.

Độ khó tác vụ tổng thể trên mặt phẳng chiều rộng–chiều sâu (log–log; 500 tác vụ chuẩn). Chiều rộng là số lượng thành viên được yêu cầu; chiều sâu là số lượng bản ghi được yêu cầu chia cho số lượng thành viên đó. Màu điểm biểu thị nhãn độ khó tổng thể. Các đường dẫn hướng nét đứt đánh dấu chiều rộng trung bình (50 thành viên) và chiều sâu trung bình (4,00 bản ghi cho mỗi thành viên).

Chấm điểm không cần tham chiếu, được xác minh bằng bằng chứng

Khóa câu trả lời cố định không phù hợp với nghiên cứu mở. Nó tốn kém để xây dựng, nhanh chóng lỗi thời và thể hiện kém các câu hỏi có câu trả lời thay đổi theo thời gian. Thay vào đó, WANDR chấm điểm mỗi tuyên bố được gửi dựa trên bằng chứng mà tác nhân trích dẫn.

Mọi bản ghi đều chứa một mục, một URL, các đoạn trích đã chọn và một câu trả lời. Bộ chấm điểm sẽ tải lại trang và kiểm tra xem trang đó có sử dụng được hay không, liệu tuyên bố có rõ ràng và nằm trong phạm vi hay không, liệu các đoạn trích có xuất hiện trung thực trên trang hay không, và liệu cả trang lẫn các đoạn trích có hỗ trợ mọi yêu cầu hay không.

Các phán quyết bản ghi nhị phân này được tổng hợp qua hệ thống phân cấp. Độ chính xác (Precision) đo lường chất lượng của những gì hệ thống đã gửi. Độ thu hồi (Recall) đo lường mức độ hoàn thành đã điều chỉnh chất lượng so với khối lượng được yêu cầu, lấp đầy mọi phần thiếu hụt bằng số không. Điểm F1 cân bằng cả hai. Điểm mềm cấp tín dụng một phần cho các thành viên chưa hoàn thành; điểm cứng chỉ tính những thành viên có toàn bộ cây con được yêu cầu là chính xác. Để chẩn đoán, WANDR cũng báo cáo một phán quyết chỉ truy xuất nhằm hỏi xem trang được tìm nạp có thỏa mãn tác vụ hay không trước khi thêm các kiểm tra nghiêm ngặt hơn về tính hợp lệ và các đoạn trích đã gửi.

Điều này làm cho các lỗi có thể giải thích và định ốc được. Độ chính xác cao với độ thu hồi thấp thường có nghĩa là hệ thống đã tìm thấy một số thành viên tốt nhưng chưa đủ số lượng. Sự sụt giảm lớn từ mềm sang cứng có nghĩa là hệ thống đã đạt tiến độ một phần nhưng hiếm khi hoàn thành mọi nhánh cần thiết để nhận toàn bộ tín dụng. Cây điểm có thể xác định vị trí thất thoát đến việc khám phá, làm giàu, xử lý định danh, đủ điều kiện trang hoặc trích xuất bằng chứng.

Quy trình chấm điểm. Giải quyết chuẩn hóa đầu ra của mọi hệ thống; tìm nạp lấy từng trang được trích dẫn và thử lại các lần tìm nạp bị hỏng trong trình duyệt; đánh giá giải quyết danh tính và đánh giá mọi bản ghi; và chấm điểm tổng hợp các phán quyết thành độ chính xác, độ thu hồi và F1 ở cấp độ tác vụ.

Những gì chúng tôi tìm thấy

Chúng tôi đã so sánh sáu hệ thống sản xuất: API tác vụ và tìm kiếm được lưu trữ, API tác nhân web tổng quát, một sản phẩm nghiên cứu chuyên sâu và hệ thống điều phối tìm kiếm lập trình của chúng tôi, Search as Code (SaC). Mỗi hệ thống được lên lịch trên tất cả 500 tác vụ theo một cấu hình được ghim, sau đó trải qua cùng một quy trình tìm nạp, đánh giá, giải quyết định danh và chấm điểm.

Perplexity Search as Code dẫn đầu với 0,363 điểm F1 mềm và 0,133 điểm F1 cứng. Anthropic đứng thứ hai với 0,249 và 0,072; mọi hệ thống khác đều đạt mức cao nhất là 0,121 điểm F1 mềm và 0,035 điểm F1 cứng. Không có hệ thống nào thống trị cả về chất lượng lẫn hiệu suất. Perplexity nằm ở giữa khoảng chi phí ở mức 5,20 USD cho mỗi tác vụ, với thời gian giải quyết trung bình là 14,9 phút và 3,82 triệu token được báo cáo cho mỗi tác vụ. OpenAI và Exa nhanh hơn và rẻ hơn nhưng đạt điểm thấp hơn nhiều. Anthropic gần đạt nhất về chất lượng, nhưng sử dụng nhiều thời gian, tiền bạc và token hơn đáng kể.

Soft và hard precision và recall theo chi phí, độ trễ trung vị và mức sử dụng token được báo cáo trên WANDR.
Độ chính xác và độ thu hồi mềm và cứng (trên), và F1 mềm và cứng (dưới), so với chi phí, độ trễ giải quyết trung bình và mức sử dụng token được báo cáo. Càng cao và càng sang trái càng tốt. Exa và Parallel vắng mặt trong các chế độ xem token vì chúng không hiển thị số lượng token.

Chúng tôi cũng đánh giá mọi cài đặt nỗ lực khả dụng trên tập hợp con 45 tác vụ khớp. Nỗ lực lớn hơn cải thiện Perplexity, Gemini và Exa ở mọi bước; Perplexity đạt 0,447 điểm F1 mềm và 0,224 điểm F1 cứng ở mức xhigh. Tuy nhiên, nỗ lực cao hơn không phải lúc nào cũng tốt hơn: OpenAI đạt đỉnh ở mức high, và điểm F1 cứng của Parallel giảm nhẹ giữa ultra2x và ultra4x. Chi phí trải dài hơn bốn bậc độ lớn, từ 0,03 USD cho mỗi tác vụ đối với Exa low lên tới 324,83 USD đối với Gemini max.

Soft F1 theo chi phí, độ trễ trung vị và mức sử dụng token được báo cáo trên tập con 45 tác vụ của WANDR trên các mức nỗ lực.
F1 mềm (trên) và F1 cứng (dưới) trên tất cả các cài đặt nỗ lực khả dụng trên tập hợp con 45 tác vụ đã khớp. Các đường dẫn sậm màu hơn biểu thị nỗ lực cao hơn.

Bốn phát hiện nổi bật.

Tiến độ một phần là phổ biến; phạm vi bao phủ hoàn chỉnh thì không. Độ thu hồi mềm thấp hơn độ chính xác mềm đối với mọi hệ thống, điều này có nghĩa là hiệu suất giảm xuống một khi toàn bộ khối lượng được yêu cầu bước vào mẫu số. Perplexity giữ lại 0,357 độ thu hồi từ 0,389 độ chính xác, khoảng cách nhỏ nhất; Anthropic giảm từ 0,354 xuống 0,222. Việc chuyển đổi từ mềm sang cứng thậm chí còn khắc nghiệt hơn. Perplexity giảm từ 0,363 điểm F1 mềm xuống 0,133 điểm F1 cứng, và Anthropic từ 0,249 xuống 0,072. Độ chính xác cứng tốt nhất là 0,150 và độ thu hồi cứng tốt nhất là 0,134: ngay cả người dẫn đầu cũng chỉ nhận được toàn bộ tín dụng cho khoảng một trong bảy thành viên mà hệ thống gửi và một trong bảy thành viên mà tác vụ yêu cầu.

Quy mô làm trầm trọng thêm vấn đề. Từ thùng khối lượng mục tiêu nhỏ nhất đến lớn nhất, độ chính xác cứng của Perplexity giảm từ 0,235 xuống 0,096 và độ thu hồi cứng của hệ thống giảm từ 0,219 xuống 0,079. Anthropic giảm từ 0,205 xuống 0,113 và từ 0,127 xuống 0,042; OpenAI giảm từ 0,109 xuống 0,034 và từ 0,102 xuống 0,016. Độ thu hồi thường giảm nhanh hơn độ chính xác: một hệ thống có thể giữ lại một phần nhỏ các thành viên hoàn chỉnh trong khi bao phủ ít hơn và ít hơn tập hợp được yêu cầu.

Các hệ thống phân cấp sâu hơn thậm chí còn khắc nghiệt hơn. Đi từ không có khóa trung gian nào đến ba khóa trở lên, độ chính xác cứng của Perplexity giảm từ 0,392 xuống 0,019 và độ thu hồi cứng giảm từ 0,378 xuống 0,017; Anthropic giảm từ 0,311 xuống 0,049 và từ 0,229 xuống 0,022; OpenAI giảm từ 0,136 xuống 0,012 và từ 0,120 xuống 0,011. Mỗi nhánh được thêm vào tạo ra một nơi khác mà thành viên có thể bỏ lỡ điểm cứng tất-cả-hoặc-không-có. Chi phí và độ trễ không tuân theo một mẫu đơn điệu chung.

Độ chính xác cứng, độ thu hồi cứng, độ trễ giải quyết trung bình và chi phí trung bình trên khối lượng bản ghi mục tiêu (trên) và độ sâu hệ thống phân cấp trung gian (dưới). Mỗi dòng đại diện cho một cấu hình chạy chính cố định. Các đường nối các tập hợp thùng tác vụ để dễ đọc và không ngụ ý hiệu ứng nhân quả của quy mô hoặc cấu trúc.

Ngay cả trước khi đánh giá chất lượng, khám phá là nút thắt cổ chai cấu trúc đầu tiên. Chỉ nhìn vào số lượng thô trước khi sụp đổ, mức hoàn thành khám phá cấp cao trung bình dao động từ 0,611 đến 0,951. Việc làm giàu có điều kiện mạnh mẽ hơn ở mức 0,767–0,967 và mức hoàn thành khe bằng chứng đầu cuối đạt 0,979–0,994 khi một thành viên và đường dẫn làm giàu của thành viên đó tồn tại. Perplexity dẫn đầu về khám phá ở mức 0,951 và làm giàu ở mức 0,967, nhưng OpenAI cao hơn một chút về các khe bằng chứng đầu cuối ở mức 0,994 so với 0,991. Sự sụp đổ bản sao chỉ chiếm 0,017–0,205 điểm phần trăm tổn thất số lượng trên sáu lần chạy đầy đủ, vì vậy việc giao hàng thiếu, chứ không phải hợp nhất định danh, mới là lời giải thích tổng hợp chính. Tổn thất cấu trúc thô lớn nhất xảy ra trước khi URL cuối cùng được đính kèm.

Mức hoàn thành cấu trúc thô cấp độ tác vụ trung bình từ các cây bộ xác minh. Khám phá là khóa hàng đầu, làm giàu bao gồm các khóa trung gian và bằng chứng là khóa đầu cuối. Các giá trị sử dụng số lượng được cung cấp trước khi sụp đổ, do đó hình vẽ cô lập vị trí khối lượng được gửi bị thiếu trước khi chất lượng bản ghi được đánh giá.

Tìm một trang có thể sử dụng thường dễ dàng; tìm bằng chứng hoàn chỉnh mới khó. Đối với năm hệ thống, chỉ 3,2%–8,9% số trang được gửi là không thể sử dụng; OpenAI là ngoại lệ với 23,1%. Các bản ghi không hợp lệ hoặc sai loại cũng tương đối ít phổ biến ở mức 4,2%–17,4%. Các tổn thất chiếm ưu thế xuất hiện tiếp theo: 33,6%–68.3% số trang được gửi không đạt ít nhất một yêu cầu tác vụ thực chất và 57,5%–86,6% số đoạn trích được gửi không hỗ trợ mọi thứ mà bản ghi tuyên bố. Tỷ lệ của Perplexity là 41,4% và 57,5%. Điểm F1 mềm của hệ thống giảm từ 0,531 theo kiểm tra chỉ truy xuất, chỉ hỏi xem trang có đáp ứng mọi yêu cầu thực chất hay không, xuống 0,363 theo phán quyết đầy đủ, cũng yêu cầu các kiểm tra phổ quát, tính hợp lệ cụ thể của tác vụ và hỗ trợ đoạn trích hoàn chỉnh. Điểm F1 cứng tương tự giảm từ 0,245 xuống 0,133. Phần khó không chỉ là tiếp cận một trang hợp lý; mà là biến trang đó thành bằng chứng đầy đủ cho toàn bộ tuyên bố.

Các thăm dò lỗi ở cấp độ bản ghi được đo lường từ các chi tiết bộ xác minh khả dụng, tính theo phần trăm; thấp hơn là tốt hơn. Các lỗi về các yêu cầu trang và đoạn trích phổ biến hơn đáng kể so với các lỗi trang không thể sử dụng hoặc bản ghi không hợp lệ. Parallel có chi tiết chẩn đoán cho 350 tác vụ, trong khi các hàng khác bao gồm 490–500 tác vụ.

Search as Code rất phù hợp với hình dạng tác vụ này. Một mô hình có thể thể hiện logic truy xuất, lọc, phân nhánh, kết xuất, nối, khử trùng lặp và dừng dưới dạng một chương trình, trong khi quá trình tính toán tất định xử lý các thao tác lặp đi lặp lại bên ngoài ngữ cảnh mô hình. Hồ sơ đó nhất quán với khả năng giữ lại chiều rộng và xây dựng đoạn trích mạnh mẽ hơn của Perplexity, mặc dù hệ thống không dẫn đầu ở mọi lớp: Anthropic có tỷ lệ lỗi yêu cầu trang thấp nhất.

Tiếp theo là gì

WANDR cung cấp nhiều hơn một điểm số bảng xếp hạng duy nhất. Cấu trúc tác vụ chung và quy trình tự động một phần hỗ trợ việc tạo tác vụ khối lượng lớn, đa dạng, trong khi các phán quyết cho mỗi bản ghi và điểm số cấp độ phân cấp cho biết một lần chạy thất bại ở đâu: khám phá, làm giàu, xử lý định danh, đủ điều kiện ngữ nghĩa hoặc xây dựng bằng chứng. Các tác vụ được phát hành, bộ xác minh và chẩn đoán cấu trúc cung cấp cơ sở để cải thiện các hệ thống tìm kiếm toàn diện và kiểm tra xem những mức tăng đó có giữ vững ở quy mô hay không.

Cấu trúc tương tự cũng có thể làm cho WANDR hữu ích cho việc học tăng cường. Thay vì dựa vào một phần thưởng đầu cuối thưa thớt duy nhất, bộ huấn luyện có thể sử dụng các đánh giá ở cấp độ bản ghi và nhánh, cấp tín dụng một phần cho tiến độ khám phá và làm giàu, đồng thời xây dựng một chương trình giảng dạy bằng cách nâng cao số lượng được yêu cầu theo thời gian. Quy trình có thể tạo ra các tác vụ anh em được giữ lại trên các miền, hình dạng phân cấp, quy tắc bằng chứng và cài đặt chiều rộng–chiều sâu mà không cần liệt kê các câu trả lời vàng. Điều này tạo ra con đường đào tạo các tác nhân không chỉ tìm các sự thật chính xác, mà còn lên kế hoạch bao phủ, phát hiện các nhánh bị thiếu và phục hồi trước khi dừng lại.

Các tác vụ chuẩn, công cụ đánh giá và báo cáo kỹ thuật đầy đủ có sẵn trên GitHub.

Trích dẫn

BibTeX
@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}