Đánh giá hiệu suất Nghiên cứu chuyên sâu trong môi trường thực tế với tiêu chuẩn đánh giá DRACO

Hôm nay, chúng tôi ra mắt Tiêu chuẩn Đánh giá Độ chính xác, Tính toàn vẹn và Tính khách quan của Nghiên cứu chuyên sâu (DRACO), một tiêu chuẩn mở để đánh giá các tác nhân nghiên cứu chuyên sâu dựa trên cách người dùng thực sự sử dụng AI cho các tác vụ nghiên cứu phức tạp. Bằng cách mã nguồn mở DRACO, chúng tôi hướng tới việc giúp cộng đồng AI rộng lớn hơn xây dựng các công cụ nghiên cứu phục vụ tốt hơn nhu cầu thực tế của người dùng.

DRACO làm nổi bật khoảng cách giữa việc giải quyết các tác vụ tổng hợp và phục vụ nhu cầu nghiên cứu thực tế. Hệ thống đánh giá này không phụ thuộc vào mô hình: khi các LLM dạng tác nhân mạnh mẽ hơn xuất hiện, chúng tôi sẽ chạy lại các đánh giá và công bố kết quả cập nhật. Và khi chúng tôi phát hành các cải tiến cho tính năng Nghiên cứu chuyên sâu trên Perplexity.ai, người dùng sẽ thấy những lợi ích đó phản ánh vào cả hiệu suất sản phẩm lẫn điểm số tiêu chuẩn.

Tính năng Nghiên cứu chuyên sâu của Perplexity đạt được hiệu suất tiên tiến trên các tiêu chuẩn bên ngoài hàng đầu, bao gồm DeepSearchQA của Google DeepMind và ResearchRubrics của Scale AI.

Điểm số hệ thống nghiên cứu chuyên sâu trên bộ đo DeepSearchQA của Google DeepMind.

Điểm số hệ thống nghiên cứu chuyên sâu trên bộ đo ResearchRubrics của Scale AI.

Những kết quả này xuất phát từ việc kết hợp các mô hình tốt nhất hiện có với các khả năng dạng tác nhân được xây dựng có mục đích của Perplexity: công cụ tìm kiếm độc quyền, cơ sở hạ tầng trình duyệt và thực thi mã. Cùng nhau, chúng tạo thành một hệ thống được tối ưu hóa từ đầu đến cuối để truy xuất, tổng hợp và lập luận dựa trên thông tin thế giới thực.

Trong quá trình xây dựng sản phẩm này, chúng tôi nhận ra rằng các tiêu chuẩn bên ngoài, mặc dù hữu ích để so sánh các mô hình, thường không nắm bắt được các truy vấn đa diện và nhu cầu tổng hợp mà người dùng thực tế đặt ra mỗi ngày. Hôm nay, chúng tôi đang mã nguồn mở Tiêu chuẩn đánh giá DRACO, một tiêu chuẩn dựa trên cách mọi người thực sự sử dụng nghiên cứu chuyên sâu, được thúc đẩy bởi hàng triệu tác vụ sản xuất trên mười lĩnh vực.

Điểm số tổng thể của benchmark DRACO cho bốn hệ thống nghiên cứu chuyên sâu.

Các tiêu chuẩn đánh giá hiện có thường kiểm tra các Skill hẹp một cách tách biệt: truy xuất một sự kiện đơn lẻ, trả lời một câu hỏi đố vui hoặc giải quyết một vấn đề được xác định rõ ràng. Nhưng các truy vấn nghiên cứu thực tế đòi hỏi sự tổng hợp giữa các nguồn, phân tích chi tiết và hướng dẫn có thể hành động, đồng thời vẫn duy trì độ chính xác thực tế và trích dẫn phù hợp.

Tiêu chuẩn đánh giá DRACO bao gồm 100 tác vụ được tuyển chọn kỹ lưỡng trải dài trên các lĩnh vực Học thuật, Tài chính, Luật, Y tế, Công nghệ, Kiến thức chung, Thiết kế UX, Trợ lý cá nhân, So sánh mua sắm/sản phẩm và Tìm kim đáy bể (Needle in a Haystack), mỗi tác vụ đi kèm với các tiêu chí do chuyên gia soạn thảo trung bình khoảng 40 tiêu chí đánh giá.

Các tác vụ này bắt nguồn từ các yêu cầu thực tế của người dùng trên tính năng Nghiên cứu chuyên sâu của Perplexity, được lấy mẫu từ hàng triệu yêu cầu sản xuất sau đó được định hình lại, bổ sung và lọc có hệ thống thông qua quy trình năm giai đoạn: chúng tôi loại bỏ thông tin nhận dạng cá nhân, bổ sung ngữ cảnh và phạm vi, lọc tính khách quan và độ khó, đồng thời tiến hành đánh giá cuối cùng bởi các chuyên gia trong ngành. Kết quả là một tiêu chuẩn phản ánh nhu cầu thực tế của người dùng thay vì các bài tập tổng hợp hoặc các tác vụ do chuyên gia tuyển chọn.

Thiết kế rubric và quy trình xem xét bốn giai đoạn, từ việc tạo rubric ban đầu đến đảm bảo chất lượng cuối cùng.

Mỗi tác vụ trong tiêu chuẩn đánh giá đã trải qua quá trình phát triển tiêu chí nghiêm ngặt. Perplexity đã hợp tác với một đối tác tạo dữ liệu, The LLM Data Company, để phát triển và kiểm tra áp lực các tiêu chí đánh giá cho bộ dữ liệu này. Các chuyên gia chủ đề đã soạn thảo các tiêu chí ban đầu với sự trợ giúp của các công cụ LLM, sau đó lặp lại qua quá trình đánh giá ngang hàng và hiệu chuẩn. Các tiêu chí được quy định kém và quá dễ dãi đã được trả lại để sửa đổi, với khoảng 45% tiêu chí được tinh chỉnh ít nhất một lần qua quy trình này. Kết quả là các tiêu chí đánh giá thực sự phân biệt được năng lực của hệ thống.

Các tiêu chí đánh giá bốn chiều: độ chính xác thực tế (khoảng một nửa tổng số tiêu chí), chiều rộng và chiều sâu phân tích, chất lượng trình bày và trích dẫn nguồn chính. Mỗi tiêu chí nhận được một trọng số phản ánh tầm quan trọng của nó và một số tiêu chí mang tính tiêu cực, phạt các lỗi nhưa ảo tưởng hoặc các tuyên bố không được hỗ trợ.

Các phản hồi được chấm điểm bằng giao thức LLM-as-judge (LLM đóng vai trò giám khảo), trong đó mỗi tiêu chí nhận được một phán quyết nhị phân. Phương pháp này rất phù hợp để đánh giá độ chính xác thực tế vì các tiêu chí đặt giám khảo vào dữ liệu thế giới thực bắt nguồn từ kết quả tìm kiếm, biến đánh giá chủ quan thành việc kiểm tra thực tế có thể xác minh được. Chúng tôi đã xác thực độ tin cậy trên ba mô hình giám khảo và thấy rằng mặc dù điểm số tuyệt đối khác nhau, thứ hạng hệ thống tương đối vẫn duy trì nhất quán.

Khung đánh giá DRACO: tác vụ và rubric, các tác nhân nghiên cứu chuyên sâu, giám khảo LLM và kết quả.

Tiêu chuẩn đánh giá được thiết kế để đánh giá các tác nhân có quyền truy cập vào bộ công cụ nghiên cứu đầy đủ, bao gồm Sandbox thực thi mã và các tính năng trình duyệt.

Hiệu suất theo lĩnh vực. Chúng tôi đã đánh giá bốn hệ thống nghiên cứu chuyên sâu trên 10 lĩnh vực kiến thức bằng cách đo lường tỷ lệ vượt qua (tỷ lệ phần trăm các tiêu chí đánh giá được đáp ứng). Nghiên cứu chuyên sâu đạt tỷ lệ vượt qua cao nhất trên tất cả các lĩnh vực, với hiệu suất đặc biệt mạnh mẽ trong lĩnh vực Luật (89.4%) và Học thuật (82.4%).

Phân bố các tác vụ benchmark DRACO trên mười lĩnh vực.

Đối với người dùng, điều này có nghĩa là các câu trả lời đáng tin cậy hơn cho dù bạn đang chuẩn bị một bản tóm tắt pháp lý, thực hiện đánh giá tài liệu hay so sánh các lựa chọn điều trị y tế. Khoảng cách hiệu suất nới rộng đáng kể trong các tác vụ lập luận phức tạp: trong các kịch bản Trợ lý cá nhân và Tìm kim đáy bể, Perplexity vượt trội hơn hệ thống đạt điểm thấp nhất hơn 20 điểm phần trăm. Các lĩnh vực này phản ánh nhu cầu thực tế của người dùng như các đề xuất cá nhân hóa và tìm kiếm các sự kiện cụ thể được chôn giấu trong các tài liệu lớn.

Tỷ lệ đạt tiêu chí theo lĩnh vực cho bốn hệ thống nghiên cứu chuyên sâu.

Hiệu suất theo khía cạnh đánh giá. Trên bốn chiều đánh giá chính, Nghiên cứu chuyên sâu dẫn đầu ở ba chiều: Độ chính xác thực tế, Chiều rộng và chiều sâu phân tích, và Chất lượng trích dẫn. Đây là những chiều quan trọng nhất khi bạn cần tin tưởng vào nghiên cứu của mình cho các quyết định thực tế, cho dù bạn đang tư vấn cho một khách hàng, đưa ra khoản đầu tư hay viết một báo cáo có tên của bạn trên đó. Chỉ có một hệ thống khác cho thấy hiệu suất tương comparable với Nghiên cứu chuyên sâu của Perplexity về Chất lượng trình bày, cho thấy rằng các vấn đề khó trong nghiên cứu chuyên sâu không nằm ở việc định dạng mà nằm ở việc làm đúng các sự kiện và hoàn thiện phân tích.

Tỷ lệ đạt tiêu chí theo khía cạnh đánh giá cho bốn hệ thống nghiên cứu chuyên sâu.

Chất lượng và hiệu quả. Đáng chú ý, hệ thống đạt hiệu suất cao nhất cũng đạt độ trễ thấp nhất (459.6 giây so với 592 đến 1808 giây đối với các đối thủ cạnh tranh). Đối với người dùng, điều này có nghĩa là bạn không phải chọn giữa nghiên cứu kỹ lưỡng và việc nhận câu trả lời nhanh chóng. Điều này phản ánh lợi thế của cơ sở hạ tầng tích hợp theo chiều dọc, từ đầu đến cuối: tìm kiếm tốt hơn¹ [liên kết chú thích đến API tìm kiếm của chúng tôi] và tích hợp trình duyệt với các môi trường thực thi được tối ưu hóa chuyển đổi trực tiếp thành nghiên cứu nhanh hơn, chính xác hơn.

Hệ thống Nghiên cứu chuyên sâu của Perplexity không phụ thuộc vào mô hình: khi các LLM dạng tác nhân mạnh mẽ hơn xuất hiện, chúng tôi sẽ chạy lại các đánh giá và công bố kết quả cập nhật. Và khi chúng tôi phát hành các cải tiến cho tính năng Nghiên cứu chuyên sâu trên Perplexity.ai, người dùng sẽ thấy những lợi ích đó phản ánh vào cả hiệu suất sản phẩm lẫn điểm số tiêu chuẩn.

Tiêu chuẩn đánh giá hiện chỉ đánh giá các tương tác đơn lượt bằng tiếng Anh trên mười lĩnh vực. Các phiên bản trong tương lai sẽ mở rộng sự đa dạng ngôn ngữ, bổ sung đánh giá đa lượt và mở rộng phạm vi lĩnh vực.

Tiêu chuẩn đánh giá DRACO hiện đã hoàn toàn là mã nguồn mở. Bất kỳ đội ngũ nào xây dựng hệ thống nghiên cứu chuyên sâu đều có thể đánh giá các mô hình của họ dựa trên các tác vụ nghiên cứu thực tế thay vì các câu đố học thuật tổng hợp. Chúng tôi đang phát hành toàn bộ tiêu chuẩn đánh giá, tất cả các tiêu chí và lời nhắc của giám khảo.

Để tìm hiểu thêm về phương pháp luận và kết quả chi tiết, hãy đọc báo cáo kỹ thuật đầy đủ: Tiêu chuẩn đánh giá DRACO và khám phá bộ dữ liệu trên Hugging Face.

BibTeX

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}

Nghiên cứu chuyên sâu tiên tiến

Lý do đánh giá dựa trên môi trường sản xuất lại quan trọng

Cách thức hoạt động của Tiêu chuẩn đánh giá DRACO

Bộ công cụ và môi trường đánh giá

Những gì chúng tôi tìm thấy

Tiếp theo là gì

Xây dựng các tác nhân nghiên cứu tốt hơn với Tiêu chuẩn đánh giá DRACO

Trích dẫn