Mengevaluasi performa Penelitian mendalam di alam liar dengan tolok ukur DRACO

Hari ini, kami merilis Deep Research Accuracy, Completeness, and Objectivity (DRACO) Benchmark, sebuah tolok ukur terbuka untuk mengevaluasi agen penelitian mendalam yang didasarkan pada bagaimana pengguna benar-benar menggunakan AI untuk tugas penelitian yang kompleks. Dengan membuat DRACO menjadi sumber terbuka (open source), kami bertujuan untuk membantu komunitas AI yang lebih luas dalam membangun alat penelitian yang lebih baik untuk memenuhi kebutuhan nyata pengguna.

DRACO menyoroti kesenjangan antara menyelesaikan tugas sintetis dan memenuhi kebutuhan penelitian yang otentik. Rangkaian evaluasi ini bersifat agnostik model: saat LLM agentic yang lebih kuat muncul, kami akan menjalankan kembali evaluasi dan mempublikasikan hasil yang diperbarui. Dan seiring kami meluncurkan peningkatan pada Penelitian mendalam di Perplexity.ai, pengguna akan melihat peningkatan tersebut tercermin dalam performa produk maupun skor tolok ukur.

Penelitian mendalam Canggih

Penelitian mendalam Perplexity mencapai performa canggih pada tolok ukur eksternal terkemuka, termasuk DeepSearchQA dari Google DeepMind dan ResearchRubrics dari Scale AI.

Perbesar

Perbesar

Hasil ini berasal dari penggabungan model terbaik yang tersedia dengan kapabilitas agentic rancangan khusus dari Perplexity: alat pencarian hak milik, infrastruktur peramban, dan eksekusi kode. Bersama-sama, hal ini membentuk sistem yang dioptimalkan secara menyeluruh (end-to-end) untuk mengambil, menyintesis, dan bernalar atas informasi dunia nyata.

Dalam proses membangun produk ini, kami menyadari bahwa tolok ukur eksternal, meskipun berguna untuk membandingkan model, sering kali tidak menangkap kueri multifaset dan tuntutan sintesis yang ditanyakan oleh pengguna nyata setiap hari. Hari ini, kami merilis DRACO Benchmark sebagai sumber terbuka, sebuah tolok ukur yang didasarkan pada bagaimana orang benar-benar menggunakan penelitian mendalam, yang dimotivasi oleh jutaan tugas produksi di sepuluh domain.

Perbesar

Mengapa evaluasi berbasis produksi itu penting

Tolok ukur yang ada sering kali menguji keterampilan sempit secara terisolasi: mengambil satu fakta tunggal, menjawab pertanyaan trivia, atau memecahkan masalah yang terdefinisi dengan baik. Namun, kueri penelitian nyata menuntut sintesis di berbagai sumber, analisis yang bernuansa, dan panduan yang dapat ditindaklanjuti, semuanya sambil mempertahankan keakuratan faktual dan sitasi yang tepat.

DRACO Benchmark terdiri dari 100 tugas yang dikurasi secara cermat yang mencakup Akademik, Keuangan, Hukum, Kedokteran, Teknologi, Pengetahuan Umum, Desain UX, Asisten Dipersonalisasi, Perbandingan Belanja/Produk, dan Mencari Jarum dalam Tumpukan Jerami (Needle in a Haystack), yang masing-masing dipasangkan dengan rubrik buatan ahli dengan rata-rata ~40 kriteria evaluasi.

Tugas-tugas ini berasal dari permintaan pengguna aktual pada Penelitian mendalam Perplexity, diambil sampelnya dari jutaan permintaan produksi dan kemudian secara sistematis diformulasikan ulang, ditambah, dan difilter melalui alur lima tahap: kami menghapus informasi pengenal pribadi, menambahkan konteks dan cakupan, memfilter untuk objektivitas dan kesulitan, serta melakukan peninjauan akhir oleh para ahli domain. Hasilnya adalah tolok ukur yang mencerminkan kebutuhan pengguna yang otentik daripada latihan sintetis atau tugas yang dikurasi oleh ahli.

Cara kerja DRACO Benchmark

Perbesar

Setiap tugas dalam tolok ukur melalui proses pengembangan rubrik yang ketat. Perplexity bekerja sama dengan mitra pembuatan data, The LLM Data Company, untuk mengembangkan dan menguji ketahanan rubrik evaluasi untuk set tersebut. Pakar subjek merancang draf rubrik awal dengan bantuan perangkat LLM, kemudian melakukan iterasi melalui tinjauan sejawat dan kalibrasi. Rubrik yang ditentukan dengan buruk dan terlalu longgar dikembalikan untuk revisi, dengan sekitar 45% rubrik disempurnakan setidaknya sekali melalui proses ini. Hasilnya adalah kriteria evaluasi yang benar-benar membedakan kapabilitas sistem.

Rubrik menilai empat dimensi: akurasi faktual (sekitar setengah dari semua kriteria), keluasan dan kedalaman analisis, kualitas penyajian, dan sitasi sumber primer. Setiap kriteria menerima bobot yang mencerminkan kepentingannya dan beberapa kriteria bersifat negatif, menghukum kesalahan seperti halusinasi atau klaim yang tidak didukung.

Respons dinilai menggunakan protokol LLM-as-judge, di mana setiap kriteria menerima keputusan biner. Pendekatan ini sangat cocok untuk evaluasi akurasi faktual karena rubrik mendasarkan penilai pada data dunia nyata yang berasal dari hasil pencarian, mengubah penilaian subjektif menjadi pemeriksaan fakta yang dapat verifikasi. Kami memvalidasi keandalan di antara tiga model penilai dan menemukan bahwa meskipun skor absolut bervariasi, peringkat sistem relatif tetap konsisten.

Perbesar

Perangkat dan lingkungan evaluasi

Tolok ukur ini dirancang untuk mengevaluasi agen yang memiliki akses ke perangkat penelitian lengkap, termasuk kotak pasir eksekusi kode dan kapabilitas peramban.

Temuan kami

Performa menurut domain. Kami mengevaluasi empat sistem penelitian mendalam di 10 domain pengetahuan dengan mengukur tingkat kelulusan (persentase kriteria evaluasi yang terpenuhi). Penelitian mendalam mencapai tingkat kelulusan tertinggi di semua domain, dengan performa yang sangat kuat dalam Hukum (89,4%) dan Akademik (82,4%).

Perbesar

Bagi pengguna, ini berarti jawaban yang lebih andal baik Anda sedang menyiapkan dokumen hukum, melakukan tinjauan literatur, atau membandingkan pilihan perawatan medis. Kesenjangan performa melebar secara signifikan dalam tugas penalaran yang kompleks: dalam skenario Asisten Dipersonalisasi dan Mencari Jarum dalam Tumpukan Jerami (Needle in a Haystack), Perplexity mengungguli sistem dengan skor terendah sebesar lebih dari 20 poin persentase. Domain-domain ini mencerminkan kebutuhan pengguna nyata seperti rekomendasi yang dipersonalisasi dan menemukan fakta spesifik yang terkubur dalam dokumen besar.

Perbesar

Performa menurut aspek evaluasi. Di empat dimensi evaluasi utama, Penelitian mendalam memimpin dalam tiga hal: Akurasi Faktual, Keluasan dan Kedalaman Analisis, dan Kualitas Sitasi. Ini adalah dimensi yang paling penting ketika Anda perlu mempercayai penelitian Anda untuk keputusan nyata, baik Anda sedang memberi nasihat kepada klien, melakukan investasi, atau menulis laporan dengan nama Anda di atasnya. Hanya satu sistem lain yang menunjukkan performa sebanding dengan Penelitian mendalam Perplexity pada Kualitas Penyajian, yang menunjukkan bahwa masalah sulit dalam penelitian mendalam bukanlah tentang pemformatan tetapi tentang mendapatkan fakta yang benar dan analisis yang lengkap.

Perbesar

Kualitas dan efisiensi. Yang perlu dicatat, sistem dengan performa terbaik juga mencapai latensi terendah (459,6 detik vs. 592 hingga 1808 detik untuk pesaing). Bagi pengguna, ini berarti Anda tidak harus memilih antara penelitian yang menyeluruh dan mendapatkan jawaban dengan cepat. Ini mencerminkan keunggulan infrastruktur yang terintegrasi secara vertikal, ujung ke ujung (end-to-end): pencarian¹ yang lebih baik [tautan catatan kaki ke api pencarian kami] dan integrasi peramban dengan lingkungan eksekusi yang dioptimalkan diterjemahkan secara langsung ke penelitian yang lebih cepat dan lebih akurat.

Langkah selanjutnya

Rangkaian Penelitian mendalam Perplexity bersifat agnostik model: saat LLM agentic yang lebih kuat muncul, kami akan menjalankan kembali evaluasi dan mempublikasikan hasil yang diperbarui. Dan seiring kami meluncurkan peningkatan pada Penelitian mendalam di Perplexity.ai, pengguna akan melihat peningkatan tersebut tercermin dalam performa produk maupun skor tolok ukur.

Tolok ukur saat ini mengevaluasi interaksi berbahasa Inggris saja, satu putaran di sepuluh domain. Iterasi masa depan akan memperluas keragaman linguistik, menambahkan evaluasi multi-putaran, dan memperluas cakupan domain.

Bangun agen penelitian yang lebih baik dengan DRACO Benchmark

DRACO Benchmark sekarang sepenuhnya bersumber terbuka (open source). Tim mana pun yang membangun sistem penelitian mendalam dapat menilai model mereka terhadap tugas penelitian dunia nyata daripada teka-teki akademik sintetis. Kami merilis tolok ukur lengkap, semua rubrik, dan prompt penilai.

Untuk mempelajari lebih lanjut tentang metodologi dan hasil terperinci, baca laporan teknis lengkap: DRACO benchmark dan jelajahi kumpulan data di Hugging Face.

Sitasi

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}