Tolok ukur WANDR: Mengevaluasi agen riset yang harus mencari luas dan mendalam

Tolok ukur untuk pekerjaan pengetahuan bervolume tinggi dan kaya bukti.

PenulisPerplexity Research

Hari ini, kami merilis WANDR (Wide ANd Deep Research), tolok ukur terbuka dan perangkat evaluasi yang dibangun di sekitar 500 tugas pengumpulan data yang realistis dan menantang untuk pekerjaan pengetahuan. WANDR adalah kembaran luas dari tolok ukur DRACO untuk penelitian mendalam. DRACO menanyakan apakah agen dapat menghasilkan laporan bentuk panjang yang akurat, lengkap, dan objektif; WANDR menanyakan apakah agen dapat membangun koleksi besar dan mendukung setiap anggota dengan bukti khusus.

Ini adalah jenis pekerjaan yang sudah diserahkan orang kepada agen riset: pemetaan kompetitif, uji tuntas, tinjauan literatur, analisis pasar, perbandingan produk, pencarian sumber talenta, dan banyak lagi. Tugas-tugas tersebut berkisar dari puluhan hingga ribuan catatan yang dapat diverifikasi secara mandiri. Bahkan pada pengaturan upaya tinggi, sistem terkuat dalam evaluasi kami hanya mencapai F1 lunak 0,363 dan F1 keras 0,133. Penelitian mendalam yang luas dan mendalam masih jauh dari terselesaikan.

Skala tolok ukur WANDR dan skor soft F1 serta hard F1 terbaik yang dilaporkan dalam evaluasi ini.

Mengapa penelitian mendalam yang luas dan mendalam itu penting

Banyak pekerjaan riset yang berguna tidak berakhir saat agen menemukan satu jawaban. Seorang analis pasar mungkin memerlukan setiap pesaing yang memenuhi syarat, dengan bukti yang sama untuk masing-masing. Tim uji tuntas mungkin memerlukan puluhan perusahaan, lalu kepemilikan, eksekutif, pembiayaan, dan status regulasi untuk setiap perusahaan tersebut. Hal ini menciptakan dua permintaan terpisah:

Luas: menemukan sekumpulan entitas yang memenuhi syarat yang besar dan seringkali terbuka.

Mendalam: selidiki setiap entitas cukup jauh untuk mendukung setiap klaim yang diminta dengan bukti.

Menggabungkan keduanya mengubah masalah. Segelintir contoh yang menarik saja tidak cukup, begitu pula narasi yang dipoles yang dibangun di atas penelitian yang tidak lengkap. Agen harus mempertahankan penemuan yang luas tanpa mengorbankan kualitas faktual dari satu catatan ke catatan berikutnya.

WANDR menangkap struktur tersebut dengan hierarki kunci kualifikasi yang fleksibel dan dapat disusun. Sebuah tugas mungkin meminta

company(n) → employee(m) → url(k)

Ini berarti menemukan n perusahaan yang memenuhi syarat, m karyawan yang memenuhi syarat di setiap perusahaan, dan k halaman pendukung untuk setiap karyawan. Setiap jalur lengkap melalui pohon dapat divalidasi secara independen. Struktur dasar yang sama dapat merepresentasikan daftar datar, pencarian bertingkat, matriks, atau tugas dengan beberapa cabang bukti. Pola-pola ini juga dapat digabungkan, memungkinkan satu representasi untuk mencakup berbagai macam kasus penggunaan dunia nyata.

Enam pola hierarki umum. Lingkaran yang diisi adalah entitas, lingkaran putus-putus adalah label tetap, dan kotak adalah daun URL. Dalam matriks, label anak yang berulang menunjukkan nilai anak yang sama di bawah orang tua yang berbeda.

Satu tugas yang dirilis mengilustrasikan struktur ini dalam praktiknya.

ceo_cfo_appointments

Tugas utama. Temukan setidaknya 70 perusahaan yang berbasis di AS dengan penunjukan CEO atau CFO yang pertama kali diumumkan antara 1 Maret dan 30 April 2026. Untuk setiap perusahaan, berikan halaman penunjukan otoritatif yang mengidentifikasi perusahaan dan pihak yang ditunjuk, menetapkan peran dan tanggal pengumuman, dan berasal dari penerbit, pengajuan, kantor berita, atau jurnalisme bisnis langsung pihak pertama yang diatribusikan.

Hierarki utama. company(70) → company_appointee(1) → url(1).

Subtugas daftar perusahaan. Untuk perusahaan yang sama, berikan halaman otoritas daftar yang diakui yang menunjukkan pencatatan pada bursa efek nasional AS atau status sebagai penerbit pelapor Undang-Undang Bursa SEC yang berdomisili di AS.

Hierarki subtugas. company(70) → url(1).

Catatan yang diperlukan. 140: 70 catatan penunjukan ditambah 70 catatan daftar.

Setiap jalur berujung pada halaman dan kutipan yang dapat diperiksa ulang oleh penilai. Kunci perusahaan bersama menyelaraskan cabang penunjukan dan daftar, sehingga penunjukan tanpa bukti terpisah tentang status daftar masih membuat perusahaan tersebut tidak lengkap.

Tugas realistis, dihasilkan dalam skala besar

WANDR dimulai dari pola yang dianonimkan yang diamati dalam penggunaan produksi daripada prompt sintetis. Hal ini menjaga tolok ukur tetap dekat dengan pekerjaan yang benar-benar didelegasikan orang: penemuan terbuka, pengayaan berulang, pemeriksaan lintas sumber, dan perbandingan terstruktur pada skala profesional. Saluran semiautomatis mengubah pola tersebut menjadi tugas, mencadangkan upaya manusia untuk kontrol kualitas alih-alih anotasi jawaban yang lengkap.

Saluran ini memiliki empat tahap. Penyemaian menambang permintaan produk yang dianonimkan untuk pola penelitian luas yang dapat digunakan kembali. Penulisan menjalankan perulangan penulis-kritikus yang diselingi: agen merancang dan menguji ketegangan desain, menulis spesifikasi tugas dan penilai, membuat catatan perlengkapan, dan menggunakan linter mekanis untuk menjaga semuanya tetap selaras. Penerimaan memeriksa bahwa volume target dapat dicapai dengan menggabungkan 10–12 peluncuran penulisan, mengaudit penilai khusus tugas, dan secara opsional menambahkan persetujuan manusia. Kurasi memberi label pada tugas yang diterima dan memilih kumpulan akhir yang seimbang di seluruh topik, skala, topologi, dan tingkat kesulitan.

Pipeline penyusunan tugas memiliki empat tahap. Seeding mengidentifikasi permintaan yang realistis; authoring mengubahnya menjadi tugas yang berdiri sendiri melalui loop author–critic dan pemeriksaan mekanis; admission menguji kelayakan dan kualitas penilai; dan curation memilih rilis yang seimbang. Hasilnya adalah 500 paket tugas publik.

Tugas median meminta 50 anggota, empat catatan per anggota, dan 245 catatan secara keseluruhan. Jika digabungkan, 500 tugas memerlukan 170.495 catatan yang didukung sumber. Kami mengkalibrasi tingkat kesulitan dari peluncuran tahap desain historis, lalu membagi tugas berdasarkan peringkat menjadi 167 contoh kesulitan lebih rendah, 166 menengah, dan 167 lebih tinggi. Grafik di bawah ini menunjukkan bahwa tingkat kesulitan tidak ditentukan oleh skala saja; itu juga tergantung pada pekerjaan yang diperlukan untuk setiap catatan.

Kesulitan tugas secara keseluruhan di bidang keluasan-kedalaman (log-log; 500 tugas tolok ukur). Keluasan adalah jumlah anggota yang diperlukan; kedalaman adalah jumlah catatan yang diperlukan dibagi dengan jumlah anggota tersebut. Warna titik menunjukkan label tingkat kesulitan keseluruhan. Panduan putus-putus menandai keluasan median (50 anggota) dan kedalaman median (4,00 catatan per anggota).

Penilaian bebas referensi yang diverifikasi bukti

Kunci jawaban tetap tidak cocok untuk penelitian terbuka. Pembuatannya mahal, dengan cepat menjadi usang, dan kurang merepresentasikan pertanyaan yang jawabannya berubah dari waktu ke waktu. WANDR alih-alih menilai setiap klaim yang dikirimkan terhadap bukti yang dikutip agen.

Setiap catatan berisi item, URL, kutipan terpilih, dan jawaban. Penilai mengambil ulang halaman dan memeriksa apakah halaman tersebut dapat digunakan, apakah klaim tersebut jelas dan dalam cakupan, apakah kutipan muncul dengan setia di halaman tersebut, dan apakah halaman dan kutipan tersebut mendukung setiap persyaratan.

Putusan catatan biner ini digulung melalui hierarki. Presisi mengukur kualitas dari apa yang dikirimkan sistem. Perolehan mengukur penyelesaian yang disesuaikan dengan kualitas terhadap volume yang diminta, mengisi kekurangan apa pun dengan nol. F1 menyeimbangkan keduanya. Skor lunak memberikan kredit sebagian kepada anggota yang tidak lengkap; skor keras hanya menghitung anggota yang subpohon lengkapnya yang diperlukan sudah benar. Untuk diagnosis, WANDR juga melaporkan putusan khusus pengambilan yang menanyakan apakah halaman yang diambil memenuhi tugas sebelum menambahkan pemeriksaan yang lebih ketat pada validitas dan kutipan yang dikirimkan.

Hal ini membuat kegagalan dapat diinterpretasikan dan dilokalisasi. Presisi tinggi dengan perolehan rendah biasanya berarti sistem menemukan beberapa anggota yang bagus tetapi tidak cukup. Penurunan lunak-ke-keras yang besar berarti sistem membuat kemajuan parsial tetapi jarang menyelesaikan setiap cabang yang diperlukan untuk kredit penuh. Pohon skor dapat melokalisasi kehilangan pada penemuan, pengayaan, penanganan identitas, kualifikasi halaman, atau ekstraksi bukti.

Saluran penilaian. Penyelesaian menormalisasi output setiap sistem; pengambilan mengambil setiap halaman yang dikutip dan mencoba kembali pengambilan yang rusak di peramban; penilai menyelesaikan identitas dan mengevaluasi setiap catatan; dan skor menggulung putusan ke dalam presisi tingkat tugas, perolehan, dan F1.

Apa yang kami temukan

Kami membandingkan enam sistem produksi: API tugas dan pencarian yang dihosting, API agen web umum, produk penelitian mendalam, dan sistem orkestrasi pencarian terprogram kami, Search as Code (SaC). Masing-masing dijadwalkan pada semua 500 tugas di bawah konfigurasi yang disematkan, kemudian melalui saluran pengambilan, penilaian, resolusi identitas, dan penilaian yang sama.

Perplexity Search as Code memimpin pada F1 lunak 0,363 dan F1 keras 0,133. Anthropic berada di urutan kedua pada 0,249 dan 0,072; setiap sistem lainnya mencapai puncaknya pada F1 lunak 0,121 dan F1 keras 0,035. Tidak ada sistem yang mendominasi kualitas dan efisiensi sekaligus. Perplexity berada di tengah kisaran biaya pada $5,20 per tugas, dengan waktu penyelesaian median 14,9 menit dan 3,82 juta token yang dilaporkan per tugas. OpenAI dan Exa lebih cepat dan lebih murah tetapi mencetak skor jauh lebih rendah. Anthropic mendekati dalam hal kualitas, tetapi menggunakan waktu, uang, dan token secara substansial lebih banyak.

Precision dan recall soft dan hard versus biaya, latensi median, dan penggunaan token yang dilaporkan pada WANDR.
Presisi dan perolehan lunak dan keras (atas), serta F1 lunak dan keras (bawah), terhadap biaya, latensi penyelesaian median, dan penggunaan token yang dilaporkan. Lebih tinggi dan lebih jauh ke kiri adalah lebih baik. Exa dan Parallel tidak ada dari tampilan token karena mereka tidak mengekspos jumlah token.

Kami juga mengevaluasi setiap pengaturan upaya yang tersedia pada subset 45 tugas yang sama. Lebih banyak upaya meningkatkan Perplexity, Gemini, dan Exa pada setiap langkah; Perplexity mencapai F1 lunak 0,447 dan F1 keras 0,224 pada xhigh. Namun, upaya yang lebih tinggi tidak selalu lebih baik: OpenAI mencapai puncaknya pada high, dan F1 keras Parallel sedikit merosot antara ultra2x dan ultra4x. Biaya mencakup lebih dari empat kali lipat pesanan besar, dari $0,03 per tugas untuk Exa low hingga $324,83 untuk Gemini max.

Soft F1 versus biaya, latensi median, dan penggunaan token yang dilaporkan di seluruh pengaturan usaha pada subset WANDR berisi 45 tugas.
F1 lunak (atas) dan F1 keras (bawah) di semua pengaturan upaya yang tersedia pada subset 45 tugas yang cocok. Jalur yang lebih gelap menunjukkan upaya yang lebih tinggi.

Empat temuan menonjol.

Kemajuan parsial adalah hal biasa; cakupan penuh tidak. Perolehan lunak berada di bawah presisi lunak untuk setiap sistem, yang berarti kinerja turun begitu volume lengkap yang diminta memasuki penyebut. Perplexity mempertahankan perolehan 0,357 dari presisi 0,389, kesenjangan terkecil; Anthropic turun dari 0,354 ke 0,222. Konversi lunak-ke-keras bahkan lebih keras. Perplexity turun dari F1 lunak 0,363 ke F1 keras 0,133, dan Anthropic dari 0,249 ke 0,072. Presisi keras terbaik adalah 0,150 dan perolehan keras terbaik adalah 0,134: bahkan pemimpin mendapatkan kredit penuh untuk hanya sekitar satu dari tujuh anggota yang dikirimkannya dan satu dari tujuh anggota yang diminta tugas tersebut.

Skala memperparah masalah. Dari bin volume target terkecil hingga terbesar, presisi keras Perplexity turun dari 0,235 ke 0,096 dan perolehan kerasnya dari 0,219 ke 0,079. Anthropic turun dari 0,205 ke 0,113 dan dari 0,127 ke 0,042; OpenAI turun dari 0,109 ke 0,034 dan dari 0,102 ke 0,016. Perolehan biasanya turun lebih cepat daripada presisi: sebuah sistem dapat mempertahankan kantong kecil anggota lengkap sementara menutupi semakin sedikit dari kumpulan yang diminta.

Hierarki yang lebih dalam bahkan lebih keras. Beralih dari tanpa kunci perantara ke tiga atau lebih, presisi keras Perplexity turun dari 0,392 ke 0,019 dan perolehan keras dari 0,378 ke 0,017; Anthropic turun dari 0,311 ke 0,049 dan dari 0,229 ke 0,022; OpenAI turun dari 0,136 ke 0,012 dan dari 0,120 ke 0,011. Setiap cabang yang ditambahkan menciptakan tempat lain di mana anggota dapat melewatkan skor keras semua-atau-tidak-sama-sekali. Biaya dan latensi tidak mengikuti pola monoton yang umum.

Presisi keras, perolehan keras, latensi penyelesaian median, dan biaya rata-rata di seluruh volume catatan target (atas) dan kedalaman hierarki perantara (bawah). Setiap garis mewakili satu konfigurasi proses utama yang tetap. Garis menghubungkan agregat bin tugas untuk keterbacaan dan tidak menyiratkan efek kausal dari skala atau struktur.

Bahkan sebelum menilai kualitas, penemuan adalah hambatan struktural pertama. Melihat hanya pada jumlah mentah pra-runtuh, penyelesaian penemuan tingkat atas rata-rata berkisar dari 0,611 hingga 0,951. Pengayaan bersyarat lebih kuat pada 0,767–0,967, dan penyelesaian slot bukti terminal mencapai 0,979–0,994 begitu seorang anggota dan jalur pengayaannya ada. Perplexity memimpin penemuan pada 0,951 dan pengayaan pada 0,967, tetapi OpenAI sedikit lebih tinggi pada slot bukti terminal pada 0,994 versus 0,991. Runtuhnya duplikat menyumbang hanya 0,017–0,205 poin persentase dari kehilangan jumlah di seluruh enam proses penuh, jadi pengiriman yang kurang, bukan penggabungan identitas, adalah penjelasan agregat utama. Kehilangan struktural mentah terbesar terjadi sebelum URL akhir dilampirkan.

Penyelesaian struktural mentah tingkat tugas rata-rata dari pohon verifikator. Penemuan adalah kunci teratas, pengayaan mencakup kunci perantara, dan bukti adalah kunci terminal. Nilai menggunakan jumlah yang disediakan sebelum runtuh, sehingga angka tersebut mengisolasi di mana volume yang dikirimkan hilang sebelum kualitas catatan dinilai.

Menemukan halaman yang dapat digunakan biasanya mudah; menemukan bukti yang lengkap itu sulit. Untuk lima sistem, hanya 3,2%–8,9% dari halaman yang dikirimkan yang tidak dapat digunakan; OpenAI adalah pencilan 23,1%. Catatan yang tidak valid atau jenisnya salah juga relatif jarang pada 4,2%–17.4%. Kerugian dominan datang berikutnya: 33,6%–68,3% dari halaman yang dikirimkan gagal memenuhi setidaknya satu persyaratan tugas substantif, dan 57,5%–86,6% dari kutipan yang dikirimkan gagal mendukung semua yang diklaim catatan tersebut. Tarif Perplexity adalah 41,4% dan 57,5%. F1 lunaknya turun dari 0,531 di bawah pemeriksaan khusus pengambilan, yang hanya menanyakan apakah halaman tersebut memenuhi setiap persyaratan substantif, ke 0,363 di bawah putusan penuh, yang juga memerlukan pemeriksaan universal, validitas khusus tugas, dan dukungan kutipan lengkap. F1 keras juga turun dari 0,245 ke 0,133. Bagian yang sulit bukan hanya mencapai halaman yang masuk akal; itu mengubah halaman itu menjadi bukti yang cukup untuk seluruh klaim.

Pemeriksaan kegagalan tingkat catatan yang diukur dari detail verifikator yang tersedia, dalam persen; lebih rendah lebih baik. Kegagalan pada persyaratan halaman dan kutipan jauh lebih umum daripada kegagalan halaman yang tidak dapat digunakan atau catatan yang tidak valid. Parallel memiliki detail diagnostik untuk 350 tugas, sementara baris lainnya mencakup 490–500 tugas.

Search as Code cocok dengan bentuk tugas ini. Model dapat mengekspresikan logika pengambilan, pemfilteran, percabangan, perenderan, penggabungan, deduplikasi, dan penghentian sebagai program, sementara komputasi deterministik menangani operasi berulang di luar konteks model. Profil tersebut konsisten dengan retensi keluasan dan konstruksi kutipan Perplexity yang lebih kuat, meskipun itu tidak memimpin di setiap lapisan: Anthropic memiliki tingkat kegagalan persyaratan halaman terendah.

Apa selanjutnya

WANDR menyediakan lebih dari sekadar skor papan peringkat tunggal. Struktur tugas umumnya dan saluran semiautomatisnya mendukung pembuatan tugas bervolume tinggi yang bervariasi, sementara putusan per-catatan dan skor tingkat hierarki menunjukkan di mana proses gagal: penemuan, pengayaan, penanganan identitas, kualifikasi semantik, atau konstruksi bukti. Tugas, verifikator, dan diagnostik struktural yang dirilis memberikan dasar untuk meningkatkan sistem pencarian yang komprehensif dan menguji apakah keuntungan tersebut bertahan dalam skala besar.

Struktur yang sama juga dapat membuat WANDR berguna untuk pembelajaran penguatan. Alih-alih mengandalkan satu hadiah terminal yang jarang, pelatih dapat menggunakan penilaian tingkat catatan dan cabang, menetapkan kredit sebagian untuk kemajuan penemuan dan pengayaan, dan membangun kurikulum dengan menaikkan jumlah yang diperlukan dari waktu ke waktu. Saluran tersebut dapat menghasilkan tugas saudara yang ditahan di seluruh domain, bentuk hierarki, aturan bukti, dan pengaturan keluasan-kedalaman tanpa menyebutkan jawaban emas. Ini menciptakan jalur untuk melatih agen tidak hanya untuk menemukan fakta yang benar, tetapi juga untuk merencanakan cakupan, mendeteksi cabang yang hilang, dan memulihkan sebelum berhenti.

Tugas tolok ukur, perangkat evaluasi, dan laporan teknis lengkap tersedia di GitHub.

Kutipan

BibTeX
@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}