Q2D-Web: Mengevaluasi Penelusur Tahap Pertama dalam Skala Besar

Hari ini, kami memperkenalkan Q2D-Web (Query2Doc-Web), tolok ukur privat dan papan peringkat publik untuk mengevaluasi pengambilan dalam sistem RAG agen. Q2D-Web memperluas tolok ukur Q2D asli kami ke korpus berskala besar, set kueri yang lebih besar, dan anotasi penilaian yang lebih mendalam.

Q2D-Web dibangun untuk mengevaluasi model penyematan (embedding) pada pencarian web skala besar. Ini terdiri dari 190 juta dokumen web dan 69.721 kueri yang dirumuskan ulang oleh agen dalam sepuluh bahasa, yang disampel selama sembilan bulan dari lalu lintas pencarian produksi bebas PII.

Pada skala ini, sinyal relevansi pada tingkat kueri-dokumen pastinya jarang. Daripada memperlakukan satu sumber sebagai kebenaran dasar, kami menyediakan tiga set penilaian relevansi, yang berasal dari sitasi agen, peringkat web produksi, dan penilaian LLM tambahan untuk pasangan yang sebelumnya belum dinilai. Beberapa sumber membatasi bias dari saluran pelabelan tunggal mana pun, sementara anotasi yang lebih mendalam mengurangi negatif palsu.

Papan peringkat kami melaporkan hasil untuk model pengambilan yang dirilis untuk umum, dievaluasi secara langsung terhadap tolok ukur menggunakan jalur pengindeksan, pengambilan, dan penilaian yang konsisten. Evaluasi dapat dikirimkan melalui formulir permintaan kami.

Tantangan evaluasi pengambilan yang realistis

Untuk setiap kueri, sistem pengambilan berskala produksi mencari korpus yang terdiri dari miliaran halaman web dan mengembalikan ribuan dokumen kandidat. Kandidat-kandidat ini menentukan sumber mana yang dapat dilihat oleh sistem hilir, yang secara langsung membentuk bukti yang tersedia bagi agen.

Oleh karena itu, evaluasi yang realistis dari tahap pertama ini memerlukan tolok ukur yang berskala di tiga dimensi: jumlah dokumen dalam korpus, jumlah kueri yang dinilai, dan jumlah penilaian relevansi per kueri.

Korpus yang lebih besar dapat membuat tolok ukur lebih diskriminatif dengan memperkenalkan negatif sulit—dokumen yang secara semantik mirip dengan kueri tetapi tidak memberikan informasi yang diminta. Penelusur harus membedakan kecocokan yang masuk akal ini dari dokumen yang relevan. Menyusutkan korpus sambil mempertahankan dokumen relevan yang diketahui dapat menghilangkan pengganggu ini dan meningkatkan perolehan (recall), seperti yang ditunjukkan oleh eksperimen subsampel kami di bawah ini.

Kueri yang dinilai lebih banyak membuat estimasi performa menjadi lebih andal. Dengan set kueri yang kecil, hasil tolok ukur sangat bergantung pada kueri mana yang disampel, sehingga lebih sulit untuk memperkirakan performa setiap model secara tepat dan membedakan antar model dengan yakin.

Penilaian yang lebih mendalam mengurangi negatif palsu dalam evaluasi. Dengan label yang jarang, penelusur dapat memunculkan dokumen relevan yang belum dinilai dan oleh karena itu secara keliru dihitung sebagai tidak relevan. Ini membuat evaluasi menjadi kurang andal. MS MARCO adalah dataset terbuka berskala besar utama dalam pengambilan informasi dan membentuk pengembangan model pengambilan neural. Di sana, 70% dari bagian teratas yang diambil secara manual tetapi tidak diberi label sebenarnya relevan.

Tolok ukur yang ada cenderung diskalakan hanya dalam satu atau dua dari dimensi ini: koleksi berskala web sering kali memiliki kueri yang dinilai relatif sedikit, sementara tolok ukur dengan banyak kueri umumnya menggunakan korpus yang jauh lebih kecil dan label yang jarang. Selain itu, sebagian besar tolok ukur menggunakan kueri yang ditulis manusia, sedangkan sistem RAG agen mencari dengan kueri yang dirumuskan ulang oleh agen yang mungkin berbeda dalam kata-kata, struktur, dan spesifisitas.

Q2D-Web berskala di ketiga dimensi. Ini berisi 190 juta dokumen web, 69.721 kueri yang dirumuskan ulang oleh agen, dan rata-rata 99,6 penilaian relevansi positif per kueri dalam set penilaian gabungannya. Perbandingan publik terdekat adalah MS MARCO Web Search, versi berskala web dari MS MARCO. Ini memiliki 100,9 juta dokumen, 9.374 kueri uji, dan satu label positif yang berasal dari klik per kueri.

Bagaimana kami membuat Q2D-Web

Perbesar

Kueri

Q2D-Web dibangun berdasarkan 23.000 pencarian produksi bebas PII dalam sepuluh bahasa dan puluhan domain yang dikumpulkan selama periode sembilan bulan.

Pencarian terdiri dari semua pemanggilan alat pencarian web yang dilakukan agen sebagai respons terhadap pesan pengguna. Setiap pemanggilan alat berisi satu atau beberapa kueri. Setiap kueri dirumuskan ulang dari permintaan pengguna, percakapan sebelumnya, dan, jika relevan, dokumen yang diambil sebelumnya pada pencarian yang sama. Setiap pencarian produksi berisi satu kueri utama, yang menyatakan kembali kebutuhan informasi pengguna, dan nol atau beberapa kueri dukungan, yang mengeksplorasi frasa alternatif, informasi latar belakang, atau entitas terkait. Meskipun menangani permintaan yang lebih luas secara umum, kueri tersebut mungkin memerlukan dokumen yang berbeda, sehingga Q2D-Web mengevaluasi setiap kueri secara independen dengan penilaian relevansinya sendiri.

Perbesar

Perbesar

Kami menerapkan penyaringan privasi yang ketat untuk semua kueri yang disertakan. Kueri harus berasal dari pengguna yang mengizinkan data mereka digunakan, dan deteksi PII menggunakan perplexity-ai/pplx-pii-masking mengecualikan kueri yang berisi informasi pribadi. Kami juga menghapus duplikat persis, kueri yang sangat pendek, dan kueri yang berisi operator pencarian seperti site: atau frasa yang dikutip.

Tolok ukur ini mencakup sepuluh bahasa. Bahasa Inggris menyumbang 65,8% dari kueri, diikuti oleh bahasa Spanyol, Rusia, Jerman, Prancis, Portugis, Italia, Korea, Jepang, dan Mandarin. Distribusi kueri juga mencakup berbagai macam domain, termasuk barang konsumsi, pemrograman, hukum, kesehatan, bisnis, sains, pendidikan, teknologi, keuangan, perjalanan, hiburan, politik, informasi lokal, dan berita.

Korpus

Untuk setiap kueri, kami mengambil 5.000 dokumen teratas dengan sistem pengambilan produksi dan mengambil gabungan (union) dari set hasil ini. Kami kemudian melakukan deduplikasi korpus menggunakan MinHash–LSH, mengelompokkan dokumen yang set 5-gram tokennya memiliki kesamaan Jaccard setidaknya 0,975.

Koleksi ini secara sengaja bukan merupakan sampel web acak. Setiap dokumen dianggap sebagai hasil yang masuk akal untuk setidaknya satu kueri tolok ukur. Ini menciptakan kumpulan pengganggu sulit yang padat: halaman yang cocok dengan topik atau bahasa kueri tetapi mungkin melewatkan tanggal, entitas, versi, kuantitas, atau aspek yang diperlukan.

Perbesar

Penilaian

Label relevansi pada dasarnya tidak lengkap pada skala besar. Melabeli setiap pasangan kueri-dokumen yang mungkin adalah tidak layak, dan setiap sumber penilaian membawa bias yang berbeda.

Q2D-Web menggunakan tiga set relevansi alih-alih memperlakukan satu sumber sebagai kebenaran dasar, untuk meningkatkan kedalaman anotasi tanpa menderita bias tunggal.

Sitasi memberi label pada dokumen sebagai relevan ketika agen menyitasinya dalam respons. Ini adalah sinyal yang paling mendekati penggunaan di hilir: agen memilih dokumen sebagai bukti untuk sebuah klaim. Namun berdasarkan konstruksinya, sitasi memiliki presisi tinggi dan perolehan (recall) rendah. Begitu agen memiliki dukungan yang memadai, ia tidak punya banyak alasan untuk menyitasi setiap halaman relevan lainnya.

Peringkat Web terdiri dari hingga 50 dokumen per kueri (rata-rata 43,1), yang diidentifikasi oleh tumpukan pengambilan internal menggunakan BM25 dan pengambilan padat pada tahap pertama, diikuti oleh pemeringkatan ulang cross-encoder. Ini menangkap dokumen yang berguna tetapi tidak disitasi.

Gabungan + Dinilai LLM mengambil gabungan (union) dari Sitasi dan Peringkat Web, kemudian menambahkan penilaian LLM untuk kandidat yang sebelumnya belum dinilai, dengan tujuan mengurangi jumlah negatif palsu. Kami menggabungkan hasil dari BM25, ColBERTv2, dan tujuh penelusur padat yang dirilis sebelum 1 Januari 2025, menggabungkan peringkat mereka menggunakan reciprocal rank fusion (RRF), memilih 500 dokumen teratas yang belum dinilai, dan menerapkan penilai relevansi biner yang ketat menggunakan DeepSeek-V4-Flash.

Ketiga set data ini memungkinkan kita untuk menanyakan apakah performa model bergantung pada cara relevansi didefinisikan. Set data ini juga mengurangi ketergantungan pada satu tumpukan pelabelan tunggal, yang dapat menguntungkan penelusur yang mirip dengan sistem yang digunakan untuk menghasilkan label.

Perbesar

Subsampel: evaluasi yang efisien dalam skala besar

Evaluasi korpus penuh membutuhkan biaya yang mahal dan lambat. Evaluasi tunggal pada Q2D-Web dengan pplx-embed-v1-4b memerlukan 4.608 jam GPU H200, sementara bahkan model kecil seperti EmbeddingGemma-300M memerlukan hampir 200 jam GPU H200.

Untuk menjaga agar evaluasi tetap praktis, kami membangun versi subkorpus dari korpus yang telah disampel.

Kami menjalankan ablasi ekstensif di seluruh strategi penyampelan untuk membangun subkorpus yang lebih kecil yang mencerminkan perilaku korpus penuh. Setiap strategi mempertahankan semua dokumen yang dinilai positif dan hanya bervariasi dalam cara pengganggu yang tidak dinilai dipilih. Pengganggu yang penting adalah pengganggu yang kemungkinan besar akan diberi peringkat oleh penelusur di atas dokumen yang relevan, karena pengganggu tersebut mengubah skor model dan posisinya dalam pemeringkatan.

Kami membandingkan pengambilan sampel acak seragam, pengumpulan ke kedalaman tetap di seluruh retriever konstruksi, dan RRF per-kueri pada berbagai kedalaman. Pengambilan sampel berbasis RRF hanya menggunakan 31,7% dokumen dalam korpus penuh. Ini mempertahankan peringkat model korpus penuh di bawah penilaian Gabungan, sekaligus tetap dekat dengan skor absolut, menaikkan rerata Recall@1000 sebesar 5,2 poin berbanding 12,8 poin untuk pengambilan sampel acak pada ukuran yang sama.

Perbesar

Ini mengurangi biaya evaluasi menjadi sekitar sepertiga dari biaya korpus penuh. Menggunakan subkorpus berbasis RRF, pplx-embed-v1-4b membutuhkan waktu sekitar 1.500 jam GPU H200 dan EmbeddingGemma-300M memerlukan waktu di bawah 70 jam.

Setiap pengiriman dievaluasi terlebih dahulu pada versi subkorpus yang disampel. Pengiriman dibagi menjadi dua kelompok berdasarkan total jumlah parameter: hingga 1B dan di atas 1B. Model yang mencapai sepuluh besar kelompoknya pada subkorpus yang disampel kemudian dievaluasi pada korpus penuh. Model yang berada di luar peringkat 10 besar dalam kelompoknya hanya akan dipublikasikan di papan peringkat subkorpus yang disampel.

Hasil evaluasi

Di antara model yang dievaluasi, Q2D-Web memberikan pandangan yang konsisten tentang performa pengambilan pada skala web di 3 set relevansinya yang berbeda. Papan peringkat membuat pandangan yang saling melengkapi ini tersedia berdampingan, memungkinkan pengguna untuk memeriksa bagaimana model berperformakan di bawah label berbasis sitasi yang lebih sempit dan penilaian relevansi yang lebih luas.

Kami berfokus pada Recall@1000 sebagai metrik utama karena penelusur tahap pertama hanya perlu menempatkan dokumen yang relevan di kumpulan kandidat, sementara pemeringkatan ulang berikutnya menentukan urutan akhir mereka.

Perbesar

Tabel 1. Recall@1000 dan nDCG@10 korpus penuh untuk tiga belas retriever di seluruh set relevansi Sitasi, Peringkat Web, dan Gabungan. Skor yang lebih tinggi adalah yang lebih baik.

pplx-embed-v1-4b memiliki Recall@1000 tertinggi pada ketiga set penilaian: Sitasi (85,03), Peringkat Web (65,73), dan Gabungan (70,00). Pada Recall@100 dan nDCG@10 Gabungan, Nemotron-3-Embed-8B (30,32 dan 45,65) memperoleh skor di atas pplx-embed-v1-4b (30,17 dan 44,12).

Dalam satu keluarga, model yang lebih besar mencetak skor lebih tinggi pada Recall@1000 Gabungan. Qwen3-Embedding naik dari 58,68 (0,6B) menjadi 65,32 (8B), Nemotron-3-Embed dari 62,44 (1B) menjadi 69,33 (8B), dan pplx-embed-v1 dari 67,91 (0,6B) menjadi 70,00 (4B).

Model Perplexity dievaluasi menggunakan saluran yang sama dengan semua model lain yang dikirimkan. Namun, karena Q2D-Web berasal dari lalu lintas produksi Perplexity, model-model ini mungkin mendapatkan keuntungan dari keunggulan dalam distribusi. Meskipun kueri evaluasi dan korpus tolok ukur dikecualikan dari pelatihan model, hasil harus ditafsirkan dengan mengingat potensi keunggulan ini.

Cara mengirimkan ke Papan Peringkat

Untuk meminta evaluasi, kirimkan model Hugging Face yang tersedia untuk umum melalui formulir permintaan evaluasi kami.

Kami mengikuti kartu model di repositori yang dikirimkan untuk pengaturan inferensi khusus model, termasuk instruksi atau awalan kueri dan dokumen yang disarankan, penggabungan (pooling), normalisasi, dan fungsi kesamaan. Semua kueri dan dokumen dipotong hingga 512 token dengan tokenisasi milik model sendiri, termasuk instruksi, awalan, dan token khusus, sehingga konteks yang didukung lebih panjang tidak memberikan keuntungan. Pastikan kartu model menyediakan instruksi yang lengkap dan tidak ambigu untuk mereproduksi pengaturan pengambilan yang dimaksud.

Model yang memenuhi syarat harus dapat dimuat melalui API transformers atau sentence-transformers standar. Model yang tidak berjalan dengan trust_remote_code=False memerlukan peninjauan manual terhadap kode kustom dan pihak pengirim sebelum evaluasi, yang memakan waktu jauh lebih lama. Repositori privat atau berpagar (gated) tidak memenuhi syarat.

Baca laporan teknis kami untuk mempelajari lebih lanjut tentang metodologi dan temuan.

Sitasi

@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}