Q2D-Web：大規模な第一段階リトリーバーの評価

7万件のエージェントクエリ、1億9,000万件のウェブドキュメント、3つの関連性判定セットを備えたベンチマークとリーダーボード。

著者Perplexity Research

本日、エージェント型RAGシステムの検索を評価するためのプライベートベンチマークおよびパブリックリーダーボードであるQ2D-Web（Query2Doc-Web）を発表いたします。Q2D-Webは、元のQ2Dベンチマークを大規模なコーパス、より大きなクエリセット、およびより深い判定アノテーションに拡張したものです。

Q2D-Webは、大規模なウェブ検索で埋め込みモデルを評価するために構築されています。9か月のPIIを含まないプロダクション検索トラフィックからサンプリングされた、10言語の1億9,000万件のウェブドキュメントと69,721件のエージェントによって再構成されたクエリで構成されています。

この規模では、クエリとドキュメントのレベルでの関連性シグナルはどうしてもまばらになります。1つのソースをグラウンド真値として扱うのではなく、エージェントの引用、プロダクションのウェブランキング、およびこれまで評価されていなかったペアに対する追加のLLM評価から導出された、3つの関連性判定セットを提供します。複数のソースを使用することで単一のラベリングパイプラインからのバイアスを制限し、より深いアノテーションによって偽陰性を減らします。

当社のリーダーボード は、一貫したインデックス作成、検索、およびスコアリングパイプラインを使用してベンチマークに対して直接評価された、一般に公開されている検索モデルの結果を報告します。評価は、リクエストフォームから提出できます。

現実的な検索評価の課題

各クエリに対して、プロダクションスケールの検索システムが数十億のウェブページのコーパスを検索し、数千の候補ドキュメントを返します。これらの候補は、下流のシステムがどのソースを参照できるかを決定し、エージェントが利用できる証拠を直接形作ります。

したがって、この最初のステージの現実的な評価には、コーパス内のドキュメント数、評価されたクエリ数、およびクエリあたりの関連性判定数の3つの次元に沿ってスケールするベンチマークが必要です。

より大きなコーパスは、クエリと意味的に似ているが要求された情報を提供しないドキュメントであるハードネガティブを導入することにより、ベンチマークの識別力を高めることができます。リトリーバーは、これらの妥当な一致を関連ドキュメントから区別する必要があります。以下のサブサンプリング実験が示すように、既知の関連ドキュメントを保持しながらコーパスを縮小すると、これらのディストラクターが削除され、リコールが過大評価される可能性があります。

評価されたクエリが増えると、パフォーマンスの推定の信頼性が高まります。クエリセットが小さい場合、ベンチマークの結果はどのクエリがサンプリングされたかに大きく依存するため、各モデルのパフォーマンスを正確に推定し、モデル間を確信を持って区別することが難しくなります。

より深い判定により、評価における偽陰性が減少します。まばらなラベルを使用すると、リトリーバーは未評価の関連ドキュメントを表面化させる可能性があり、そのため非関連として誤ってカウントされます。これにより、評価の信頼性が低下します。MS MARCOは、情報検索における主要な大規模オープンデータセットであり、ニューラル検索モデルの開発を形作りました。そこで、手動で検査された上位取得済みだがラベル付けされていないパッセージの70%が、実際には関連していました。

既存のベンチマークは、これらの次元のうち1つまたは2つだけでスケールする傾向があります。ウェブスケールのコレクションには、評価されたクエリが比較的少ないことが多く、多くのクエリを持つベンチマークは、一般的に、はるかに小さなコーパスとまばらなラベルを使用します。さらに、ほとんどのベンチマークは人間が書いたクエリを使用しますが、エージェント型RAGシステムは、表現、構造、および具体性が異なる可能性のある、エージェントによって再構成されたクエリで検索を行います。

Q2D-Webは3つの次元すべてにわたってスケールします。結合された判定セットには、1億9,000万件のウェブドキュメント、69,721件のエージェントによって再構成されたクエリが含まれており、クエリあたり平均99.6件の肯定的な関連性判定が含まれています。最も近いパブリックな比較対象は、MS MARCOのウェブスケールバージョンであるMS MARCO Web Searchです。これには、1億90万件のドキュメント、9,374件のテストクエリ、およびクエリあたり1つのクリックから派生した正のラベルが含まれています。

Q2D-Webの作成方法

Q2D-Webの構築：プライバシーフィルタリング済みクエリのサンプリング、コーパスの構築と重複排除、関連性ラベリング、およびサブコーパスのサンプリング。

クエリ

Q2D-Webは、9か月の期間にわたって収集された、PIIを含まない10言語、数十のドメインにわたる23,000件のプロダクション検索に基づいて構築されています。

検索とは、ユーザーメッセージに対してエージェントが実行するすべてのウェブ検索ツール呼び出しを指します。各ツール呼び出しには、1つ以上のクエリが含まれます。各クエリは、ユーザーのリクエスト、過去の会話、および該当する場合は同じ検索内で以前に取得されたドキュメントから再構成されます。各プロダクション検索には、ユーザーの情報ニーズを再記述する1つのプライマリクエリと、代替の表現、背景情報、または関連エンティティを探索する0個以上のサポートクエリが含まれます。これらは同じ広範なリクエストを対象としていますが、異なるドキュメントを必要とする場合があるため、Q2D-Webは各クエリを独自の関連性判定によって独立して評価します。

Q2D-Webの69,721件のクエリの長さと言語の分布。長さは文字数で測定され、バーは各カテゴリにおけるクエリの割合を示しています。
サブジェクトドメイン全体におけるQ2D-Webクエリの分布。バーはクエリセットにおける各ドメインのシェアを示しており、「その他」にはさらに15のドメインがまとめられています。

含まれるすべてのクエリに対して厳格なプライバシーフィルタリングを適用します。クエリは、データの使用を許可したユーザーからのものである必要があり、perplexity-ai/pplx-pii-masking を使用したPII検出により、個人情報を含むクエリが除外されます。また、完全な重複、非常に短いクエリ、およびsite:などの検索演算子や引用符で囲まれたフレーズを含むクエリも削除されます。

ベンチマークは10言語をカバーしています。英語がクエリの65.8%を占め、スペイン語、ロシア語、ドイツ語、フランス語、ポルトガル語、イタリア語、韓国語、日本語、中国語がそれに続きます。クエリの分布はまた、消費財、プログラミング、法律、健康、ビジネス、科学、教育、テクノロジー、金融、旅行、エンターテインメント、政治、地域情報、ニュースなど、幅広いドキュメントの混在にまたがっています。

コーパス

すべてのクエリについて、プロダクション検索システムで上位5,000件のドキュメントを取得し、これらの結果セットの和集合を取ります。次に、MinHash-LSHを使用してコーパスの重複を排除し、トークン5-gramセットのジャッカード係数が少なくとも0.975であるドキュメントをクラスタリングします。

このコレクションは、意図的にランダムなウェブサンプルではありません。各ドキュメントは、少なくとも1つのベンチマーククエリに対して妥当な結果とみなされたものです。これにより、難易度の高い高密度なディストラクター（クエリのトピックや言語には一致するものの、必要な日付、エンティティ、バージョン、数量、または側面が欠落している可能性のあるページ）のセットが作成されます。

約1億9000万件のドキュメントコーパスにおけるドキュメントの長さと言語の分布。長さは文字数で測定され、バーは各カテゴリにおけるドキュメントの割合を示しています。

判定

大規模な場合、関連性ラベルは本質的に不完全です。考えられるすべてのクエリとドキュメントのペアにラベルを付けることは実行不可能であり、判定の各ソースは異なるバイアスを持っています。

Q2D-Webは、単一のバイアスに苦しむことなくアノテーションの深さを増すために、1つのソースをグラウンド真値として扱うのではなく、3つの関連性セットを使用します。

引用は、エージェントが応答内でドキュメントを引用したときに関連するものとしてラベル付けします。これは下流の使用に最も近いシグナルです。つまり、エージェントが主張の証拠としてドキュメントを選択したということです。しかし、引用は構造上、高精度かつ低リコールです。エージェントが十分なサポートを得た後は、他のすべての関連ページを引用する理由がほとんどなくなります。

ウェブランキングは、クエリあたり最大50個のドキュメント（平均43.1）で構成されており、最初のステージでBM25と高密度検索を使用した内部検索スタックによって特定され、その後にクロスエンコーダのリランキングが続きます。これにより、引用されていないものの有用なドキュメントが捉えられます。

結合 + LLM評価は、引用とウェブランキングの和集合を取り、偽陰性の数を減らすことを目的に、以前に評価されていなかった候補に対するLLM評価を追加します。BM25、ColBERTv2、および2025年1月1日前にリリースされた7つの高密度リトリーバーの結果をプールし、 reciprocal rank fusion （RRF）を使用してランキングをマージし、上位500件の未評価ドキュメントを選択し、DeepSeek-V4-Flashを使用して厳格なバイナリ関連性判定を適用します。

これら3つのセットにより、モデルのパフォーマンスが関連性の定義方法に依存するかどうかを検証できます。また、ラベルの生成に使用されたシステムに類似したリトリーバーを優遇してしまう可能性のある、単一のラベリングスタックへの依存も軽減されます。

対数スケールによるクエリあたりの関連ドキュメントの分布。結合ラベルには、引用、Webランキング、追加のLLM判定がまとめられています。

サブサンプリング：大規模な効率的評価

フルコーパスの評価は費用がかかり、時間がかかります。pplx-embed-v1-4bを使用したQ2D-Webでの単一の評価には4,608 H200 GPU時間が必要ですが、EmbeddingGemma-300Mのような小さなモデルでも200 H200 GPU時間近く必要になります。

評価を実用的なものに保つために、コーパスのサブサンプリングされたバージョンを構築します。

フルコーパスの動作を反映するより小さなサブコーパスを構築するために、サンプリング戦略全体で広範なアブレーションを実行しました。すべての戦略は、肯定的に判定されたすべてのドキュメントを保持し、未評価のディストラクターがどのように選択されるかのみを変更します。重要なディストラクターとは、リトリーバーが関連ドキュメントよりも上位にランク付けする可能性が高いものです。なぜなら、それらがモデルのスコアやランキングでの位置を変更するためです。

私たちは、一様ランダムサンプリング、構築リトリーバー間での固定深度へのプーリング、および異なる深度におけるクエリごとのRRFを比較しました。RRFベースのサンプリングは、全コーパス内の文書の 31.7% のみを使用します。これにより、Combined 判定における全コーパスモデルのランキングが維持されるとともに、絶対スコアにも近い状態が保たれ、同サイズでのランダムサンプリングにおける 12.8 ポイントの上昇に対し、平均 Recall@1000 のインフレを 5.2 ポイントに抑えることができます。

サンプリング戦略ごとの平均 Recall@1000 および Combined 判定における全コーパスモデルランキングとの一致度。Reciprocal rank fusion (RRF) は、コーパスの 31.7% を使用して評価済みモデルのランキングを維持し、ランダムサンプリングよりもリコールのインフレが小さくなっています。

これにより、評価コストがフルコーパスのコストの約3分の1に削減されます。RRFベースのサブコーパスを使用すると、pplx-embed-v1-4bは約1,500 H200 GPU時間を必要とし、EmbeddingGemma-300Mは70未満で済みます。

すべての提出物は、まずサンプリングされたサブコーパスバージョンで評価されます。提出物は、パラメータ総数（1B以下と1B超）によって2つのグループに分割されます。サンプリングされたサブコーパスでグループの上位10位に達したモデルは、フルコーパスで評価されます。グループ内で上位10位に入らなかったモデルは、サンプリングされたサブコーパスのリーダーボードにのみ公開されます。

評価結果

評価されたモデル全体で、Q2D-Webは、3つの異なる関連性セットにわたって、ウェブスケールでの検索パフォーマンスの一貫したビューを提供します。リーダーボードでは、これらの補完的なビューを並べて表示できるため、より限定された引用ベースのラベルと、より広範な関連性判定の下でモデルがどのようにパフォーマンスを発揮するかを検証できます。

最初のステージのリトリーバーは候補プールに関連ドキュメントを配置するだけでよく、最終的な順序は後続のリランキングによって決定されるため、プライマリ指標としてRecall@1000に焦点を当てています。

モデルファミリーごとにグループ化された13種類の検索モデルの、Combined Recall@1000対Combined nDCG@10。最高スコアを獲得したモデルは、2つの指標の間で異なります。

表1. Citation、Web Ranking、Combined の関連性セット全体における、13種類のリトリーバーの全コーパス Recall@1000 および nDCG@10。スコアが高いほど優れています。

モデル

Recall@1000: 引用

Recall@1000: ウェブランキング

Recall@1000: 結合

nDCG@10: 引用

nDCG@10: ウェブランキング

nDCG@10: 結合

BM25-tantivy

60.84

42.50

45.25

7.30

11.45

29.27

EmbeddingGemma-300M

80.10

58.93

66.24

12.21

17.30

41.95

mDenseOn

73.72

52.56

60.09

10.08

15.06

38.87

Nemotron-3-Embed-1B

75.64

54.37

62.44

9.69

14.83

38.84

Nemotron-3-Embed-8B

83.14

61.73

69.33

13.17

18.69

45.65

pplx-embed-v1-0.6b

81.85

62.15

67.91

12.52

19.76

42.73

pplx-embed-v1-4b

85.03

65.73

70.00

14.18

21.29

44.12

Qwen3-Embedding-0.6B

71.19

51.82

58.68

8.53

14.11

36.19

Qwen3-Embedding-4B

76.49

55.60

62.78

9.91

14.97

38.82

Qwen3-Embedding-8B

79.26

58.34

65.32

10.75

16.27

41.20

voyage-4-nano

69.55

50.14

57.42

6.96

11.77

30.59

mLateOn

74.16

53.12

61.77

10.94

15.51

41.61

pplx-embed-v1-late-0.6b

78.64

58.14

64.20

11.88

17.25

41.77

pplx-embed-v1-4b は、Citation (85.03)、Web Ranking (65.73)、Combined (70.00) の3つの評価セットすべてにおいて、最も高い Recall@1000 を記録しています。Combined の Recall@100 および nDCG@10 では、Nemotron-3-Embed-8B (30.32 および 45.65) が pplx-embed-v1-4b (30.17 および 44.12) を上回っています。

同一ファミリー内では、大規模なモデルほど Combined Recall@1000 のスコアが高くなります。Qwen3-Embedding は 58.68 (0.6B) から 65.32 (8B) へ、Nemotron-3-Embed は 62.44 (1B) から 69.33 (8B) へ、pplx-embed-v1 は 67.91 (0.6B) から 70.00 (4B) へと上昇しています。

Perplexityモデルは、他のすべての提出済みモデルと同じパイプラインを使用して評価されます。ただし、Q2D-WebはPerplexityのプロダクションLビフィックから派生しているため、これらのモデルはディストリビューション内（イン・ディストリビューション）の優位性を享受している可能性があります。ベンチマークの評価用クエリとコーパスはモデルのトレーニングから除外されていますが、この潜在的な優位性を念頭に置いて結果を解釈する必要があります。

リーダーボードへの提出方法

評価をリクエストするには、評価リクエストフォームから一般に公開されているHugging Faceモデルを提出してください。

推奨されるクエリおよびドキュメントの指示やプレフィックス、プーリング、正規化、類似度関数など、モデル固有の推論設定については、提出されたリポジトリのモデルカードに従います。指示、プレフィックス、および特殊トークンを含め、すべてのクエリとドキュメントはモデル独自のトークナイザーで512トークンに切り詰められるため、サポートされるコンテキストが長くても利点はありません。モデルカードが、意図した検索セットアップを再現するための完全で明確な指示を提供していることを確認してください。

対象となるモデルは、標準的なtransformersまたはsentence-transformers APIを通じてロードできる必要があります。trust_remote_code=Falseで実行されないモデルは、評価の前にカスタムコードと提出者の手動レビューが必要となり、大幅に時間がかかります。プライベートまたはゲートされたリポジトリは対象外です。

方法論と調査結果の詳細については、テクニカルレポートをお読みください。

引用

BibTeX
@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}