WANDRベンチマーク：広範かつ深い検索が求められる研究エージェントの評価

本日、私たちは知識労働のための500の現実的かつ困難なデータ収集タスクで構成されるオープンベンチマークおよび評価ハーネスであるWANDR（Wide ANd Deep Research）をリリースします。WANDRは、当社の深い研究のためのDRACOベンチマークの「ワイド（広範）」な姉妹版です。DRACOは、エージェントが正確で完全、かつ客観的な長文レポートを作成できるかを問うものですが、WANDRは、大規模なコレクションを構築し、すべての要素を具体的な証拠で裏付けられるかを問うものです。

これらは、人々がすでに研究エージェントに依頼しているような業務です。競合マッピング、デューデリジェンス、文献レビュー、市場分析、製品比較、人材ソーシングなどが含まれます。タスクは、数十から数千の独立して検証可能な記録に及びます。高い労力を要する設定であっても、評価における最も強力なシステムでさえ、0.363のソフトF1と0.133のハードF1に達するのがやっとです。広範かつ深い研究（Wide-and-deep research）が解決されるまでには、まだ長い道のりがあります。

拡大

広範かつ深い研究が重要な理由

多くの有益な研究業務は、エージェントが1つの答えを見つけて終了するわけではありません。市場アナリストは、資格のあるすべての競合他社を必要とし、それぞれに同じ証拠を求める場合があります。デューデリジェンスのチームは、数十社の企業に加え、そのすべての企業について所有権、役員、財務状況、規制状況を必要とするかもしれません。これによって、2つの別個の要求が生じます。

ワイド（広範）：資格のあるエンティティの広範かつ多くの場合オープンエンドなセットを発見する。

ディープ（深い）：すべてのエンティティを、要求された各主張を証拠で裏付けられるまで十分に調査する。

この2つを組み合わせることで、問題の性質が変わります。説得力のあるいくつかの例だけでは不十分であり、不完全な研究に基づいた洗練されたナラティブも同様です。エージェントは、ある記録から次の記録へと事実の品質を犠牲にすることなく、広範な発見を維持しなければなりません。

WANDRは、柔軟で構成可能な資格キー階層でその構造を捉えています。タスクには次のようなものが要求される場合があります。

会社(n) → 従業員(m) → URL(k)

これは、n社の資格のある企業、各企業でm名の資格のある従業員、そして各従業員についてk件の裏付けページを見つけることを意味します。ツリーを通過するすべての完全なパスは、個別に検証できます。同じ基本構造で、フラットリスト、ネストされた検索、マトリックス、または複数の証拠分岐を持つタスクを表現できます。これらのパターンは組み合わせることも可能で、1つの表現で広範な現実世界のユースケースをカバーできます。

拡大

公開されたタスクの1つが、この構造を実際に示しています。

ceo_cfo_appointments

基本タスク。 2026年3月1日から4月30日の間に最初に発表されたCEOまたはCFOの任命がある、米国に拠点を置く企業を少なくとも70社見つけること。各企業について、会社と被任命者を特定し、役割と発表日を確定させ、発行体、提出書類、ニュースワイヤー、または直接帰属する一次ビジネスジャーナリズムから提供される信頼できる任命ページを提供すること。

基本階層。 company(70) → company_appointee(1) → url(1)。

会社リストのサブタスク。 同じ企業について、米国の全国証券取引所への上場、または米国居住のSEC取引法報告発行体としてのステータスを示す、認定されたリスト当局のページを提供すること。

サブタスク階層。 company(70) → url(1)。

必要な記録。 140件：70件の任命記録と70件のリスト記録。

すべてのパスは、グレーダーが再確認できるページと抜粋で終わります。共有されている会社キーが任命ブランチとリストブランチを整列させるため、リスト状況の個別の証明がない任命では、その企業の記録は不完全なままとなります。

現実的なタスクを大規模に生成

WANDRは、合成プロンプトではなく、本番環境の利用状況で観察された非識別化パターンから始まります。これにより、ベンチマークは、オープンエンドな発見、繰り返しの強化、ソース間チェック、専門的な規模での構造化された比較など、人々が実際に委託する業務に近づけられています。半自動パイプラインがこれらのパターンをタスクに変換し、網羅的な回答のアノテーションではなく、品質管理のために人間の労力を確保します。

パイプラインには4つのステージがあります。シーディング（Seeding）は、非識別化された製品リクエストから再利用可能な「ワイド（広範）」研究パターンを抽出します。オーサリング（Authoring）は、相互運用された作成者・批評家のループを実行します。エージェントが設計をスケッチしてストレステストを行い、タスク仕様と判定基準を記述し、フィクスチャ記録を作成し、メカニカルリンターを使用してすべてを調整します。アドミッション（Admission）は、10～12のオーサリングロールアウトをマージし、タスク固有の判定基準を監査し、必要に応じて人間の署名を追加することで、ターゲットボリュームに到達可能かどうかを確認します。キュレーション（Curation）は、承認されたタスクにラベルを付け、トピック、規模、トポロジ、難易度にわたってバランスの取れた最終セットを選択します。

拡大

中央値のタスクでは、50のメンバー、メンバーあたり4件の記録、全体で245件の記録が求められます。合計すると、500のタスクで170,495件のソースに裏付けられた記録が要求されます。私たちは過去の設計段階のロールアウトから難易度を調整し、ランクごとにタスクを低難易度167件、中難易度166件、高難易度167件に分割します。以下のプロットは、難易度が規模だけで決定されるのではなく、各記録に必要な作業にも依存することを示しています。

拡大

参照なし、証拠検証によるグレーディング

固定された回答キーは、オープンエンドな研究には不向きです。作成には費用がかかり、すぐに陳腐化し、回答が時間とともに変化する問いを適切に表現できません。WANDRは代わりに、提出された各主張をエージェントが引用する証拠と照らし合わせて採点します。

すべての記録には、アイテム、URL、選択された抜粋、および回答が含まれています。グレーダーはページを再取得し、使用可能かどうか、主張が明確で範囲内かどうか、抜粋がページに忠実に現れているかどうか、そしてページと抜粋の両方がすべての要件をサポートしているかどうかを確認します。

これらのバイナリ形式の記録判定は、階層を通じて集計されます。適合率（Precision）はシステムが提出したものの品質を測定します。再現率（Recall）は、要求されたボリュームに対する品質調整された完了率を測定し、不足分はゼロで埋めます。F1は両者のバランスを取ります。ソフトスコアは不完全なメンバーに部分的なクレジットを与えます。ハードスコアは、完全な必須サブツリーが正しいメンバーのみをカウントします。診断のために、WANDRは、妥当性と提出された抜粋に対するより厳格なチェックを追加する前に、取得したページがタスクを満たしているかどうかを問う、取得のみの判定も報告します。

これにより、失敗が解釈可能かつ局所化されます。高い適合率と低い再現率は、システムがいくつかの優れたメンバーを見つけたものの、十分な数ではないことを通常意味します。ソフトからハードへの大きな低下は、部分的な進捗はあったものの、完全なクレジットに必要なすべてのブランチを完了することはめったになかったことを意味します。スコアツリーは、損失を発見、強化、ID処理、ページ資格、または証拠抽出に局所化できます。

拡大

私たちが発見したこと

私たちは6つの本番システムを比較しました：ホスト型タスクおよび検索API、汎用WebエージェントAPI、深い研究用製品、および当社のプログラム型検索オーケストレーションシステムであるSearch as Code (SaC)です。それぞれが固定構成の下ですべての500タスクでスケジュールされ、その後、同じ取得、判定、ID解決、およびスコアリングパイプラインを経由しました。

PerplexityのSearch as Codeが0.363のソフトF1と0.133のハードF1でリードしています。Anthropicが0.249と0.072で2位であり、他のすべてのシステムは0.121のソフトF1と0.035のハードF1で頭打ちです。品質と効率の両方を支配するシステムはありません。Perplexityは、タスクあたり5.20ドルというコスト範囲の中間に位置し、中央値の解決時間は14.9分、タスクあたりの報告トークン数は382万です。OpenAIとExaはより高速で安価ですが、スコアははるかに低くなっています。Anthropicは品質面で最も近いですが、より多くの時間、金、トークンを使用します。

拡大

拡大

また、同じ45タスクのサブセットで利用可能なすべての労力設定を評価しました。労力を増やすと、Perplexity、Gemini、およびExaはあらゆる段階で改善します。Perplexityはxhighで0.447のソフトF1と0.224のハードF1に達します。しかし、労力が高ければ常に優れているわけではありません：OpenAIはhighでピークに達し、ParallelのハードF1はultra2xとultra4xの間でわずかに低下します。コストは、Exaのlowのタスクあたり0.03ドルから、Geminiのmaxの324.83ドルまで、4桁以上の幅があります。

拡大

拡大

4つの発見が際立っています。

部分的な進捗は一般的ですが、完全な網羅性はそうではありません。 ソフト再現率はすべてのシステムでソフト適合率を下回っており、これは要求された全ボリュームが分母に入るとパフォーマンスが低下することを意味します。Perplexityは適合率0.389から再現率0.357を維持しており、その差は最小ですが、Anthropicは0.354から0.222に低下します。ソフトからハードへの変換はさらに厳しくなります。PerplexityはソフトF1の0.363からハードF1の0.133に低下し、Anthropicは0.249から0.072に低下します。最高のハード適合率は0.150、最高のハード再現率は0.134です。リーダーでさえ、提出したメンバーの約7分の1、およびタスクが要求したメンバーの7分の1に対してのみ完全なクレジットを獲得しています。

規模が問題を複雑にします。 最小のターゲットボリュームから最大のターゲットボリュームのビンへ向かうにつれて、Perplexityのハード適合率は0.235から0.096に、ハード再現率は0.219から0.079に低下します。Anthropicは0.205から0.113へ、0.127から0.042へ低下し、OpenAIは0.109から0.034へ、0.102から0.016へ低下します。再現率は通常、適合率よりも速く低下します。システムは完全なメンバーを少量保持できても、要求されたセットの網羅率はどんどん低下していく可能性があります。

階層が深くなると、状況はさらに厳しくなります。中間キーがない状態から3つ以上へと進むにつれて、Perplexityのハード適合率は0.392から0.019に、ハード再現率は0.378から0.017に低下します。Anthropicは0.311から0.049へ、0.229から0.022へ低下し、OpenAIは0.136から0.012へ、0.120から0.011へ低下します。ブランチを追加するたびに、メンバーがオールオアナッシングのハードスコアを逃す場所が1つ増えます。コストと待ち時間は、共通の単調なパターンには従いません。

拡大

品質を判断する前であっても、発見こそが最初の構造的なボトルネックです。 生の、崩壊前の数だけを見ると、平均的なトップレベルの発見完了率は0.611から0.951の範囲です。条件付きの強化は0.767～0.967とより強力で、メンバーとその強化パスが存在すると、末端の証拠スロットの完了率は0.979～0.994に達します。Perplexityは発見率0.951、強化率0.967でリードしていますが、OpenAIは末端の証拠スロットで0.994対0.991とわずかに上回っています。重複の解消は、6つの完全な実行全体でのカウント損失のわずか0.017～0.205パーセントポイントを占めるに過ぎないため、アイデンティティのマージではなく、過小配送が主な集計上の説明となります。最大の構造的な損失は、最終的なURLが添付される前に発生します。

拡大

使用可能なページを見つけるのは通常簡単ですが、完全な証拠を見つけるのは困難です。 5つのシステムでは、提出されたページのうち3.2%～8.9%しか使用不可ではなく、OpenAIは23.1%の外れ値となっています。無効または誤ったタイプの記録も4.2%～17.4%と比較的珍しいです。支配的な損失は次に発生します。提出されたページの33.6%～68.3%が少なくとも1つの実質的なタスク要件を満たせず、提出された抜粋の57.5%～86.6%が記録が主張するすべてを裏付けることに失敗しています。Perplexityの割合は41.4%と57.5%です。そのソフトF1は、取得のみのチェック（ページがすべての実質的な要件を満たしているかのみを問う）では0.531から、完全な判定（普遍的なチェック、タスク固有の妥当性、完全な抜粋の裏付けも必要とする）では0.363に低下します。ハードF1も同様に0.245から0.133に低下します。難しいのは、もっともらしいページに到達することだけではありません。そのページを、主張全体に対して十分な証拠に変えることです。

拡大

Search as Codeはこのタスクの形状によく適合しています。モデルは、取得、フィルタリング、ファンアウト、レンダリング、結合、重複排除、停止ロジックをプログラムとして表現でき、決定論的な計算がモデルコンテキスト外の繰り返される操作を処理します。そのプロファイルは、Perplexityの強力な幅の保持と抜粋の構築と一致していますが、すべてのレイヤーでリードしているわけではありません。Anthropicはページ要件の失敗率が最も低いです。

次は何か

WANDRは、単一のリーダーボードスコア以上のものを提供します。その共通のタスク構造と半自動パイプラインは、多様で大容量のタスク生成をサポートし、記録ごとの判定と階層レベルのスコアは、実行がどこで失敗したか（発見、強化、ID処理、意味的資格、または証拠構築）を示します。リリースされたタスク、検証ツール、および構造診断は、包括的な検索システムを改善し、それらのゲインが大規模で維持されるかどうかをテストするための基盤を提供します。

同じ構造により、WANDRは強化学習にも役立つ可能性があります。単一の疎な末端報酬に頼るのではなく、トレーナーは記録レベルおよびブランチレベルの判断を使用し、発見や強化の進捗に対して部分的なクレジットを割り当て、時間とともに必要な数を増やすことでカリキュラムを構築できます。パイプラインは、ゴールドの回答を列挙することなく、ドメイン、階層の形状、証拠ルール、および幅と深さの設定にわたって、ホールドアウトされた姉妹タスクを生成できます。これは、正しい事実を見つけるだけでなく、網羅性を計画し、欠落しているブランチを検出し、停止する前に回復するようにエージェントをトレーニングするための道筋を作成します。

ベンチマークタスク、評価ハーネス、および完全な技術レポートはGitHubで入手可能です。

引用

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}