DRACOベンチマークによる深い研究のパフォーマンス評価

本日、私たちは、ユーザーがAIを複雑な調査業務に実際にどのように利用しているかに基づく、深い研究エージェントを評価するためのオープンなベンチマークである「Deep Research Accuracy, Completeness, and Objectivity (DRACO) Benchmark」をリリースいたします。DRACOをオープンソース化することで、私たちはAIコミュニティ全体が、実際のユーザーのニーズにより適合した調査ツールの構築を支援することを目指しています。

DRACOは、合成的なタスクの解決と、本物の調査ニーズを満たすこととの間のギャップを明らかにします。この評価ハーネスはモデルに依存しないため、より強力なエージェント型LLMが登場すれば、再評価を行い、更新された結果を公開する予定です。Perplexity.ai上で「深い研究」機能に改善を加える際、ユーザーの皆様には、製品のパフォーマンスとベンチマークスコアの両方にその成果が反映されていることを実感していただけるはずです。

Perplexityの「深い研究」機能は、Google DeepMindのDeepSearchQAやScale AIのResearchRubricsなど、主要な外部ベンチマークにおいて最先端のパフォーマンスを達成しています。

Google DeepMind の DeepSearchQA ベンチマークにおける深い研究システムのスコア。

Scale AI の ResearchRubrics ベンチマークにおける深い研究システムのスコア。

これらの結果は、利用可能な最高レベルのモデルと、Perplexityが独自に構築したエージェント機能（独自の検索ツール、ブラウザインフラストラクチャ、コード実行環境）を組み合わせることで実現されました。これらを合わせることで、実世界の情報の検索、合成、推論に最適化されたエンドツーエンドのシステムが構築されています。

本製品を構築する過程で、私たちは、外部ベンチマークはモデルの比較には有用であるものの、実ユーザーが日常的に求める多面的なクエリや合成の要求を捉えきれていないことが多いことに気づきました。本日、私たちは、10の分野にわたる数百万もの本番環境のタスクを動機とし、人々が実際に「深い研究」をどのように行っているかに基づいた「DRACO Benchmark」をオープンソース化します。

既存のベンチマークは、単一の事実の検索、トリビアへの回答、または明確に定義された問題の解決といった、狭い範囲のスキルを個別にテストすることが一般的です。しかし、実際の調査クエリには、ソースを横断した合成、詳細な分析、実用的なガイダンスが求められ、同時に、事実の正確性と適切な引用を維持する必要があります。

DRACO Benchmarkは、学術、金融、法律、医学、技術、一般教養、UXデザイン、パーソナライズド・アシスタント、ショッピング／製品比較、および「干し草の中の針（難解な情報の抽出）」の10分野にわたる、厳選された100のタスクで構成されています。各タスクには、平均約40の評価基準を持つ専門家作成のルーブリックが組み合わされています。これらのタスクは、Perplexityの「深い研究」における実際のユーザーリクエストから発生したもので、数百万もの本番リクエストから抽出され、5段階のパイプライン（個人識別情報の削除、コンテキストとスコープの追加、客観性と難易度によるフィルタリング、ドメイン専門家による最終レビュー）を経て体系的に再構成、強化、選別されています。その結果、合成的な演習や専門家が作成した課題ではなく、真のユーザーニーズを反映したベンチマークが完成しました。

初期のルーブリック作成から最終的な品質保証まで、4 段階のルーブリック設計とレビューのプロセス。

ベンチマーク内の各タスクは、厳格なルーブリック開発プロセスを経ています。Perplexityはデータ生成パートナーであるThe LLM Data Companyと協力し、セットのための評価ルーブリックの開発とストレステストを行いました。各分野の専門家がLLMツールを使用して初期ルーブリックをドラフトし、その後、査読と調整を繰り返しました。不適切な表現や過度に寛容なルーブリックは修正のために差し戻され、このプロセスを通じてルーブリックの約45%が少なくとも一度は洗練されました。その結果、システムの能力を真に識別する評価基準が確立されました。

ルーブリックは、事実の正確性（全基準の約半分）、分析の幅と深さ、プレゼンテーションの質、一次資料の引用という4つの側面を評価します。各基準には重要度に応じた重みが割り当てられ、一部の基準はネガティブ評価として、ハルシネーション（幻覚）や根拠のない主張などの誤りに対してペナルティを課します。

回答は「LLM-as-judge（ジャッジとしてのLLM）」プロトコルを使用して採点され、各基準に対してバイナリの判定が下されます。このアプローチは、検索結果から得られる実データに基づいてジャッジが根拠を持つため、事実の正確性の評価に適しており、主観的な評価を検証可能な事実確認へと変換します。私たちは3つのジャッジモデル間で信頼性を検証し、絶対スコアは変動するものの、相対的なシステムランキングは一貫していることを確認しました。

DRACO 評価フレームワーク: タスクとルーブリック、深い研究エージェント、LLM ジャッジ、そして結果。

このベンチマークは、コード実行サンドボックスやブラウザ機能を含む、完全な研究ツールセットにアクセス可能なエージェントを評価するように設計されています。

分野別パフォーマンス。私たちは、4つの「深い研究」システムを10の知識分野にわたり評価し、パス率（評価基準を満たした割合）を測定しました。「深い研究」機能はすべての分野で最高のパス率を達成し、特に法律（89.4%）と学術（82.4%）で非常に高いパフォーマンスを示しました。

ユーザーにとって、これは法的文書の作成、文献レビューの実施、あるいは医療治療オプションの比較など、どのような場面でも、より信頼性の高い回答が得られることを意味します。複雑な推論タスクではパフォーマンスの差が顕著に広がり、パーソナライズド・アシスタントや「干し草の中の針」のシナリオにおいて、Perplexityは最低スコアのシステムを20パーセントポイント以上上回りました。これらの分野は、パーソナライズされた推奨や、大量の文書の中に埋もれた特定の事実を見つけるといった、現実のユーザーニーズを反映しています。

評価項目別パフォーマンス。4つの主要な評価次元において、「深い研究」は「事実の正確性」「分析の幅と深さ」「引用の品質」の3つで首位を獲得しました。これらは、クライアントへの助言、投資の決定、あるいは自身の名が記されたレポートの作成など、実際の意思決定のために調査を信頼する必要がある場合に最も重要な側面です。「プレゼンテーションの品質」においてPerplexityの「深い研究」と同等のパフォーマンスを示したシステムは1つだけであり、深い研究における困難な問題は形式ではなく、事実の正確性と分析の完全性にあることを示しています。

品質と効率。注目すべきは、最高パフォーマンスのシステムが最も低いレイテンシ（競合他社の592〜1808秒に対し459.6秒）を達成した点です。ユーザーにとって、これは徹底した調査と迅速な回答のどちらかを選ぶ必要がないことを意味します。これは、垂直統合されたエンドツーエンドのインフラストラクチャの利点を反映しており、最適化された実行環境を備えたより良い検索¹ [検索APIへのフットノートリンク] とブラウザ統合が、直接的に、より高速で正確な研究につながることを示しています。

Perplexityの「深い研究」ハーネスはモデルに依存しません。より強力なエージェント型LLMが登場すれば、再評価を行い、更新された結果を公開します。また、Perplexity.aiの「深い研究」機能に改善を加える際、ユーザーの皆様には、製品のパフォーマンスとベンチマークスコアの両方にその成果が反映されていることを実感していただけるはずです。

現在、このベンチマークは10分野にわたる英語のみのシングルターン対話を評価対象としています。今後の反復では、言語の多様性の拡大、マルチターン評価の追加、およびドメイン範囲の拡大を図る予定です。

DRACO Benchmarkは現在、完全にオープンソース化されています。深い研究システムを構築しているチームは、合成的な学術パズルではなく、現実世界の調査タスクに対して自社のモデルを評価できます。私たちは完全なベンチマーク、すべてのルーブリック、およびジャッジプロンプトを公開しています。

手法と詳細な結果の詳細については、完全な技術レポート（DRACO benchmark）をお読みになり、Hugging Faceでデータセットをご覧ください。

BibTeX

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}

最先端の深い研究

本番環境に基づいた評価が重要な理由

DRACO Benchmarkの仕組み

ツールセットと評価環境

調査結果

今後の展望

DRACO Benchmarkでより優れた研究エージェントを構築する

引用