pplx-embed: ウェブスケール検索のための最先端埋め込みモデル

実社会のウェブスケール検索向けに構築された、最先端のテキスト埋め込みモデルpplx-embed-v1とpplx-embed-context-v1を本日リリースします。

著者Perplexity Research

本日、実社会でのウェブスケールの検索向けに構築された最先端のテキスト埋め込みモデルであるpplx-embed-v1とpplx-embed-context-v1をリリースいたします。pplx-embed-v1は標準的な高密度テキスト検索に最適化されており、一方のpplx-embed-context-v1は、文書レベルの周辺コンテキストを考慮してパッセージを埋め込みます。

pplx-embed-v1とpplx-embed-context-v1は、いずれも0.6Bおよび4Bパラメータ規模で提供されます。0.6Bモデルは軽量かつ低レイテンシの埋め込み生成を対象とし、4Bモデルは検索品質の最大化を図ります。当社の評価では、pplx-embedシリーズはMTEB(Multilingual, v2)、BERGEN、ToolRet、ConTEBを含む一連の公開ベンチマークで優位性を確立しています。さらに、pplx-embed-v1は、PPLXQuery2QueryおよびPPLXQuery2Docといった当社の内部ウェブスケールベンチマークにおいてクラス最高の結果を実現しています。

これらのモデルはINT8およびバイナリ埋め込みを生成し、FP32と比較してストレージ要件をそれぞれ4倍および32倍削減します。このコンパクトさにより、ウェブスケールの埋め込みストレージと検索が大幅に実用的になります。

モデル

次元

コンテキスト

MRL

量子化

命令

プーリング

pplx-embed-v1-0.6B

1024

32K

はい

INT8/バイナリ

いいえ

平均

pplx-embed-v1-4B

2560

32K

はい

INT8/バイナリ

いいえ

平均

pplx-embed-context-v1-0.6B

1024

32K

はい

INT8/バイナリ

いいえ

平均

pplx-embed-context-v1-4B

2560

32K

はい

INT8/バイナリ

いいえ

平均

pplx-embed のモデルの次元数、コンテキスト長、量子化、およびプーリング構成。

技術レポート、Hugging Faceモデル、およびAPIドキュメントをご確認ください。

動機

高密度テキスト埋め込みは、クエリと文書を共有のセマンティック(意味的)スペースにマッピングし、検索を近似近傍探索に簡略化します。Perplexityの規模において、埋め込みは当社の検索パイプラインの第一段階であり、10億以上のウェブページからどの文書が後続のランク付けエンジンや言語モデルによって考慮されるかを決定します。

現在、主要な埋め込みモデルの多くは、デコーダーのみのLLMと因果的アテンションマスクに基づいて構築されており、各トークンは先行するトークンのみを参照できます。検索において、これは根本的な制限となります。パッセージを理解するには双方向のコンテキストが必要になることが多いためです。当社はこの課題に対し、因果的LLMを双方向エンコーダーに変換する拡散ベースの継続事前学習を通じて対処します。完全な双方向アテンションにより、すべてのトークン表現に対して平均プーリングが可能になり、文脈に応じた埋め込みのためのレイト・チャンキング(遅延チャンキング)がサポートされます。これにより、各チャンクの埋め込みは、そのチャンクが含まれる文書全体によって情報が提供されます。

ウェブスケールにおいて、FP32で埋め込みを保存することは法外に高コストです。当社モデルでは量子化を事後圧縮ステップとして適用するのではなく、量子化対応トレーニングを使用してINT8埋め込みをネイティブに生成し、パフォーマンスを損なうことなくストレージを4倍削減します。バイナリ量子化は、特に4Bの規模において、品質低下を最小限に抑えつつストレージを32倍削減します。

多くの最新の埋め込みモデルでは、すべての入力に対して命令プレフィックスを先頭に付加することが求められます。これはベンチマーク上でわずかな向上をもたらす可能性がありますが、実際には摩擦を生じさせます。インデックス作成時とクエリ実行時の間で命令が一致しないと、検索精度が密かに低下し、各ユースケースに適したプロンプトを選択することが、さらに解決すべき課題となります。当社のモデルは命令を必要とせず、統合を簡素化します。

トレーニング

pplx-embed-v1とpplx-embed-context-v1は、検索のためにテキスト表現を段階的に形成する多段階パイプラインを通じてトレーニングされます。

マルチステージのカリキュラム学習パイプライン。4つの異なる学習パラダイムを分岐させる形で組み合わせ、その後に統合および選択の段階を行います。

拡散による継続事前学習

当社は事前学習済みのQwen3ベースモデル(0.6Bおよび4B)から開始し、因果的アテンションマスクを無効にして拡散ノイズ除去目的でトレーニングすることにより、因果的デコーダーから双方向エンコーダーへと変換します。トークンを左から右へと予測する自己回帰モデルとは異なり、拡散トレーニングは、各マスクされた位置の周囲にある完全な双方向コンテキストを使用して、ランダムにマスクされたトークンを再構成することをモデルに強制します。これは、対照学習によるファインチューニングが開始される時点で、表現がすでに双方向のセマンティクスをエンコードしていることを意味し、因果的な開始点よりも検索のための強力な基盤を提供します。当社は、30言語にわたる約2500億トークンの多言語テキストで事前学習を行いました。アブレーション研究において、拡散事前学習されたバックボーンは、因果的な対照モデルよりも大幅に低い対照学習損失を達成しており、これは検索タスクにおいて約1パーセントポイントの改善に相当します。

対照学習

事前学習の後、3段階の対照学習を行います。ペアトレーニングは、バッチ内ネガティブを用いたInfoNCE損失を使用して、クエリと文書間の基礎的なセマンティックなアライメントを確立します。大きなバッチサイズでは、一部のバッチ内ネガティブがポジティブとほぼ重複するため、類似性ベースのマスクを適用して、これらの偽のネガティブがトレーニング信号を破損するのを防ぎます。トレーニングは、英語のみ、クロスリンガル、そして完全に多言語というフェーズで進行し、一度にすべてではなく、段階的に能力を構築します。コンテキストトレーニングでは、文書レベルのコンテキストに関連したチャンクレベルのセマンティクスをモデルに教え込みます。チャンクと文書の両方のレベルでシーケンス内およびバッチ内の対照を組み合わせた二重損失を使用し、この段階でpplx-embed-context-v1が生成されます。最後に、マイニングされたハードネガティブを用いたトリプレットトレーニングにより、類似しているが関連性のない文書間の境界を洗練させます。最終的なpplx-embed-v1は、球面線形補間(SLERP)を介してコンテキストおよびトリプレットのチェックポイントをマージすることで得られます。

ネイティブ量子化

すべての対照学習の段階を通じて、埋め込みはトレーニング時と推論時の両方でINT8に量子化されます。tanhベースの平均プーリング操作の後に丸め処理を適用し、微分不可能な量子化ステップを通してバックプロパゲーションを行うためにストレートスルー勾配推定を使用します。これにより、モデルは事後圧縮による劣化に苦しむのではなく、最初から縮小された精度に最適化された表現を学習できます。バイナリ量子化に関して、4Bモデルは0.6Bよりも堅牢です。その大きな埋め込み次元(2560対1024)がバイナリ化後もより多くの情報を保持するため、小さなスケールでの2〜4ポイントと比較して、パフォーマンスの低下を1.6パーセントポイント未満に制限します。

公開ベンチマーク

MTEB(多言語、v2)での検索性能。pplx-embedモデルはINT8およびBINARYの精度バリアントで示されています。私たちの4B INT8モデルは、競争力のある検索品質を実現しつつ、FP32代替案よりもGBあたり4倍多くのページを保存できます。バイナリ版は、性能低下をわずか1.5ポイントに抑えながら、GBあたり32倍多くのページを保存します。

MTEB(Multilingual, v2)検索ベンチマークにおいて、pplx-embed-v1-4B(INT8)は69.66%の平均nDCG@10を達成し、Qwen3-Embedding-4B(69.60%)と同等で、gemini-embedding-001(67.71%)を上回りつつ、埋め込みあたりのストレージを大幅に削減しています。当社の0.6Bモデルは、同じパラメータ規模でQwen3相当モデルを上回っています。

ConTEBベンチマークにおけるコンテキスト検索パフォーマンス。左:コンテキスト化モデル。右:非コンテキスト化モデル。pplx-embed-context-v1-4B (INT8) が81.96で最高スコアを達成し、続いてvoyage-context-3 (79.45)、pplx-embed-context-v1-0.6B (INT8) が76.53となりました。

コンテキスト検索において、pplx-embed-context-v1-4BはConTEBベンチマークで81.96%の平均nDCG@10を達成し、voyage-context-3(79.45%)やAnthropic Contextual(72.4%)を上回る新たな最先端技術を確立しました。文書レベルのセマンティクスを組み込んだチャンクレベルの表現を学習することで、当社のモデルは意味が周囲のコンテキストに依存する場合でも、正しいパッセージを検索します。

また、BERGENベンチマークを使用したエンドツーエンドRAGでのモデル評価も実施しました。そこでは、検索されたパッセージが言語モデルに供給されて回答が生成されます。pplx-embed-v1-4Bは、評価された5つの質問回答タスクのうち4つでQwen3-Embedding-4Bを上回りました。特に、pplx-embed-v1-0.6Bは、5つのタスクのうち3つでより大規模なQwen3-Embedding-4Bを上回っており、当社の小型モデルが実用的なRAG設定において、大幅に大きなパラメータ規模の競合モデルと同等かそれ以上の性能を発揮できることを証明しています。この評価の詳細については、技術レポートをご参照ください。

スケールにおける実社会の検索

公開ベンチマークは有用ですが、プロダクション環境を特徴付けるロングテールクエリ、ノイズの多い文書、および分布の変化といったウェブスケールの検索課題を完全には捉えきれていません。実際に何が重要かを測定するために、当社は最大115Kの実社会のクエリと、10億以上のウェブページからプールされた3000万以上の文書を比較評価する2つの内部ベンチマークを構築しました。PPLXQuery2Queryは、埋め込みモデルが実際の検索トラフィックからセマンティックに等価なクエリを識別できるかを評価し、PPLXQuery2Docは3000万ページのコーパスからの文書検索を測定します。

PPLXQuery2Query(2.4Mコーパス)において、pplx-embed-v1-4Bは73.5%のRecall@10を達成し、Qwen3-Embedding-4B(67.9%)を5.6パーセントポイント上回りました。当社の0.6Bモデルは71.1%のRecall@10を達成し、BGE-M3(61.8%)およびQwen3-Embedding-0.6B(55.1%)を大幅に上回っています。

多言語PPLXQuery2Query(2.4Mコーパス)およびPPLXQuery2Doc(30Mコーパス)の検索ベンチマーク。pplx-embed-v1-4B(INT8)とpplx-embed-v1-0.6B(INT8)が両方のベンチマークで先行しており、第一段階検索において大規模スケールで高い再現率を示しています。

多言語PPLXQuery2Docタスク(30Mコーパス)において、pplx-embed-v1-4Bは91.7%のRecall@1000を達成しました(Qwen3-Embedding-4Bは88.6%)。深い検索階層における高いリコールは、多段階ランク付けパイプラインの第一段階検索として機能する埋め込みモデルにとって不可欠であり、後続の再ランク付けエンジンに渡される関連候補の数を最大化することが、最終的な結果品質に直接影響します。

はじめに

すべてのモデルは、Hugging Face(MITライセンス下)およびPerplexity APIを通じて利用可能です。Transformers、SentenceTransformers、Text Embeddings Inference、ONNXを介した推論をサポートしています。各オプションの詳細については、Hugging Faceモデルコレクションをご覧ください。

包括的な技術詳細および完全な評価結果については、当社の技術レポートをご参照ください。

引用

BibTeX
@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://www.perplexity.ai/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}