単一ベクトルを超えるマルチモーダル埋め込み

2月に pplx-embed-v1 を公開して以来、私たちは新世代の埋め込みモデルの開発に取り組んできました。先週は、新しいコンテキスト埋め込みモデル pplx-embed-v2-context を導入しました。本日は、late-interaction モデル群である pplx-embed-v2-late を加え、ファミリーを拡張します。より強力な検索性能に加え、このモデル群は3つの中核機能を初めて組み合わせたものです。

• マルチベクトル表現。各入力を1つのベクトルに圧縮する代わりに、これらのモデルはトークンレベルのベクトルを保持し、よりきめ細かなクエリと文書の比較を可能にします。これにより、クエリの異なる部分が文書の異なる部分に一致でき、特にマルチモーダル検索で有用な詳細を保持できます。
• テキストと画像の両モダリティへの対応。前モデルのテキスト対テキスト検索機能に加え、これらの新しいモデルはテキスト対画像検索も扱えるため、OCR や解析済みテキストを必要とせず、レンダリングされた PDF ページを直接検索できます。
• 共有埋め込み空間。私たちは、異なる品質、レイテンシー、計算要件に対応するため、0.6B と 9B の2つのモデルサイズを公開します。それぞれ独立して使用できますが、共有埋め込み空間により、小さいモデルで大きいモデルによって作成されたインデックスを検索することもでき、より高品質な文書埋め込みと、安価で高速なクエリ時推論を組み合わせられます。

これらの新しいモデルは、さまざまな画像・テキスト検索ベンチマークに加え、エージェント型の質問応答タスクでも最先端の結果を達成しています。特に、代表的な視覚的文書検索ベンチマークであるViDoRe (V3)では、当社の0.6Bモデルが、アクティブパラメータ数が5倍のモデルに匹敵する性能を示しました。両モデルはHugging Faceで公開されています。手法と評価結果の詳細については、テクニカルレポートをご覧ください。

単一ベクトルから late interaction へ

検索システムは、効率とクエリと文書の相互作用の深さのバランスを取らなければなりません。高密度埋め込みモデルは各クエリと文書を独立してエンコードし、安価な内積で比較できるようにします。これにより、数十億件の文書に対する近似最近傍（ANN）検索が実用的になります。一方、cross-encoder はクエリと文書を一緒に処理し、より豊かな相互作用を可能にしますが、候補ごとに別々の順方向パスが必要です。この計算を大量の文書コーパス全体に対して各検索で適用するのは非常に高コストであるため、cross-encoder は通常、取得済みの少数の候補の再ランキングに限定されます。

高密度埋め込みの限界

文書全体を1つの固定サイズベクトルで表現すると、情報のボトルネックが生じます。文書が長くなり、扱うトピックが増えるほど、モデルは同じベクトルにより多くの内容を圧縮しなければならず、クエリに関連するすべてを保持することが難しくなります。チャンク分割はこの圧力を軽減できますが、文書を断片化し、一緒でなければ意味をなさない情報を分離してしまうことがあります。この問題には、当社の コンテキスト埋め込みモデル でも対処しています。このボトルネックは、画像の情報密度がさらに強い圧縮を要求するマルチモーダル設定では、いっそう深刻になります。

単一ベクトルの高密度検索では、各比較が2つのベクトル間の内積に還元されるため、スコア関数の表現力も制限されます。埋め込み次元が固定され、コーパスが十分に大きい場合、学習方法にかかわらず、クエリと文書の組み合わせ全体にわたるスコアパターンの一部は生成不可能です。LIMIT ベンチマーク は、この理論上の懸念を単一ベクトル検索に対する具体的なストレステストへと変えています。

late-interaction 検索

late-interaction モデルは、より安価な高密度埋め込みモデルと、より表現力の高い cross-encoder の中間に位置します。高密度モデルと同様に、クエリとは独立して文書をエンコードするため、文書表現をオフラインで計算できます。しかし、各入力を単一ベクトルに縮約するのではなく、複数のベクトルを保持し、クエリと文書を比較する際により豊かなスコア関数を用います。

当社の pplx-embed-v2-late モデルは ColBERT 形式のアーキテクチャを採用し、入力内の各トークンに対して128次元の埋め込みを出力します。クエリと文書のペアのスコアリングには MaxSim を使用します。各クエリトークンについて、モデルは最もスコアの高い文書トークンを選び、トークンごとの最大類似度を合計して最終スコアを生成します。これにより、クエリの異なる部分が文書の異なる部分に一致し、より強いトークン一致ほどスコアへの寄与が大きくなります。

拡大

この追加の表現力には、より高いストレージコストと候補スコアリングコストが伴います。高密度検索では文書ごとに1つのベクトルを保存し、候補を1回の内積でスコアリングしますが、late interaction では文書トークン用のベクトルを保存し、多数のトークン間類似度を評価します。コストは文書長に応じて増加するため、late interaction には、単一ベクトルの ANN 検索とは異なるインデックス作成および提供上のトレードオフが必要です。その代わり、品質に敏感なコーパス向けにより豊かな初期段階検索を提供し、より大規模なウェブスケール検索パイプラインにおける後段としても機能できます。

1つのモデル、複数のモダリティ

この向上した相互作用の深さは、長文コンテキスト、エージェント型、アウトオブドメイン検索など、さまざまなタスクで非常に有用であることが示されています。この違いはマルチモーダル検索で特に明確であり、ViDoRe(V3) のリーダーボードで ColPali モデルが大きくリードしていることが示しています。

実世界のコーパスは、きれいなテキストだけで構成されているわけではありません。PDF、スライドデッキ、スクリーンショット、スキャンページ、チャート、表として存在します。従来のパイプラインは、これらの文書を解析し、OCR やキャプション生成を適用し、その結果として得られたテキストを検索しますが、これは高コストで損失も大きい処理です。OCR エラーが入り込む可能性があり、レイアウト、表構造、図表、空間的関係は失われます。視覚文書検索はこの段階を省き、レンダリングされたページを直接、テキストクエリが検索できる表現空間へ投影します。

当社の新しいモデル群は、マルチモーダル検索におけるマルチベクトルモデルの高い性能を基盤とし、最も広く使われている文書検索ベンチマークである ViDoRe(V3) において、小規模モデルのパレートフロンティアを押し上げています。文書のレンダリング画像が最も一般的な視覚入力形式になると想定していますが、当社のモデルは風景写真などの自然画像に対する意味的画像検索もサポートしています。

相互運用可能なモデル群の学習

検索は本質的に非対称です。インデックス作成とクエリエンコードには異なる運用上の制約があります。インデックス作成はオフラインで実行でき、並列化も可能なため、その計算コストは将来の多数の検索にわたって償却されます。クエリエンコードは各リクエストごとにオンラインで実行されるため、レイテンシーに敏感で、提供環境やエッジデバイスの制約を受けることもあります。当社のモデル群はこの非対称性を活用し、検索パイプラインの両側に合わせたサイズを提供します。

まず18Bの教師モデルを対照学習で学習し、それを9Bと0.6Bの生徒モデルへ個別に蒸留します。各生徒を教師のランキング分布の再現だけに学習させるのではなく、LEAF 形式の表現蒸留を用います。各入力トークンについて、生徒の出力埋め込みを教師のそれに整合させます。表現空間での蒸留は、これまで高密度の単一ベクトルモデルで使われてきましたが、私たちはそれを late interaction に拡張し、整合対象を保持される各トークンのベクトルとしました。

その結果、公開した2つのチェックポイントは同じマルチベクトル埋め込み空間を共有します。これにより、モデル間検索が可能になり、追加のデプロイオプションが実現します。

• 最高品質: 9Bモデルで文書とクエリをエンコードします。
• 最大効率: 0.6Bモデルで文書とクエリをエンコードし、100%ローカル推論を実現します
• 低レイテンシー検索: コーパスインデックスを9Bモデルで構築し、その後、ライブクエリを0.6Bモデルでエンコードして、クエリを高速に保ちながらインデックス時の計算を活用します。
• ローカル–クラウド検索: 0.6Bモデルを使ってプライベートなローカル文書やライブクエリをデバイス上でエンコードし、それらの表現をクラウド上でホストされた9Bインデックスの結果と比較または統合します。

レイテンシーに敏感な環境向けに、0.6Bモデルはエッジデバイスでも実行できる軽量なクエリエンコーダーとして設計しました。Qwen3.5-0.8B をベースに、その24層のテキストタワーを12層に削減し、非埋め込みパラメータを498Mから240Mへ減らしています。結果として得られるモデルの総パラメータ数は594Mですが、名目上のサイズは提供コストを過大に見積もっています。100Mは画像エンコードに使われ、254Mはトークン埋め込みテーブルにありますが、これは実行時への影響が小さいためです。テキストエンコードに実際にアクティブなのは約240M、画像エンコードでは340Mのパラメータのみであり、9Bインデックスとの互換性を保ちながら、はるかに小さいモデルに相当する提供コストを実現しています。

同じ手法を用いて、27Bのバックボーンから18Bの教師モデルを構築しました。これにより、提供するシグナルを弱めることなく、蒸留コストを大幅に下げることができました。

多言語・マルチモーダル・非汚染の学習データ

私たちは、46言語にまたがる594のデータセットから抽出した1億8600万件のクエリ・文書ペアのデータセットで両モデルを学習しています。これらのペアのうち、88.3%はテキスト対テキスト、8.3%はテキスト対画像、3.4%はテキスト対視覚文書です。データセットサイズに比例させてサンプリングするのではなく、各データセットにサンプリング重みを割り当てることで、56.5%、30.9%、12.6%という、よりバランスの取れた学習混合比を実現しています。

学習データを構築する際、評価対象のベンチマークに関連するデータセットは、ベンチマークスコアを人為的に押し上げることなく結果を忠実に表すために除外しています。この判断には、除外したデータセットの一部に高品質なデータが含まれており、その元のベンチマーク以外のタスクではモデル性能を向上できた可能性がある、というトレードオフがあります。最終的に私たちはそのコストを受け入れました。開発中は信頼できる数値のほうが有用であり、モデル比較を行うユーザーにとっても同様だからです。

評価

私たちは、テキスト、視覚文書、混合画像、エージェント型検索にわたって両モデルを評価しています。両モデルは、Q2D-Web と BrowseComp+ で評価したベースラインを上回り、視覚文書検索と MADQA でも強力な結果を達成しています。

テキスト検索

テキスト対テキスト検索を3つのベンチマークで評価します:

• ドメイン別ベンチマーク: 金融、法務、ヘルスケア、会話、技術の5分野にまたがる55件に、その他の多言語タスク17件を加えた、計72件の MTEB 形式タスクの集合です。この集合には、FinQA、AILACasedocs、XLSum などのタスクが含まれます。前述のとおり、これらのデータセットはいずれも当社の学習データには含まれていません。
• Q2D-Web: 約190Mのウェブ文書コーパスに対する、約7万件のエージェントによって言い換えられた検索クエリからなる、当社のウェブスケール検索ベンチマークです。生産環境に近いクエリと大規模コーパスにより、このベンチマークは、他の利用可能な検索ベンチマークよりも実世界のウェブ検索にかなり近い条件での検索性能を測定します。
• ViDoRe(V3) Markdown: ViDoRe(V3) は通常、テキスト対視覚文書検索タスクですが、Markdown に解析されたコーパス版を用いてテキストタスクとして評価することもできます。これにより、情報量の豊富な文書検索を画像モダリティとテキストモダリティの両方で評価できます。

性能は nDCG@10 で測定しますが、Q2D-Web では、一次段階のウェブ検索シナリオに焦点を当てたベンチマークであるため Recall@1000 を報告します。評価全体を通じて、さまざまなサイズクラスの業界最先端の埋め込みモデルと比較しています。テキスト検索では、nemotron-embed-8b、gemini-embedding-2、voyage-large-4、qwen3-embed-8b が最も強力で広く使われている高密度競合モデルを代表し、voyage-4-nano と qwen3-embed-0.6b は10億パラメータ未満の高密度ベースラインとして機能します。さらに、TopK が結果を公開しているベンチマークでは、TopK の最近公開された late-interaction モデル topk-embed-v1 とも比較しています。ViDoRe(V3) のスコアは、トークン埋め込みの幅に合わせて128次元でのモデルカードから取得しています。Q2D-Web のスコアは当社のリーダーボードから取得しています。

ドメイン別ベンチマークでは、当社の9Bモデルと0.6Bモデルの平均はそれぞれ81.3%、78.0%です。当社の9Bモデルは、評価したすべてのモデルの中で最高スコアを達成し、次点モデルを1.6pp上回りました。当社の0.6Bモデルは他の高得点モデルと競争力があり、gemini-embedding-2 に0.3pp差まで迫っています。重要なのは、これらのベンチマーク課題のデータでは一切学習していないため、ドメイン別ベンチマークは当社の埋め込みモデルが新しいドメインへ一般化できることを示している点です。

拡大

0.6Bモデルの相対的な強さは、ViDoRe(V3) Markdown タスクではさらに大きく、61.2%というスコアで、64.7%を記録した当社の9Bモデルを除く他のすべてのモデルを上回りました。次点の外部モデルは60.6%で、次に良い1B未満モデルである topk-embed-v1-0.8b は当社の0.6Bモデルより4.3pp低いスコアでした。

拡大

Q2D-Webでは、関連性は3つの判定集合から得られます。つまり、エージェントが引用した文書（Citation）、当社の本番検索システムで順位付けされた文書（Web）、およびその両者の和集合に、未ラベル文書に対するLLM判定を加えたもの（Combined）です。pplx-embed-v2-late の両モデルは、3つすべての判定集合で全ベースラインをリードしています。ここでは Combined の判定を重視します。なぜなら、Citation と Web の各集合は、当社自身のシステムがすでに表面化したものから派生しているため、同じように順位付けするモデルを有利にするからです。一方、Combined に追加された LLM 判定は、どちらのシステムでも取得されなかった文書をカバーします。その集合では、当社の9Bモデルと0.6Bモデルはいずれも全競合を上回り、それぞれ74.8%、73.6%を記録し、従来最高の69.3%を上回りました。

拡大

視覚検索

当社の主要な視覚検索ベンチマークは、標準公開サブセットの ViDoRe(V3) であり、コーパスは Markdown 変換ではなくレンダリング済みページ画像で構成されています。私たちは、2つの主要な高密度視覚言語モデル qwen3-vl-embed-8b と gemini-embedding-2、および topk-embed-v1 の late-interaction モデルと比較しています。さらに、Tencent の EVIE モデルと NVIDIA の Nemotron ColEmbed V2 モデルは、画像検索タスク向けに特化して学習された「vision-only」のマルチベクトルベースラインです。

当社の2つのモデルはいずれも、視覚言語モデルにおいて最先端の性能を達成しています。9Bモデルの平均スコアは65.2%で、これを上回るのは EVIE のみです。0.6Bモデルは62.3%を達成し、topk-embed-v1-2b を上回り、外部ベースラインの中では、より大規模な EVIE と nemotron-colembed-v2-8b のみに次ぎます。

拡大

当社の0.6Bモデルは、モデルサイズの観点で特に競争力があります。これは同等サイズのすべてのモデルを上回り、画像入力に対してわずか340Mのパラメータのみを有効化しながら、nemotron-colembed-v2-8b との差は1.2pp以内です。当社のモデルはトークンごとに128次元の埋め込みを生成しますが、EVIE-4.5B は2,048次元、EVIE-8B と nemotron-colembed-v2-8b は4,096次元です。このストレージコストの差は、これらのモデルを実用的に使えるシナリオに大きな影響を与え得ます。

拡大

また、コーパスが Wikipedia 記事のスクリーンショットで構成されるベンチマークである MIRACL-Vision と、視覚文書と自然画像の両方を含む社内ベンチマーク PPLX-Q2I でも視覚検索を評価しています。PPLX-Q2I は、Perplexity の本番画像検索ログから構築され、画像検索のユースケースの多様性を反映するよう設計されています。言語とドメインで層化した1万クエリのサンプルを、10万画像のコーパスに対して用いており、各クエリの関連文書はそのクエリに対して提示された画像です。Nemotron ColEmbed 4B のデフォルト出力次元が2,560、Nemotron ColEmbed 8B と EVIE-8B が4,096であるため、このサイズのコーパスをそれらのデフォルト出力次元でインデックス化するのは実用的でなく、EVIE-8B と Nemotron ColEmbed は PPLX-Q2I では評価しませんでした。

ViDoRe(V3) での性能と同様に、当社の0.6Bモデルは、MIRACL-Vision で qwen3-vl-embed-8b より1pp低いだけで、より大きなモデルと競争力があります。当社の9Bモデルは、gemini-embedding-2 を除く他のすべてのモデルを上回ります。

PPLX-Q2I では、当社の2つのモデルはいずれも qwen3-vl-embedding-8b を9ppを超える差で上回り、当社の9Bモデルは gemini-embedding-2 をわずか2pp下回ります。自然画像と視覚文書の両方を含むコーパスでも結果は競争力を維持しており、ViDoRe(V3) で効果を発揮するマルチベクトル表現が、汎用画像検索の性能を犠牲にしていないことを示しています。

拡大

モデル間検索

前のセクションの結果は、それぞれのモデルが自分で埋め込んだコーパスに対して評価しています。共有埋め込み空間により、これは必須条件ではありません。9Bモデルでインデックス化したコーパスは、0.6Bモデルで埋め込まれたクエリで検索できます。これは、実運用ではほとんどのデプロイメントで使用される構成になると想定しています。というのも、インデックス作成はコーパスの寿命全体にわたって償却される一度きりのコストである一方、クエリ埋め込みは各リクエストのレイテンシーが重要なパスで実行されるためです。

クエリ時に9Bモデルを実行できないデプロイ先では、代わりにインデックスも0.6Bモデルで作成することになるため、対称な0.6B構成が比較対象として適切です。私たちは、上記で使用した72のドメイン別ベンチマークと ViDoRe v3 の画像検索で評価します。クエリは pplx-embed-v2-late-0.6b で埋め込み、変更するのはコーパスを埋め込むモデルだけです。

9Bモデルでインデックス化するのは、明確な改善です。ドメイン別ベンチマークでは、この非対称構成で平均1.6ppの改善が得られます。ViDoRe v3 の画像検索では63.5%を記録し、両側を0.6Bモデルにした場合の62.3%から1.2ポイント向上しています。クエリエンコードコストは、どちらの構成でも同じ0.6Bモデルがクエリをエンコードするため、対称構成と非対称構成で変わりません。追加の文書エンコードコストはインデックス作成時に発生します。

両側で9Bモデルを使うほうが、依然としてさらに良好で、ドメイン別ベンチマークでは平均81.3%です。したがって、非対称構成は、テキストにおける2つのモデルの品質差の約半分を、追加のクエリエンコードコストなしで取り戻します。どの構成を選ぶかは、クエリ時に9Bモデルを利用できるかどうかに依存します。利用できない場合、非対称構成でもその利点のかなりの部分を得られます。

拡大

エージェント型検索

エージェント型検索も、マルチベクトル埋め込みが特に強みを発揮する設定のひとつです。BrowseComp+ では、LLM（当社では GPT-OSS-120B）が埋め込みモデルを使って複雑なユーザー問い合わせに関連する情報をコーパスから検索し、別の LLM が最終的な回答が正解と一致しているかを判定します。当社の9Bモデルは64.0%の精度を達成し、次点の ColBERT モデルを4.9pp、次点の高密度モデルを8.7pp上回り、当社の0.6Bを除く他のどのモデルよりも少ない検索回数で済みました。0.6Bモデルも、当社ファミリー外のすべてのモデルを上回っています。

拡大

MADQA は、18,000ページ超にまたがる800件の異種な実世界 PDF に対するエージェント型質問応答をテストするもので、一般知識からは答えられない500件の人手作成質問を含みます。エージェント（当社では Gemini 3.5 Flash）が、評価対象の retriever を用いてコレクションを検索し、注釈付き証拠ページに対する回答精度とページ F1 で採点されます。当社の9Bモデルは、retriever の中で92.4%の精度という新しい最先端を打ち立て、同じエージェントが Mixedbread の retriever を使った場合より3.5pp上回りました。当社の0.6Bモデルは90.1%に達します。また、Mixedbread Agentic Search に対しても競争力のある結果を示していることに注目しています。これは、彼らの検索システム内の search sub-agent がメインエージェントからの各呼び出しごとに複数回の検索を計画・実行する方式であり、93.4%という値は当社の信頼区間内です。

拡大

はじめに

当社の0.6Bモデルと9Bモデルはいずれも Hugging Face で利用可能で、sentence-transformers >= 6.0.0 および transformers >= 5.4.0. とそのまま互換です。さらに技術的な詳細と完全な評価結果は、今年後半に技術レポートとして公開予定です。

当社は現在、次世代の密埋め込みモデルをトレーニングしており、Perplexity API Platformでレイトインタラクション埋め込み、密埋め込み、コンテキスト埋め込みのサポートを順次提供していく予定です。

引用

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}