Embedding multimodal di luar satu vektor

Keluarga baru model late-interaction untuk retrieval teks dan gambar, dengan ruang embedding bersama di seluruh ukuran model.

PenulisPerplexity Research

Sejak merilis pplx-embed-v1 pada Februari, kami telah mengerjakan generasi baru model embedding. Minggu lalu, kami memperkenalkan model embedding kontekstual baru kami, pplx-embed-v2-context. Hari ini, kami memperluas keluarga ini dengan pplx-embed-v2-late, serangkaian model late-interaction. Selain kemampuan pengambilan yang lebih kuat, model-model ini menjadi yang pertama menggabungkan tiga fitur inti:

  • Representasi multi-vektor. Alih-alih mengompresi setiap input menjadi satu vektor, model-model ini mempertahankan vektor tingkat token untuk perbandingan kueri-dokumen yang lebih terperinci. Ini memungkinkan bagian-bagian berbeda dari sebuah kueri mencocokkan bagian-bagian berbeda dari sebuah dokumen, sehingga detail tetap terjaga dan sangat bernilai untuk pengambilan multimodal.
  • Dukungan untuk modalitas teks dan gambar. Selain kemampuan pengambilan teks-ke-teks dari model kami sebelumnya, model-model baru ini menangani pengambilan teks-ke-gambar, sehingga memungkinkan pencarian langsung pada halaman PDF yang dirender tanpa memerlukan OCR atau teks hasil parsing.
  • Ruang embedding bersama. Kami merilis dua ukuran model, 0,6B dan 9B, untuk mendukung kebutuhan kualitas, latensi, dan komputasi yang berbeda. Masing-masing dapat digunakan secara independen, tetapi ruang embedding bersama juga memungkinkan model yang lebih kecil menanyakan indeks yang dibuat dengan model yang lebih besar, menggabungkan embedding dokumen berkualitas lebih tinggi dengan inferensi saat kueri yang murah dan cepat.

Model-model baru ini mencapai hasil terdepan pada berbagai tolok ukur pengambilan informasi visual dan teks, serta tugas tanya jawab agentik. Secara khusus, pada ViDoRe (V3), tolok ukur pengambilan dokumen visual terkemuka, model 0.6B kami mampu menyamai model dengan parameter aktif lima kali lebih banyak. Kedua model tersedia secara publik di Hugging Face. Laporan teknis kami menyajikan detail lebih lanjut tentang metodologi dan hasil evaluasinya.

Dari vektor tunggal ke late interaction

Sistem pengambilan harus menemukan keseimbangan antara efisiensi dan kedalaman interaksi antara kueri dan dokumen. Model embedding dense mengodekan setiap kueri dan dokumen secara independen, sehingga keduanya dapat dibandingkan dengan inner product yang murah. Ini membuat pencarian approximate nearest-neighbor (ANN) pada miliaran dokumen menjadi praktis. Di sisi ekstrem lainnya, cross-encoder memproses kueri dan dokumen bersama-sama, sehingga memungkinkan interaksi yang lebih kaya tetapi memerlukan forward pass terpisah untuk setiap kandidat. Menerapkan komputasi ini ke seluruh korpus dokumen yang besar untuk setiap pencarian sangat mahal, sehingga cross-encoder biasanya disisihkan untuk meranking ulang sejumlah kecil kandidat yang telah diambil.

Keterbatasan embedding dense

Merepresentasikan seluruh dokumen dengan satu vektor berukuran tetap menciptakan bottleneck informasi. Seiring dokumen menjadi lebih panjang dan mencakup lebih banyak topik, model harus mengompresi lebih banyak konten ke dalam vektor yang sama, sehingga lebih sulit mempertahankan semua yang relevan bagi sebuah kueri. Chunking dapat mengurangi tekanan ini, tetapi memecah dokumen dan dapat memisahkan informasi yang hanya masuk akal bila digabungkan, sebuah masalah yang juga kami tangani dengan model embedding kontekstual kami. Bottleneck ini semakin buruk dalam pengaturan multimodal, karena kerapatan informasi pada gambar memerlukan kompresi yang bahkan lebih besar.

Pengambilan dense vektor tunggal juga mereduksi setiap perbandingan menjadi inner product antara dua vektor, sehingga membatasi ekspresivitas fungsi penilaian. Untuk dimensi embedding tertentu dan korpus yang cukup besar, beberapa pola skor di seluruh pasangan kueri-dokumen mustahil dihasilkan, terlepas dari pelatihan. LIMIT benchmark mengubah kekhawatiran teoretis ini menjadi stress test konkret untuk pengambilan vektor tunggal.

Pengambilan late-interaction

Model late-interaction menempati ruang di antara model embedding dense yang lebih murah dan cross-encoder yang lebih ekspresif. Seperti model dense, model ini mengodekan dokumen secara independen dari kueri, sehingga representasi dokumen dapat dihitung secara offline. Namun, alih-alih mereduksi setiap input menjadi satu vektor, model ini mempertahankan beberapa vektor dan menggunakan fungsi penilaian yang lebih kaya saat membandingkan kueri dengan dokumen.

Model pplx-embed-v2-late kami menggunakan arsitektur bergaya ColBERT, menghasilkan embedding berdimensi 128 untuk setiap token dalam input. Kami menilai pasangan kueri-dokumen menggunakan MaxSim; untuk setiap token kueri, model memilih token dokumen dengan skor tertinggi dan menjumlahkan kemiripan maksimum per token untuk menghasilkan skor akhir. Ini memungkinkan bagian-bagian berbeda dari sebuah kueri mencocokkan bagian-bagian berbeda dari sebuah dokumen, dengan kecocokan token yang lebih kuat memberi kontribusi lebih besar pada skor.

Contoh penilaian MaxSim: Setiap token kueri memilih token dokumen dengan skor tertinggi, dan jumlah kemiripan tingkat token maksimum menghasilkan skor kemiripan tingkat kueri-dokumen.

Ekspresivitas tambahan ini datang dengan biaya penyimpanan dan penilaian kandidat yang lebih tinggi. Pengambilan dense menyimpan satu vektor per dokumen dan menilai satu kandidat dengan satu inner product; late interaction menyimpan vektor untuk token dokumen dan mengevaluasi banyak kemiripan token-ke-token. Biaya meningkat seiring panjang dokumen, sehingga late interaction memerlukan pertukaran kompromi pengindeksan dan penyajian yang berbeda dibandingkan pengambilan ANN satu vektor. Sebagai gantinya, pendekatan ini menyediakan pengambilan tahap pertama yang lebih kaya untuk korpus yang sensitif terhadap kualitas dan juga dapat berfungsi sebagai tahap berikutnya dalam pipeline pengambilan skala web yang lebih besar.

Satu model, berbagai modalitas

Kedalaman interaksi yang lebih baik ini telah terbukti sangat berguna untuk berbagai tugas, termasuk pengambilan konteks panjang, agentic, dan di luar domain. Perbedaan ini sangat terlihat dalam pengambilan multimodal, seperti yang ditunjukkan oleh keunggulan besar model ColPali pada papan peringkat ViDoRe(V3).

Korpus dunia nyata tidak hanya terdiri dari teks bersih. Korpus datang dalam bentuk PDF, slide deck, tangkapan layar, halaman hasil pindaian, bagan, dan tabel. Pipeline konvensional mengurai dokumen-dokumen ini, menerapkan OCR atau captioning, lalu mencari teks yang dihasilkan, yang mahal dan kehilangan informasi: dapat menimbulkan kesalahan OCR dan menghapus tata letak, struktur tabel, figur, serta hubungan spasial. Pencarian dokumen visual melewati langkah itu, memproyeksikan halaman yang telah dirender langsung ke ruang representasi tempat kueri tekstual dapat mencarinya.

Keluarga model baru kami dibangun di atas performa kuat model multi-vektor untuk pencarian multi-modal dan mendorong frontier Pareto untuk model kecil pada tolok ukur pencarian dokumen yang paling banyak digunakan, ViDoRe(V3). Meskipun kami memperkirakan render dokumen akan menjadi bentuk input visual yang paling umum, model kami juga mendukung pencarian gambar semantik atas gambar alami, seperti foto pemandangan.

Melatih keluarga model yang saling dapat dioperasikan

Pencarian pada dasarnya bersifat asimetris: pengindeksan dan encoding kueri memiliki kendala operasional yang berbeda. Pengindeksan berjalan offline dan dapat diparalelkan, sehingga biaya komputasinya diamortisasi ke banyak pencarian di masa depan. Encoding kueri berjalan online untuk setiap permintaan, sehingga sensitif terhadap latensi dan kadang tunduk pada batasan penyajian atau perangkat edge. Keluarga model kami memanfaatkan asimetri ini, menawarkan ukuran yang disesuaikan untuk masing-masing sisi pipeline pengambilan.

Kami melatih teacher 18B secara contrastive, lalu mendistilasikannya secara terpisah menjadi student 9B dan 0,6B. Alih-alih melatih setiap student hanya untuk mereproduksi distribusi peringkat teacher, kami menggunakan distilasi representasi bergaya LEAF: untuk setiap token input, kami menyelaraskan embedding keluaran student dengan milik teacher. Walaupun distilasi ruang representasi sebelumnya telah digunakan untuk model dense vektor tunggal, kami memperluasnya ke late interaction, di mana target penyelarasan adalah sebuah vektor untuk setiap token yang dipertahankan.

Sebagai hasilnya, kedua checkpoint yang dirilis berbagi ruang embedding multi-vektor yang sama. Hal ini memungkinkan retrieval lintas model, sehingga opsi penerapan tambahan menjadi mungkin.

  • Kualitas maksimum: enkode dokumen dan kueri dengan model 9B.
  • Efisiensi maksimum: enkode dokumen dan kueri dengan model 0,6B untuk inferensi lokal 100%
  • Retrieval latensi rendah: bangun indeks korpus dengan model 9B, lalu enkode kueri langsung dengan model 0,6B untuk memanfaatkan komputasi saat pengindeksan sambil menjaga pencarian tetap cepat.
  • Retrieval lokal–cloud: enkode dokumen lokal privat atau kueri langsung dengan model 0,6B di perangkat, lalu bandingkan atau gabungkan representasi tersebut dengan hasil dari indeks 9B yang di-host di cloud.

Untuk pengaturan yang sensitif terhadap latensi, kami merancang model 0,6B sebagai encoder kueri ringan yang juga dapat berjalan di perangkat edge. Berangkat dari Qwen3.5-0.8B, kami memangkas text tower 24 lapisnya menjadi 12 lapis, mengurangi tower tersebut dari 498 juta menjadi 240 juta parameter non-embedding. Model yang dihasilkan memiliki total 594 juta parameter, tetapi ukuran nominalnya melebih-lebihkan biaya serving: 100 juta digunakan untuk encoding gambar, dan 254 juta berada di tabel token-embedding, yang hanya berdampak kecil pada runtime. Hanya sekitar 240 juta parameter yang aktif untuk encoding teks dan 340 juta untuk encoding gambar, sehingga model ini memiliki biaya serving seperti model yang jauh lebih kecil sambil tetap kompatibel dengan indeks 9B.

Kami menerapkan proses yang sama untuk membangun teacher 18B kami dari backbone 27B, yang membuat teacher jauh lebih murah untuk didistilasi tanpa melemahkan sinyal yang diberikannya.

Data pelatihan multibahasa, multimodal, tanpa kontaminasi

Kami melatih kedua model pada dataset berisi 186 juta pasangan kueri-dokumen yang diambil dari 594 dataset dalam 46 bahasa. Dari pasangan-pasangan ini, 88,3% adalah teks-ke-teks, 8,3% adalah teks-ke-gambar, dan 3,4% adalah pasangan teks-ke-dokumen visual. Alih-alih melakukan sampling secara proporsional terhadap ukuran dataset, kami menetapkan bobot sampling untuk setiap dataset, yang menghasilkan campuran pelatihan yang lebih seimbang, masing-masing 56,5%, 30,9%, dan 12,6%.

Saat menyusun data pelatihan, kami mengecualikan dataset apa pun yang terkait dengan tolok ukur yang kami evaluasi untuk merepresentasikan hasil kami secara akurat tanpa menggelembungkan skor tolok ukur. Keputusan ini membawa trade-off bahwa beberapa dataset yang kami pilih untuk dikecualikan berisi data berkualitas tinggi yang bisa meningkatkan performa model kami pada tugas selain tolok ukur asalnya. Pada akhirnya, kami memilih menerima biaya itu: angka yang tepercaya lebih berguna bagi kami selama pengembangan, dan bagi pengguna saat membandingkan model.

Evaluasi

Kami mengevaluasi kedua model pada retrieval teks, dokumen visual, gambar campuran, dan agentic. Kedua model melampaui baseline yang dievaluasi pada Q2D-Web dan BrowseComp+, serta mencapai hasil kuat pada retrieval dokumen visual dan MADQA.

Retrieval teks

Kami mengevaluasi retrieval teks-ke-teks pada tiga tolok ukur:

  • Tolok ukur spesifik domain: Kumpulan 72 tugas bergaya MTEB, 55 di antaranya mencakup lima domain (keuangan, hukum, kesehatan, percakapan, teknologi), ditambah 17 tugas multibahasa beragam. Kumpulan ini mencakup tugas seperti FinQA, AILACasedocs, dan XLSum. Tidak satu pun dari dataset ini muncul dalam data pelatihan kami, seperti dijelaskan di atas.
  • Q2D-Web: tolok ukur pengambilan skala web kami yang terdiri dari sekitar 70.000 kueri pencarian yang direformulasi agen, diambil dari trafik pencarian produksi, atas korpus berisi 190 juta dokumen web. Tolok ukur ini mengukur performa retrieval dalam pengaturan yang jauh lebih mirip retrieval web dunia nyata dibandingkan tolok ukur retrieval yang tersedia lainnya, berkat kueri yang menyerupai produksi dan korpus berskala besar.
  • ViDoRe(V3) Markdown: ViDoRe(V3) biasanya adalah tugas retrieval teks-ke-dokumen visual, tetapi juga dapat dievaluasi sebagai tugas teks menggunakan versi korpus yang telah diurai ke Markdown, sehingga memungkinkan kami mengevaluasi retrieval dokumen yang kaya informasi dalam modalitas gambar dan teks.

Kami mengukur performa menggunakan nDCG@10, kecuali pada Q2D-Web, di mana kami melaporkan Recall@1000 karena fokus tolok ukur tersebut pada skenario retrieval web tahap pertama. Sepanjang evaluasi kami, kami membandingkan dengan model embedding terdepan di industri di berbagai kelas ukuran. Untuk retrieval teks, nemotron-embed-8b, gemini-embedding-2, voyage-large-4, dan qwen3-embed-8b mewakili kompetitor dense terkuat dan paling banyak digunakan, sementara voyage-4-nano dan qwen3-embed-0.6b berfungsi sebagai baseline dense dengan parameter di bawah satu miliar. Kami juga membandingkan dengan model late-interaction topk-embed-v1 yang baru dirilis TopK pada tolok ukur yang hasilnya telah dipublikasikan TopK. Skor ViDoRe(V3) diambil dari model card mereka pada 128 dimensi, sesuai dengan lebar embedding token kami; skor Q2D-Web diambil dari papan peringkat kami.

Pada tolok ukur spesifik domain, model 9B dan 0,6B kami masing-masing rata-rata mencapai 81,3% dan 78,0%. Model 9B kami mencapai skor tertinggi dari semua model yang kami evaluasi, mengalahkan model terbaik berikutnya dengan selisih 1,6 poin persentase. Model 0,6B kami kompetitif dengan model skor tinggi lainnya, hanya tertinggal 0,3 poin persentase dari gemini-embedding-2. Yang penting, karena kami tidak melatih pada data untuk tugas-tugas tolok ukur ini, tolok ukur spesifik domain menunjukkan bahwa model embedding kami dapat melakukan generalisasi ke domain baru.

Performa retrieval teks spesifik domain, diukur dengan nDCG@10. Rata-rata memberi bobot sama pada keenam domain, dan tanda kurung menunjukkan jumlah tugas di setiap grup.

Kekuatan relatif model 0,6B kami bahkan lebih besar pada tugas ViDoRe(V3) Markdown; skornya 61,2% mengalahkan semua model lain kecuali model 9B kami, yang memperoleh 64,7%. Model eksternal terbaik berikutnya mendapat 60,6%, dan model sub-1B terbaik berikutnya, topk-embed-v1-0.8b, tertinggal 4,3 poin persentase di belakang model 0,6B kami.

Retrieval teks pada subset publik ViDoRe v3 setelah mengonversi citra halaman ke Markdown dengan OCR. Model 0,6B kami menempati peringkat kedua setelah model 9B kami pada rata-rata nDCG@10.

Pada Q2D-Web, relevansi berasal dari tiga set penilaian: dokumen yang dikutip agen (Citation), dokumen yang diperingkat oleh sistem pengambilan produksi kami (Web), dan gabungan keduanya yang diperluas dengan penilaian LLM atas dokumen yang tidak berlabel (Combined). Kedua model pplx-embed-v2-late memimpin semua baseline pada ketiga set penilaian tersebut. Kami berfokus pada penilaian gabungan, karena set Citation dan Web diturunkan dari apa yang sudah dihadirkan oleh sistem kami sendiri dan karenanya menguntungkan model yang memberi peringkat seperti sistem tersebut; penilaian LLM yang ditambahkan dalam Combined mencakup dokumen yang tidak diambil oleh kedua sistem. Pada set tersebut, model 9B dan 0,6B kami mengungguli semua pesaing, masing-masing meraih skor 74,8% dan 73,6%, dibandingkan skor terbaik sebelumnya 69,3%.

Retrieval teks skala web pada Q2D-Web, diukur dengan Recall@1000 di bawah penilaian relevansi Citation, Web, dan Combined. Kedua model melampaui baseline yang dievaluasi pada ketiga set penilaian tersebut.

Retrieval visual

Tolok ukur pengambilan visual utama kami adalah subset publik standar ViDoRe(V3), dengan korpus yang terdiri dari citra halaman hasil render, bukan konversi Markdown. Kami membandingkannya dengan dua model vision-language dense terdepan, qwen3-vl-embed-8b dan gemini-embedding-2, serta model late-interaction topk-embed-v1. Selain itu, model EVIE dari Tencent dan model Nemotron ColEmbed V2 dari NVIDIA adalah baseline multi-vektor “vision-only” yang dilatih khusus untuk tugas pengambilan gambar.

Kedua model kami mencapai performa state of the art untuk model vision-language. Model 9B kami meraih skor rata-rata 65,2%, hanya di bawah EVIE. Model 0,6B kami mencapai skor 62,3%, di atas topk-embed-v1-2b dan hanya di bawah EVIE dan nemotron-colembed-v2-8b yang jauh lebih besar di antara baseline eksternal.

Retrieval dokumen visual pada subset publik ViDoRe v3, diukur dengan nDCG@10. Kedua model Perplexity memimpin baseline vision-language yang dievaluasi; model vision-only ditampilkan secara terpisah.

Model 0,6B kami sangat kompetitif dalam konteks ukuran model. Model ini unggul atas semua model dengan ukuran sebanding dan hanya terpaut 1,2 poin persentase dari nemotron-colembed-v2-8b sambil hanya mengaktifkan 340 juta parameter untuk input gambar. Model kami menghasilkan embedding berdimensi 128 per token, dibandingkan 2.048 pada EVIE-4.5B dan 4.096 pada EVIE-8B serta nemotron-colembed-v2-8b. Perbedaan biaya penyimpanan ini dapat secara drastis memengaruhi skenario di mana model-model ini praktis digunakan.

Kualitas temu kembali gambar ViDoRe v3 versus parameter model aktif pada skala logaritmik. Garis menghubungkan frontier Pareto di dalam setiap panel: model yang tidak dikalahkan oleh model dengan ukuran sama atau lebih kecil.

Kami juga mengevaluasi retrieval visual pada MIRACL-Vision, tolok ukur yang korpusnya terdiri dari tangkapan layar artikel wikipedia, dan PPLX-Q2I, tolok ukur internal yang mencakup dokumen visual dan gambar alami. PPLX-Q2I dibangun dari log pencarian gambar produksi Perplexity dan dirancang untuk mencerminkan keragaman kasus penggunaan pencarian gambar. Kami menggunakan sampel 10.000 kueri, distratifikasi menurut bahasa dan domain, terhadap korpus berisi 100.000 gambar; dokumen relevan untuk tiap kueri adalah gambar yang disajikan untuk kueri tersebut. Kami tidak mengevaluasi EVIE-8B atau Nemotron ColEmbed pada PPLX-Q2I, karena mengindeks korpus sebesar ini pada dimensi keluaran default mereka (2.560 untuk Nemotron ColEmbed 4B dan 4.096 untuk Nemotron ColEmbed 8B dan EVIE-8B) tidak praktis.

Serupa dengan performanya pada ViDoRe(V3), model 0,6B kami kompetitif dengan model yang jauh lebih besar, hanya tertinggal 1 poin persentase dari qwen3-vl-embed-8b pada MIRACL-Vision. Model 9B kami mengungguli semua model lain kecuali gemini-embedding-2.

Pada PPLX-Q2I, kedua model kami mengalahkan qwen3-vl-embedding-8b dengan selisih lebih dari 9 poin persentase, dan model 9B kami hanya tertinggal 2 poin persentase dari gemini-embedding-2. Hasil kami tetap kompetitif pada korpus yang berisi gambar alami sekaligus dokumen visual, sehingga representasi multi-vektor yang menghasilkan keuntungan pada ViDoRe(V3) tidak datang dengan mengorbankan pencarian gambar umum.

Pencarian gambar pada MIRACL-Vision dan PPLX-Q2I, diukur dengan nDCG@10. Model Nemotron ColEmbed tidak dievaluasi pada PPLX-Q2I karena mengindeks korpus pada dimensi keluaran default mereka tidak praktis.

Retrieval lintas model

Hasil pada bagian sebelumnya mengevaluasi tiap model terhadap korpus yang di-embed-nya sendiri. Ruang embedding bersama berarti ini bukan suatu keharusan: korpus yang diindeks oleh model 9B dapat dicari dengan kueri yang di-embed oleh model 0,6B. Inilah konfigurasi yang kami perkirakan akan digunakan sebagian besar penerapan produksi, karena pengindeksan adalah biaya satu kali yang diamortisasi sepanjang masa pakai korpus, sedangkan embedding kueri berjalan di jalur kritis latensi pada setiap permintaan.

Penerapan yang tidak dapat menjalankan model 9B pada saat kueri, jika tidak, juga akan mengindeks dengan model 0,6B, sehingga konfigurasi simetris 0,6B itulah titik pembanding yang relevan. Kami mengevaluasi terhadap 72 tolok ukur spesifik domain yang digunakan di atas dan pada retrieval gambar ViDoRe v3. Kueri di-embed dengan pplx-embed-v2-late-0.6b, dan kami hanya memvariasikan apa yang meng-embed korpus.

Pengindeksan dengan model 9B merupakan peningkatan yang tegas. Pada tolok ukur spesifik domain, konfigurasi asimetris menghasilkan kenaikan rata-rata 1,6 poin persentase. Pada retrieval gambar ViDoRe v3, skornya mencapai 63,5%, naik dari 62,3% saat model 0,6B digunakan di kedua sisi, sebuah kenaikan 1,2 poin persentase. Biaya encoding kueri tidak berubah antara konfigurasi simetris 0,6B dan asimetris, karena model 0,6B yang sama mengodekan kueri pada keduanya; biaya encoding dokumen tambahan terjadi pada saat pengindeksan.

Menjalankan model 9B di kedua sisi tetap lebih baik lagi, dengan rata-rata 81,3% pada tolok ukur spesifik domain. Konfigurasi asimetris karena itu memulihkan kira-kira setengah dari selisih kualitas antara kedua model pada teks, tanpa biaya encoding kueri tambahan. Konfigurasi yang dipilih bergantung pada apakah model 9B terjangkau pada saat kueri; jika tidak, pengaturan asimetris menangkap sebagian besar manfaatnya.

Meng-embed indeks dengan model 9B dan kueri dengan model 0,6B meningkatkan retrieval dibandingkan menggunakan model 0,6B untuk keduanya. Skor adalah nDCG@10; rata-rata enam domain tidak mencakup hasil ViDoRe v3 yang dilaporkan terpisah.

Retrieval agentic

Retrieval agentic adalah pengaturan lain yang sangat kuat bagi embedding multi-vektor. Dalam BrowseComp+, sebuah LLM (GPT-OSS-120B dalam kasus kami) menggunakan model embedding untuk mencari korpus demi informasi yang relevan dengan kueri pengguna yang kompleks, dan LLM kedua menilai apakah jawaban yang dihasilkan cocok dengan kebenaran dasar. Model 9B kami mencapai akurasi 64,0%, mengalahkan model ColBERT terbaik berikutnya dengan 4,9 poin persentase dan model dense terbaik berikutnya dengan 8,7 poin persentase, sambil mengeluarkan lebih sedikit pencarian daripada model lain mana pun kecuali model 0,6B kami. Model 0,6B kami juga unggul atas setiap model di luar keluarga kami.

Akurasi jawaban BrowseComp+ dan recall retrieval versus jumlah rata-rata pencarian untuk agen GPT-OSS-120B (usaha tinggi). Skor yang lebih tinggi dan lebih sedikit pencarian menunjukkan kualitas dan efisiensi yang lebih baik.

MADQA menguji tanya-jawab agentic pada 800 PDF dunia nyata yang heterogen dan mencakup lebih dari 18.000 halaman, dengan 500 pertanyaan yang ditulis manusia dan tidak dapat dijawab dari pengetahuan umum. Sebuah agen (Gemini 3.5 Flash dalam kasus kami) mencari koleksi tersebut dengan retriever yang diuji dan diberi skor berdasarkan akurasi jawaban serta F1 halaman terhadap halaman bukti yang dianotasi. Model 9B kami menetapkan state of the art baru di antara retriever dengan akurasi 92,4%, 3,5 poin persentase di atas agen yang sama menggunakan retriever Mixedbread; model 0,6B kami mencapai 90,1%. Kami juga mencatat bahwa retriever kami mencapai hasil kompetitif terhadap Mixedbread Agentic Search, yang menggunakan sub-agen pencarian dalam sistem pencarian mereka yang merencanakan dan menjalankan beberapa pencarian per panggilan dari agen utama (93,4%, dalam interval kepercayaan kami).

Akurasi jawaban dan F1 tingkat halaman pada MADQA. Dipadukan dengan Gemini 3.5 Flash, model 9B dan 0,6B kami masing-masing mencapai akurasi 92,4% dan 90,1%, dibandingkan dengan 88,9% untuk retriever Mixedbread dan 93,4% untuk Mixedbread Agentic Search.

Memulai

Kedua model 0,6B dan 9B kami tersedia di Hugging Face dan kompatibel langsung dengan sentence-transformers >= 6.0.0 serta transformers >= 5.4.0. Detail teknis lebih lanjut dan hasil evaluasi lengkap akan dipublikasikan dalam laporan teknis akhir tahun ini.

Saat ini kami sedang melatih generasi berikutnya dari model embedding padat kami, dan akan secara bertahap menghadirkan dukungan untuk embedding late-interaction, padat, dan kontekstual di Perplexity API Platform.

Sitasi

BibTeX
@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}