Tek vektörün ötesinde çok modlu gömmeler

Şubatta pplx-embed-v1’i yayımladığımızdan beri yeni nesil gömme modelleri üzerinde çalışıyoruz. Geçen hafta yeni bağlamsal gömme modelimiz pplx-embed-v2-context’i tanıttık. Bugün, geç etkileşim modellerinden oluşan bir koleksiyon olan pplx-embed-v2-late ile aileyi genişletiyoruz. Daha güçlü geri getirme yeteneklerinin yanı sıra bu modeller, üç temel özelliği bir araya getiren ilk modellerdir:

• Çok vektörlü gösterimler. Bu modeller, her girdiyi tek bir vektöre sıkıştırmak yerine, daha ayrıntılı sorgu-belge karşılaştırmaları için token düzeyinde vektörleri korur. Bu, bir sorgunun farklı bölümlerinin bir belgenin farklı bölümleriyle eşleşmesini sağlar ve özellikle çok modlu geri getirme için değerli olan ayrıntıyı korur.
• Hem metin hem görüntü kiplerine destek. Önceki modellerimizin metinden metne geri getirme yeteneklerine ek olarak, bu yeni modeller metinden görüntüye geri getirmeyi de destekler; böylece OCR’e veya ayrıştırılmış metne gerek kalmadan işlenmiş PDF sayfalarında doğrudan arama yapabilirler.
• Paylaşılan bir gömme alanı. Farklı kalite, gecikme ve hesaplama gereksinimlerini desteklemek için 0,6B ve 9B olmak üzere iki model boyutu yayımlıyoruz. Her biri bağımsız olarak kullanılabilir; ancak paylaşılan gömme alanı, daha küçük modelin daha büyük modelle oluşturulmuş bir dizini sorgulamasına da olanak tanır ve daha yüksek kaliteli belge gömmelerini ucuz, hızlı sorgu zamanı çıkarımıyla birleştirir.

Bu yeni modeller, çeşitli görsel ve metin erişimi kıyaslama testlerinin yanı sıra ajan tabanlı soru yanıtlama görevlerinde de en ileri düzeyde sonuçlar elde ediyor. Özellikle, önde gelen görsel belge erişimi kıyaslama testlerinden biri olan ViDoRe (V3) üzerinde 0.6B modelimiz, beş kat daha fazla aktif parametreye sahip modellerle eşdeğer performans sergiliyor. Her iki model de Hugging Face üzerinde herkese açık olarak sunuluyor. Teknik raporumuz, yöntem ve değerlendirme sonuçları hakkında daha fazla ayrıntı sunuyor.

Tek vektörlerden geç etkileşime

Geri getirme sistemleri, verimlilik ile sorgular ve belgeler arasındaki etkileşim derinliği arasında bir denge kurmak zorundadır. Yoğun gömme modelleri her sorgu ve belgeyi bağımsız olarak kodlar ve bunların ucuz bir iç çarpım ile karşılaştırılmasına olanak tanır. Bu, milyarlarca belge üzerinde yaklaşık en yakın komşu (ANN) aramasını pratik hale getirir. Diğer uçta, çapraz kodlayıcılar sorgu ve belgeyi birlikte işler; bu daha zengin etkileşim sağlar ancak her aday için ayrı bir ileri geçiş gerektirir. Bu hesaplamayı, her arama için geniş bir belge korpusu üzerinde uygulamak aşırı maliyetlidir; bu nedenle çapraz kodlayıcılar genellikle yalnızca geri getirilen az sayıdaki adayın yeniden sıralanması için kullanılır.

Yoğun gömmelerin sınırlamaları

Bütün bir belgeyi tek, sabit boyutlu bir vektörle temsil etmek bir bilgi darboğazı yaratır. Belgeler uzadıkça ve daha fazla konuyu kapsadıkça, model daha fazla içeriği aynı vektöre sıkıştırmak zorunda kalır; bu da bir sorgu için ilgili olan her şeyi korumayı zorlaştırır. Parçalama bu baskıyı azaltabilir, ancak belgeyi parçalayarak yalnızca birlikte anlam kazanan bilgileri ayırabilir; bu, bağlamsal gömme modelimiz ile de ele aldığımız bir sorundur. Bu darboğaz, görüntülerin bilgi yoğunluğunun daha da fazla sıkıştırma gerektirdiği çok modlu ortamlarda daha da kötüleşir.

Tek vektörlü yoğun geri getirme, her karşılaştırmayı iki vektör arasındaki bir iç çarpıma indirger ve puanlama işlevinin ifade gücünü sınırlar. Sabit bir gömme boyutu ve yeterince büyük bir korpus için, eğitimden bağımsız olarak bazı sorgu-belge çiftleri boyunca skor örüntüleri üretilemez. LIMIT ölçütü, bu kuramsal kaygıyı tek vektörlü geri getirme için somut bir stres testine dönüştürür.

Geç etkileşimli geri getirme

Geç etkileşimli modeller, daha ucuz yoğun gömme modelleri ile daha ifade gücü yüksek çapraz kodlayıcılar arasında yer alır. Yoğun modeller gibi, belgeleri sorgudan bağımsız olarak kodlarlar ve belge temsillerinin çevrimdışı olarak hesaplanmasına olanak tanırlar. Ancak her girdiyi tek bir vektöre indirgemek yerine, birden çok vektörü korur ve bir sorguyu bir belgeyle karşılaştırırken daha zengin bir puanlama işlevi kullanırlar.

pplx-embed-v2-late modellerimiz ColBERT tarzı bir mimari kullanır ve girdideki her token için 128 boyutlu gömmeler üretir. Sorgu-belge çiftlerini MaxSim ile puanlıyoruz; her sorgu token’ı için model en yüksek skorlu belge token’ını seçer ve son skoru üretmek için token başına maksimum benzerlikleri toplar. Bu, bir sorgunun farklı bölümlerinin bir belgenin farklı bölümleriyle eşleşmesine izin verir ve daha güçlü token eşleşmeleri skora daha fazla katkı yapar.

Büyüt

Bu ek ifade gücü, daha yüksek depolama ve aday puanlama maliyetleriyle birlikte gelir. Yoğun geri getirme, her belge için bir vektör depolar ve bir adayı tek bir iç çarpımla puanlar; geç etkileşim ise belge token’ları için vektörler depolar ve çok sayıda token-token benzerliğini değerlendirir. Maliyet belge uzunluğuyla birlikte arttığından, geç etkileşim tek vektörlü ANN geri getirmeye göre farklı bir indeksleme ve servis dengesi gerektirir. Buna karşılık, kaliteye duyarlı korpuslar için daha zengin bir ilk aşama geri getirme sağlar ve daha büyük bir web ölçeği geri getirme boru hattında daha sonraki bir aşama olarak da hizmet verebilir.

Tek model, çoklu kipler

Bu geliştirilmiş etkileşim derinliğinin, uzun bağlam, ajan tabanlı ve alan dışı geri getirme dâhil çeşitli görevler için çok yararlı olduğu gösterilmiştir. Bu fark, ColPali modellerinin ViDoRe(V3) sıralamasındaki büyük üstünlüğünde de görüldüğü üzere, çok modlu geri getirmede özellikle belirgindir.

Gerçek dünya korpusları yalnızca temiz metinden oluşmaz. Bunlar PDF’ler, slayt dosyaları, ekran görüntüleri, taranmış sayfalar, grafikler ve tablolar halinde gelir. Geleneksel boru hattı bu belgeleri ayrıştırır, OCR veya altyazı oluşturma uygular ve ortaya çıkan metni arar; bu ise hem maliyetli hem de kayıplıdır: OCR hataları ekleyebilir ve yerleşimi, tablo yapısını, şekilleri ve mekânsal ilişkileri atar. Görsel belge arama bu adımı atlayarak işlenmiş sayfayı doğrudan temsil alanına projelendirir ve metin sorgularının onu aramasına olanak tanır.

Yeni model ailemiz, çok modlu arama için çok vektörlü modellerin güçlü performansı üzerine kuruludur ve en yaygın kullanılan belge arama ölçütü olan ViDoRe(V3) üzerinde küçük modeller için Pareto sınırını ileri taşır. Belge işlenmiş görsellerinin en yaygın görsel giriş biçimi olmasını beklesek de, modellerimiz doğal fotoğraflar gibi doğal görüntüler üzerinde anlamsal görüntü aramasını da destekler.

Birlikte çalışabilir modellerden oluşan bir aileyi eğitmek

Arama temelde asimetriktir: indeksleme ve sorgu kodlama farklı operasyonel kısıtlamalara sahiptir. İndeksleme çevrimdışı çalışır ve paralelleştirilebilir; bu nedenle hesaplama maliyeti çok sayıda gelecekteki aramaya yayılır. Sorgu kodlama ise her istek için çevrimiçi çalışır; bu da onu gecikmeye duyarlı ve bazen servis ya da uç cihaz sınırlamalarına tabi kılar. Model ailemiz bu asimetriden yararlanır ve geri getirme boru hattının her iki tarafına uygun boyutlar sunar.

Önce 18B’lik bir öğretmeni kontrastif olarak eğitiyor, ardından onu ayrı ayrı 9B ve 0,6B öğrencilere damıtıyoruz. Her bir öğrenciyi yalnızca öğretmenin sıralama dağılımını yeniden üretmeye zorlamak yerine, LEAF tarzı gösterim damıtması kullanıyoruz: her giriş token’ı için öğrencinin çıktı gömmesini öğretmenininkiyle hizalıyoruz. Gösterim uzayında damıtma daha önce yoğun, tek vektörlü modeller için kullanılmış olsa da, bunu geç etkileşime genişletiyoruz; burada hizalama hedefi, korunan her token için bir vektördür.

Sonuç olarak, yayımlanan her iki kontrol noktası da aynı çok vektörlü gömme alanını paylaşır. Bu, modeller arası geri getirmeyi mümkün kılar ve ek dağıtım seçeneklerini mümkün hale getirir.

• Maksimum kalite: belgeleri ve sorguları 9B model ile kodlayın.
• Maksimum verimlilik: belgeleri ve sorguları %100 yerel çıkarım için 0,6B model ile kodlayın
• Düşük gecikmeli geri getirme: korpus indeksini 9B model ile oluşturun, ardından sorgulamayı hızlı tutarken indeksleme zamanındaki hesaplamadan yararlanmak için canlı sorguları 0,6B model ile kodlayın.
• Yerel–bulut geri getirme: özel yerel belgeleri veya canlı sorguları cihaz üzerinde 0,6B model ile kodlayın ve bu gösterimleri bulutta barındırılan bir 9B indeksinden gelen sonuçlarla karşılaştırın ya da birleştirin.

Gecikmeye duyarlı ayarlar için 0,6B modeli, uç cihazlarda da çalışabilen hafif bir sorgu kodlayıcısı olarak tasarladık. Qwen3.5-0.8B’den başlayarak, 24 katmanlı metin kulesini 12 katmana budadık ve bu kuleyi 498M’den 240M embedding dışı parametreye düşürdük. Ortaya çıkan model toplamda 594M parametreye sahip, ancak nominal boyutu servis maliyetini olduğundan büyük gösteriyor: 100M görüntü kodlama için kullanılıyor ve 254M, çalışma zamanı üzerinde çok az etkisi olan token-gömme tablosunda bulunuyor. Metin kodlama için yalnızca yaklaşık 240M, görüntü kodlama içinse 340M parametre etkin; bu da modelin 9B dizinle uyumluluğu korurken belirgin biçimde daha küçük bir modelin servis maliyetine sahip olmasını sağlıyor.

Aynı süreci, 18B’lik öğretmenimizi 27B’lik bir omurgadan oluşturmak için de uyguladık; bu da öğretmenin sağladığı sinyali zayıflatmadan onu damıtmayı kayda değer ölçüde daha ucuz hale getirdi.

Çok dilli, çok modlu, kontaminasyonsuz eğitim verisi

Her iki modeli de 46 dilde 594 veri kümesinden çekilmiş 186 milyon sorgu-belge çiftinden oluşan bir veri kümesi üzerinde eğitiyoruz. Bu çiftlerin %88,3’ü metinden metne, %8,3’ü metinden görüntüye ve %3,4’ü metinden görsel-belgeye türündedir. Veri kümesi boyutuyla orantılı örnekleme yapmak yerine, her veri kümesine bir örnekleme ağırlığı atıyoruz; bu da sırasıyla %56,5, %30,9 ve %12,6 oranlarında daha dengeli bir eğitim karışımı sağlıyor.

Eğitim verimizi oluştururken, sonuçlarımızı şişirmeden bulgularımızı doğru biçimde temsil etmek için değerlendirdiğimiz ölçütlerle ilişkili herhangi bir veri kümesini dışarıda bırakıyoruz. Bu karar, dışarıda bırakmayı seçtiğimiz bazı veri kümelerinin, geldikleri ölçüt dışındaki görevlerde modelimizin performansını artırabilecek yüksek kaliteli veriler içermesi gibi bir ödünleşme getiriyor. Nihayetinde bu maliyeti kabul etmeyi seçtik: güvenilir sayılar geliştirme sırasında bizim için ve modelleri karşılaştırırken kullanıcılar için daha kullanışlıdır.

Değerlendirme

Her iki modeli de metin, görsel-belge, karışık-görüntü ve ajan tabanlı geri getirme genelinde değerlendiriyoruz. Her iki model de Q2D-Web ve BrowseComp+ üzerinde değerlendirilen temel modelleri geride bırakıyor ve görsel-belge geri getirme ile MADQA’da güçlü sonuçlar elde ediyor.

Metin geri getirme

Metinden metne geri getirmeyi üç ölçütte değerlendiriyoruz:

• Alan-spesifik ölçütler: 72 MTEB tarzı görevden oluşan bir koleksiyon; beş alanda 55 görev (finans, hukuk, sağlık, sohbet, teknoloji) ve buna ek olarak 17 çeşitli çok dilli görev. Koleksiyon, FinQA, AILACasedocs ve XLSum gibi görevleri içerir. Yukarıda açıklandığı gibi bu veri kümelerinin hiçbiri eğitim verimizde yer almamaktadır.
• Q2D-Web: üretim arama trafiğinden alınmış yaklaşık 70.000 ajan tarafından yeniden formüle edilmiş arama sorgusundan oluşan, 190M web belgesi içeren bir korpus üzerindeki web ölçekli geri getirme ölçütümüz. Bu ölçüt, üretim benzeri sorguları ve büyük ölçekli korpusu sayesinde, diğer mevcut geri getirme ölçütlerine kıyasla gerçek dünya web geri getirmesine çok daha yakın bir ortamda performansı ölçer.
• ViDoRe(V3) Markdown: ViDoRe(V3) tipik olarak metinden görsel-belgeye bir geri getirme görevidir; ancak Markdown’a ayrıştırılmış bir korpus sürümü kullanılarak metin görevi olarak da değerlendirilebilir ve böylece bilgi açısından zengin belge geri getirmesini hem görüntü hem metin kiplerinde değerlendirmemize olanak tanır.

Q2D-Web’de, ölçütün birinci aşama web geri getirme senaryosuna odaklanması nedeniyle Recall@1000 rapor ederken, diğerlerinde nDCG@10 kullanarak performansı ölçüyoruz. Tüm değerlendirmelerimiz boyunca, farklı boyut sınıflarındaki sektör lideri gömme modelleriyle karşılaştırma yapıyoruz. Metin geri getirme için nemotron-embed-8b, gemini-embedding-2, voyage-large-4 ve qwen3-embed-8b en güçlü ve en yaygın kullanılan yoğun rakipleri temsil ederken, voyage-4-nano ve qwen3-embed-0.6b milyar altı parametreli yoğun temel modeller olarak hizmet verir. Ayrıca, TopK’nin sonuçlarını yayımladığı ölçütlerde TopK’nin yeni yayımladığı topk-embed-v1 geç etkileşim modelleriyle de karşılaştırma yapıyoruz. ViDoRe(V3) skorları, token gömmelerimizin genişliğiyle eşleşen 128 boyut için model kartlarından alınmıştır; Q2D-Web skoru ise sıralama tahtamızdan alınmıştır.

Alan-spesifik ölçütlerde 9B ve 0,6B modellerimiz sırasıyla ortalama %81,3 ve %78,0 puan alıyor. 9B modelimiz değerlendirdiğimiz tüm modeller arasında en yüksek skoru elde ediyor ve bir sonraki en iyi modeli 1,6 puan farkla geride bırakıyor. 0,6B modelimiz diğer en yüksek skorlu modellerle rekabet ediyor ve gemini-embedding-2’nin yalnızca 0,3 puan gerisinde kalıyor. Önemlisi, bu kıyas görevlerine ait verilerin hiçbirinde eğitim yapmadığımız için alan-spesifik ölçütler, gömme modellerimizin yeni alanlara genellenebildiğini gösteriyor.

Büyüt

0,6B modelimizin göreli gücü ViDoRe(V3) Markdown görevinde daha da büyüktür; %61,2’lik skoru, %64,7 alan 9B modelimiz dışındaki tüm diğer modelleri geride bırakır. Bir sonraki en iyi dış model %60,6 puan alırken, bir sonraki en iyi alt-1B model olan topk-embed-v1-0.8b, 0,6B modelimizin 4,3 puan gerisinde kalır.

Büyüt

Q2D-Web’de alaka düzeyi üç değerlendirme kümesinden gelir: ajanın alıntıladığı belgeler (Alıntı), üretim geri getirme sistemimiz tarafından sıralanan belgeler (Web) ve etiketlenmemiş belgeler için LLM değerlendirmeleriyle genişletilmiş ikisinin birleşimi (Birleşik). Her iki pplx-embed-v2-late modeli de üç değerlendirme kümesinin tamamında tüm temel modellerin önüne geçiyor. Birleşik değerlendirmelere odaklanıyoruz; çünkü Alıntı ve Web kümeleri, zaten kendi sistemlerimizin ortaya çıkardığı şeylerden türetiliyor ve bu yüzden bizim sistemlerimiz gibi sıralayan modelleri kayırıyor; Birleşik’e eklenen LLM değerlendirmeleri ise hiçbir sistemin geri getirmediği belgeleri kapsıyor. Bu kümede hem 9B hem de 0,6B modellerimiz tüm rakipleri geride bırakarak sırasıyla %74,8 ve %73,6 puanlara ulaşıyor; önceki en iyi skor %69,3’tü.

Büyüt

Görsel geri getirme

Birincil görsel geri getirme ölçütümüz, korpusu Markdown dönüştürmesi değil, işlenmiş sayfa görsellerinden oluşan ViDoRe(V3)’ün standart herkese açık alt kümesidir. İki önde gelen yoğun görme-dil modelini, qwen3-vl-embed-8b ve gemini-embedding-2 ile topk-embed-v1 geç etkileşim modellerini karşılaştırıyoruz. Ayrıca Tencent’in EVIE modelleri ve NVIDIA’nın Nemotron ColEmbed V2 modelleri, özellikle görüntü geri getirme görevleri için eğitilmiş “yalnızca görsel” çok vektörlü temel modellerdir.

Her iki modelimiz de görme-dil modelleri arasında son teknoloji performansına ulaşıyor. 9B modelimiz ortalamada %65,2 puan alıyor ve yalnızca EVIE’nin gerisinde kalıyor. 0,6B modelimiz %62,3 puan alıyor; bu da topk-embed-v1-2b’nin önünde ve dış temel modeller arasında yalnızca çok daha büyük EVIE ile nemotron-colembed-v2-8b’nin gerisinde olduğu anlamına geliyor.

Büyüt

0,6B modelimiz model boyutu bağlamında özellikle rekabetçidir. Benzer boyuttaki tüm modellerin önündedir ve görüntü girdileri için yalnızca 340M parametre etkinleştirirken nemotron-colembed-v2-8b’nin yalnızca 1,2 puan gerisinde kalır. Modellerimiz, EVIE-4.5B için 2.048 ve EVIE-8B ile nemotron-colembed-v2-8b için 4.096 olan değerlerle karşılaştırıldığında, token başına 128 boyutlu gömmeler üretir. Depolama maliyetindeki bu fark, bu modellerin pratikte kullanılabildiği senaryoları ciddi biçimde etkileyebilir.

Büyüt

Ayrıca, görsel geri getirmeyi MIRACL-Vision üzerinde de değerlendiriyoruz; bu kıyaslama veri kümesinin korpusu, wikipedia makalelerinin ekran görüntülerinden oluşur, ve hem görsel belgeleri hem de doğal görüntüleri kapsayan dahili bir kıyaslama olan PPLX-Q2I üzerinde de değerlendiriyoruz. PPLX-Q2I, Perplexity'nin üretim görüntü arama günlüklerinden oluşturulmuştur ve görüntü araması kullanım senaryolarının çeşitliliğini yansıtacak şekilde tasarlanmıştır. Dil ve alana göre tabakalı 10.000 sorguluk bir örneklem kullanıyoruz; 100.000 görüntülük bir korpusa karşı. Her sorgunun ilgili belgeleri, onun için sunulan görüntülerdir. PPLX-Q2I üzerinde EVIE-8B veya Nemotron ColEmbed'i değerlendirmedik; çünkü varsayılan çıktı boyutlarında bu boyuttaki bir korpusu indekslemek (Nemotron ColEmbed 4B için 2.560 ve Nemotron ColEmbed 8B ile EVIE-8B için 4.096) pratik değildi.

ViDoRe(V3)’teki performansına benzer şekilde, 0,6B modelimiz çok daha büyük modellerle rekabetçidir; MIRACL-Vision’da qwen3-vl-embed-8b’nin yalnızca 1 puan gerisinde kalır. 9B modelimiz, gemini-embedding-2 dışında tüm diğer modelleri geride bırakır.

PPLX-Q2I’de her iki modelimiz de qwen3-vl-embedding-8b’yi 9 puanın üzerinde bir farkla geçer ve 9B modelimiz gemini-embedding-2’nin yalnızca 2 puan gerisindedir. Sonuçlarımız, doğal görüntülerin yanı sıra görsel belgeler içeren korpuslarda da rekabetçi kalır; bu nedenle ViDoRe(V3)’te karşılığını bulan çok vektörlü gösterimler, genel görüntü aramanın pahasına gelmez.

Büyüt

Modeller arası geri getirme

Önceki bölümlerdeki sonuçlar, her modeli kendi gömdüğü bir korpus üzerinde değerlendiriyor. Paylaşılan gömme alanı bunun bir gereklilik olmadığını gösterir: 9B modelinin indekslediği bir korpus, 0,6B modelinin gömdüğü sorgularla aranabilir. İndeksleme bir kereye mahsus bir maliyet olduğundan ve korpusun kullanım ömrüne yayıldığından, sorgu gömme ise her isteğin gecikme açısından kritik yolunda çalıştığından, çoğu üretim dağıtımının kullanmasını beklediğimiz yapı da budur.

Sorgu zamanında 9B modeli çalıştıramayan bir dağıtım, aksi halde indeksi de 0,6B modelle oluşturacaktır; bu yüzden simetrik 0,6B yapılandırması ilgili karşılaştırma noktasıdır. Yukarıda kullanılan 72 alan-spesifik ölçüte ve ViDoRe v3 görüntü geri getirmesine karşı değerlendiriyoruz. Sorgular pplx-embed-v2-late-0.6b ile gömülür ve yalnızca korpusu neyin gömdüğünü değiştiririz.

İndekslemede 9B modelini kullanmak kesin bir iyileştirmedir. Alan-spesifik ölçütlerde asimetrik yapılandırma ortalama 1,6 puanlık kazanım sağlar. ViDoRe v3 görüntü geri getirmede ise, 0,6B modelin her iki tarafta kullanıldığı durumda %62,3’ten %63,5’e çıkar ve 1,2 puanlık bir artış elde edilir. Sorgu kodlama maliyeti, hem simetrik 0,6B hem de asimetrik yapılandırmalarda değişmez; çünkü her ikisinde de sorguyu aynı 0,6B model kodlar. Ek belge kodlama maliyeti ise indeksleme sırasında ortaya çıkar.

Her iki tarafta da 9B modelini çalıştırmak yine daha iyidir ve alan-spesifik ölçütlerde ortalama %81,3 puan alır. Bu nedenle asimetrik yapılandırma, metinde iki model arasındaki kalite farkının yaklaşık yarısını ek sorgu kodlama maliyeti olmadan geri kazanır. Hangi yapılandırmanın seçileceği, 9B modelin sorgu zamanında karşılanabilir olup olmadığına bağlıdır; olmadığı durumlarda asimetrik kurulum, onun faydasının önemli bir kısmını yakalar.

Büyüt

Ajan tabanlı geri getirme

Ajan tabanlı geri getirme, çok vektörlü gömmelerin özellikle güçlü olduğu bir başka ayardır. BrowseComp+ içinde bir LLM (GPT-OSS-120B örneğimizde) karmaşık bir kullanıcı sorgusuyla ilgili bilgileri bir korpusta aramak için gömme modelini kullanır ve ikinci bir LLM, ortaya çıkan yanıtın altın standartla eşleşip eşleşmediğine karar verir. 9B modelimiz %64,0 doğruluk elde ederek bir sonraki en iyi ColBERT modelini 4,9 puan, bir sonraki en iyi yoğun modeli ise 8,7 puan geride bırakır; bunu yaparken 0,6B modelimiz hariç diğer tüm modellerden daha az arama yapar. 0,6B modelimiz de ailemizin dışındaki her modelin önündedir.

Büyüt

MADQA, genel bilgiden yanıtlanamayan 500 insan tarafından yazılmış soruyla birlikte, 18.000 sayfayı aşan 800 heterojen gerçek dünya PDF’i üzerinde ajan tabanlı soru-cevap test eder. Bir ajan (bizim örneğimizde Gemini 3.5 Flash), test edilen geri getiriciyle koleksiyonu arar ve yanıt doğruluğu ile anotasyonlu kanıt sayfalarına karşı sayfa F1 açısından puanlanır. 9B modelimiz, geri getiriciler arasında %92,4 doğrulukla yeni bir son teknoloji seviyesi belirler; bu, aynı ajanın Mixedbread’in geri getiricisini kullanmasına göre 3,5 puan ileridedir. 0,6B modelimiz %90,1’e ulaşır. Ayrıca geri getiricimizin, ana ajanın her çağrıda birkaç aramayı planlayıp çalıştırdığı arama alt ajanını kullanan Mixedbread Agentic Search’e karşı da rekabetçi sonuçlar elde ettiğini not ediyoruz (%93,4, güven aralığımız içinde).

Büyüt

Başlarken

Hem 0,6B hem de 9B modellerimiz Hugging Face üzerinde mevcuttur ve sentence-transformers >= 6.0.0 ile transformers >= 5.4.0. ile kutudan çıktığı gibi uyumludur. Daha fazla teknik ayrıntı ve tam değerlendirme sonuçları bu yılın ilerleyen dönemlerinde bir teknik raporda yayımlanacaktır.

Şu anda yoğun gömme modellerimizin yeni neslini eğitiyoruz; geç etkileşimli, yoğun ve bağlamsal gömme desteğini de Perplexity API Platform üzerinde kademeli olarak kullanıma sunacağız.

Alıntı

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}