Többmodális embeddingek az egyetlen vektoron túl

Az pplx-embed-v1 februári kiadása óta egy új generációs embeddingmodelleken dolgozunk. Múlt héten bemutattuk új kontextuális embeddingmodellünket, a pplx-embed-v2-context-et. Ma a családot a pplx-embed-v2-late-tel, a késői interakciós modellek egy gyűjteményével bővítjük. Az erősebb visszakeresési képességek mellett ezek az első modellek, amelyek három alapvető képességet egyesítenek:

• Többelemű reprezentációk. Ahelyett, hogy minden bemenetet egyetlen vektorrá tömörítenének, ezek a modellek token-szintű vektorokat őriznek meg a finomabb szemcséjű lekérdezés-dokumentum összehasonlításokhoz. Ez lehetővé teszi, hogy a lekérdezés különböző részei a dokumentum különböző részeihez illeszkedjenek, megőrizve azokat a részleteket, amelyek különösen értékesek a multimodális visszakeresésben.
• A szöveg- és képi modalitások támogatása. Korábbi modelljeink szöveg–szöveg visszakeresési képességei mellett ezek az új modellek szöveg–kép visszakeresést is kezelnek, így közvetlenül kereshetők velük a renderelt PDF-oldalak OCR vagy kinyert szöveg nélkül.
• Egy közös embeddingtér. Két modellt méretet adunk ki, 0,6B-t és 9B-t, hogy különböző minőségi, késleltetési és számítási igényeket támogassunk. Mindkettő önállóan is használható, de a közös embeddingtér lehetővé teszi azt is, hogy a kisebb modell a nagyobb modellel létrehozott indexet lekérdezze, ötvözve a jobb minőségű dokumentumembeddingeket az olcsó, gyors lekérdezésidejű következtetéssel.

Ezek az új modellek a legkorszerűbb eredményeket érik el számos képi és szöveges visszakeresési benchmarkon, valamint ügynökalapú kérdés-válasz feladatokban. Figyelemre méltó, hogy a vezető vizuális dokumentum-visszakeresési benchmarknak számító ViDoRe (V3) teszten 0,6 milliárd paraméteres modellünk ugyanazt a teljesítményt nyújtja, mint az ötször annyi aktív paraméterrel rendelkező modellek. Mindkét modell nyilvánosan elérhető a Hugging Face oldalán. A módszertanról és az értékelési eredményekről műszaki jelentésünkben olvashat részletesebben.

Az egyetlen vektortól a késői interakcióig

A visszakeresési rendszereknek egyensúlyt kell találniuk a hatékonyság és a lekérdezések és dokumentumok közötti interakció mélysége között. A sűrű embeddingmodellek minden lekérdezést és dokumentumot egymástól függetlenül kódolnak, így olcsó belső szorzattal hasonlíthatók össze. Ez gyakorlativá teszi a milliárdnyi dokumentum feletti közelítő legközelebbi szomszéd (ANN) keresést. A másik végletet a cross-encoder modellek jelentik, amelyek a lekérdezést és a dokumentumot együtt dolgozzák fel, gazdagabb interakciót lehetővé téve, de minden jelöltre külön előremenő passzt igényelve. Ezt a számítást egy nagy dokumentumkorpusz minden keresésére alkalmazni megfizethetetlenül drága, ezért a cross-encoder modelleket jellemzően csak a kis számú lekért jelölt újrarangsorolására használják.

A sűrű embeddingek korlátai

Egy teljes dokumentum egyetlen, rögzített méretű vektorral való reprezentálása információs szűk keresztmetszetet hoz létre. Ahogy a dokumentumok hosszabbá válnak és több témát fednek le, a modellnek több tartalmat kell ugyanabba a vektorba tömörítenie, ami megnehezíti, hogy minden, a lekérdezés szempontjából releváns információ megmaradjon. A darabolás enyhítheti ezt a nyomást, de feldarabolja a dokumentumot, és szétválaszthat olyan információkat, amelyek csak együtt értelmezhetők; ezzel a problémával a kontextuális embeddingmodellünk esetében is foglalkozunk. Ez az információs szűk keresztmetszet multimodális környezetben még súlyosabb, ahol a képek információsűrűsége még nagyobb tömörítést igényel.

Az egyvektoros sűrű visszakeresés minden összehasonlítást két vektor belső szorzatára redukál, korlátozva a pontozási függvény kifejezőerejét. Rögzített embeddingdimenzió és elég nagy korpusz esetén bizonyos pontmintázatok a lekérdezés–dokumentum párok között nem hozhatók létre, tanítástól függetlenül. A LIMIT benchmark ezt az elméleti problémát egy konkrét stressztesztté alakítja az egyvektoros visszakeresés számára.

Késői interakciós visszakeresés

A késői interakciós modellek a olcsóbb sűrű embeddingmodellek és a kifejezőbb cross-encoder modellek közötti térben helyezkednek el. A sűrű modellekhez hasonlóan a dokumentumokat a lekérdezéstől függetlenül kódolják, így a dokumentumreprezentációk offline kiszámíthatók. Azonban ahelyett, hogy minden bemenetet egyetlen vektorra redukálnának, több vektort őriznek meg, és gazdagabb pontozási függvényt használnak egy lekérdezés és egy dokumentum összehasonlításakor.

A pplx-embed-v2-late modelljeink ColBERT-stílusú architektúrát használnak, és a bemenet minden tokenjéhez 128 dimenziós embeddinget adnak ki. A lekérdezés–dokumentum párokat MaxSim segítségével pontozzuk; minden lekérdezéstokenhez a modell kiválasztja a legmagasabb pontszámú dokumentumtokent, majd a tokenenkénti maximális hasonlóságok összegzésével állítja elő a végső pontszámot. Ez lehetővé teszi, hogy a lekérdezés különböző részei a dokumentum különböző részeihez illeszkedjenek, miközben az erősebb tokenilleszkedések nagyobb mértékben járulnak hozzá a pontszámhoz.

Nagyítás

Ez a többlet-kifejezőerő magasabb tárolási és jelöltpontozási költséggel jár. A sűrű visszakeresés egy vektort tárol dokumentumonként, és egy jelöltet egyetlen belső szorzattal pontoz; a késői interakció a dokumentum tokenjeihez tartozó vektorokat tárolja, és sok token–token hasonlóságot értékel. A költség a dokumentum hosszával együtt nő, ezért a késői interakció más indexelési és kiszolgálási kompromisszumot igényel, mint az egyvektoros ANN-visszakeresés. Cserébe gazdagabb elsőfázisú visszakeresést nyújt minőségérzékeny korpuszokhoz, és egy nagyobb, webméretű visszakeresési pipeline későbbi szakaszaként is szolgálhat.

Egy modell, több modalitás

Ez a javuló interakciós mélység bizonyítottan nagyon hasznos különféle feladatoknál, többek között hosszú kontextusú, agentikus és tartományon kívüli visszakeresésnél. Ez a különbség különösen jól látható a multimodális visszakeresésben, amint azt a ColPali modellek jelentős előnye mutatja a ViDoRe(V3) ranglistáján.

A valós korpuszok nem csak tiszta szövegből állnak. PDF-ek, prezentációs anyagok, képernyőképek, beolvasott oldalak, diagramok és táblázatok formájában érkeznek. A hagyományos folyamat ezeket a dokumentumokat elemzi, OCR-t vagy képaláírást alkalmaz, majd a keletkező szöveget keresi, ami költséges és veszteséges: OCR-hibákat vezethet be, és eldobja az elrendezést, a táblázatszerkezetet, az ábrákat és a térbeli kapcsolatokat. A vizuális dokumentumkeresés kihagyja ezt a lépést, és a renderelt oldalt közvetlenül a reprezentációs térbe vetíti, ahol a szöveges lekérdezések kereshetnek benne.

Modellcsaládunk az erős többvektoros modellek teljesítményére épít a multimodális keresésben, és előrelép a kis modellek Pareto-határán a legszélesebb körben használt dokumentumkeresési benchmarkon, a ViDoRe(V3)-on. Bár arra számítunk, hogy a dokumentumrenderelések lesznek a vizuális bemenet leggyakoribb formái, modelljeink természetes képeken, például tájfotókon is támogatják a szemantikus képkeresést.

Interoperábilis modellek családjának tanítása

A keresés alapvetően aszimmetrikus: az indexelés és a lekérdezéskódolás eltérő működési korlátokkal rendelkezik. Az indexelés offline történik, és párhuzamosítható, így a számítási költsége sok jövőbeli keresésre oszlik el. A lekérdezéskódolás online fut minden kérésnél, ezért késleltetésérzékeny, és néha kiszolgálási vagy edge-eszközös korlátoknak van kitéve. Modellcsaládunk kihasználja ezt az aszimmetriát, és mindkét oldalhoz testre szabott méreteket kínál a visszakeresési pipeline-ban.

Először egy 18B-s tanítómodellt tanítunk kontrasztív módon, majd külön 9B és 0,6B tanulókba desztilláljuk. Ahelyett, hogy minden tanulót csak arra tanítanánk, hogy reprodukálja a tanító rangsorolóeloszlását, LEAF-stílusú reprezentációs desztillációt használunk: minden bemeneti tokennél a tanuló kimeneti embeddingjét a tanítóéval igazítjuk össze. Bár a reprezentációs téren végzett desztillációt korábban már alkalmazták sűrű, egyvektoros modellekre, mi ezt a késői interakcióra terjesztjük ki, ahol az illesztési cél minden megtartott tokenhez egy-egy vektor.

Ennek eredményeként mindkét kiadott checkpoint ugyanazt a többvektoros embeddingteret osztja meg. Ez lehetővé teszi a modellközi visszakeresést, és további telepítési lehetőségeket nyit meg.

• Maximális minőség: dokumentumokat és lekérdezéseket a 9B modellel kódoljon.
• Maximális hatékonyság: dokumentumokat és lekérdezéseket a 0,6B modellel kódoljon 100%-ban helyi következtetéssel
• Alacsony késleltetésű visszakeresés: építse fel a korpuszindexet a 9B modellel, majd kódolja az élő lekérdezéseket a 0,6B modellel, hogy kihasználja az indexeléskori számítást, miközben a lekérdezés gyors marad.
• Helyi–felhő visszakeresés: kódoljon privát helyi dokumentumokat vagy élő lekérdezéseket a 0,6B modellel az eszközön, majd hasonlítsa össze vagy egyesítse ezeket a reprezentációkat a felhőben hosztolt 9B index eredményeivel.

Késleltetésérzékeny környezetekhez a 0,6B modellt könnyű lekérdezéskódolóként terveztük, amely edge eszközökön is futtatható. A Qwen3.5-0.8B-ből kiindulva a 24 rétegű szövegtornyát 12 rétegre metszettük vissza, ezzel ezt a tornyot 498M-ről 240M nem-embedding paraméterre csökkentve. Az így kapott modell összesen 594M paraméteres, de névleges mérete túlbecsüli a kiszolgálási költséget: 100M-t képkódolásra használ, és 254M a token-embedding táblában van, ami alig befolyásolja a futásidőt. A szövegkódoláshoz csak körülbelül 240M paraméter aktív, a képkódoláshoz pedig 340M, így a modell egy lényegesen kisebb modell kiszolgálási költségével működik, miközben kompatibilis marad a 9B indexszel.

Ugyanezt az eljárást alkalmaztuk 18B-s tanítónk előállítására egy 27B-s alapmodellből, ami jóval olcsóbbá tette a desztillálást anélkül, hogy gyengítette volna az általa nyújtott jelet.

Többnyelvű, multimodális, nem szennyezett tréningadatok

Mindkét modellt 186 millió lekérdezés-dokumentum párból álló adathalmazon tanítjuk, amely 46 nyelven, 594 adathalmazból származik. E párok közül 88,3% szöveg–szöveg, 8,3% szöveg–kép, és 3,4% szöveg–vizuális dokumentum pár. Ahelyett, hogy az adathalmazmérettel arányosan mintavételeznénk, minden adathalmazhoz mintavételi súlyt rendelünk, ami kiegyensúlyozottabb, rendre 56,5%, 30,9% és 12,6%-os tréningkeveréket eredményez.

A tréningadatok összeállításakor kizárunk minden olyan adathalmazt, amely olyan benchmarkokhoz kapcsolódik, amelyeken értékelünk, hogy eredményeinket hűen tükrözzük anélkül, hogy mesterségesen felfújnánk a benchmarkpontszámokat. Ennek a döntésnek az a kompromisszuma, hogy az általunk kizárt adathalmazok némelyike kiváló minőségű adatokat tartalmaz, amelyek javíthatnák modellünk teljesítményét azokon a feladatokon, amelyek nem abból a benchmarkból származnak. Végső soron ezt a költséget elfogadtuk: a megbízható számok hasznosabbak számunkra a fejlesztés során, és a felhasználók számára is modellek összehasonlításakor.

Értékelés

Mindkét modellt szöveges, vizuális dokumentumos, vegyes képű és agentikus visszakeresési feladatokon értékeljük. Mindkét modell felülmúlja az értékelt baseline-okat a Q2D-Weben és a BrowseComp+-on, és erős eredményeket ér el a vizuális dokumentum-visszakeresésben és a MADQA-ban.

Szöveges visszakeresés

A szöveg–szöveg visszakeresést három benchmarkon értékeljük:

• Tartományspecifikus benchmarkok: 72 MTEB-stílusú feladat gyűjteménye, ebből 55 öt domainben (pénzügy, jog, egészség, beszélgetés, tech), plusz 17 vegyes többnyelvű feladat. A gyűjtemény olyan feladatokat tartalmaz, mint a FinQA, AILACasedocs és az XLSum. Ezek közül egyik adathalmaz sem szerepel a tréningadatainkban, ahogy fentebb leírtuk.
• Q2D-Web: körülbelül 70 000, ügynök által újrafogalmazott keresőkérdésből álló, webméretű visszakeresési benchmarkunk, amely termelési keresési forgalomból származik, egy 190M webdokumentumból álló korpuszon. Ez a benchmark a visszakeresési teljesítményt a valós webes kereséshez sokkal közelebb álló környezetben méri, mint más elérhető visszakeresési benchmarkok, köszönhetően a termeléshez hasonló lekérdezéseknek és a nagyléptékű korpusznak.
• ViDoRe(V3) Markdown: a ViDoRe(V3) jellemzően szöveg–vizuális dokumentum visszakeresési feladat, de szöveges feladatként is értékelhető a korpusz olyan változatával, amelyet Markdownra elemeztek, így lehetővé válik az információgazdag dokumentum-visszakeresés értékelése mind képi, mind szöveges modalitásban.

A teljesítményt nDCG@10-zel mérjük, a Q2D-Web kivételével, ahol Recall@1000-at jelentünk, a benchmark elsőfázisú webes visszakeresési forgatókönyvre összpontosító jellege miatt. Értékeléseink során iparágvezető embeddingmodellekkel hasonlítjuk össze magunkat különböző méretkategóriákban. Szöveges visszakeresésnél a nemotron-embed-8b, a gemini-embedding-2, a voyage-large-4 és a qwen3-embed-8b képviselik az erős és legszélesebb körben használt sűrű versenytársakat, míg a voyage-4-nano és a qwen3-embed-0.6b a milliárd alatti paraméterszámú sűrű baseline-okat. Továbbá összehasonlítjuk magunkat a TopK nemrég kiadott topk-embed-v1 késői interakciós modelljeivel azokon a benchmarkokon, amelyekre a TopK publikált eredményeket. A ViDoRe(V3) pontszámokat a modellkártyáikról vesszük 128 dimenzión, ami megfelel tokenembeddingjeink szélességének; a Q2D-Web pontszámot a ranglistánkról vesszük.

A domain-specifikus benchmarkokon a 9B és a 0,6B modellünk átlaga rendre 81,3% és 78,0%. A 9B modellünk éri el az összes általunk értékelt modell közül a legmagasabb pontszámot, és 1,6 százalékponttal veri a következő legjobbat. A 0,6B modellünk versenyképes a többi magas pontszámú modellel, és csak 0,3 százalékponttal marad el a gemini-embedding-2-től. Fontos, hogy mivel egyik benchmarkfeladathoz sem használtuk fel a tréningadatokat, a domain-specifikus benchmarkok azt mutatják, hogy embeddingmodelljeink képesek új domainekre általánosítani.

Nagyítás

A 0,6B modellünk relatív ereje még nagyobb a ViDoRe(V3) Markdown feladaton; 61,2%-os pontszáma minden más modellt felülmúl, kivéve a 9B modellünket, amely 64,7%-ot ért el. A következő legjobb külső modell 60,6%-ot ért el, a következő legjobb 1B alatti modell, a topk-embed-v1-0.8b, pedig 4,3 százalékponttal marad el a 0,6B modellünktől.

Nagyítás

A Q2D-Weben a relevancia három ítéletkészletből származik: a dokumentumokból, amelyeket az Ügynök idézett (Citation), a dokumentumokból, amelyeket éles visszakeresési rendszerünk rangsorolt (Web), valamint e kettő uniójából, kiegészítve a címkézetlen dokumentumokra adott LLM-ítéletekkel (Combined). Mindkét pplx-embed-v2-late modell minden baseline-t vezet mindhárom ítéletkészleten. A kombinált ítéletekre összpontosítunk, mivel a Citation és a Web készletek abból származnak, amit saját rendszereink már eleve felszínre hoztak, ezért azokat a modelleket részesítik előnyben, amelyek úgy rangsorolnak, mint ők; a Combinedhez hozzáadott LLM-ítéletek olyan dokumentumokat fednek le, amelyeket egyik rendszer sem kért le. Ezen a készleten mind a 9B, mind a 0,6B modellünk felülmúlja az összes versenytársat, rendre 74,8%-os és 73,6%-os pontszámot érve el, szemben a korábbi legjobb 69,3%-kal.

Nagyítás

Vizuális visszakeresés

Elsődleges vizuális visszakeresési benchmarkunk a ViDoRe(V3) szabványos nyilvános részhalmaza, ahol a korpusz renderelt oldalképeket tartalmaz, nem pedig a Markdown-formátumba konvertált változatot. Két vezető sűrű vizuális-nyelvi modellel, a qwen3-vl-embed-8b-vel és a gemini-embedding-2-vel, valamint a topk-embed-v1 késői interakciós modellekkel hasonlítjuk össze. Emellett a Tencent EVIE modelljei és az NVIDIA Nemotron ColEmbed V2 modelljei „csak látásra épülő” többvektoros baseline-ok, amelyeket kifejezetten kép-visszakeresési feladatokra tanítottak.

Mindkét modellünk state-of-the-art teljesítményt ér el a vizuális-nyelvi modellek között. A 9B modellünk átlagosan 65,2%-ot ér el, és csak a EVIE előzi meg. A 0,6B modellünk 62,3%-os pontszámot ér el, megelőzve a topk-embed-v1-2b-t, és az externális baseline-ok közül csak a jóval nagyobb EVIE és nemotron-colembed-v2-8b mögött marad.

Nagyítás

A 0,6B modellünk különösen versenyképes a modellméret szempontjából. Minden hasonló méretű modellt megelőz, és csak 1,2 százalékponttal marad el a nemotron-colembed-v2-8b-től, miközben képi bemenetekhez mindössze 340M paramétert aktivál. Modelljeink tokenenként 128 dimenziós embeddingeket állítanak elő, szemben a EVIE-4.5B 2 048-cal, illetve az EVIE-8B és a nemotron-colembed-v2-8b 4 096-os értékével. Ez a tárolási költségekben mutatkozó különbség drámaian befolyásolhatja, mely helyzetekben praktikus ezeknek a modelleknek a használata.

Nagyítás

A MIRACL-Visionön a vizuális visszakeresést is értékeljük, egy olyan benchmarkon, amelynek korpusza a Wikipedia-cikkek képernyőképeiből áll, valamint a PPLX-Q2I-n, egy belső benchmarkon, amely vizuális dokumentumokat és természetes képeket egyaránt lefed. A PPLX-Q2I a Perplexity éles képkeresési naplóiból készült, és úgy tervezték, hogy tükrözze a képkeresési használati esetek sokféleségét. Egy 10 000 lekérdezésből álló, nyelv és domain szerint rétegzett mintát használunk 100 000 képből álló korpusz ellen; minden lekérdezés releváns dokumentumai az adott lekérdezésre válaszul megjelenített képek. Nem értékeltük az EVIE-8B-t vagy a Nemotron ColEmbedet a PPLX-Q2I-n, mivel egy ekkora korpusz indexelése az alapértelmezett kimeneti dimenzionalitásukon (2 560 a Nemotron ColEmbed 4B-nél és 4 096 a Nemotron ColEmbed 8B-nél és az EVIE-8B-nél) nem volt gyakorlati.

A ViDoRe(V3)-on mutatott teljesítményéhez hasonlóan a 0,6B modellünk versenyképes a jóval nagyobb modellekkel: a MIRACL-Visionön mindössze 1 százalékponttal marad el a qwen3-vl-embed-8b-től. A 9B modellünk minden más modellt felülmúl, kivéve a gemini-embedding-2-t.

A PPLX-Q2I-n mindkét modellünk több mint 9 százalékponttal veri a qwen3-vl-embedding-8b-t, és a 9B modellünk csak 2 százalékponttal marad el a gemini-embedding-2-től. Eredményeink természetes képeket és vizuális dokumentumokat egyaránt tartalmazó korpuszokon is versenyképesek maradnak, így a ViDoRe(V3)-on megtérülő többvektoros reprezentációk nem mennek a általános képkeresés rovására.

Nagyítás

Modellközi visszakeresés

Az előző szakaszok eredményei minden modellt egy olyan korpuszon értékelnek, amelyet maga ágyazott be. A közös embeddingtér miatt ez nem követelmény: a 9B modell által indexelt korpusz kereshető a 0,6B modell által beágyazott lekérdezésekkel is. Erre a konfigurációra számítunk a legtöbb éles telepítésnél, mivel az indexelés egyszeri költség, amely a korpusz teljes élettartamára amortizálódik, míg a lekérdezés beágyazása minden kérés késleltetéskritikus útvonalán fut.

Egy olyan telepítés, amely nem tudja futtatni a 9B modellt lekérdezésidőben, egyébként a 0,6B modellel is indexelne, így a szimmetrikus 0,6B konfiguráció a releváns összehasonlítási pont. Az előzőekben használt 72 domain-specifikus benchmarkkal és a ViDoRe v3 képi visszakeresésén értékelünk. A lekérdezéseket a pplx-embed-v2-late-0.6b ágyazza be, és csak azt változtatjuk, mi ágyazta be a korpuszt.

A 9B modellel történő indexelés egyértelmű javulás. A domain-specifikus benchmarkokon az aszimmetrikus konfiguráció átlagosan 1,6 százalékpontos nyereséget hoz. A ViDoRe v3 képi visszakeresésén 63,5%-ot ér el, szemben a mindkét oldalon 0,6B modellel elért 62,3%-kal, ami 1,2 százalékpontos javulás. A lekérdezéskódolási költség változatlan a szimmetrikus 0,6B és az aszimmetrikus konfiguráció között, mivel mindkettőben ugyanaz a 0,6B modell kódolja a lekérdezést; a további dokumentumkódolási költség az indexeléskor merül fel.

Ha a 9B modell futtatása mindkét oldalon is megtörténik, az még mindig jobb, átlagosan 81,3%-ot érve el a domain-specifikus benchmarkokon. Az aszimmetrikus konfiguráció tehát a két modell közötti minőségi különbség nagyjából felét visszahozza szöveges feladatokon, további lekérdezéskódolási költség nélkül. Hogy melyik konfigurációt érdemes választani, attól függ, megfizethető-e a 9B modell lekérdezésidőben; ahol nem, ott az aszimmetrikus beállítás a haszna jelentős részét megragadja.

Nagyítás

Agentikus visszakeresés

Az agentikus visszakeresés egy másik olyan beállítás, ahol a többvektoros embeddingek különösen erősek. A BrowseComp+-ban egy LLM (GPT-OSS-120B a mi esetünkben) az embeddingmodellt használja arra, hogy a korpuszban a komplex felhasználói lekérdezéshez releváns információt keressen, és egy második LLM dönti el, hogy a kapott válasz egyezik-e az igazságalappal. A 9B modellünk 64,0%-os pontosságot ér el, 4,9 százalékponttal megelőzve a következő legjobb ColBERT modellt és 8,7 százalékponttal a következő legjobb sűrű modellt, miközben kevesebb keresést indít, mint bármely más modell, kivéve a 0,6B modellünket. A 0,6B modellünk szintén minden, a családunkon kívüli modellt megelőz.

Nagyítás

A MADQA 800 heterogén, valós PDF-en teszteli az agentikus kérdés-válaszolást, amelyek több mint 18 000 oldalt fednek le, és 500, általános tudásból nem megválaszolható, ember által megfogalmazott kérdéssel rendelkezik. Egy ügynök (az esettünkben a Gemini 3.5 Flash) a vizsgált visszakeresővel keresi át a gyűjteményt, és a válaszpontosság, valamint az oldalszintű F1 alapján pontozzák az annotált bizonyítékoldalakkal szemben. A 9B modellünk új state of the art-ot állít fel a visszakeresők között 92,4%-os pontossággal, 3,5 százalékponttal megelőzve ugyanannak az ügynöknek a Mixedbread visszakeresőjét használó változatát; a 0,6B modellünk 90,1%-ot ér el. Azt is megjegyezzük, hogy visszakeresőnk versenyképes eredményeket ér el a Mixedbread Agentic Search-csel szemben, amely keresőrendszerükben egy kereső alügynököt használ, és az főügynök helyett hívásonként több keresést tervez és futtat le (93,4%, a mi konfidenciaintervallumunkon belül).

Nagyítás

Kezdő lépések

Mind a 0,6B, mind a 9B modellünk elérhető a Hugging Face-en, és alapból kompatibilis a sentence-transformers >= 6.0.0 és a transformers >= 5.4.0. További technikai részleteket és a teljes értékelési eredményeket még az év későbbi részében publikálunk egy technikai jelentésben.

Jelenleg sűrű beágyazási modelljeink következő generációját tanítjuk, és fokozatosan bevezetjük a késői interakciós (late-interaction), a sűrű és a kontextuális beágyazások támogatását a Perplexity API Platformon.

Hivatkozás

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}