Multimodalni embeddingi izvan jednog vektora

Otad smo objavljivanja pplx-embed-v1 u veljači radili na novoj generaciji modela embeddinga. Prošli tjedan predstavili smo naš novi kontekstualni model embeddinga, pplx-embed-v2-context. Danas proširujemo obitelj modelom pplx-embed-v2-late, skupinom modela s kasnom interakcijom. Uz snažnije mogućnosti dohvaćanja, ti su modeli prvi koji kombiniraju tri osnovne značajke:

• Višektorni prikazi. Umjesto da svaki ulaz sažmu u jedan vektor, ovi modeli zadržavaju vektore na razini tokena radi preciznijih usporedbi upita i dokumenta. To omogućuje da različiti dijelovi upita odgovaraju različitim dijelovima dokumenta, uz očuvanje detalja koji je posebno vrijedan za multimodalno dohvaćanje.
• Podrška za tekstualne i slikovne modalitete. Osim mogućnosti dohvaćanja tekst-tekst naših prethodnih modela, ovi novi modeli podržavaju dohvaćanje tekst-slika, što im omogućuje izravno pretraživanje prikazanih PDF stranica bez potrebe za OCR-om ili raščlanjenim tekstom.
• Zajednički prostor embeddinga. Objavljujemo dvije veličine modela, 0,6B i 9B, kako bismo podržali različite zahtjeve za kvalitetom, latencijom i računalnim resursima. Svaki se može koristiti neovisno, ali zajednički prostor embeddinga također omogućuje manjem modelu upit indeksa izrađenog većim modelom, kombinirajući kvalitetnije dokumentne embeddinge s jeftinim i brzim inferenciranjem pri upitu.

Ovi novi modeli postižu vrhunske rezultate na nizu referentnih testova za vizualno i tekstualno pretraživanje, kao i na zadacima agentnog odgovaranja na pitanja. Posebno valja istaknuti da na ViDoRe (V3), vodećem referentnom testu za vizualno pretraživanje dokumenata, naš model od 0,6 milijardi parametara dostiže razinu modela s pet puta više aktivnih parametara. Oba su modela javno dostupna na platformi Hugging Face. Naše tehničko izvješće donosi više pojedinosti o metodologiji i rezultatima evaluacije.

Od pojedinačnih vektora do kasne interakcije

Sustavi za dohvaćanje moraju pronaći ravnotežu između učinkovitosti i dubine interakcije između upita i dokumenata. Gusti modeli embeddinga neovisno kodiraju svaki upit i dokument, što omogućuje njihovu usporedbu jeftinim unutarnjim produktom. To čini približno pretraživanje najbližih susjeda (ANN) nad milijardama dokumenata praktičnim. U drugom ekstremu, cross-encoderi obrađuju upit i dokument zajedno, omogućujući bogatiju interakciju, ali zahtijevajući zaseban prolaz unaprijed za svakog kandidata. Primjena tog izračuna na veliki korpus dokumenata za svako pretraživanje pretjerano je skupa, pa su cross-encoderi obično rezervirani za rerangiranje malog skupa dohvaćenih kandidata.

Ograničenja gustih embeddinga

Prikazivanje cijelog dokumenta jednim vektorom fiksne veličine stvara usko grlo u informacijama. Kako dokumenti postaju dulji i pokrivaju više tema, model mora sažimati više sadržaja u isti vektor, što otežava očuvanje svega relevantnog za upit. Cjepkanje može smanjiti taj pritisak, ali fragmentira dokument i može razdvojiti informacije koje imaju smisla samo zajedno, što je problem kojem se također bavimo našim modelom kontekstualnog embeddinga. To usko grlo pogoršava se u multimodalnim postavkama, gdje gustoća informacija u slikama zahtijeva još veću kompresiju.

Dohvaćanje s jednim vektorom također svodi svaku usporedbu na unutarnji produkt dvaju vektora, čime se ograničava izražajnost funkcije bodovanja. Za fiksnu dimenziju embeddinga i dovoljno velik korpus, neki obrasci rezultata preko parova upita i dokumenta nemoguće je proizvesti, bez obzira na trening. Benchmark LIMIT pretvara tu teorijsku brigu u konkretan stres-test za dohvaćanje s jednim vektorom.

Dohvaćanje s kasnom interakcijom

Modeli s kasnom interakcijom zauzimaju prostor između jeftinijih modela gustog embeddinga i izražajnijih cross-encodera. Kao i gusti modeli, oni kodiraju dokumente neovisno o upitu, što omogućuje da se prikazi dokumenata izračunaju offline. Međutim, umjesto da svaki ulaz reduciraju na jedan vektor, oni zadržavaju više vektora i koriste bogatiju funkciju bodovanja pri usporedbi upita s dokumentom.

Naši modeli pplx-embed-v2-late koriste arhitekturu u stilu ColBERT-a, izlazno dajući embeddinge od 128 dimenzija za svaki token u ulazu. Parove upit-dokument bodujemo pomoću MaxSim; za svaki token upita model odabire token dokumenta s najvišim rezultatom i zbraja maksimalne sličnosti po tokenima kako bi proizveo konačni rezultat. To omogućuje da različiti dijelovi upita odgovaraju različitim dijelovima dokumenta, pri čemu jača podudaranja tokena više pridonose rezultatu.

Povećaj

Ta dodatna izražajnost dolazi s većim troškovima pohrane i bodovanja kandidata. Dohvaćanje s gustim embeddingom pohranjuje jedan vektor po dokumentu i boduje kandidata jednim unutarnjim produktom; kasna interakcija pohranjuje vektore za tokene dokumenta i izračunava mnoge sličnosti tokena međusobno. Trošak raste s duljinom dokumenta, pa kasna interakcija zahtijeva drukčiji kompromis pri indeksiranju i servisiranju nego ANN dohvaćanje s jednim vektorom. S druge strane, pruža bogatije dohvaćanje prve faze za korpuse osjetljive na kvalitetu i može služiti i kao kasnija faza u većem cjevovodu dohvaćanja na razini weba.

Jedan model, više modaliteta

Pokazalo se da je ta poboljšana dubina interakcije vrlo korisna za razne zadatke, uključujući dugokontekstno, agentno i izvan-domena dohvaćanje. Ta je razlika osobito očita u multimodalnom dohvaćanju, što pokazuje velika prednost modela ColPali na ljestvici ViDoRe(V3).

Korpusi iz stvarnog svijeta nisu sastavljeni samo od čistog teksta. Dolaze kao PDF-ovi, prezentacijski materijali, snimke zaslona, skenirane stranice, grafikoni i tablice. Konvencionalni cjevovod raščlanjuje te dokumente, primjenjuje OCR ili generiranje opisa i pretražuje dobiveni tekst, što je skupo i gubi informacije: može uvesti pogreške OCR-a te odbacuje raspored, strukturu tablica, figure i prostorne odnose. Vizualno pretraživanje dokumenata preskače taj korak i projicira prikazanu stranicu izravno u reprezentacijski prostor gdje je mogu pretraživati tekstualni upiti.

Naša nova obitelj modela nadograđuje snažne rezultate višektornih modela za višemodalno pretraživanje i pomiče Pareto-frontu za male modele na najčešće korištenom benchmarku za pretraživanje dokumenata, ViDoRe(V3). Iako očekujemo da će prikazi dokumenata biti najčešći oblik vizualnog ulaza, naši modeli također podržavaju semantičko pretraživanje slika nad prirodnim slikama, poput fotografija krajolika.

Treniranje obitelji interoperabilnih modela

Pretraživanje je u svojoj srži asimetrično: indeksiranje i kodiranje upita imaju različita operativna ograničenja. Indeksiranje se odvija offline i može se paralelizirati, pa se njegov računalni trošak amortizira na mnogo budućih pretraživanja. Kodiranje upita odvija se online za svaki zahtjev, zbog čega je osjetljivo na latenciju i ponekad podložno ograničenjima posluživanja ili rubnih uređaja. Naša obitelj modela koristi tu asimetriju nudeći veličine prilagođene svakoj strani cjevovoda za dohvaćanje.

Treniramo 18B učitelja kontrastivno, a zatim ga zasebno destiliramo u 9B i 0,6B učenike. Umjesto da svakog učenika treniramo samo da reproducira učiteljevu distribuciju rangiranja, koristimo destilaciju reprezentacije u stilu LEAF: za svaki ulazni token usklađujemo izlazni embedding učenika s učiteljevim. Iako se destilacija u prostoru reprezentacije već prije koristila za guste modele s jednim vektorom, mi je proširujemo na kasnu interakciju, gdje je cilj usklađivanja vektor za svaki zadržani token.

Kao rezultat toga, oba objavljena kontrolna zapisa dijele isti višektorni prostor embeddinga. To omogućuje dohvaćanje među modelima, što otvara dodatne mogućnosti implementacije.

• Najveća kvaliteta: kodirajte dokumente i upite modelom od 9B.
• Najveća učinkovitost: kodirajte dokumente i upite modelom od 0,6B za 100% lokalno inferenciranje
• Dohvaćanje s niskom latencijom: izgradite indeks korpusa modelom od 9B, a zatim kodirajte aktivne upite modelom od 0,6B kako biste iskoristili izračun u fazi indeksiranja uz brzo postavljanje upita.
• Lokalno-oblačno dohvaćanje: kodirajte privatne lokalne dokumente ili aktivne upite modelom od 0,6B na uređaju i usporedite ili spojite te reprezentacije s rezultatima iz indeksa od 9B hostanog u oblaku.

Za okruženja osjetljiva na latenciju, model od 0,6B osmislili smo kao lagani enkoder upita koji može raditi i na rubnim uređajima. Polazeći od Qwen3.5-0.8B, obrezali smo njegov tekstualni toranj od 24 sloja na 12 slojeva, smanjujući taj toranj s 498M na 240M ne-embedding parametara. Rezultirajući model ukupno ima 594M parametara, ali njegova nominalna veličina precjenjuje trošak posluživanja: 100M se koristi za kodiranje slika, a 254M nalazi se u tablici token-embeddinga, što ima malen učinak na runtime. Samo oko 240M parametara aktivno je za kodiranje teksta i 340M za kodiranje slika, što modelu daje trošak posluživanja znatno manjeg modela uz zadržanu kompatibilnost s indeksom od 9B.

Isti smo postupak primijenili kako bismo izgradili našeg učitelja od 18B iz osnovnog modela od 27B, čime se znatno smanjio trošak destilacije iz tog učitelja, bez slabljenja signala koji pruža.

Višejezični, multimodalni, neonečišćeni podaci za treniranje

Oba modela treniramo na skupu podataka od 186 milijuna parova upit-dokument izvučenih iz 594 skupa podataka na 46 jezika. Od tih parova 88,3% su tekst-tekst, 8,3% tekst-slika, a 3,4% tekst-vizualni-dokument. Umjesto uzorkovanja proporcionalno veličini skupa podataka, svakom skupu podataka dodjeljujemo težinu uzorkovanja, što daje uravnoteženiju smjesu pri treniranju od 56,5%, 30,9% i 12,6%, redom.

Pri sastavljanju podataka za treniranje isključujemo sve skupove podataka povezane s benchmarkovima na kojima evaluiramo kako bismo vjerno predstavili svoje rezultate bez napuhavanja rezultata na benchmarkovima. Ta odluka nosi kompromis da neki od skupova podataka koje smo odlučili isključiti sadržavaju visokokvalitetne podatke koji bi mogli poboljšati performanse našeg modela na zadacima osim benchmarka iz kojeg potječu. U konačnici, odlučili smo prihvatiti taj trošak: pouzdani brojevi korisniji su nam tijekom razvoja, a korisnicima pri usporedbi modela.

Evaluacija

Oba modela evaluiramo na dohvaćanju teksta, vizualnih dokumenata, miješanih slika i agentnom dohvaćanju. Oba modela nadmašuju evaluirane bazne modele na Q2D-Web i BrowseComp+, te postižu snažne rezultate na dohvaćanju vizualnih dokumenata i MADQA.

Dohvaćanje teksta

Evaluiramo dohvaćanje tekst-tekst na trima benchmarkovima:

• Domen-specifični benchmarkovi: Zbirka od 72 zadatka u stilu MTEB-a, 55 kroz pet domena (financije, pravo, zdravstvo, razgovor, tehnologija), plus 17 raznovrsnih višejezičnih zadataka. Zbirka uključuje zadatke kao što su FinQA, AILACasedocs i XLSum. Nijedan od tih skupova podataka ne pojavljuje se u našim podacima za treniranje, kao što je gore opisano.
• Q2D-Web: naš web-scale benchmark za dohvaćanje od oko 70.000 agentno preformuliranih pretraživačkih upita, izvedenih iz produkcijskog prometа pretraživanja, nad korpusom od 190 milijuna web-dokumenata. Ovaj benchmark mjeri performanse dohvaćanja u okruženju mnogo bližem stvarnom web-dohvaćanju od drugih dostupnih benchmarka za dohvaćanje, zbog svojih produkcijskih upita i korpusa velikih razmjera.
• ViDoRe(V3) Markdown: ViDoRe(V3) je tipično zadatak dohvaćanja tekst-vizualni-dokument, ali može se evaluirati i kao tekstualni zadatak koristeći verziju korpusa koja je raščlanjena u Markdown, što nam omogućuje evaluaciju dohvaćanja dokumenta bogatog informacijama u modalitetima slike i teksta.

Performanse mjerimo pomoću nDCG@10, osim na Q2D-Webu, gdje izvještavamo Recall@1000 zbog fokusa benchmarka na scenarij web-dohvaćanja prve faze. Tijekom svih naših evaluacija uspoređujemo se s vodećim modelima embeddinga u industriji kroz različite veličinske razrede. Za dohvaćanje teksta, nemotron-embed-8b, gemini-embedding-2, voyage-large-4 i qwen3-embed-8b predstavljaju najsnažnije i najšire korištene guste konkurente, dok voyage-4-nano i qwen3-embed-0.6b služe kao gusti bazni modeli s manje od milijarde parametara. Dodatno se uspoređujemo s nedavno objavljenim modelima s kasnom interakcijom tvrtke TopK, topk-embed-v1, na benchmarkovima za koje je TopK objavio rezultate. Rezultati za ViDoRe(V3) preuzeti su iz njihovih modelnih kartica na 128 dimenzija, što odgovara širini naših token-embeddinga; rezultat za Q2D-Web preuzet je s naše ljestvice.

Na domen-specifičnim benchmarkovima naši modeli od 9B i 0,6B u prosjeku postižu 81,3% i 78,0%. Naš model od 9B postiže najviši rezultat od svih modela koje smo evaluirali, nadmašivši sljedeći najbolji model za 1,6 postotnih bodova. Naš model od 0,6B konkurentan je drugim modelima s najvišim rezultatima, zaostajući samo 0,3 postotna boda za gemini-embedding-2. Važno je da, budući da nismo trenirali ni na jednom od podataka za ove benchmark zadatke, domen-specifični benchmarkovi pokazuju da se naši modeli embeddinga mogu generalizirati na nove domene.

Povećaj

Relativna snaga našeg modela od 0,6B još je veća na zadatku ViDoRe(V3) Markdown; njegov rezultat od 61,2% nadmašuje sve ostale modele osim našeg modela od 9B, koji je postigao 64,7%. Sljedeći najbolji vanjski model postigao je 60,6%, a sljedeći najbolji model manji od 1B, topk-embed-v1-0.8b, zaostaje 4,3 postotna boda za našim modelom od 0,6B.

Povećaj

Na Q2D-Web relevantnost proizlazi iz triju skupova procjena: dokumenata koje je Agent naveo (Citation), dokumenata rangiranih našim produkcijskim sustavom za dohvaćanje (Web) i unije obaju, proširene procjenama LLM-a za nelabelirane dokumente (Combined). Oba modela pplx-embed-v2-late vode ispred svih baznih modela na sva tri skupa procjena. Fokusiramo se na kombinirane procjene, jer su skupovi Citation i Web izvedeni iz onoga što su naši vlastiti sustavi već izdvojili pa favoriziraju modele koji rangiraju na isti način; procjene LLM-a dodane u Combined pokrivaju dokumente koje nijedan sustav nije dohvatio. Na tom skupu i naš model od 9B i model od 0,6B nadmašuju sve konkurente, s rezultatima od 74,8% i 73,6%, naspram prethodno najboljeg rezultata od 69,3%.

Povećaj

Vizualno dohvaćanje

Naš primarni benchmark za vizualno dohvaćanje standardni je javni podskup ViDoRe(V3), pri čemu korpus čine prikazi stranica, a ne konverzija iz Markdowna. Uspoređujemo se s dvama vodećim gustim multimodalnim modelima, qwen3-vl-embed-8b i gemini-embedding-2, te s modelima s kasnom interakcijom topk-embed-v1. Osim toga, Tencentovi modeli EVIE i NVIDIA-ini modeli Nemotron ColEmbed V2 “samo za viziju” višektorni su bazni modeli trenirani posebno za zadatke dohvaćanja slika.

Oba naša modela postižu najbolje rezultate u klasi za multimodalne modele. Naš model od 9B postiže prosjek od 65,2%, odmah iza samo EVIE. Naš model od 0,6B postiže rezultat od 62,3%, ispred topk-embed-v1-2b i odmah iza znatno većih modela EVIE i nemotron-colembed-v2-8b među vanjskim baznim modelima.

Povećaj

Naš model od 0,6B osobito je konkurentan u kontekstu veličine modela. Ispred je svih usporedivih modela po veličini i unutar 1,2 postotna boda od nemotron-colembed-v2-8b, dok za ulazne slike aktivira samo 340M parametara. Naši modeli proizvode embeddinge od 128 dimenzija po tokenu, u usporedbi s 2.048 za EVIE-4.5B i 4.096 za EVIE-8B i nemotron-colembed-v2-8b. Ta razlika u troškovima pohrane može drastično utjecati na scenarije u kojima su ti modeli praktični za upotrebu.

Povećaj

Također evaluiramo vizualno dohvaćanje na MIRACL-Visionu, benchmarku čiji se korpus sastoji od snimki zaslona članaka s Wikipedije, i PPLX-Q2I, internom benchmarku koji obuhvaća i vizualne dokumente i prirodne slike. PPLX-Q2I izrađen je iz produkcijskih logova pretraživanja slika tvrtke Perplexity i osmišljen tako da odražava raznolikost slučajeva upotrebe pretraživanja slika. Koristimo uzorak od 10.000 upita, stratificiran prema jeziku i domeni, nad korpusom od 100.000 slika; relevantni dokumenti za svaki upit jesu slike koje su mu prikazane. Nismo evaluirali EVIE-8B ni Nemotron ColEmbed na PPLX-Q2I, jer bi indeksiranje korpusa te veličine pri njihovim zadanim izlaznim dimenzionalnostima (2.560 za Nemotron ColEmbed 4B i 4.096 za Nemotron ColEmbed 8B i EVIE-8B) bilo nepraktično.

Slično svojim rezultatima na ViDoRe(V3), naš model od 0,6B konkurentan je znatno većim modelima, zaostajući samo 1 postotni bod za qwen3-vl-embed-8b na MIRACL-Visionu. Naš model od 9B nadmašuje sve ostale modele osim gemini-embedding-2.

Na PPLX-Q2I oba naša modela nadmašuju qwen3-vl-embedding-8b za više od 9 postotnih bodova, a naš model od 9B zaostaje za gemini-embedding-2 za samo 2 postotna boda. Naši rezultati ostaju konkurentni na korpusima koji sadržavaju i prirodne slike i vizualne dokumente, pa višektorni prikazi koji se isplate na ViDoRe(V3) ne dolaze na račun općeg pretraživanja slika.

Povećaj

Dohvaćanje među modelima

Rezultati u prethodnim odjeljcima vrednuju svaki model prema korpusu koji je sam ugradio. Zajednički prostor embeddinga znači da to nije zahtjev: korpus indeksiran modelom od 9B može se pretraživati upitima ugrađenima modelom od 0,6B. To je konfiguracija za koju očekujemo da će je koristiti većina produkcijskih implementacija, jer je indeksiranje jednokratni trošak koji se amortizira tijekom životnog vijeka korpusa, dok se ugrađivanje upita izvršava na latencijski kritičnoj putanji svakog zahtjeva.

Implementacija koja ne može pokrenuti model od 9B u vrijeme upita inače bi i indeksirala s modelom od 0,6B, pa je ta simetrična konfiguracija od 0,6B relevantna točka usporedbe. Evaluiramo prema 72 domen-specifična benchmarka korištena gore i na dohvaćanju slika ViDoRe v3. Upiti se ugrađuju pomoću pplx-embed-v2-late-0.6b, a mijenjamo samo ono što je ugradilo korpus.

Indeksiranje modelom od 9B je strogo poboljšanje. Na domen-specifičnim benchmarkovima asimetrična konfiguracija u prosjeku donosi dobitak od 1,6 postotnih bodova. Na dohvaćanju slika ViDoRe v3 postiže 63,5%, u odnosu na 62,3% s modelom od 0,6B na obje strane, što je dobitak od 1,2 postotna boda. Trošak kodiranja upita ne mijenja se između simetrične konfiguracije od 0,6B i asimetrične, budući da u oba slučaja isti model od 0,6B kodira upit; dodatni trošak kodiranja dokumenta nastaje u fazi indeksiranja.

Pokretanje modela od 9B na obje strane i dalje je bolje, s prosjekom od 81,3% na domen-specifičnim benchmarkovima. Asimetrična konfiguracija stoga vraća otprilike polovicu razlike u kvaliteti između dvaju modela na tekstu, bez dodatnog troška kodiranja upita. Koju konfiguraciju odabrati ovisi o tome je li model od 9B priuštiv u vrijeme upita; ondje gdje nije, asimetrična postavka ostvaruje značajan dio njegove koristi.

Povećaj

Agentno dohvaćanje

Agentno dohvaćanje još je jedno okruženje u kojem su višektorni embeddingi osobito snažni. U BrowseComp+ LLM (GPT-OSS-120B u našem slučaju) koristi model embeddinga za pretraživanje korpusa radi informacija relevantnih za složeni korisnički upit, a drugi LLM procjenjuje odgovara li dobiveni odgovor istini. Naš model od 9B postiže točnost od 64,0%, nadmašivši sljedeći najbolji ColBERT model za 4,9 postotnih bodova i sljedeći najbolji gusti model za 8,7 postotnih bodova, pritom provodeći manje pretraživanja od bilo kojeg drugog modela osim našeg modela od 0,6B. Model od 0,6B također je ispred svakog modela izvan naše obitelji.

Povećaj

MADQA testira agentno pitanje-odgovaranje nad 800 heterogenih stvarnih PDF-ova koji obuhvaćaju više od 18.000 stranica, s 500 ljudski autoriranih pitanja na koja se ne može odgovoriti iz općeg znanja. Agent (u našem slučaju Gemini 3.5 Flash) pretražuje zbirku s retriverom koji se testira i boduje se prema točnosti odgovora te prema F1 po stranici u odnosu na anotirane dokazne stranice. Naš model od 9B postavlja novo stanje tehnike među retriverima s točnošću od 92,4%, 3,5 postotnih bodova ispred istog agenta koji koristi retriver tvrtke Mixedbread; naš model od 0,6B doseže 90,1%. Također napominjemo da naš retriver postiže konkurentne rezultate u odnosu na Mixedbread Agentic Search, koji u svom sustavu pretraživanja koristi pod-agenta za pretraživanje koji planira i izvodi nekoliko pretraživanja po pozivu glavnog agenta (93,4%, unutar našeg intervala pouzdanosti).

Povećaj

Početak rada

Oba naša modela, od 0,6B i 9B, dostupna su na Hugging Faceu i odmah su kompatibilna s sentence-transformers >= 6.0.0 i transformers >= 5.4.0. Dodatni tehnički detalji i potpuni rezultati evaluacije bit će objavljeni u tehničkom izvješću kasnije ove godine.

Trenutačno treniramo sljedeću generaciju naših modela za gusta ugrađivanja (dense embeddings) te ćemo na platformi Perplexity API Platform postupno uvoditi podršku za ugrađivanja s kasnom interakcijom, gusta i kontekstualna ugrađivanja.

Citiranje

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}