Multimodale embeddings utover en enkelt vektor

Siden vi lanserte pplx-embed-v1 i februar, har vi arbeidet med en ny generasjon embeddingmodeller. Forrige uke introduserte vi vår nye kontekstuelle embeddingmodell, pplx-embed-v2-context. I dag utvider vi familien med pplx-embed-v2-late, en samling modeller med sen interaksjon. Sammen med sterkere gjenfinningskapasiteter er modellene de første til å kombinere tre kjerneegenskaper:

• Multi-vektorrepresentasjoner. I stedet for å komprimere hver inndata til en enkelt vektor, beholder disse modellene token-nivå-vektorer for mer finmaskede spørring-dokument-sammenligninger. Dette gjør at ulike deler av en spørring kan matche ulike deler av et dokument, og bevarer detaljer som er spesielt verdifulle for multimodal gjenfinning.
• Støtte for både tekst- og bildemodaliteter. I tillegg til tekst-til-tekst-gjenfinningskapasiteten i våre tidligere modeller, håndterer disse nye modellene tekst-til-bilde-gjenfinning, noe som gjør at de direkte kan søke i gjengitte PDF-sider uten å kreve OCR eller analysert tekst.
• Et delt embedding-rom. Vi lanserer to modellstørrelser, 0,6B og 9B, for å støtte ulike krav til kvalitet, latens og beregning. Hver av dem kan brukes uavhengig, men det delte embedding-rommet gjør også at den mindre modellen kan søke i en indeks opprettet med den større modellen, og dermed kombinere dokumentembeddings av høyere kvalitet med billig og rask inferens ved spørringstidspunktet.

Disse nye modellene oppnår resultater i toppklasse på en rekke referansetester for visuell gjenfinning og tekstgjenfinning, i tillegg til agentiske oppgaver med spørsmålsbesvarelse. Det er særlig verdt å merke seg at 0,6B-modellen vår på ViDoRe (V3), en ledende referansetest for visuell dokumentgjenfinning, er på nivå med modeller som har fem ganger så mange aktive parametere. Begge modellene er offentlig tilgjengelige på Hugging Face. I den tekniske rapporten vår finner du flere detaljer om metodikken og evalueringsresultatene.

Fra enkeltvektorer til sen interaksjon

Gjenfinningssystemer må finne en balanse mellom effektivitet og dybden i interaksjonen mellom spørringer og dokumenter. Tette embedding-modeller koder hver spørring og hvert dokument uavhengig, slik at de kan sammenlignes med et billig indre produkt. Dette gjør tilnærmet nærmeste-nabo-søk (ANN) over milliarder av dokumenter praktisk. I den andre ytterkanten prosesserer krysskodere spørringen og dokumentet sammen, noe som muliggjør rikere interaksjon, men krever et separat fremoverpass for hver kandidat. Å anvende denne beregningen over et stort korpus av dokumenter for hvert søk er uoverkommelig dyrt, så krysskodere brukes vanligvis bare til omrangering av et lite sett med gjenfunne kandidater.

Begrensninger ved tette vektorrepresentasjoner

Å representere et helt dokument med én vektor med fast størrelse skaper en informasjonsflaskehals. Etter hvert som dokumenter blir lengre og dekker flere temaer, må modellen komprimere mer innhold inn i den samme vektoren, noe som gjør det vanskeligere å bevare alt som er relevant for en spørring. Oppdeling i biter kan redusere dette presset, men det fragmenterer dokumentet og kan skille informasjon som bare gir mening sammen, et problem vi også tar tak i med vår kontekstuelle embeddingmodell. Denne flaskehalsen blir verre i multimodale settinger, der informasjonstettheten i bilder krever enda mer komprimering.

Enkeltvektorbasert tett gjenfinning reduserer også enhver sammenligning til et indre produkt mellom to vektorer, noe som begrenser uttrykksevnen til scoringsfunksjonen. For en fast embeddingdimensjon og et stort nok korpus er noen mønstre i skårene for spørrings-dokumentpar umulige å produsere, uansett trening. LIMIT-benchmarken gjør denne teoretiske bekymringen om til en konkret stresstest for enkeltvektorbasert gjenfinning.

Gjenfinning med sen interaksjon

Modeller med sen interaksjon inntar rommet mellom de billigere tette embedding-modellene og de mer uttrykksfulle kryssenkoderne. Som tette modeller koder de dokumenter uavhengig av spørringen, noe som gjør at dokumentrepresentasjoner kan beregnes offline. Men i stedet for å redusere hver inndata til én enkelt vektor, beholder de flere vektorer og bruker en rikere scoringsfunksjon når de sammenligner en spørring med et dokument.

Våre pplx-embed-v2-late-modeller bruker en ColBERT-lignende arkitektur og produserer 128-dimensjonale innembeddinger for hvert token i inndataene. Vi scorer spørring-dokument-par ved hjelp av MaxSim; for hvert spørringstoken velger modellen dokumenttokenet med høyest poengsum og summerer de maksimale tokenvise likhetene for å produsere den endelige poengsummen. Dette gjør at ulike deler av en spørring kan matche ulike deler av et dokument, med sterkere tokenmatcher som bidrar mer til poengsummen.

Forstørr

Denne ekstra uttrykkskraften kommer med høyere lagrings- og kandidatspoengkostnader. Tett gjenfinning lagrer én vektor per dokument og scorer en kandidat med ett indre produkt; sen interaksjon lagrer vektorer for dokumenttokens og evaluerer mange token-til-token-likheter. Kostnaden vokser med dokumentlengden, så sen interaksjon krever en annen avveiing for indeksering og serving enn ANN-gjenfinning med én vektor. Til gjengjeld gir den rikere førstestegsgjenfinning for kvalitetsfølsomme korpuser og kan også fungere som et senere stadium i en større gjenfinningspipeline på webskala.

Én modell, flere modaliteter

Denne forbedrede dybden i interaksjonen har vist seg å være svært nyttig for ulike oppgaver, inkludert gjenfinning med lang kontekst, agentisk gjenfinning og gjenfinning utenfor domenet. Denne forskjellen er særlig tydelig i multimodal gjenfinning, slik den store ledelsen til ColPali-modeller på resultatlisten til ViDoRe(V3) viser.

Virkelige korpuser består ikke bare av ren tekst. De kommer som PDF-er, presentasjoner, skjermbilder, skannede sider, diagrammer og tabeller. Den konvensjonelle pipelinen parser disse dokumentene, anvender OCR eller bildeteksting, og søker i den resulterende teksten, noe som er dyrt og tapstungt: det kan introdusere OCR-feil, og det forkaster layout, tabellstruktur, figurer og romlige relasjoner. Visuell dokumentsøk hopper over det steget og projiserer den gjengitte siden direkte inn i representasjonsrommet der tekstlige spørringer kan søke i den.

Den nye modellfamilien vår bygger på den sterke ytelsen til multi-vektor-modeller for multimodal søk og flytter Pareto-fronten for små modeller på det mest brukte benchmarket for dokumentsøk, ViDoRe(V3). Selv om vi forventer at dokumentgjengivelser vil være den vanligste formen for visuell inndata, støtter modellene våre også semantisk bildesøk på naturlige bilder, som landskapsfotografier.

Trening av en familie interoperable modeller

Søk er fundamentalt asymmetrisk: indeksering og koding av spørringer har ulike driftsmessige krav. Indeksering kjøres offline og kan paralleliseres, så beregningskostnaden fordeles over mange fremtidige søk. Koding av spørringer kjøres online for hver forespørsel, noe som gjør den latensfølsom og noen ganger underlagt begrensninger i serving eller på edge-enheter. Modellfamilien vår utnytter denne asymmetrien og tilbyr størrelser som er tilpasset hver side av gjenfinningspipen.

Vi trener en 18B-lærer kontrastivt, og destillerer den deretter separat inn i 9B- og 0,6B-elever. I stedet for å trene hver elev bare til å gjenskape lærerens rangeringsfordeling, bruker vi distillering av representasjoner i LEAF-stil: for hvert inndatatoken justerer vi elevens utdataembedding med lærerens. Selv om distillering i representasjonsrommet tidligere har vært brukt for tette, enkeltvektorbaserte modeller, utvider vi den til sen interaksjon, der justeringsmålet er en vektor for hvert beholdt token.

Som et resultat deler begge de utgitte sjekkpunktene det samme multi-vektor-innbyggingsrommet. Dette muliggjør kryssmodellgjenfinning og åpner for flere distribusjonsalternativer.

• Maksimal kvalitet: kod dokumenter og spørringer med 9B-modellen.
• Maksimal effektivitet: kod dokumenter og spørringer med 0,6B-modellen for 100 % lokal inferens
• Lavlatensgjenfinning: bygg korpusindeksen med 9B-modellen, og kod deretter live-spørringer med 0,6B-modellen for å utnytte beregning ved indekseringstidspunktet samtidig som spørringene holdes raske.
• Lokal–sky-gjenfinning: kod private lokale dokumenter eller live-spørringer med 0,6B-modellen på enheten, og sammenlign eller slå sammen disse representasjonene med resultater fra en 9B-indeks hostet i skyen.

For latensfølsomme settinger designet vi 0,6B-modellen som en lettvekts spørringskoder som også kan kjøre på edge-enheter. Med utgangspunkt i Qwen3.5-0.8B beskjærer vi den 24-lags teksttårnet til 12 lag, og reduserer det tårnet fra 498M til 240M ikke-innembeddingparametere. Den resulterende modellen har totalt 594M parametere, men den nominelle størrelsen overvurderer servingskostnaden: 100M brukes til bildekoding, og 254M ligger i token-embeddingtabellen, som har liten effekt på kjøretid. Bare rundt 240M parametere er aktive for tekstkoding og 340M for bildekoding, noe som gir modellen servingskostnaden til en betydelig mindre modell, samtidig som den beholder kompatibilitet med 9B-indeksen.

Vi brukte samme prosess til å bygge vår 18B-lærer fra en 27B-backbone, noe som gjorde læreren betydelig billigere å destillere fra uten å svekke signalet den gir.

Multspråklige, multimodale, ukontaminerte treningsdata

Vi trener begge modellene på et datasett med 186 millioner spørring-dokument-par hentet fra 594 datasett på 46 språk. Av disse parene er 88,3 % tekst-til-tekst, 8,3 % tekst-til-bilde og 3,4 % tekst-til-visuelt-dokument. I stedet for å sample proporsjonalt med datasettstørrelsen, tildeler vi hvert datasett en samplingsvekt, noe som gir en mer balansert treningsblanding på henholdsvis 56,5 %, 30,9 % og 12,6 %.

Når vi konstruerer treningsdataene våre, ekskluderer vi alle datasett som er knyttet til benchmarkene vi evaluerer på, for å representere resultatene våre troverdig uten å blåse opp benchmarkpoengene. Denne beslutningen innebærer et kompromiss, fordi noen av datasettene vi valgte å ekskludere, inneholder data av høy kvalitet som kunne forbedre ytelsen til modellen vår på oppgaver utover benchmarken de kom fra. Til slutt valgte vi å akseptere den kostnaden: troverdige tall er mer nyttige for oss under utvikling, og for brukere når de sammenligner modeller.

Evaluering

Vi evaluerer begge modellene på tvers av tekst-, visuelle dokument-, blandede bilde- og agentiske gjenfinningsoppgaver. Begge modellene overgår de evaluerte basene på Q2D-Web og BrowseComp+, og oppnår sterke resultater på visuell dokumentgjenfinning og MADQA.

Tekstgjenfinning

Vi evaluerer tekst-til-tekst-gjenfinning på tre benchmarker:

• Domenespesifikke benchmarker: En samling av 72 MTEB-lignende oppgaver, 55 på tvers av fem domener (finans, jus, helse, samtale, teknologi), pluss 17 øvrige flerspråklige oppgaver. Samlingen inkluderer oppgaver som FinQA, AILACasedocs og XLSum. Ingen av disse datasettene finnes i treningsdataene våre, som beskrevet ovenfor.
• Q2D-Web: vårt webskala gjenfinningsbenchmark med rundt 70 000 agent-omformulerte søkespørringer, hentet fra produksjonstrafikk for søk, over et korpus på 190 millioner webdokumenter. Denne benchmarken måler gjenfinningsytelse i en setting som ligger mye nærmere reell webgjenfinning enn andre tilgjengelige gjenfinningsbenchmarker, på grunn av de produksjonslignende spørringene og det storskala korpuset.
• ViDoRe(V3) Markdown: ViDoRe(V3) er vanligvis en tekst-til-visuelt-dokument-gjenfinningsoppgave, men den kan også evalueres som en tekstoppgave ved hjelp av en versjon av korpuset som er parslet til Markdown, noe som gjør at vi kan evaluere informasjonsrike dokumentgjenfinning i både bilde- og tekstmodaliteter.

Vi måler ytelse ved hjelp av nDCG@10, bortsett fra på Q2D-Web, der vi rapporterer Recall@1000 på grunn av benchmarkens fokus på et førstestegs webgjenfinningsscenario. Gjennom evalueringene våre sammenligner vi mot bransjeledende embedding-modeller på tvers av ulike størrelsesklasser. For tekstgjenfinning representerer nemotron-embed-8b, gemini-embedding-2, voyage-large-4 og qwen3-embed-8b de sterkeste og mest brukte dense-modellene, mens voyage-4-nano og qwen3-embed-0.6b fungerer som dense-baseliner med under én milliard parametere. Vi sammenligner også mot TopK sine nylig utgitte topk-embed-v1-modeller med sen interaksjon på benchmarkene der TopK har publisert resultater. ViDoRe(V3)-poeng er hentet fra modellkortene deres ved 128 dimensjoner, i tråd med bredden på tokenembeddingene våre; Q2D-Web-poengsummen er hentet fra resultatlisten vår.

På de domenespesifikke benchmarkene er gjennomsnittet for våre 9B- og 0,6B-modeller henholdsvis 81,3 % og 78,0 %. Vår 9B-modell oppnår den høyeste poengsummen av alle modellene vi evaluerte, og slår den nest beste modellen med 1,6 prosentpoeng. Vår 0,6B-modell er konkurransedyktig med de andre toppscorende modellene, og ligger bare 0,3 prosentpoeng bak gemini-embedding-2. Viktigere er det at siden vi ikke trente på noen av dataene for disse benchmarkoppgavene, viser de domenespesifikke benchmarkene at embeddingmodellene våre kan generalisere til nye domener.

Forstørr

Den relative styrken til vår 0,6B-modell er enda større på ViDoRe(V3) Markdown-oppgaven; poengsummen på 61,2 % slår alle andre modeller bortsett fra vår 9B-modell, som fikk 64,7 %. Den nest beste eksterne modellen fikk 60,6 %, og den nest beste modellen under 1B, topk-embed-v1-0.8b, lå 4,3 prosentpoeng bak vår 0,6B-modell.

Forstørr

På Q2D-Web kommer relevans fra tre vurderingssett: dokumenter agenten siterte (Citation), dokumenter rangert av vårt produksjonssystem for gjenfinning på web (Web), og foreningen av begge, utvidet med LLM-vurderinger av ikke-merkede dokumenter (Combined). Begge pplx-embed-v2-late-modellene er best blant alle baser på alle tre vurderingssettene. Vi fokuserer på de kombinerte vurderingene, siden Citation- og Web-settene er avledet fra det våre egne systemer allerede hadde avdekket, og derfor favoriserer modeller som rangerer slik de gjør; LLM-vurderingene som er lagt til i Combined, dekker dokumenter ingen av systemene hentet frem. På dette settet slår både vår 9B- og 0,6B-modell alle konkurrenter, med poengsummer på henholdsvis 74,8 % og 73,6 %, mot den tidligere beste poengsummen på 69,3 %.

Forstørr

Visuell gjenfinning

Vårt primære visuelle gjenfinningsbenchmark er den offentlige standardsubsettet av ViDoRe(V3), der korpuset består av gjengitte sidebilder snarere enn Markdown-konverteringen. Vi sammenligner med to ledende tette visjon-språk-modeller, qwen3-vl-embed-8b og gemini-embedding-2, og med topk-embed-v1-modeller med sen interaksjon. I tillegg er Tencent sine EVIE-modeller og NVIDIA sine Nemotron ColEmbed V2-modeller "kun visjon"-baserte multi-vektor-baser som er trent spesielt for bildegjenfinningsoppgaver.

Begge modellene våre oppnår topp moderne ytelse for visjon-språk-modeller. Vår 9B-modell får 65,2 % i snitt, og er bare slått av EVIE. Vår 0,6B-modell oppnår 62,3 %, foran topk-embed-v1-2b og bare bak de langt større EVIE og nemotron-colembed-v2-8b blant eksterne baser.

Forstørr

Vår 0,6B-modell er særlig konkurransedyktig sett i lys av modellstørrelse. Den ligger foran alle sammenlignbare modeller i størrelse og innen 1,2 prosentpoeng av nemotron-colembed-v2-8b, samtidig som den aktiverer bare 340M parametere for bildeinnganger. Modellene våre produserer 128-dimensjonale innembeddinger per token, sammenlignet med 2 048 for EVIE-4.5B og 4 096 for EVIE-8B og nemotron-colembed-v2-8b. Denne forskjellen i lagringskostnader kan dramatisk påvirke scenarioene der disse modellene er praktiske å bruke.

Forstørr

Vi evaluerer også visuell gjenfinning på MIRACL-Vision, en benchmark der korpuset består av skjermbilder av Wikipedia-artikler, og PPLX-Q2I, en intern benchmark som dekker både visuelle dokumenter og naturlige bilder. PPLX-Q2I er bygget fra Perplexitys produksjonslogger for bildesøk og er utformet for å gjenspeile mangfoldet av bruksområder for bildesøk. Vi bruker et utvalg på 10 000 spørringer, stratifisert etter språk og domene, mot et korpus på 100 000 bilder; hvert spørrings relevante dokumenter er bildene som ble servert for det. Vi evaluerte ikke EVIE-8B eller Nemotron ColEmbed på PPLX-Q2I, siden indeksering av et korpus i denne størrelsen ved deres standard ut-dimensjonaliteter (2 560 for Nemotron ColEmbed 4B og 4 096 for Nemotron ColEmbed 8B og EVIE-8B) var upraktisk.

I likhet med ytelsen på ViDoRe(V3) er vår 0,6B-modell konkurransedyktig med langt større modeller, og ligger bare 1 prosentpoeng bak qwen3-vl-embed-8b på MIRACL-Vision. Vår 9B-modell overgår alle andre modeller bortsett fra gemini-embedding-2.

På PPLX-Q2I slår begge modellene våre qwen3-vl-embedding-8b med mer enn 9 prosentpoeng, og vår 9B-modell ligger bare 2 prosentpoeng bak gemini-embedding-2. Resultatene våre holder seg konkurransedyktige på korpuser som inneholder både naturlige bilder og visuelle dokumenter, så multi-vektorrepresentasjonene som gir uttelling på ViDoRe(V3), skjer ikke på bekostning av generell bildesøk.

Forstørr

Kryssmodellgjenfinning

Resultatene i de foregående seksjonene evaluerer hver modell mot et korpus den selv har laget embedding-representasjoner for. Det delte embedding-rommet betyr at dette ikke er noe krav: et korpus indeksert av 9B-modellen kan søkes med spørringer som 0,6B-modellen har representert i dette rommet. Dette er konfigurasjonen vi forventer at de fleste produksjonsutrullinger vil bruke, siden indeksering er en engangskostnad som fordeles over korpusets levetid, mens embedding-generering for spørringer kjøres i den latenskritiske banen for hver forespørsel.

En utrulling som ikke kan kjøre 9B-modellen ved spørringstidspunktet, ville ellers også indeksere med 0,6B-modellen, så den symmetriske 0,6B-konfigurasjonen er det relevante sammenligningspunktet. Vi evaluerer mot de 72 domenespesifikke benchmarkene som ble brukt ovenfor og på ViDoRe v3-bildgjenfinning. Spørringer kodes med pplx-embed-v2-late-0.6b, og vi varierer bare hva som kodet korpuset.

Indeksering med 9B-modellen er en klar forbedring. På de domenespesifikke benchmarkene gir den asymmetriske konfigurasjonen i snitt en gevinst på 1,6 prosentpoeng. På ViDoRe v3-bildgjenfinning scorer den 63,5 %, opp fra 62,3 % med 0,6B-modellen på begge sider, en gevinst på 1,2 prosentpoeng. Kostnaden for spørringskoding er uendret mellom den symmetriske 0,6B- og den asymmetriske konfigurasjonen, siden den samme 0,6B-modellen koder spørringen i begge; den ekstra kostnaden for dokumentskoding påløper ved indekseringstidspunktet.

Å kjøre 9B-modellen på begge sider er fortsatt bedre, med et snitt på 81,3 % på de domenespesifikke benchmarkene. Den asymmetriske konfigurasjonen gjenvinner dermed omtrent halvparten av kvalitetsforskjellen mellom de to modellene på tekst, uten ekstra kostnad for spørringskoding. Hvilken konfigurasjon man bør velge, avhenger av om 9B-modellen er overkommelig ved spørringstidspunktet; der den ikke er det, fanger den asymmetriske oppsettet opp en betydelig del av fordelen.

Forstørr

Agentisk gjenfinning

Agentisk gjenfinning er en annen setting der multi-vektor-innembeddinger er særlig sterke. I BrowseComp+ bruker en LLM (GPT-OSS-120B i vårt tilfelle) embeddingmodellen til å søke i et korpus etter informasjon relevant for et komplekst brukerspørsmål, og en andre LLM vurderer om det resulterende svaret samsvarer med fasiten. Vår 9B-modell oppnår 64,0 % nøyaktighet, og slår den nest beste ColBERT-modellen med 4,9 prosentpoeng og den nest beste tette modellen med 8,7 prosentpoeng, samtidig som den utfører færre søk enn noen annen modell bortsett fra vår 0,6B. 0,6B-modellen ligger også foran alle modeller utenfor familien vår.

Forstørr

MADQA tester agentiske spørsmål-og-svar-oppgaver over 800 heterogene reelle PDF-er som spenner over mer enn 18 000 sider, med 500 menneskeskrevne spørsmål som ikke kan besvares ut fra generell kunnskap. En agent (Gemini 3.5 Flash i vårt tilfelle) søker i samlingen med gjenfinneren som testes, og vurderes på svarnøyaktighet og side-F1 mot de annoterte evidenssidene. Vår 9B-modell setter ny topp moderne standard blant gjenfinnere med 92,4 % nøyaktighet, 3,5 prosentpoeng foran den samme agenten som bruker Mixedbreads gjenfinner; vår 0,6B-modell når 90,1 %. Vi merker oss også at gjenfinneren vår oppnår konkurransedyktige resultater mot Mixedbread Agentic Search, som bruker en søke-underagent i søkesystemet sitt som planlegger og kjører flere søk per kall fra hovedagenten (93,4 %, innenfor konfidensintervallet vårt).

Forstørr

Kom i gang

Både vår 0,6B- og 9B-modell er tilgjengelige på Hugging Face og er kompatible rett ut av boksen med sentence-transformers >= 6.0.0 og transformers >= 5.4.0. Flere tekniske detaljer og fullstendige evalueringsresultater vil bli publisert i en teknisk rapport senere i år.

Vi trener for tiden neste generasjon av de tette embedding-modellene våre, og vil gradvis rulle ut støtte for embeddinger med sen interaksjon samt tette og kontekstuelle embeddinger på Perplexity API Platform.

Sitering

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}