ஒரே vector ஐத் தாண்டிய multimodal embeddings

பிப்ரவரியில் pplx-embed-v1 ஐ வெளியிட்டதிலிருந்து, நாங்கள் புதிய தலைமுறை embedding மாதிரிகளில் பணியாற்றி வருகிறோம். கடந்த வாரம், எங்களின் புதிய contextual embedding மாதிரியான pplx-embed-v2-context ஐ அறிமுகப்படுத்தினோம். இன்று, late-interaction மாதிரிகளின் தொகுப்பான pplx-embed-v2-late உடன் அந்த குடும்பத்தை விரிவுபடுத்துகிறோம். மேலும் வலுவான retrieval திறன்களுடன் கூட, இந்த மாதிரிகள் மூன்று முக்கிய அம்சங்களை இணைக்கும் முதன்மையானவை:

• பல-வெக்டர் பிரதிநிதிப்புகள். ஒவ்வொரு உள்ளீட்டையும் ஒரே ஒரு வெக்டராக சுருக்குவதற்குப் பதிலாக, இந்த மாதிரிகள் மேலும் நுண்ணிய கேள்வி-ஆவணம் ஒப்பீடுகளுக்காக டோக்கன்-நிலை வெக்டர்களை வைத்திருக்கின்றன. இதனால் ஒரு கேள்வியின் வெவ்வேறு பகுதிகள் ஒரு ஆவணத்தின் வெவ்வேறு பகுதிகளுடன் பொருந்த முடிகிறது; இது பல்முக மீட்டெடுப்புக்கு குறிப்பாக மதிப்புமிக்க விரிவான தகவல்களைப் பாதுகாக்கிறது.
• text மற்றும் image modalities இரண்டிற்கும் ஆதரவு. எங்கள் முந்தைய மாதிரிகளின் text-to-text retrieval திறன்களுக்கு மேலாக, இந்தப் புதிய மாதிரிகள் text-to-image retrieval ஐ கையாளுகின்றன; இதனால் OCR அல்லது parsed text இன்றி நேரடியாக rendered PDF பக்கங்களைத் தேட முடிகிறது.
• ஒரு shared embedding space. வெவ்வேறு தரம், latency, மற்றும் compute தேவைகளை ஆதரிக்க 0.6B மற்றும் 9B என இரண்டு model sizes ஐ வெளியிடுகிறோம். ஒவ்வொன்றையும் தனித்தனியாகப் பயன்படுத்தலாம்; ஆனால் shared embedding space சிறிய மாதிரிக்கு பெரிய மாதிரியால் உருவாக்கப்பட்ட index ஐ query செய்யவும் அனுமதிக்கிறது, உயர்தர document embeddings ஐ குறைந்த செலவு, வேகமான query-time inference உடன் இணைக்கிறது.

இந்தப் புதிய மாடல்கள் பல்வேறு காட்சி மற்றும் உரை மீட்டெடுப்பு மதிப்பீட்டு அளவுகோல்களிலும், ஏஜென்ட் சார்ந்த கேள்வி-பதில் பணிகளிலும் அதிநவீன முடிவுகளை எட்டுகின்றன. குறிப்பாக, முன்னணி காட்சி ஆவண மீட்டெடுப்பு அளவுகோலான ViDoRe (V3)-இல், எங்கள் 0.6B மாடல் ஐந்து மடங்கு அதிகமான செயலில் உள்ள அளவுருக்களைக் கொண்ட மாடல்களுக்கு இணையாகச் செயல்படுகிறது. இரண்டு மாடல்களும் Hugging Face-இல் பொதுவில் கிடைக்கின்றன. வழிமுறை மற்றும் மதிப்பீட்டு முடிவுகள் குறித்த கூடுதல் விவரங்களை எங்கள் தொழில்நுட்ப அறிக்கை வழங்குகிறது.

ஒற்றை vectors இலிருந்து late interaction வரை

மீட்டெடுப்பு systems க்கு செயல்திறன் மற்றும் queries மற்றும் documents இடையிலான interaction ஆழம் ஆகியவற்றுக்கிடையில் சமநிலை தேவை. Dense embedding models ஒவ்வொரு query மற்றும் document ஐ தனித்தனியாக encode செய்து, குறைந்த செலவுள்ள inner product மூலம் அவற்றை ஒப்பிட முடியும். இது பில்லியன் கணக்கான documents மீது approximate nearest-neighbor (ANN) search ஐ நடைமுறைப்படுத்தத்தக்கதாக்குகிறது. இதற்கான எதிர் முனையில், cross-encoders query மற்றும் document ஐ ஒன்றாக process செய்து, மேலும் வளமான interaction ஐ இயலுமைப்படுத்தினாலும், ஒவ்வொரு candidate க்கும் தனி forward pass தேவைப்படும். பெரிய document corpus முழுவதும் இந்த computation ஐ ஒவ்வொரு search க்கும் பயன்படுத்துவது மிகுந்த செலவாகும்; எனவே cross-encoders பொதுவாக மீட்டெடுக்கப்பட்ட சில candidate களை reranking செய்ய மட்டுமே பயன்படுத்தப்படுகின்றன.

Dense embeddings இன் வரம்புகள்

முழு document ஐ ஒரே fixed-size vector மூலம் பிரதிநிதித்துவப்படுத்துவது ஒரு தகவல் bottleneck ஐ உருவாக்குகிறது. Document கள் நீளமடைவதாலும், மேலும் பல தலைப்புகளை உள்ளடக்குவதாலும், மாதிரி அதே vector இல் அதிக உள்ளடக்கத்தைச் சுருக்க வேண்டியதாகிறது; இதனால் query க்கு தொடர்புடைய அனைத்தையும் பாதுகாப்பது கடினமாகிறது. Chunking இந்த அழுத்தத்தை குறைக்கலாம், ஆனால் அது document ஐ துண்டாக்கி, ஒன்றாக இருக்கும்போது மட்டுமே அர்த்தமுள்ள தகவல்களைப் பிரிக்கக்கூடும்; இதே பிரச்சினையை நாங்கள் எங்கள் contextual embedding model உடனும் கையாளுகிறோம். இந்த bottleneck multimodal சூழல்களில் மேலும் மோசமாகிறது, ஏனெனில் படங்களின் தகவல் அடர்த்தி இன்னும் அதிகச் சுருக்கத்தைத் தேவைப்படுத்துகிறது.

ஒற்றை-வெக்டர் அடர்த்தியான மீட்டெடுப்பும் ஒவ்வொரு ஒப்பீட்டையும் இரண்டு வெக்டர்களுக்கிடையிலான உள் பெருக்கல் (inner product) ஆகக் குறைக்கிறது; இதனால் மதிப்பீட்டு செயல்பாட்டின் வெளிப்பாட்டுத்திறன் கட்டுப்படுகிறது. நிலையான எம்பெடிங் பரிமாணத்திலும் போதுமான அளவு பெரிய கார்ப்பஸிலும், பயிற்சியைப் பொருட்படுத்தாமல், கேள்வி-ஆவண ஜோடிகளுக்கிடையிலான மதிப்பெண்களின் சில வடிவங்களை உருவாக்க இயலாது. LIMIT பெஞ்ச்மார்க் இந்த கோட்பாட்டுத் தொடர்பான கவலைக்குக் கன்கிரீட்டான ஒரு அழுத்தச் சோதனையாக ஒற்றை-வெக்டர் மீட்டெடுப்பில் மாற்றுகிறது.

பிந்தைய இடைவினை மீட்டெடுப்பு (Late-interaction retrieval)

Late-interaction மாதிரிகள் மலிவான dense embedding models மற்றும் அதிக வெளிப்பாட்டுத் திறன் கொண்ட cross-encoders இவற்றுக்கிடையிலான இடத்தை நிரப்புகின்றன. Dense மாதிரிகள் போலவே, அவை document களை query யை சாராமல் encode செய்து, document பிரதிநிதிப்புகளை offline இல் கணக்கிட அனுமதிக்கின்றன. ஆனால் ஒவ்வொரு input ஐ ஒரே vector ஆகக் குறைப்பதற்குப் பதிலாக, பல vectors ஐ வைத்துக்கொண்டு query ஒன்றை document உடன் ஒப்பிடும்போது மேலும் வளமான scoring function ஐப் பயன்படுத்துகின்றன.

எங்கள் pplx-embed-v2-late மாதிரிகள் ColBERT பாணி architecture ஐப் பயன்படுத்துகின்றன; input இல் உள்ள ஒவ்வொரு token க்கும் 128-dimensional embeddings ஐ வெளியிடுகின்றன. MaxSim ஐ பயன்படுத்தி query-document ஜோடிகளை மதிப்பிடுகிறோம்; ஒவ்வொரு query token க்கும், மாதிரி மிக உயர்ந்த மதிப்பெண் பெற்ற document token ஐத் தேர்ந்தெடுத்து, final score ஐ உருவாக்க token-ஒன்றுக்கான அதிகபட்ச similarities ஐ கூட்டுகிறது. இதனால் query-இன் வெவ்வேறு பகுதிகள் document-இன் வெவ்வேறு பகுதிகளுடன் பொருந்த முடிகிறது; மேலும் வலுவான token matches score க்கு அதிக பங்களிப்பு அளிக்கின்றன.

விரிவாக்கு

இந்த கூடுதல் வெளிப்பாட்டுத் திறன் அதிக சேமிப்பும் candidate-scoring செலவுகளும் உடன் வருகிறது. Dense retrieval ஒரு document க்கு ஒரு vector ஐ சேமித்து, ஒரு candidate ஐ ஒரே inner product மூலம் மதிப்பிடுகிறது; late interaction document tokens க்கான vectors ஐச் சேமித்து, பல token-to-token similarities ஐ மதிப்பீடு செய்கிறது. செலவு document நீளத்துடன் அதிகரிக்கிறது; எனவே late interaction க்கு one-vector ANN retrieval இற்கும் வேறுபட்ட indexing மற்றும் serving trade-off தேவை. பதிலாக, தரத் துல்லியத்திற்குப் பெரிதும் முக்கியமான corpora க்காக richer first-stage retrieval ஐ வழங்குகிறது, மேலும் பெரிய web-scale retrieval pipeline இல் பின்னர் ஒரு கட்டமாகவும் செயல்பட முடியும்.

ஒரு மாதிரி, பல modalities

இந்த மேம்பட்ட தொடர்பு ஆழம், நீண்ட-சூழல், agentic, மற்றும் களத்திற்கு வெளியான மீட்டெடுப்பு உள்ளிட்ட பல்வேறு பணிகளுக்கு மிகவும் பயனுள்ளதாக இருப்பது நிரூபிக்கப்பட்டுள்ளது. ColPali மாதிரிகள் ViDoRe(V3) லீடர்போர்டில் பெற்ற பெரிய முன்னிலை காட்டுவதுபோல, பல்முக மீட்டெடுப்பில் இந்த வேறுபாடு குறிப்பாக தெளிவாகத் தெரிகிறது.

உண்மையுலக கோர்ப்பஸ்கள் சுத்தமான text மட்டுமால் உருவாகவில்லை. அவை PDFs, slide decks, screenshots, scanned pages, charts, மற்றும் tables ஆக வருகின்றன. பாரம்பரிய pipeline இந்த ஆவணங்களை parse செய்து, OCR அல்லது captioning ஐப் பயன்படுத்தி, அதன் விளைவான text ஐத் தேடுகிறது; இது செலவானதும் தகவல் இழப்புடனானதும்: OCR பிழைகளை அறிமுகப்படுத்தலாம், மேலும் layout, table structure, figures, மற்றும் spatial relationships ஆகியவற்றை நீக்கிவிடுகிறது. Visual document search அந்த படியைத் தவிர்த்து, render செய்யப்பட்ட பக்கத்தை நேரடியாக representation space க்கு projection செய்து, அங்கு text queries அதைத் தேட முடியும்.

எங்கள் புதிய model family, multi-modal தேடலுக்கான multi-vector மாதிரிகளின் வலுவான செயல்திறனை அடிப்படையாகக் கொண்டு, மிகப் பரவலாகப் பயன்படுத்தப்படும் ஆவணத் தேடல் பெஞ்ச்மார்க்கான ViDoRe(V3) இல் சிறிய மாதிரிகளுக்கான Pareto frontier ஐ முன்னேற்றுகிறது. ஆவண renderings காட்சி input இன் மிகவும் பொதுவான வடிவமாக இருக்கும் என நாங்கள் எதிர்பார்த்தாலும், எங்கள் மாதிரிகள் இயற்கை படங்கள், உதாரணத்திற்கு அழகிய புகைப்படங்கள், மீது semantic image search ஐயும் ஆதரிக்கின்றன.

ஒன்றிணைக்கத்தக்க மாதிரிகளின் குடும்பத்தைப் பயிற்றுவித்தல்

தேடல் அடிப்படையில் அசமமானது: indexing மற்றும் query encoding க்கு வெவ்வேறு operational constraints உள்ளன. Indexing offline இல் இயங்கி parallelize செய்யக்கூடியது; எனவே அதன் compute செலவு பல எதிர்கால தேடல்களுக்குப் பரவுகிறது. Query encoding ஒவ்வொரு request க்கும் online இல் இயங்குவதால், அது latency-sensitive ஆகவும் சில நேரங்களில் serving அல்லது edge-device வரம்புகளுக்கும் உட்பட்டதாகவும் உள்ளது. எங்கள் model family இந்த அசமத்தன்மையைப் பயன்படுத்தி, retrieval pipeline இன் ஒவ்வொரு பக்கத்திற்கும் ஏற்ற அளவுகளை வழங்குகிறது.

நாங்கள் 18B ஆசிரியரை contrastively பயிற்றுவித்து, பின்னர் அதை 9B மற்றும் 0.6B மாணவர்களாக தனித்தனியாக distill செய்கிறோம். ஒவ்வொரு மாணவரையும் ஆசிரியரின் ranking distribution ஐ மட்டும் மீள்உருவாக்கப் பயிற்றுவிப்பதற்குப் பதிலாக, நாங்கள் LEAF-பாணி representation distillation ஐப் பயன்படுத்துகிறோம்: ஒவ்வொரு input token க்கும், மாணவரின் output embedding ஐ ஆசிரியருடையதுடன் align செய்கிறோம். Representation-space distillation முன்பு dense, single-vector மாதிரிகளுக்குப் பயன்படுத்தப்பட்டிருந்தாலும், நாங்கள் அதை late interaction வரை விரிவுபடுத்துகிறோம்; இதில் alignment இலக்கு என்பது வைத்திருக்கப்பட்ட ஒவ்வொரு token க்குமான vector ஆகும்.

இதன் விளைவாக, வெளியிடப்பட்ட இரண்டு checkpoints களும் ஒரே multi-vector embedding space ஐப் பகிர்கின்றன. இது cross-model retrieval ஐ இயலுமைப்படுத்தி, கூடுதல் deployment விருப்பங்களை சாத்தியமாக்குகிறது.

• அதிகபட்ச தரம்: ஆவணங்களையும் queries ஐயும் 9B மாதிரியுடன் encode செய்யவும்.
• அதிகபட்ச செயல்திறன்: 100% உள்ளூர் inference க்காக ஆவணங்களையும் queries ஐயும் 0.6B மாதிரியுடன் encode செய்யவும்
• குறைந்த-தாமத மீட்டெடுப்பு: 9B மாதிரியைப் பயன்படுத்தி கார்ப்பஸ் குறியீட்டை உருவாக்கி, பின்னர் குறியீட்டு-நேர கணக்கீட்டை பயன்படுத்திக்கொண்டு வினவலை வேகமாக வைத்திருக்க, நேரடி கேள்விகளை 0.6B மாதிரியில் என்கோடு செய்யுங்கள்.
• உள்ளக–மேகம் மீட்டெடுப்பு: தனிப்பட்ட உள்ளக ஆவணங்கள் அல்லது நேரடி கேள்விகளை 0.6B மாதிரியில் சாதனத்திலேயே குறியீடாக்கி, அந்த பிரதிநிதிப்புகளை மேகத்தில் ஹோஸ்ட் செய்யப்பட்ட 9B குறியீட்டின் முடிவுகளுடன் ஒப்பிடவும் அல்லது இணைக்கவும்.

Latency-முக்கிய அமைப்புகளுக்காக, எங்கள் 0.6B மாதிரியை edge devices இல் இயங்கக்கூடிய இலகுவான query encoder ஆக வடிவமைத்தோம். Qwen3.5-0.8B இலிருந்து தொடங்கி, அதன் 24-layer text tower ஐ 12 layers ஆக prune செய்து, அந்த tower ஐ 498M இலிருந்து 240M non-embedding parameters ஆகக் குறைத்தோம். இதனால் உருவான மாதிரியில் மொத்தம் 594M parameters உள்ளன; ஆனால் அதன் nominal size serving cost ஐ அதிகமாகக் காட்டுகிறது: 100M image encoding க்கும், 254M token-embedding table இல் இருப்பதுமாகும், இது runtime மீது குறைந்த தாக்கமே கொண்டுள்ளது. சுமார் 240M parameters மட்டுமே text encoding க்கும் 340M image encoding க்கும் செயல்படும்; இதன் மூலம் 9B index உடன் இணக்கத்தன்மையைத் தக்கவைத்துக்கொண்டு, குறிப்பிடத்தக்க அளவில் சிறிய மாதிரியின் serving cost ஐ இந்த மாதிரி வழங்குகிறது.

அதே செயல்முறையைப் பயன்படுத்தி, 27B backbone இலிருந்து எங்கள் 18B ஆசிரியரை உருவாக்கினோம்; இதனால் அது வழங்கும் signal ஐ பலவீனப்படுத்தாமல் distill செய்வது கணிசமாக மலிவானதாக அமைந்தது.

பன்மொழி, பன்மாதிரி, மாசுபடாத பயிற்சி தரவு

46 மொழிகளில் உள்ள 594 datasets இலிருந்து பெறப்பட்ட 186 மில்லியன் query-document ஜோடிகளின் dataset மீது நாங்கள் இரு மாதிரிகளையும் பயிற்றுவிக்கிறோம். இந்த ஜோடிகளில் 88.3% text-to-text, 8.3% text-to-image, மற்றும் 3.4% text-to-visual-document ஜோடிகள். dataset அளவிற்கு ஏற்ப மாதிரிபெறுவதற்குப் பதிலாக, ஒவ்வொரு dataset க்கும் ஒரு sampling weight ஐ வழங்குகிறோம்; இதனால் 56.5%, 30.9%, மற்றும் 12.6% என மேலும் சமநிலையான training mixture கிடைக்கிறது.

எங்கள் பயிற்சி தரவை உருவாக்கும்போது, நாங்கள் மதிப்பீடு செய்யும் பெஞ்ச்மார்க்குகளுடன் தொடர்புடைய எந்த dataset களையும் தவிர்த்து, பெஞ்ச்மார்க் மதிப்பெண்களை உயர்த்தாமல் எங்கள் முடிவுகளை உண்மையாக பிரதிபலிக்கிறோம். இந்த முடிவு, நாங்கள் தவிர்க்கத் தேர்ந்தெடுத்த சில dataset களில் உயர் தரமான தரவு இருப்பதையும், அவை வந்த பெஞ்ச்மார்க்கைத் தவிர மற்ற பணிகளில் எங்கள் மாதிரியின் செயல்திறனை மேம்படுத்தக்கூடியதையும் உள்ளடக்கிய ஒரு பரிமாற்றத்தைக் கொண்டுள்ளது. இறுதியில், அந்தச் செலவைக் ஏற்றுக்கொள்வதையே தேர்ந்தெடுத்தோம்: வளர்ச்சிக்காலத்தில் நம்பத்தகுந்த எண்கள் எங்களுக்கு அதிக பயனுள்ளதாக உள்ளன, மேலும் மாதிரிகளை ஒப்பிடும் பயனர்களுக்கும் அவை பயனுள்ளதாகும்.

மதிப்பீடு

நாங்கள் இரு மாதிரிகளையும் text, visual-document, mixed-image, மற்றும் agentic retrieval முழுவதும் மதிப்பீடு செய்கிறோம். இரு மாதிரிகளும் Q2D-Web மற்றும் BrowseComp+ இல் மதிப்பீடு செய்யப்பட்ட அடிப்படைக் கோடுகளை மிஞ்சி, visual-document retrieval மற்றும் MADQA இல் வலுவான முடிவுகளை அடைகின்றன.

Text retrieval

நாங்கள் மூன்று பெஞ்ச்மார்க்குகளில் text-to-text retrieval ஐ மதிப்பீடு செய்கிறோம்:

• டொமைன்-சார்ந்த பெஞ்ச்மார்க்குகள்: 72 MTEB-பாணி பணிகளின் தொகுப்பு, இதில் 55 பணிகள் ஐந்து டொமைன்களில் (finance, legal, health, conversation, tech) பரவியுள்ளன; மேலும் 17 miscellaneous multilingual பணிகள் உள்ளன. இந்தத் தொகுப்பில் FinQA, AILACasedocs மற்றும் XLSum போன்ற பணிகள் அடங்கும். மேலே விவரிக்கப்பட்டபடி, இந்த dataset களில் எதுவும் எங்கள் பயிற்சி தரவில் தோன்றுவதில்லை.
• Q2D-Web: எங்கள் web-scale retrieval benchmark; இதில் உற்பத்தி search traffic இலிருந்து பெறப்பட்ட சுமார் 70,000 ஏஜென்ட்-மறுசெய்யப்பட்ட search queries மற்றும் 190M web documents கொண்ட corpus உள்ளன. production-like queries மற்றும் பெரிய அளவிலான corpus காரணமாக, இந்த பெஞ்ச்மார்க் பிற கிடைக்கக்கூடிய retrieval பெஞ்ச்மார்க்குகளை விட நிஜ உலக web retrieval க்கு மிகவும் அருகிலான சூழலில் retrieval செயல்திறனை அளக்கிறது.
• ViDoRe(V3) Markdown: ViDoRe(V3) பொதுவாக text-to-visual-document retrieval பணியாகும்; ஆனால் Markdown ஆக parse செய்யப்பட்ட corpus பதிப்பைப் பயன்படுத்தி text பணியாகவும் மதிப்பீடு செய்யலாம்; இதனால் படம் மற்றும் text இரண்டிலும் தகவல் நிறைந்த document retrieval ஐ மதிப்பீடு செய்ய முடிகிறது.

Q2D-Web இல் மட்டுமே Recall@1000 ஐ அறிக்கையிடுகிறோம்; அங்கு பெஞ்ச்மார்க்கின் first-stage web-retrieval சூழல்மீது கவனம் காரணமாக அதையே பயன்படுத்துகிறோம்; மற்ற இடங்களில் nDCG@10 மூலம் செயல்திறனை அளக்கிறோம். எங்கள் மதிப்பீடுகள் முழுவதும், வெவ்வேறு size classes across தொழில்துறையின் முன்னணி embedding மாதிரிகளுடன் ஒப்பிடுகிறோம். Text retrieval க்காக, nemotron-embed-8b, gemini-embedding-2, voyage-large-4, மற்றும் qwen3-embed-8b ஆகியவை மிக வலுவான மற்றும் மிகவும் பரவலாகப் பயன்படுத்தப்படும் dense போட்டியாளர்களாகும்; voyage-4-nano மற்றும் qwen3-embed-0.6b sub-billion parameter dense அடிப்படைக் கோடுகளாகச் செயல்படுகின்றன. TopK சமீபத்தில் வெளியிட்ட topk-embed-v1 late-interaction மாதிரிகளுடனும், TopK முடிவுகளை வெளியிட்டுள்ள பெஞ்ச்மார்க்குகளில் கூடுதலாக ஒப்பிடுகிறோம். ViDoRe(V3) மதிப்பெண்கள் எங்கள் token embeddings இன் அகலத்திற்கு ஏற்ப 128 dimensions இல் அவர்களின் model cards இலிருந்து எடுக்கப்பட்டவை; Q2D-Web மதிப்பெண் எங்கள் leaderboard இலிருந்து எடுக்கப்பட்டது.

டொமைன்-சார்ந்த பெஞ்ச்மார்க்களில், எங்கள் 9B மற்றும் 0.6B மாதிரிகள் முறையே 81.3% மற்றும் 78.0% சராசரியை அடைகின்றன. எங்கள் 9B மாதிரி நாங்கள் மதிப்பீடு செய்த அனைத்து மாதிரிகளிலும் உயர்ந்த மதிப்பெணை பெறுகிறது; அடுத்த சிறந்த மாதிரியை 1.6pp வித்தியாசத்தில் மிஞ்சுகிறது. எங்கள் 0.6B மாதிரி மற்ற உயர்ந்த மதிப்பெண் மாதிரிகளுடன் போட்டித்தன்மை கொண்டதாக உள்ளது, gemini-embedding-2 ஐ விட வெறும் 0.3pp பின்தங்குகிறது. முக்கியமாக, இந்த பெஞ்ச்மார்க் பணிகளுக்கான எந்தத் தரவிலும் நாங்கள் பயிற்சி செய்யாததால், டொமைன்-சார்ந்த பெஞ்ச்மார்க்கள் எங்கள் embedding மாதிரிகள் புதிய டொமைன்களுக்கு பொதுப்படுத்த முடியும் என்பதை காட்டுகின்றன.

விரிவாக்கு

எங்கள் 0.6B மாதிரியின் சார்ந்த வலிமை ViDoRe(V3) Markdown பணியில் இன்னும் அதிகமாகும்; அதன் 61.2% மதிப்பெண் எங்கள் 9B மாதிரியைத் தவிர மற்ற எல்லா மாதிரிகளையும் மிஞ்சுகிறது, 9B மாதிரி 64.7% பெற்றது. அடுத்த சிறந்த வெளிப்புற மாதிரி 60.6% பெற்றது; அடுத்த சிறந்த sub-1B மாதிரி topk-embed-v1-0.8b எங்கள் 0.6B மாதிரியை விட 4.3pp பின்தங்கியது.

விரிவாக்கு

Q2D-Web இல், பொருத்தம் மூன்று தீர்ப்புத் தொகுப்புகளில் இருந்து வருகிறது: முகவர் மேற்கோள் காட்டிய ஆவணங்கள் (Citation), எங்கள் production retrieval system மூலம் தரவரிசைப்படுத்தப்பட்ட ஆவணங்கள் (Web), மற்றும் குறிப்பிடப்படாத ஆவணங்களுக்கான LLM தீர்ப்புகளுடன் விரிவாக்கப்பட்ட இரண்டின் ஒன்றியம் (Combined). pplx-embed-v2-late மாதிரிகள் இரண்டும் மூன்று தீர்ப்புத் தொகுப்புகளிலும் எல்லா அடிப்படைக் கோடுகளையும் முன்னிலை வகிக்கின்றன. நாங்கள் Combined தீர்ப்புகள்மேல் கவனம் செலுத்துகிறோம், ஏனெனில் Citation மற்றும் Web தொகுப்புகள் எங்கள் சொந்த systems ஏற்கனவே வெளிப்படுத்தியவற்றிலிருந்தே பெறப்பட்டவை; எனவே அவை தாங்கள் தரவரிசைப்படுத்துவது போலவே தரவரிசைப்படுத்தும் மாதிரிகளை ஆதரிக்கின்றன. Combined இல் சேர்க்கப்பட்ட LLM தீர்ப்புகள் எந்த systemமும் மீட்டெடுக்காத ஆவணங்களையும் உள்ளடக்குகின்றன. அந்த தொகுப்பில், எங்கள் 9B மற்றும் 0.6B மாதிரிகள் இரண்டும் எல்லா போட்டியாளர்களையும் மிஞ்சி, முறையே 74.8% மற்றும் 73.6% மதிப்பெண்களை எட்டுகின்றன; முந்தைய சிறந்த மதிப்பெண் 69.3% ஆகும்.

விரிவாக்கு

காட்சி மீட்டெடுப்பு

எங்களின் முதன்மை காட்சி மீட்டெடுப்பு பெஞ்ச்மார்க் ViDoRe(V3) இன் நிலையான பொதுத் துணைத்தொகுப்பாகும்; இதில் கோர்ப்பஸ் Markdown மாற்றமாக அல்லாமல் ரெண்டர் செய்யப்பட்ட பக்கப் படங்களைக் கொண்டுள்ளது. நாங்கள் இரண்டு முன்னணி dense vision-language மாதிரிகளான qwen3-vl-embed-8b மற்றும் gemini-embedding-2 ஆகியவற்றுடனும், மேலும் topk-embed-v1 late-interaction மாதிரிகளுடனும் ஒப்பிடுகிறோம். இதற்கு மேலாக, Tencent இன் EVIE மாதிரிகளும் NVIDIA இன் Nemotron ColEmbed V2 மாதிரிகளும் பட மீட்டெடுப்பு பணிகளுக்காக குறிப்பாகப் பயிற்றுவிக்கப்பட்ட “vision-only” multi-vector அடிப்படைக் கோடுகளாகும்.

எங்கள் இரு மாதிரிகளும் vision-language மாதிரிகளுக்கான state of the art செயல்திறனை அடைகின்றன. எங்கள் 9B மாதிரி சராசரியாக 65.2% மதிப்பெண் பெறுகிறது, இதில் EVIE மட்டுமே அதைவிட மேலாக உள்ளது. எங்கள் 0.6B மாதிரி 62.3% மதிப்பெண் பெறுகிறது; இது topk-embed-v1-2b ஐ விட முன்னிலும், வெளிப்புற அடிப்படைக் கோடுகளில் EVIE மற்றும் nemotron-colembed-v2-8b என்ற மிகப் பெரிய மாதிரிகளை மட்டுமே பின்தொடர்கிறது.

விரிவாக்கு

மாதிரி அளவு என்ற சூழலில் எங்கள் 0.6B மாதிரி குறிப்பாகப் போட்டித்தன்மை கொண்டது. இது ஒப்பிடத்தக்க அளவுள்ள அனைத்து மாதிரிகளையும் மிஞ்சுகிறது, மேலும் பட inputs க்காக வெறும் 340M parameters மட்டுமே செயல்படுத்தும்போது nemotron-colembed-v2-8b ஐ விட 1.2pp உட்பகுதியில் உள்ளது. எங்கள் மாதிரிகள் token ஒன்றுக்கு 128-dimensional embeddings ஐ உருவாக்குகின்றன; இதை EVIE-4.5B க்கான 2,048, மற்றும் EVIE-8B மற்றும் nemotron-colembed-v2-8b க்கான 4,096 உடன் ஒப்பிடலாம். சேமிப்புச் செலவில் உள்ள இந்த வேறுபாடு, இந்த மாதிரிகள் நடைமுறையில் பயன்படுத்தக்கூடிய சூழல்களை கடுமையாகப் பாதிக்கக்கூடும்.

விரிவாக்கு

மேலும், MIRACL-Vision மற்றும் PPLX-Q2I ஆகியவற்றில் காட்சி மீட்டெடுப்பையும் மதிப்பீடு செய்கிறோம். MIRACL-Vision என்பது விக்கிப்பீடியா கட்டுரைகளின் திரைப்பிடிப்புகளைக் கொண்ட கார்பஸைக் கொண்ட ஒரு பெஞ்ச்மார்க்; PPLX-Q2I என்பது காட்சிசார் ஆவணங்களையும் இயற்கைப் படங்களையும் உள்ளடக்கும் உள் பெஞ்ச்மார்க். இது Perplexity-யின் தயாரிப்பு நிலை படத் தேடல் பதிவுகளிலிருந்து உருவாக்கப்பட்டு, படத் தேடல் பயன்பாட்டு நிகழ்வுகளின் பன்முகத்தன்மையைப் பிரதிபலிக்கும் வகையில் வடிவமைக்கப்பட்டுள்ளது. மொழி மற்றும் டொமைன் அடிப்படையில் அடுக்கமைக்கப்பட்ட 10,000 வினவல்களின் மாதிரியை, 100,000 படங்களைக் கொண்ட கார்பஸுக்கு எதிராகப் பயன்படுத்துகிறோம்; ஒவ்வொரு வினவலுக்கும் தொடர்புடைய ஆவணங்கள், அதற்காக வழங்கப்பட்ட படங்களாகும். EVIE-8B அல்லது Nemotron ColEmbed ஆகியவற்றை PPLX-Q2I இல் மதிப்பீடு செய்யவில்லை; ஏனெனில் இந்த அளவிலான கார்பஸை அவற்றின் இயல்புநிலை வெளியீட்டு பரிமாணங்களில் (Nemotron ColEmbed 4B-க்கு 2,560; Nemotron ColEmbed 8B மற்றும் EVIE-8B-க்கு 4,096) குறியிடுவது நடைமுறைக்கு உகந்ததாக இல்லை.

ViDoRe(V3) போலவே, எங்கள் 0.6B மாதிரி மிகப் பெரிய மாதிரிகளுடன் போட்டித்தன்மை கொண்டதாக உள்ளது; MIRACL-Vision இல் qwen3-vl-embed-8b ஐ விட வெறும் 1pp பின்தங்கி மதிப்பெண் பெறுகிறது. எங்கள் 9B மாதிரி gemini-embedding-2 ஐத் தவிர மற்ற அனைத்து மாதிரிகளையும் மிஞ்சுகிறது.

PPLX-Q2I-ல், எங்கள் இரு மாதிரிகளும் qwen3-vl-embedding-8b-ஐ 9pp-க்கும் அதிகமான வித்தியாசத்தில் மிஞ்சுகின்றன, மேலும் எங்கள் 9B மாதிரி gemini-embedding-2-க்குப் பின்னால் வெறும் 2pp மட்டுமே உள்ளது. இயற்கை படங்களையும் காட்சி ஆவணங்களையும் கொண்ட கார்ப்பஸ்களில் எங்கள் முடிவுகள் போட்டித் தன்மையுடன் தொடர்கின்றன; எனவே ViDoRe(V3)-இல் பயனளிக்கும் பல-வேக்டர் பிரதிநிதிப்புகள் பொதுவான படத் தேடலுக்கான செலவில் வருவதில்லை.

விரிவாக்கு

Cross-model retrieval

முந்தைய பிரிவுகளில் உள்ள முடிவுகள் ஒவ்வொரு மாதிரியையும் அது தானே embed செய்த கோர்ப்பஸுடன் மதிப்பீடு செய்கின்றன. பகிரப்பட்ட embedding space என்பதால் இது கட்டாயமல்ல: 9B மாதிரியால் index செய்யப்பட்ட கோர்ப்பஸை 0.6B மாதிரியில் embed செய்யப்பட்ட queries கொண்டு தேடலாம். இவ்வமைப்பையே பெரும்பாலான production deployments பயன்படுத்தும் என நாங்கள் எதிர்பார்க்கிறோம், ஏனெனில் indexing என்பது கோர்ப்பஸின் ஆயுளில் பல தேடல்களுக்குள் பரவக்கூடிய ஒருமுறைச் செலவாகும், ஆனால் query embedding ஒவ்வொரு request-இன் latency-முக்கிய பாதையில் இயங்குகிறது.

query நேரத்தில் 9B மாதிரியை இயக்க முடியாத deployment, இல்லையெனில் 0.6B மாதிரியாலேயும் index செய்யும்; எனவே அந்த சமச்சீர் 0.6B அமைப்பே ஒப்பீட்டுக்குத் தொடர்புடைய புள்ளியாகும். மேலே பயன்படுத்தப்பட்ட 72 domain-specific benchmarks இலும் ViDoRe v3 image retrieval இலும் நாங்கள் மதிப்பீடு செய்கிறோம். Queries pplx-embed-v2-late-0.6b மூலம் embed செய்யப்படுகின்றன; corpus ஐ எது embed செய்கிறது என்பதையே மட்டும் மாற்றுகிறோம்.

9B மாதிரியுடன் indexing செய்வது ஒரு தெளிவான முன்னேற்றம். டொமைன்-சார்ந்த பெஞ்ச்மார்க்க்களில், அசமமான அமைப்பு சராசரியாக 1.6pp ஆதாயத்தை அளிக்கிறது. ViDoRe v3 image retrieval இல், அது 63.5% பெறுகிறது; இது இருபுறமும் 0.6B மாதிரி பயன்படுத்திய 62.3% இலிருந்து 1.2 percentage points அதிகமாகும். query-encoding செலவு சமச்சீர் 0.6B மற்றும் அசமமான அமைப்புகளுக்கு இடையில் மாறாது, ஏனெனில் இரண்டிலும் அதே 0.6B மாதிரி query ஐ encode செய்கிறது; கூடுதல் document-encoding செலவு indexing நேரத்தில் ஏற்படுகிறது.

இருபுறமும் 9B மாதிரியை இயக்குவது இன்னும் சிறந்ததாகவே இருந்து, டொமைன்-சார்ந்த பெஞ்ச்மார்க்க்களில் 81.3% சராசரியை வழங்குகிறது. ஆகவே அசமமான அமைப்பு, கூடுதல் query-encoding செலவில்லாமல், text இல் இரண்டு மாதிரிகளுக்கிடையிலான தர வேறுபாட்டின் சுமார் பாதியை மீட்டெடுக்கிறது. எந்த அமைப்பைத் தேர்ந்தெடுப்பது என்பது query நேரத்தில் 9B மாதிரிக்கான செலவு ஏற்றுக்கொள்ளத்தக்கதா என்பதையே சார்ந்தது; செலவு ஏற்றுக்கொள்ளத்தக்கதாக இல்லாதபோது, அசமமான அமைப்பு அதன் பலனின் குறிப்பிடத்தக்க பகுதியைப் பிடித்துக்கொள்கிறது.

விரிவாக்கு

Agentic retrieval

Agentic retrieval என்பது multi-vector embeddings குறிப்பாக வலுவாக இருக்கும் இன்னொரு அமைப்பாகும். BrowseComp+ இல், ஒரு LLM (GPT-OSS-120B எங்கள் வழக்கில்) embedding model ஐப் பயன்படுத்தி சிக்கலான user query க்கு தொடர்புடைய தகவல்களைத் தேடுகிறது, மற்றும் இரண்டாவது LLM கிடைத்த பதில் ground truth உடன் பொருந்துகிறதா என்பதை மதிப்பிடுகிறது. எங்கள் 9B மாதிரி 64.0% accuracy ஐ அடைகிறது; அடுத்த சிறந்த ColBERT மாதிரியை 4.9pp க்கும், அடுத்த சிறந்த dense மாதிரியை 8.7pp க்கும் மிஞ்சுகிறது, அதே சமயம் எங்கள் 0.6B ஐத் தவிர மற்ற எந்த மாதிரியையும் விடக் குறைவான தேடல்களை மட்டும் செய்கிறது. 0.6B மாதிரியும் எங்கள் family க்கு வெளியுள்ள ஒவ்வொரு மாதிரியையும் மிஞ்சுகிறது.

விரிவாக்கு

MADQA, 18,000 க்கும் அதிகமான பக்கங்களை உள்ளடக்கிய 800 வகைவகையான நிஜ உலக PDFs மீது agentic question-answering ஐ சோதிக்கிறது; இவை பொதுவான அறிவால் பதிலளிக்க முடியாத 500 மனிதர்-எழுதிய கேள்விகளை உடையவை. ஒரு ஏஜென்ட் (எங்கள் வழக்கில் Gemini 3.5 Flash) சோதனைக்குட்பட்ட retriever உடன் சேகரிப்பைத் தேடி, பதில் accuracy யிலும், குறிக்கப்பட்ட evidence pages உடன் ஒப்பிட்டு page F1 யிலும் மதிப்பெண் பெறுகிறது. எங்கள் 9B மாதிரி 92.4% accuracy உடன் retrievers மத்தியில் புதிய state of the art ஐ அமைக்கிறது; அதே ஏஜென்ட் Mixedbread இன் retriever ஐப் பயன்படுத்துவதைக் காட்டிலும் 3.5pp முன்னேற்றமாகும்; எங்கள் 0.6B மாதிரி 90.1% ஐ அடைகிறது. மேலும், அவர்களின் search system இல் main agent இல் இருந்து ஒரு call க்கு பல தேடல்களைத் திட்டமிட்டு இயக்கும் search sub-agent ஐப் பயன்படுத்தும் Mixedbread Agentic Search க்கு எதிராகவும் எங்கள் retriever போட்டித்தன்மை கொண்ட முடிவுகளைப் பெறுகிறது என்பதை கவனிக்கிறோம் (93.4%, எங்கள் confidence interval உட்பகுதியில்).

விரிவாக்கு

தொடங்குவது எப்படி

எங்கள் 0.6B மற்றும் 9B மாதிரிகள் இரண்டும் Hugging Face இல் கிடைக்கின்றன, மேலும் sentence-transformers >= 6.0.0 மற்றும் transformers >= 5.4.0. உடன் உடனே பயன்படுத்தக்கூடிய வகையில் இணக்கமாக உள்ளன. மேலும் தொழில்நுட்ப விவரங்களும் முழுமையான மதிப்பீட்டு முடிவுகளும் இந்த ஆண்டின் இறுதியில் ஒரு technical report இல் வெளியிடப்படும்.

நாங்கள் தற்போது எங்கள் அடுத்த தலைமுறை டென்ஸ் எம்பெடிங் மாடல்களைப் பயிற்றுவித்து வருகிறோம்; மேலும் Perplexity API Platform-இல் லேட்-இன்டராக்ஷன், டென்ஸ் மற்றும் சூழல்சார் எம்பெடிங்குகளுக்கான ஆதரவைப் படிப்படியாக வெளியிடுவோம்.

மேற்கோள்

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}