ఒకే వెక్టర్‌ను మించిపోయే మల్టీమోడల్ ఎంబెడ్డింగ్‌లు

ఫిబ్రవరిలో pplx-embed-v1 విడుదల చేసినప్పటి నుంచి, మేము ఎంబెడ్డింగ్ మోడళ్ల కొత్త తరం మీద పని చేస్తున్నాం. గత వారం, మా కొత్త కాంటెక్స్చువల్ ఎంబెడ్డింగ్ మోడల్ pplx-embed-v2-contextను పరిచయం చేశాం. ఈ రోజు, మేము కుటుంబాన్ని pplx-embed-v2-lateతో విస్తరిస్తున్నాం, ఇది లేట్-ఇంటరాక్షన్ మోడళ్ల సమాహారం. మరింత బలమైన రిట్రీవల్ సామర్థ్యాలతో పాటు, ఈ మోడళ్లు మూడు మౌలిక లక్షణాలను కలపడం ద్వారా మొదటివి:

• మల్టీ-వెక్టర్ ప్రతినిధ్యాలు. ప్రతి ఇన్‌పుట్‌ను ఒకే వెక్టర్‌గా కుదించే బదులు, ఈ మోడళ్లు మరింత సూక్ష్మమైన క్వెరీ-డాక్యుమెంట్ పోలికల కోసం టోకెన్-స్థాయి వెక్టర్‌లను నిలుపుకుంటాయి. దీని వల్ల క్వెరీలోని వేర్వేరు భాగాలు డాక్యుమెంట్‌లోని వేర్వేరు భాగాలతో సరిపోలవచ్చు, ఇది మల్టీమోడల్ రిట్రీవల్‌లో ప్రత్యేకంగా విలువైన వివరాలను కాపాడుతుంది.
• టెక్స్ట్ మరియు ఇమేజ్ మోడాలిటీలకు రెండింటికీ మద్దతు. మా గత మోడళ్ల టెక్స్ట్-టు-టెక్స్ట్ రిట్రీవల్ సామర్థ్యాలకు అదనంగా, ఈ కొత్త మోడళ్లు టెక్స్ట్-టు-ఇమేజ్ రిట్రీవల్‌ను నిర్వహిస్తాయి, OCR లేదా పార్స్ చేసిన టెక్స్ట్ అవసరం లేకుండా రెండర్ చేసిన PDF పేజీలను నేరుగా శోధించడానికి వీలు కల్పిస్తాయి.
• షేర్డ్ ఎంబెడ్డింగ్ స్పేస్. వేర్వేరు నాణ్యత, లేటెన్సీ, మరియు కంప్యూట్ అవసరాలను మద్దతు ఇవ్వడానికి మేము 0.6B మరియు 9B అనే రెండు మోడల్ పరిమాణాలను విడుదల చేస్తున్నాం. ప్రతి దాన్ని స్వతంత్రంగా ఉపయోగించవచ్చు, కానీ షేర్డ్ ఎంబెడ్డింగ్ స్పేస్ చిన్న మోడల్‌కు పెద్ద మోడల్‌తో సృష్టించిన ఇండెక్స్‌ను క్వెరీ చేయడానికి కూడా వీలు కల్పిస్తుంది, దీని ద్వారా అధిక-నాణ్యత డాక్యుమెంట్ ఎంబెడ్డింగ్‌లను తక్కువ ఖర్చుతో, వేగవంతమైన క్వెరీ-టైమ్ ఇన్ఫరెన్స్‌తో కలపవచ్చు.

ఈ కొత్త మోడల్‌లు అనేక విజన్ మరియు టెక్స్ట్ రిట్రీవల్ బెంచ్‌మార్క్‌లతో పాటు ఏజెంటిక్ ప్రశ్న-సమాధాన టాస్క్‌లలోనూ అత్యాధునిక ఫలితాలను సాధిస్తాయి. ముఖ్యంగా, ప్రముఖ విజువల్ డాక్యుమెంట్ రిట్రీవల్ బెంచ్‌మార్క్ అయిన ViDoRe (V3)లో, మా 0.6B మోడల్ ఐదు రెట్లు ఎక్కువ యాక్టివ్ పారామీటర్‌లు ఉన్న మోడల్‌లతో సమానమైన పనితీరును కనబరుస్తుంది. రెండు మోడల్‌లూ Hugging Faceలో పబ్లిక్‌గా అందుబాటులో ఉన్నాయి. పద్ధతి మరియు మూల్యాంకన ఫలితాల గురించి మరిన్ని వివరాలను మా సాంకేతిక నివేదిక అందిస్తుంది.

ఒకే వెక్టర్‌ల నుంచి లేట్ ఇంటరాక్షన్‌కు

రిట్రీవల్ సిస్టమ్‌లు సామర్థ్యం మరియు క్వెరీలు, డాక్యుమెంట్‌ల మధ్య ఇంటరాక్షన్ లోతు మధ్య సమతౌల్యం కనుగొనాలి. డెన్స్ ఎంబెడ్డింగ్ మోడళ్లు ప్రతి క్వెరీ మరియు డాక్యుమెంట్‌ను స్వతంత్రంగా ఎన్‌కోడ్ చేస్తాయి, వాటిని తక్కువ ఖర్చుతో inner product ద్వారా పోల్చడానికి వీలు కల్పిస్తాయి. ఇది బిలియన్ల డాక్యుమెంట్‌లపై approximate nearest-neighbor (ANN) శోధనను ప్రాక్టికల్‌గా మారుస్తుంది. మరో అంచున, క్రాస్-ఎన్‌కోడర్లు క్వెరీ మరియు డాక్యుమెంట్‌ను కలిసి ప్రాసెస్ చేస్తాయి, దీని వల్ల మరింత సంపన్నమైన ఇంటరాక్షన్ సాధ్యమవుతుంది కానీ ప్రతి అభ్యర్థికి ప్రత్యేక forward pass అవసరం అవుతుంది. ప్రతి శోధనకు పెద్ద కార్పస్ అంతటా ఈ కంప్యూటేషన్‌ను వర్తింపజేయడం అత్యంత ఖరీదైనది, కాబట్టి క్రాస్-ఎన్‌కోడర్లు సాధారణంగా చిన్న సముదాయాన్ని reranking చేయడానికి మాత్రమే ఉపయోగిస్తారు.

డెన్స్ ఎంబెడ్డింగ్‌ల పరిమితులు

మొత్తం డాక్యుమెంట్‌ను ఒక స్థిర-పరిమాణ వెక్టర్‌తో ప్రతినిధ్యం చేయడం సమాచార బాటిల్‌నెక్‌ను సృష్టిస్తుంది. డాక్యుమెంట్‌లు పొడవుగా మారి మరిన్ని విషయాలను కవర్ చేస్తూ ఉన్నప్పుడు, మోడల్ అదే వెక్టర్‌లో మరింత కంటెంట్‌ను కుదించాల్సి వస్తుంది, తద్వారా క్వెరీకి సంబంధించిన ప్రతిదీ కాపాడటం కష్టం అవుతుంది. chunking ఈ ఒత్తిడిని తగ్గించగలదు, కానీ అది డాక్యుమెంట్‌ను విభజించి, కలిసి ఉన్నప్పుడు మాత్రమే అర్థమయ్యే సమాచారాన్ని వేరు చేయవచ్చు; ఈ సమస్యను మా కాంటెక్స్చువల్ ఎంబెడ్డింగ్ మోడల్తో కూడా మేము పరిష్కరిస్తున్నాం. మల్టీమోడల్ సెట్టింగ్‌లలో ఈ బాటిల్‌నెక్ మరింత తీవ్రమవుతుంది, ఎందుకంటే చిత్రాల సమాచార సాంద్రతకు ఇంకా ఎక్కువ కుదింపు అవసరం.

ఒకే-వెక్టర్ డెన్స్ రిట్రీవల్ కూడా ప్రతి పోలికను రెండు వెక్టర్‌ల మధ్య inner product‌కు తగ్గిస్తుంది, స్కోరింగ్ ఫంక్షన్ వ్యక్తీకరణ సామర్థ్యాన్ని పరిమితం చేస్తుంది. ఒక స్థిర ఎంబెడ్డింగ్ డైమెన్షన్ మరియు సరిపడా పెద్ద కార్పస్ ఉన్నప్పుడు, శిక్షణ ఏదైనా సరే, క్వెరీ-డాక్యుమెంట్ జంటలపై స్కోర్ల కొన్ని నమూనాలు ఉత్పత్తి చేయడం అసాధ్యం. LIMIT benchmark ఈ సిద్ధాంతాత్మక ఆందోళనను ఒకే-వెక్టర్ రిట్రీవల్ కోసం స్పష్టమైన స్ట్రెస్ టెస్ట్‌గా మారుస్తుంది.

లేట్-ఇంటరాక్షన్ రిట్రీవల్

లేట్-ఇంటరాక్షన్ మోడళ్లు తక్కువ ఖర్చు గల డెన్స్ ఎంబెడ్డింగ్ మోడళ్లకు మరియు మరింత వ్యక్తీకరణ సామర్థ్యం ఉన్న క్రాస్-ఎన్‌కోడర్లకు మధ్యస్థానాన్ని ఆక్రమిస్తాయి. డెన్స్ మోడళ్ల మాదిరిగానే, ఇవి క్వెరీకి స్వతంత్రంగా డాక్యుమెంట్‌లను ఎన్‌కోడ్ చేస్తాయి, తద్వారా డాక్యుమెంట్ ప్రతినిధ్యాలను ఆఫ్‌లైన్‌లో గణించవచ్చు. అయితే, ప్రతి ఇన్‌పుట్‌ను ఒకే వెక్టర్‌కు తగ్గించటం బదులు, ఇవి అనేక వెక్టర్‌లను నిలుపుకుంటాయి మరియు క్వెరీని డాక్యుమెంట్‌తో పోల్చేటప్పుడు మరింత సంపన్నమైన స్కోరింగ్ ఫంక్షన్‌ను ఉపయోగిస్తాయి.

మా pplx-embed-v2-late మోడళ్లు ColBERT-శైలి ఆర్కిటెక్చర్‌ను ఉపయోగిస్తాయి, ఇన్‌పుట్‌లోని ప్రతి టోకెన్‌కు 128-డైమెన్షనల్ ఎంబెడ్డింగ్‌లను ఉత్పత్తి చేస్తాయి. మేము MaxSim ఉపయోగించి క్వెరీ-డాక్యుమెంట్ జంటలకు స్కోర్ ఇస్తాము; ప్రతి క్వెరీ టోకెన్‌కు, మోడల్ అత్యధిక స్కోరు పొందిన డాక్యుమెంట్ టోకెన్‌ను ఎంచుకుని, తుది స్కోర్‌ను ఉత్పత్తి చేయడానికి ప్రతి టోకెన్ యొక్క గరిష్ఠ సమానత్వాల మొత్తాన్ని కలుపుతుంది. దీని వలన క్వెరీలోని వేర్వేరు భాగాలు డాక్యుమెంట్‌లోని వేర్వేరు భాగాలతో సరిపోలగలవు, బలమైన టోకెన్ మ్యాచ్‌లు స్కోర్‌కు ఎక్కువగా దోహదపడతాయి.

విస్తరించు

ఈ అదనపు వ్యక్తీకరణ సామర్థ్యానికి ఎక్కువ నిల్వ మరియు అభ్యర్థి-స్కోరింగ్ ఖర్చులు ఉంటాయి. డెన్స్ రిట్రీవల్ ప్రతి డాక్యుమెంట్‌కు ఒక వెక్టర్‌ను నిల్వ చేసి, ఒక inner product‌తో అభ్యర్థిని స్కోర్ చేస్తుంది; లేట్ ఇంటరాక్షన్ డాక్యుమెంట్ టోకెన్ల కోసం వెక్టర్‌లను నిల్వ చేసి, అనేక టోకెన్-టు-టోకెన్ సమానత్వాలను మూల్యాంకనం చేస్తుంది. డాక్యుమెంట్ పొడవుతో ఖర్చు పెరుగుతుంది, కాబట్టి లేట్ ఇంటరాక్షన్ ఒక-వెక్టర్ ANN రిట్రీవల్‌తో పోలిస్తే వేరు indexing మరియు serving trade-off‌ను అవసరం చేస్తుంది. ప్రతిఫలంగా, ఇది నాణ్యత-సున్నిత కార్పస్‌ల కోసం మరింత సంపన్నమైన మొదటి దశ రిట్రీవల్‌ను అందిస్తుంది మరియు పెద్ద వెబ్-స్థాయి రిట్రీవల్ పైప్‌లైన్‌లో తదుపరి దశగా కూడా పనిచేయగలదు.

ఒక మోడల్, అనేక మోడాలిటీలు

ఈ మెరుగైన పరస్పర చర్య లోతు దీర్ఘ-సందర్భం, ఏజెంట్-ఆధారిత మరియు డొమైన్‌కు వెలుపల రిట్రీవల్‌తో సహా వివిధ పనుల కోసం చాలా ఉపయోగకరంగా ఉన్నట్లు చూపబడింది. ఈ తేడా బహుళమాధ్యమ రిట్రీవల్‌లో ప్రత్యేకంగా స్పష్టంగా కనిపిస్తుంది, ఇది ViDoRe(V3) లీడర్‌బోర్డుపై ColPali మోడళ్లకు ఉన్న గణనీయమైన ఆధిక్యం ద్వారా చూపబడింది.

వాస్తవ ప్రపంచ కార్పస్‌లు కేవలం శుభ్రమైన టెక్స్ట్‌తోనే ఉండవు. అవి PDFs, స్లైడ్ డెక్‌లు, స్క్రీన్‌షాట్‌లు, స్కాన్ చేసిన పేజీలు, చార్ట్‌లు, మరియు టేబుల్‌లుగా వస్తాయి. సంప్రదాయ పైప్‌లైన్ ఈ డాక్యుమెంట్‌లను పార్స్ చేసి, OCR లేదా క్యాప్షనింగ్‌ను వర్తింపజేసి, ఫలితంగా వచ్చిన టెక్స్ట్‌ను శోధిస్తుంది; ఇది ఖరీదైనదీ, నష్టపరిచేదీ: OCR లోపాలు కలిగించవచ్చు మరియు లేఅవుట్, టేబుల్ నిర్మాణం, ఆకృతులు, మరియు స్థల సంబంధాలను తొలగిస్తుంది. విజువల్ డాక్యుమెంట్ సెర్చ్ ఆ దశను దాటేసి, రెండర్ చేసిన పేజీని నేరుగా ప్రతినిధ్య స్థలంలోకి ప్రొజెక్ట్ చేస్తుంది, అక్కడ టెక్స్ట్ క్వెరీలు దానిని శోధించగలవు.

మా కొత్త మోడల్ కుటుంబం మల్టీ-మోడల్ సెర్చ్ కోసం మల్టీ-వెక్టర్ మోడళ్ల బలమైన పనితీరుపై ఆధారపడి, అత్యంత విస్తృతంగా ఉపయోగించే డాక్యుమెంట్ సెర్చ్ బెంచ్‌మార్క్ అయిన ViDoRe(V3)పై చిన్న మోడళ్లకు Pareto frontier‌ను ముందుకు నెడుతుంది. డాక్యుమెంట్ రెండరింగ్‌లు విజువల్ ఇన్‌పుట్‌కు అత్యంత సాధారణ రూపం అని మేము భావిస్తున్నప్పటికీ, మా మోడళ్లు సుందర దృశ్యాల ఫోటోలు వంటి సహజ చిత్రాలపై కూడా semantic image search‌ను మద్దతు ఇస్తాయి.

అంతర్‌క్రియాశీల మోడళ్ల కుటుంబాన్ని శిక్షణ ఇవ్వడం

శోధన మౌలికంగా అసమమితమైనది: ఇండెక్సింగ్ మరియు క్వెరీ ఎన్‌కోడింగ్ వేర్వేరు ఆపరేషనల్ పరిమితులను కలిగి ఉంటాయి. ఇండెక్సింగ్ ఆఫ్‌లైన్‌లో నడుస్తుంది మరియు parallelize చేయవచ్చు, కాబట్టి దాని కంప్యూట్ ఖర్చు అనేక భవిష్యత్ శోధనలపై విభజించబడుతుంది. క్వెరీ ఎన్‌కోడింగ్ ప్రతి అభ్యర్థనకు ఆన్‌లైన్‌లో నడుస్తుంది, దీని వల్ల అది లేటెన్సీ-సెన్సిటివ్‌గా మారుతుంది మరియు కొన్నిసార్లు serving లేదా edge-device పరిమితులకు లోబడి ఉంటుంది. మా మోడల్ కుటుంబం ఈ అసమమితిని ఉపయోగించి, రిట్రీవల్ పైప్‌లైన్‌లోని ప్రతి వైపుకూ సరిపోయే పరిమాణాలను అందిస్తుంది.

మేము 18B టీచర్‌ను contrastiveగా శిక్షణ ఇచ్చి, తరువాత దానిని 9B మరియు 0.6B స్టూడెంట్‌లుగా వేర్వేరుగా distill చేస్తాము. ప్రతి స్టూడెంట్‌ను టీచర్ యొక్క ర్యాంకింగ్ పంపిణీని మాత్రమే పునరుత్పత్తి చేయడానికి శిక్షణ ఇవ్వడం బదులు, మేము LEAF-శైలి representation distillationను ఉపయోగిస్తాము: ప్రతి ఇన్‌పుట్ టోకెన్‌కు, స్టూడెంట్ యొక్క అవుట్‌పుట్ ఎంబెడ్డింగ్‌ను టీచర్ యొక్కదానితో సరిపోల్చుతాము. representation-space distillation గతంలో డెన్స్, ఒకే-వెక్టర్ మోడళ్ల కోసం ఉపయోగించబడినప్పటికీ, మేము దానిని లేట్ ఇంటరాక్షన్‌కు విస్తరించాము, ఇక్కడ alignment target నిలుపుకున్న ప్రతి టోకెన్‌కు ఒక వెక్టర్‌గా ఉంటుంది.

ఫలితంగా, విడుదల చేసిన రెండు checkpoints కూడా ఒకే మల్టీ-వెక్టర్ ఎంబెడ్డింగ్ స్పేస్‌ను పంచుకుంటాయి. ఇది cross-model retrieval‌ను సాధ్యంచేసి, అదనపు డిప్లాయ్‌మెంట్ ఎంపికలను అందిస్తుంది.

• అత్యధిక నాణ్యత: 9B మోడల్‌తో డాక్యుమెంట్‌లు మరియు క్వెరీలను ఎన్‌కోడ్ చేయండి.
• అత్యధిక సామర్థ్యం: 100% స్థానిక ఇన్ఫరెన్స్ కోసం 0.6B మోడల్‌తో డాక్యుమెంట్‌లు మరియు క్వెరీలను ఎన్‌కోడ్ చేయండి
• తక్కువ-లేటెన్సీ రిట్రీవల్: కార్పస్ ఇండెక్స్‌ను 9B మోడల్‌తో నిర్మించి, ఆపై ఇండెక్స్-టైమ్ కంప్యూటేషన్‌ను ఉపయోగించుకుంటూ క్వెరీలను వేగంగా ఉంచేందుకు ప్రత్యక్ష క్వెరీలను 0.6B మోడల్‌తో ఎన్‌కోడ్ చేయండి.
• స్థానిక–క్లౌడ్ రిట్రీవల్: ప్రైవేట్ స్థానిక డాక్యుమెంట్‌లు లేదా ప్రత్యక్ష క్వెరీలను 0.6B మోడల్‌తో డివైస్‌పైనే ఎన్‌కోడ్ చేసి, ఆ ప్రతినిధ్యాలను క్లౌడ్‌లో హోస్ట్ చేసిన 9B ఇండెక్స్ ఫలితాలతో పోల్చండి లేదా విలీనం చేయండి.

లేటెన్సీ-సున్నిత సెట్టింగ్‌ల కోసం, మేము 0.6B మోడల్‌ను ఎడ్జ్ డివైస్‌లపై కూడా నడిచే తేలికైన క్వెరీ ఎన్‌కోడర్‌గా రూపొందించాము. Qwen3.5-0.8B నుండి ప్రారంభించి, మేము దాని 24-లేయర్ టెక్స్ట్ టవర్‌ను 12 లేయర్‌లకు prune చేశాము, తద్వారా ఆ టవర్‌ను 498M నుండి 240M నాన్-ఎంబెడ్డింగ్ పరామీటర్లకు తగ్గించాము. ఫలితంగా వచ్చిన మోడల్ మొత్తం 594M పరామీటర్లను కలిగి ఉంది, కానీ దాని నామమాత్ర పరిమాణం serving ఖర్చును అతిశయోక్తిగా చూపుతుంది: 100M ఇమేజ్ ఎన్‌కోడింగ్‌కు ఉపయోగించబడతాయి, మరియు 254M టోకెన్-ఎంబెడ్డింగ్ టేబుల్‌లో ఉంటాయి, దీని runtimeపై పెద్ద ప్రభావం లేదు. టెక్స్ట్ ఎన్‌కోడింగ్‌కు సుమారు 240M పరామీటర్లు మాత్రమే యాక్టివ్‌గా ఉంటాయి, మరియు ఇమేజ్ ఎన్‌కోడింగ్‌కు 340M, ఇది 9B ఇండెక్స్‌తో అనుకూలతను నిలుపుకుంటూనే గణనీయంగా చిన్న మోడల్ యొక్క serving ఖర్చును అందిస్తుంది.

మేము ఇదే ప్రక్రియను 27B backbone నుంచి మా 18B టీచర్‌ను నిర్మించడానికి కూడా ఉపయోగించాము, దీని వల్ల అది అందించే సంకేతాన్ని బలహీనపరచకుండా distill చేయడం గణనీయంగా చవకైంది.

బహుభాషా, మల్టీమోడల్, కాలుష్యరహిత శిక్షణ డేటా

మేము రెండు మోడళ్లనూ 46 భాషల్లోని 594 datasets నుంచి తీసుకున్న 186 మిలియన్ క్వెరీ-డాక్యుమెంట్ జంటల డేటాసెట్‌పై శిక్షణ ఇస్తాము. ఈ జంటల్లో 88.3% టెక్స్ట్-టు-టెక్స్ట్, 8.3% టెక్స్ట్-టు-ఇమేజ్, మరియు 3.4% టెక్స్ట్-టు-విజువల్-డాక్యుమెంట్ జంటలు. dataset size‌కు అనుపాతంగా sample చేయడం బదులు, మేము ప్రతి dataset‌కు ఒక sampling weight ఇస్తాము, ఇది వరుసగా 56.5%, 30.9%, మరియు 12.6%తో మరింత సమతుల్యమైన training mixture‌ను ఇస్తుంది.

మా శిక్షణ డేటాను రూపొందించేటప్పుడు, benchmark స్కోర్లను కృత్రిమంగా పెంచకుండా మా ఫలితాలను విశ్వసనీయంగా చూపించడానికి, మేము మూల్యాంకనం చేసే బెంచ్‌మార్క్‌లతో సంబంధం ఉన్న ఏ datasets‌నైనా మినహాయిస్తాము. ఈ నిర్ణయం trade-offతో వస్తుంది: మేము మినహాయించేందుకు ఎంచుకున్న కొన్ని datasets‌లో మా మోడల్ పనితీరును అవి వచ్చిన benchmark కాకుండా ఇతర పనుల్లో మెరుగుపరచగల అధిక-నాణ్యత డేటా ఉంది. చివరికి, మేము ఆ ఖర్చును స్వీకరించాము: అభివృద్ధి సమయంలో విశ్వసనీయ సంఖ్యలు మాకు మరింత ఉపయోగకరంగా ఉంటాయి, అలాగే models‌ను పోల్చేటప్పుడు వినియోగదారులకు కూడా.

మూల్యాంకనం

మేము టెక్స్ట్, విజువల్-డాక్యుమెంట్, మిక్స్‌డ్-ఇమేజ్, మరియు ఏజెంటిక్ రిట్రీవల్ across రెండు మోడళ్లను మూల్యాంకనం చేస్తున్నాం. రెండు మోడళ్లు Q2D-Web మరియు BrowseComp+ పై మూల్యాంకనం చేసిన బేస్‌లైన్‌లన్నిటికంటే మెరుగ్గా పనిచేస్తాయి, అలాగే విజువల్-డాక్యుమెంట్ రిట్రీవల్ మరియు MADQAలో బలమైన ఫలితాలను సాధిస్తాయి.

టెక్స్ట్ రిట్రీవల్

మేము మూడు బెంచ్‌మార్క్‌లపై టెక్స్ట్-టు-టెక్స్ట్ రిట్రీవల్‌ను మూల్యాంకనం చేస్తాము:

• డొమైన్-నిర్దిష్ట బెంచ్‌మార్క్‌లు: 72 MTEB-శైలి పనుల సమాహారం, ఐదు డొమైన్లలో 55 (ఫైనాన్స్, లీగల్, హెల్త్, సంభాషణ, టెక్), అలాగే 17 వివిధ భాషల మిశ్రమ పనులు. ఈ సమాహారంలో FinQA, AILACasedocs, మరియు XLSum వంటి పనులు ఉన్నాయి. పైగా వివరించినట్లుగా, ఈ datasets ఏదీ మా శిక్షణ డేటాలో కనిపించదు.
• Q2D-Web: సుమారు 70,000 ఏజెంట్-రీఫార్ములేట్ చేసిన శోధన క్వెరీలపై, ప్రొడక్షన్ శోధన ట్రాఫిక్ నుండి తీసుకున్న, 190M వెబ్ డాక్యుమెంట్‌ల కార్పస్‌పై నిర్మించిన మా వెబ్-స్థాయి రిట్రీవల్ బెంచ్‌మార్క్. ప్రొడక్షన్‌లాంటి క్వెరీలు మరియు పెద్ద-స్థాయి కార్పస్ కారణంగా, ఈ బెంచ్‌మార్క్ ఇతర అందుబాటులో ఉన్న రిట్రీవల్ బెంచ్‌మార్క్‌ల కంటే వాస్తవ ప్రపంచ వెబ్ రిట్రీవల్‌కు చాలా దగ్గరైన సెట్టింగ్‌లో పనితీరును కొలుస్తుంది.
• ViDoRe(V3) Markdown: ViDoRe(V3) సాధారణంగా టెక్స్ట్-టు-విజువల్-డాక్యుమెంట్ రిట్రీవల్ పనిగా ఉంటుంది, కానీ Markdown‌కు పార్స్ చేసిన కార్పస్ సంస్కరణను ఉపయోగించి టెక్స్ట్ పనిగా కూడా మూల్యాంకనం చేయవచ్చు, దీనివల్ల ఇమేజ్ మరియు టెక్స్ట్ మోడాలిటీలలో సమాచార-సమృద్ధమైన డాక్యుమెంట్ రిట్రీవల్‌ను మూల్యాంకనం చేయగలుగుతాము.

మేము Q2D-Webలో మాత్రం Recall@1000ను నివేదిస్తాము, ఎందుకంటే ఈ బెంచ్‌మార్క్ మొదటి దశ వెబ్-రిట్రీవల్ సన్నివేశంపై దృష్టి సారిస్తుంది; మిగతా చోట్ల nDCG@10తో పనితీరును కొలుస్తాము. మా మూల్యాంకనాల్లో, వివిధ పరిమాణ తరగతులపై పరిశ్రమ-నేతృత్వం వహిస్తున్న ఎంబెడ్డింగ్ మోడళ్లతో పోల్చుతాము. టెక్స్ట్ రిట్రీవల్ కోసం, nemotron-embed-8b, gemini-embedding-2, voyage-large-4, మరియు qwen3-embed-8b అత్యంత బలమైన మరియు విస్తృతంగా ఉపయోగించే డెన్స్ పోటీదారులను సూచిస్తాయి, కాగా voyage-4-nano మరియు qwen3-embed-0.6b బిలియన్ కంటే తక్కువ పరామీటర్ల డెన్స్ బేస్‌లైన్లుగా పనిచేస్తాయి. TopK ఇటీవల విడుదల చేసిన topk-embed-v1 లేట్-ఇంటరాక్షన్ మోడళ్లతో కూడా, TopK ఫలితాలు ప్రచురించిన బెంచ్‌మార్క్‌లపై, మేము పోల్చాము. ViDoRe(V3) స్కోర్లు 128 డైమెన్షన్‌ల వద్ద వారి model cards నుంచి తీసుకున్నవి, ఇది మా టోకెన్ ఎంబెడ్డింగ్‌ల వెడల్పుతో సరిపోతుంది; Q2D-Web స్కోర్ మా leaderboard నుంచి తీసుకున్నది.

డొమైన్-నిర్దిష్ట బెంచ్‌మార్క్‌లపై, మా 9B మరియు 0.6B మోడళ్లు వరుసగా 81.3% మరియు 78.0% సగటును సాధించాయి. మా 9B మోడల్ మేము మూల్యాంకనం చేసిన అన్ని మోడళ్లలో అత్యధిక స్కోర్‌ను సాధించి, తదుపరి ఉత్తమ మోడల్‌ను 1.6pp తేడాతో మించింది. మా 0.6B మోడల్ ఇతర టాప్-స్కోరింగ్ మోడళ్లతో పోటీపడగలిగే స్థాయిలో ఉంది, gemini-embedding-2 కంటే కేవలం 0.3pp వెనుకబడి ఉంది. ముఖ్యంగా, ఈ బెంచ్‌మార్క్ పనుల డేటాలో ఏదీ మేము శిక్షణలో ఉపయోగించలేదు కాబట్టి, డొమైన్-నిర్దిష్ట బెంచ్‌మార్క్‌లు మా ఎంబెడ్డింగ్ మోడళ్లు కొత్త డొమైన్లకు సాధారణీకరించగలవని చూపిస్తున్నాయి.

విస్తరించు

ViDoRe(V3) Markdown పనిలో మా 0.6B మోడల్ యొక్క సంబంధిత బలం ఇంకా ఎక్కువగా ఉంది; దాని 61.2% స్కోర్ మా 9B మోడల్ స్కోర్ 64.7% తప్ప మిగతా అన్ని మోడళ్లను మించింది. తదుపరి ఉత్తమ బయటి మోడల్ 60.6% స్కోర్ చేసింది, అలాగే తదుపరి ఉత్తమ sub-1B మోడల్ అయిన topk-embed-v1-0.8b, మా 0.6B మోడల్ కంటే 4.3pp వెనుకబడి ఉంది.

విస్తరించు

Q2D-Webలో, సంబంధితత మూడు జడ్జ్‌మెంట్ సెట్ల నుండి వస్తుంది: ఏజెంట్ ఉదహరించిన పత్రాలు (Citation), మా ప్రొడక్షన్ రిట్రీవల్ సిస్టమ్ ద్వారా ర్యాంక్ చేసిన పత్రాలు (Web), మరియు రెండింటి యూనియన్‌కు లేబల్ లేని పత్రాలపై LLM జడ్జ్‌మెంట్‌లను జోడించిన సమాహారం (Combined). pplx-embed-v2-late మోడళ్లు మూడు జడ్జ్‌మెంట్ సెట్లన్నింటిలోనూ ప్రతి బేస్‌లైన్‌ను ముందుండి నడుస్తాయి. మేము కలిపిన జడ్జ్‌మెంట్‌లపై దృష్టి పెడుతున్నాం, ఎందుకంటే Citation మరియు Web సెట్లు మా స్వంత సిస్టమ్‌లు ఇప్పటికే ఉపరితలంపైకి తెచ్చిన వాటి నుంచి ఉద్భవించాయి కాబట్టి అవి వాటి మాదిరిగానే ర్యాంక్ చేసే మోడళ్లకు అనుకూలంగా ఉంటాయి; Combinedలో జోడించిన LLM జడ్జ్‌మెంట్‌లు ఏ సిస్టమ్ కూడా పొందని పత్రాలను కవర్ చేస్తాయి. ఆ సెట్‌లో, మా 9B మరియు 0.6B మోడళ్లు రెండూ అన్ని పోటీదారులను అధిగమించి, వరుసగా 74.8% మరియు 73.6% స్కోర్లను సాధించాయి, ఇది గతంలో ఉత్తమ స్కోర్ అయిన 69.3% కంటే ఎక్కువ.

విస్తరించు

విజువల్ రిట్రీవల్

మా ప్రాథమిక విజువల్ రిట్రీవల్ బెంచ్‌మార్క్ ViDoRe(V3) యొక్క ప్రామాణిక పబ్లిక్ సబ్‌సెట్, ఇందులో కార్పస్ Markdown మార్పిడి కాకుండా రెండర్ చేసిన పేజీ చిత్రాలతో ఉంటుంది. మేము రెండు ప్రముఖ డెన్స్ విజన్-లాంగ్వేజ్ మోడళ్లు, qwen3-vl-embed-8b మరియు gemini-embedding-2, అలాగే topk-embed-v1 లేట్-ఇంటరాక్షన్ మోడళ్లతో పోల్చాము. అదనంగా, Tencent యొక్క EVIE మోడళ్లు మరియు NVIDIA యొక్క Nemotron ColEmbed V2 మోడళ్లు చిత్రం రిట్రీవల్ పనుల కోసం ప్రత్యేకంగా శిక్షణ పొందిన “విజన్-ఓన్లీ” మల్టీ-వెక్టర్ బేస్‌లైన్లు.

మా రెండు మోడళ్లు విజన్-లాంగ్వేజ్ మోడళ్లలో state of the art పనితీరును సాధిస్తున్నాయి. మా 9B మోడల్ సగటున 65.2% స్కోర్ చేస్తుంది, EVIE తప్ప మిగతా అన్నింటినీ వెనుకబెడుతోంది. మా 0.6B మోడల్ 62.3% స్కోర్‌ను సాధిస్తుంది, topk-embed-v1-2b కంటే ముందుండి, బయటి బేస్‌లైన్లలో EVIE మరియు nemotron-colembed-v2-8b మాత్రమే దానికంటే మెరుగ్గా ఉన్నాయి.

విస్తరించు

మా 0.6B మోడల్ మోడల్ పరిమాణ సందర్భంలో ప్రత్యేకంగా పోటీపడగలిగే స్థాయిలో ఉంది. ఇది పోల్చదగిన పరిమాణంలోని అన్ని మోడళ్ల కంటే ముందుంది మరియు ఇమేజ్ ఇన్‌పుట్‌ల కోసం కేవలం 340M పరామీటర్లను మాత్రమే యాక్టివేట్ చేస్తూ nemotron-colembed-v2-8b కంటే 1.2pp లోపల ఉంది. మా మోడళ్లు ప్రతి టోకెన్‌కు 128-డైమెన్షనల్ ఎంబెడ్డింగ్‌లను ఉత్పత్తి చేస్తాయి, అయితే EVIE-4.5B కోసం 2,048, అలాగే EVIE-8B మరియు nemotron-colembed-v2-8b కోసం 4,096. నిల్వ ఖర్చుల్లోని ఈ తేడా ఈ మోడళ్లు ప్రాక్టికల్‌గా ఉపయోగపడే పరిస్థితులను నాటకీయంగా ప్రభావితం చేయగలదు.

విస్తరించు

మేము MIRACL-Visionపై కూడా విజువల్ రిట్రీవల్‌ను మూల్యాంకనం చేస్తున్నాము, ఇది Wikipedia వ్యాసాల స్క్రీన్‌షాట్‌లతో కూడిన కార్పస్ ఉన్న బెంచ్‌మార్క్, అలాగే PPLX-Q2I, ఇది విజువల్ డాక్యుమెంట్‌లు మరియు సహజ చిత్రాలు రెండింటినీ కవర్ చేసే అంతర్గత బెంచ్‌మార్క్. PPLX-Q2I Perplexity యొక్క ప్రొడక్షన్ ఇమేజ్-సెర్చ్ లాగ్‌ల నుండి నిర్మించబడింది మరియు ఇమేజ్ సెర్చ్ వినియోగ సందర్భాల వైవిధ్యాన్ని ప్రతిబింబించేలా రూపొందించబడింది. మేము భాష మరియు డొమైన్ ప్రకారం stratify చేసిన 10,000-క్వెరీ నమూనాను 100,000 చిత్రాల కార్పస్‌పై ఉపయోగించాము; ప్రతి క్వెరీకి సంబంధించిన డాక్యుమెంట్‌లు దానికి సర్వ్ చేసిన చిత్రాలే. PPLX-Q2Iపై మేము EVIE-8B లేదా Nemotron ColEmbed‌ను మూల్యాంకనం చేయలేదు, ఎందుకంటే వారి డిఫాల్ట్ అవుట్‌పుట్ డైమెన్షనాలిటీలు (Nemotron ColEmbed 4B కోసం 2,560 మరియు Nemotron ColEmbed 8B మరియు EVIE-8B కోసం 4,096) వద్ద ఇంత పరిమాణం గల కార్పస్‌ను ఇండెక్స్ చేయడం ప్రాక్టికల్ కాదు.

ViDoRe(V3)లో దాని పనితీరుకు సమానంగా, మా 0.6B మోడల్ చాలా పెద్ద మోడళ్లతో పోటీపడగలిగే స్థాయిలో ఉంది, MIRACL-Visionలో qwen3-vl-embed-8b కంటే కేవలం 1pp వెనుకబడి ఉంది. మా 9B మోడల్ gemini-embedding-2 తప్ప మిగతా అన్ని మోడళ్లను మించిపోయింది.

PPLX-Q2Iలో, మా రెండు మోడళ్లు qwen3-vl-embedding-8bను 9pp కంటే ఎక్కువ మార్జిన్‌తో మించాయి, మరియు మా 9B మోడల్ gemini-embedding-2 కంటే కేవలం 2pp వెనుకబడి ఉంది. మా ఫలితాలు సహజ చిత్రాలు అలాగే విజువల్ డాక్యుమెంట్‌లు కలిగిన కార్పస్‌లపై కూడా పోటీపడగలిగే స్థాయిలో ఉంటాయి, కాబట్టి ViDoRe(V3)లో లాభం ఇచ్చే మల్టీ-వెక్టర్ ప్రతినిధ్యాలు సాధారణ ఇమేజ్ సెర్చ్ ఖర్చుతో రావడం లేదు.

విస్తరించు

క్రాస్-మోడల్ రిట్రీవల్

మునుపటి విభాగాల్లోని ఫలితాలు ప్రతి మోడల్‌ను అది స్వయంగా ఎంబెడ్ చేసిన కార్పస్‌తోనే మూల్యాంకనం చేశాయి. షేర్డ్ ఎంబెడ్డింగ్ స్పేస్ ఈ అవసరం కాదని సూచిస్తుంది: 9B మోడల్ ద్వారా ఇండెక్స్ చేసిన కార్పస్‌ను 0.6B మోడల్‌తో ఎంబెడ్ చేసిన క్వెరీలతో శోధించవచ్చు. ఇండెక్సింగ్ ఒకసారి జరిగే ఖర్చు, కార్పస్ జీవనకాలంలో విస్తరించబడే కాబట్టి, మరియు క్వెరీ ఎంబెడ్డింగ్ ప్రతి అభ్యర్థనలో లేటెన్సీ-క్రిటికల్ మార్గంలో నడుస్తుంది కాబట్టి, ప్రొడక్షన్ డిప్లాయ్‌మెంట్‌లు ఎక్కువగా దీనినే ఉపయోగిస్తాయని మేము ఆశిస్తున్నాము.

క్వెరీ సమయాన 9B మోడల్‌ను నడపలేని డిప్లాయ్‌మెంట్ లేకపోతే, అది కూడా 0.6B మోడల్‌తోనే ఇండెక్స్ చేస్తుంది, అందువల్ల ఆ సమమిత 0.6B కాన్ఫిగరేషన్ సంబంధిత పోలికా బిందువుగా ఉంటుంది. మేము పైగా ఉపయోగించిన 72 డొమైన్-నిర్దిష్ట బెంచ్‌మార్క్‌లు మరియు ViDoRe v3 ఇమేజ్ రిట్రీవల్‌పై మూల్యాంకనం చేస్తున్నాము. క్వెరీలను pplx-embed-v2-late-0.6bతో ఎంబెడ్ చేస్తాము, మరియు కార్పస్‌ను ఏది ఎంబెడ్ చేసిందో మాత్రమే మారుస్తాము.

9B మోడల్‌తో ఇండెక్సింగ్ చేయడం ఒక కఠినమైన మెరుగుదల. డొమైన్-నిర్దిష్ట బెంచ్‌మార్క్‌లపై, అసమమిత కాన్ఫిగరేషన్ సగటున 1.6pp లాభాన్ని ఇస్తుంది. ViDoRe v3 ఇమేజ్ రిట్రీవల్‌పై, ఇది 63.5% స్కోర్ చేస్తుంది, రెండు వైపులా 0.6B మోడల్‌తో ఉన్నప్పుడు 62.3% నుండి పెరిగింది, అంటే 1.2 శాతం పాయింట్ల లాభం. క్వెరీ-ఎన్‌కోడింగ్ ఖర్చు సమమిత 0.6B మరియు అసమమిత కాన్ఫిగరేషన్‌ల మధ్య మారదు, ఎందుకంటే రెండింటిలోనూ అదే 0.6B మోడల్ క్వెరీని ఎన్‌కోడ్ చేస్తుంది; అదనపు డాక్యుమెంట్-ఎన్‌కోడింగ్ ఖర్చు ఇండెక్సింగ్ సమయంలో వస్తుంది.

రెండు వైపులా 9B మోడల్‌ను నడపడం ఇంకా మెరుగ్గా ఉంటుంది, డొమైన్-నిర్దిష్ట బెంచ్‌మార్క్‌లపై సగటున 81.3% సాధిస్తుంది. కాబట్టి అసమమిత కాన్ఫిగరేషన్ టెక్స్ట్‌పై రెండు మోడళ్ల మధ్య నాణ్యత తేడాలో సుమారు సగాన్ని, అదనపు క్వెరీ-ఎన్‌కోడింగ్ ఖర్చు లేకుండా, తిరిగి పొందుతుంది. ఏ కాన్ఫిగరేషన్‌ను ఎంచుకోవాలో 9B మోడల్‌ను క్వెరీ సమయాన భరించగలమా అనే దానిపై ఆధారపడి ఉంటుంది; అది సాధ్యం కాకపోతే, అసమమిత సెటప్ దాని లాభంలో గణనీయమైన భాగాన్ని అందిస్తుంది.

విస్తరించు

ఏజెంటిక్ రిట్రీవల్

ఏజెంటిక్ రిట్రీవల్ కూడా మల్టీ-వెక్టర్ ఎంబెడ్డింగ్‌లు ప్రత్యేకంగా బలంగా ఉండే మరో సెట్టింగ్. BrowseComp+లో, ఒక LLM (GPT-OSS-120B మన సందర్భంలో) సంక్లిష్ట యూజర్ క్వెరీకి సంబంధించిన సమాచారాన్ని కార్పస్‌లో శోధించడానికి ఎంబెడ్డింగ్ మోడల్‌ను ఉపయోగిస్తుంది, మరియు రెండవ LLM వచ్చిన సమాధానం ground truth‌తో సరిపోతుందా అని తీర్పు ఇస్తుంది. మా 9B మోడల్ 64.0% ఖచ్చితత్వాన్ని సాధించి, తదుపరి ఉత్తమ ColBERT మోడల్‌ను 4.9ppతో మరియు తదుపరి ఉత్తమ డెన్స్ మోడల్‌ను 8.7ppతో మించింది, అదే సమయంలో మా 0.6B తప్ప మిగతా ఏ మోడల్‌ కంటే తక్కువ శోధనలు జారీ చేసింది. 0.6B మోడల్ కూడా మా కుటుంబం వెలుపల ఉన్న ప్రతి మోడల్ కంటే ముందుంది.

విస్తరించు

MADQA 18,000 కంటే ఎక్కువ పేజీల్లో విస్తరించిన 800 విభిన్న వాస్తవ-ప్రపంచ PDFsపై ఏజెంటిక్ ప్రశ్న-సమాధానాన్ని పరీక్షిస్తుంది, సాధారణ జ్ఞానం ద్వారా సమాధానమివ్వలేని 500 మానవ-రచిత ప్రశ్నలతో. ఒక ఏజెంట్ (మన సందర్భంలో Gemini 3.5 Flash) పరీక్షలో ఉన్న retrieverతో కలెక్షన్‌ను శోధించి, annotated evidence pagesతో పోల్చి సమాధాన ఖచ్చితత్వం మరియు page F1పై స్కోర్ చేయబడుతుంది. మా 9B మోడల్ 92.4% ఖచ్చితత్వంతో retrievers మధ్య కొత్త state of the art‌ను స్థాపించి, Mixedbread retrieverను ఉపయోగించిన అదే agent కంటే 3.5pp ముందుంది; మా 0.6B మోడల్ 90.1%కు చేరుకుంది. మా retriever Mixedbread Agentic Search‌తో కూడా పోటీపడగలిగే ఫలితాలను సాధిస్తుందని కూడా గమనిస్తున్నాము, ఇది వారి search systemలో ఒక search sub-agent‌ను ఉపయోగించి ప్రధాన agent నుండి ప్రతి కాల్‌కు అనేక searches‌ను ప్రణాళిక చేసి నడుపుతుంది (93.4%, మా confidence intervalలో).

విస్తరించు

ప్రారంభించడం

మా 0.6B మరియు 9B మోడళ్లు రెండూ Hugging Faceలో అందుబాటులో ఉన్నాయి మరియు sentence-transformers >= 6.0.0 మరియు transformers >= 5.4.0. తో out of the box అనుకూలంగా ఉన్నాయి. మరిన్ని సాంకేతిక వివరాలు మరియు పూర్తి మూల్యాంకన ఫలితాలు ఈ సంవత్సరం చివర్లో ఒక సాంకేతిక నివేదికలో ప్రచురించబడతాయి.

మేము ప్రస్తుతం మా డెన్స్ ఎంబెడ్డింగ్ మోడల్‌ల తదుపరి తరానికి శిక్షణ ఇస్తున్నాము, అలాగే Perplexity API Platformలో లేట్-ఇంటరాక్షన్, డెన్స్ మరియు కాంటెక్స్చువల్ ఎంబెడ్డింగ్‌లకు మద్దతును దశలవారీగా అందుబాటులోకి తీసుకువస్తాము.

ఉల్లేఖనం

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}