ಒಂದೇ vector ಅನ್ನು ಮೀರಿದ multimodal embeddings

ಫೆಬ್ರವರಿಯಲ್ಲಿ pplx-embed-v1 ಬಿಡುಗಡೆ ಮಾಡಿದ ನಂತರದಿಂದ, ನಾವು ಹೊಸ ತಲೆಮಾರಿನ embedding ಮಾದರಿಗಳ ಮೇಲೆ ಕೆಲಸ ಮಾಡುತ್ತಿದ್ದೇವೆ. ಕಳೆದ ವಾರ, ನಾವು ನಮ್ಮ ಹೊಸ contextual embedding ಮಾದರಿ pplx-embed-v2-context ಅನ್ನು ಪರಿಚಯಿಸಿದ್ದೇವೆ. ಇಂದು, ನಾವು ಕುಟುಂಬವನ್ನು pplx-embed-v2-late ಜೊತೆಗೆ ವಿಸ್ತರಿಸುತ್ತಿದ್ದೇವೆ; ಇದು late-interaction ಮಾದರಿಗಳ ಸಂಗ್ರಹವಾಗಿದೆ. ಇನ್ನೂ ಬಲವಾದ retrieval ಸಾಮರ್ಥ್ಯಗಳ ಜೊತೆಗೆ, ಈ ಮಾದರಿಗಳು ಮೂರು ಮೂಲ ಲಕ್ಷಣಗಳನ್ನು ಸಂಯೋಜಿಸುವ ಮೊದಲವು:

• ಬಹು-ವೆಕ್ಟರ್ ಪ್ರತಿನಿಧಿಕೆಗಳು. ಪ್ರತಿಯೊಂದು ಇನ್‌ಪುಟ್ ಅನ್ನು ಒಂದೇ ವೆಕ್ಟರ್‌ಗೆ ಸಂಕುಚಿತಗೊಳಿಸುವ ಬದಲು, ಈ ಮಾದರಿಗಳು ಸೂಕ್ಷ್ಮ ಮಟ್ಟದ ಪ್ರಶ್ನೆ–ದಾಖಲೆ ಹೋಲಿಕೆಗಳಿಗಾಗಿ ಟೋಕನ್-ಮಟ್ಟದ ವೆಕ್ಟರ್‌ಗಳನ್ನು ಉಳಿಸಿಕೊಳ್ಳುತ್ತವೆ. ಇದರ ফলে ಪ್ರಶ್ನೆಯ ವಿಭಿನ್ನ ಭಾಗಗಳು ದಾಖಲೆಯ ವಿಭಿನ್ನ ಭಾಗಗಳಿಗೆ ಹೊಂದಿಕೊಳ್ಳಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ, ವಿಶೇಷವಾಗಿ ಬಹುಮಾದರಿ ಹಿಂಪಡೆಯುವಿಕೆಗೆ ಮೌಲ್ಯಯುತವಾದ ವಿವರಗಳನ್ನು ಸಂರಕ್ಷಿಸುತ್ತದೆ.
• ಪಠ್ಯ ಮತ್ತು ಚಿತ್ರ ಎರಡೂ modalityಗಳಿಗೆ ಬೆಂಬಲ. ನಮ್ಮ ಹಿಂದಿನ ಮಾದರಿಗಳ text-to-text retrieval ಸಾಮರ್ಥ್ಯಗಳ ಜೊತೆಗೆ, ಈ ಹೊಸ ಮಾದರಿಗಳು text-to-image retrieval ನ್ನೂ ನಿರ್ವಹಿಸುತ್ತವೆ, OCR ಅಥವಾ parsed text ಅಗತ್ಯವಿಲ್ಲದೇ render ಮಾಡಿದ PDF ಪುಟಗಳನ್ನು ನೇರವಾಗಿ ಹುಡುಕಲು ಅವಕಾಶ ನೀಡುತ್ತವೆ.
• ಹಂಚಿಕೊಂಡ embedding space. ವಿಭಿನ್ನ quality, latency, ಮತ್ತು compute ಅಗತ್ಯಗಳನ್ನು ಬೆಂಬಲಿಸಲು ನಾವು 0.6B ಮತ್ತು 9B ಎಂಬ ಎರಡು ಮಾದರಿ ಗಾತ್ರಗಳನ್ನು ಬಿಡುಗಡೆ ಮಾಡುತ್ತಿದ್ದೇವೆ. ಪ್ರತಿಯೊಂದನ್ನೂ ಸ್ವತಂತ್ರವಾಗಿ ಬಳಸಬಹುದು, ಆದರೆ ಹಂಚಿಕೊಂಡ embedding space ಚಿಕ್ಕ ಮಾದರಿಯು ದೊಡ್ಡ ಮಾದರಿಯಿಂದ ರಚಿಸಲಾದ index ಅನ್ನು query ಮಾಡಲು ಸಹ ಅವಕಾಶ ನೀಡುತ್ತದೆ, ಹೆಚ್ಚಿನ ಗುಣಮಟ್ಟದ document embeddings ಅನ್ನು ಕಡಿಮೆ ವೆಚ್ಚದ, ವೇಗವಾದ query-time inference ಜೊತೆಗೆ ಸಂಯೋಜಿಸುತ್ತದೆ.

ಈ ಹೊಸ ಮಾದರಿಗಳು ಹಲವು ದೃಶ್ಯ ಮತ್ತು ಪಠ್ಯ ಮರುಪಡೆಯುವಿಕೆ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಲ್ಲಿ ಹಾಗೂ ಏಜೆಂಟಿಕ್ ಪ್ರಶ್ನೋತ್ತರ ಕಾರ್ಯಗಳಲ್ಲಿ ಅತ್ಯಾಧುನಿಕ ಫಲಿತಾಂಶಗಳನ್ನು ಸಾಧಿಸುತ್ತವೆ. ಗಮನಾರ್ಹವಾಗಿ, ಪ್ರಮುಖ ದೃಶ್ಯ ಡಾಕ್ಯುಮೆಂಟ್ ಮರುಪಡೆಯುವಿಕೆ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಆದ ViDoRe (V3) ನಲ್ಲಿ, ನಮ್ಮ 0.6B ಮಾದರಿಯು ಐದು ಪಟ್ಟು ಹೆಚ್ಚು ಸಕ್ರಿಯ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳನ್ನು ಹೊಂದಿರುವ ಮಾದರಿಗಳಿಗೆ ಸರಿಸಾಟಿಯಾಗಿದೆ. ಎರಡೂ ಮಾದರಿಗಳು Hugging Face ನಲ್ಲಿ ಸಾರ್ವಜನಿಕವಾಗಿ ಲಭ್ಯವಿವೆ. ವಿಧಾನ ಮತ್ತು ಮೌಲ್ಯಮಾಪನ ಫಲಿತಾಂಶಗಳ ಕುರಿತು ನಮ್ಮ ತಾಂತ್ರಿಕ ವರದಿ ಹೆಚ್ಚಿನ ವಿವರಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ.

ಏಕ vector ಗಳಿಂದ late interaction ವರೆಗೆ

ಪುನಃಪ್ರಾಪ್ತಿ ವ್ಯವಸ್ಥೆಗಳು ದಕ್ಷತೆ ಮತ್ತು ಪ್ರಶ್ನೆ ಮತ್ತು ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳ ನಡುವಿನ ಸಂವಹನದ ಆಳದ ನಡುವೆ ಸಮತೋಲನವನ್ನು ಕಂಡುಹಿಡಿಯಬೇಕು. Dense embedding ಮಾದರಿಗಳು ಪ್ರತಿಯೊಂದು ಪ್ರಶ್ನೆ ಮತ್ತು ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ಸ್ವತಂತ್ರವಾಗಿ ಸಂಕೇತಗೊಳಿಸಿ, ಕಡಿಮೆ ವೆಚ್ಚದ inner product ಮೂಲಕ ಅವುಗಳನ್ನು ಹೋಲಲು ಅವಕಾಶ ಮಾಡಿಕೊಡುತ್ತವೆ. ಇದು ಅಬ್ಜಾರುಗಳು ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳ ಮೇಲೆ approximate nearest-neighbor (ANN) ಹುಡುಕಾಟವನ್ನು ಪ್ರಾಯೋಗಿಕವಾಗಿಸುತ್ತದೆ. ಇನ್ನೊಂದು ತುದಿಯಲ್ಲಿ, cross-encoders ಪ್ರಶ್ನೆ ಮತ್ತು ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ಒಟ್ಟಿಗೆ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುತ್ತವೆ, ಇದರಿಂದ ಸಮೃದ್ಧ ಸಂವಹನ ಸಾಧ್ಯವಾಗುತ್ತದೆ, ಆದರೆ ಪ್ರತಿಯೊಂದು candidate ಗಾಗಿಯೂ ಪ್ರತ್ಯೇಕ forward pass ಅಗತ್ಯವಿರುತ್ತದೆ. ದೊಡ್ಡ corpus‌ನ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳ ಮೇಲೆ ಪ್ರತಿಯೊಂದು ಹುಡುಕಾಟಕ್ಕೆ ಈ ಗಣನೆ ಅನ್ವಯಿಸುವುದು ಅತ್ಯಂತ ದುಬಾರಿಯಾಗುತ್ತದೆ, ಆದ್ದರಿಂದ cross-encoders ಸಾಮಾನ್ಯವಾಗಿ ಸಣ್ಣ ಸಂಖ್ಯೆಯ retrieved candidates‌ಗಳನ್ನು rerank ಮಾಡಲು ಮಾತ್ರ ಬಳಸಲಾಗುತ್ತವೆ.

Dense embeddings‌ನ ಮಿತಿಗಳು

ಒಂದು ಸ್ಥಿರ ಗಾತ್ರದ vector ಬಳಸಿ ಸಂಪೂರ್ಣ ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ಪ್ರತಿನಿಧಿಸುವುದು ಮಾಹಿತಿಯ bottleneck ಅನ್ನು ಸೃಷ್ಟಿಸುತ್ತದೆ. ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳು ಉದ್ದವಾಗುತ್ತಾ ಹೆಚ್ಚು ವಿಷಯಗಳನ್ನು ಒಳಗೊಂಡಂತೆ, ಒಂದೇ vector ಒಳಗೆ ಹೆಚ್ಚು ವಿಷಯವನ್ನು ಸಂಕೋಚಿಸಲು ಮಾದರಿಯ ಮೇಲೆ ಒತ್ತಡ ಹೆಚ್ಚುತ್ತದೆ, ಪ್ರಶ್ನೆಗೆ ಸಂಬಂಧಿಸಿದ ಎಲ್ಲವನ್ನೂ ಸಂರಕ್ಷಿಸುವುದು ಕಷ್ಟವಾಗುತ್ತದೆ. Chunking ಈ ಒತ್ತಡವನ್ನು ಕಡಿಮೆ ಮಾಡಬಹುದು, ಆದರೆ ಅದು ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ತುಂಡುಮಾಡುತ್ತದೆ ಮತ್ತು ಒಟ್ಟಿಗೆ ಅರ್ಥವಾಗುವ ಮಾಹಿತಿಯನ್ನು ಪ್ರತ್ಯೇಕಿಸಬಹುದು; ಈ ಸಮಸ್ಯೆಯನ್ನು ನಾವು ನಮ್ಮ contextual embedding model ಜೊತೆಗೂ ಸರಿಪಡಿಸುತ್ತೇವೆ. Multimodal ಸಂದರ್ಭಗಳಲ್ಲಿ ಈ bottleneck ಮತ್ತಷ್ಟು ತೀವ್ರವಾಗುತ್ತದೆ, ಏಕೆಂದರೆ ಚಿತ್ರಗಳ ಮಾಹಿತಿ ಸಾಂದ್ರತೆಗೆ ಇನ್ನಷ್ಟು ಸಂಕೋಚನೆ ಅಗತ್ಯವಾಗುತ್ತದೆ.

Single-vector dense retrieval ಸಹ ಪ್ರತಿಯೊಂದು ಹೋಲಿಕೆಯನ್ನು ಎರಡು vector ಗಳ ನಡುವಿನ inner product ಗೆ ಇಳಿಸುತ್ತದೆ, ಇದರಿಂದ scoring function ನ ಅಭಿವ್ಯಕ್ತಿಶೀಲತೆ ಸೀಮಿತವಾಗುತ್ತದೆ. ಸ್ಥಿರ embedding dimension ಮತ್ತು ಸಾಕಷ್ಟು ದೊಡ್ಡ corpus ಇದ್ದಾಗ, ತರಬೇತಿ ಹೇಗಿದ್ದರೂ ಕೆಲವು query-document ಜೋಡಿಗಳಾದ್ಯಂತ ಅಂಕ ಮಾದರಿಗಳನ್ನು ಉತ್ಪಾದಿಸುವುದು ಅಸಾಧ್ಯವಾಗುತ್ತದೆ. LIMIT benchmark ಈ ಸಿದ್ಧಾಂತಾತ್ಮಕ ಚಿಂತೆಯನ್ನು single-vector retrieval ಗೆ ಸ್ಪಷ್ಟವಾದ stress test ಆಗಿ ಪರಿವರ್ತಿಸುತ್ತದೆ.

ತಡವಾದ ಪರಸ್ಪರ ಕ್ರಿಯೆ ಆಧಾರಿತ ಮಾಹಿತಿ ಮರುಪಡೆಯುವಿಕೆ (Late-interaction retrieval)

Late-interaction ಮಾದರಿಗಳು ಕಡಿಮೆ ವೆಚ್ಚದ dense embedding ಮಾದರಿಗಳು ಮತ್ತು ಹೆಚ್ಚು ಅಭಿವ್ಯಕ್ತಿಶೀಲ cross-encoders ನಡುವಿನ ಜಾಗವನ್ನು ವಹಿಸುತ್ತವೆ. Dense ಮಾದರಿಗಳಂತೆ, ಅವು ಪ್ರಶ್ನೆಯಿಂದ ಸ್ವತಂತ್ರವಾಗಿ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ಸಂಕೇತಗೊಳಿಸುತ್ತವೆ, ಇದರಿಂದ document representations ಅನ್ನು offline ನಲ್ಲಿ ಗಣಿಸಬಹುದು. ಆದರೆ ಪ್ರತಿಯೊಂದು ಇನ್‌ಪುಟ್ ಅನ್ನು ಒಂದೇ vector ಗೆ ಇಳಿಸುವ ಬದಲು, ಅವು ಹಲವು vector ಗಳನ್ನು ಉಳಿಸಿಕೊಂಡು, ಪ್ರಶ್ನೆಯನ್ನು ಡಾಕ್ಯುಮೆಂಟ್‌ನೊಂದಿಗೆ ಹೋಲಿಸುವಾಗ ಹೆಚ್ಚು ಸಮೃದ್ಧ scoring function ಅನ್ನು ಬಳಸುತ್ತವೆ.

ನಮ್ಮ pplx-embed-v2-late ಮಾದರಿಗಳು ColBERT ಶೈಲಿಯ architecture ಅನ್ನು ಬಳಸುತ್ತವೆ, ಇನ್‌ಪುಟ್‌ನ ಪ್ರತಿಯೊಂದು token ಗೆ 128-dimensional embeddings ಅನ್ನು ಉತ್ಪಾದಿಸುತ್ತವೆ. ನಾವು MaxSim ಅನ್ನು ಬಳಸಿ query-document ಜೋಡಿಗಳನ್ನು ಅಂಕಿಸುತ್ತೇವೆ; ಪ್ರತಿಯೊಂದು ಪ್ರಶ್ನೆ token ಗಾಗಿ, ಮಾದರಿ ಅತ್ಯುನ್ನತ-ಅಂಕ ಪಡೆದ ಡಾಕ್ಯುಮೆಂಟ್ token ಅನ್ನು ಆಯ್ಕೆಮಾಡಿ, ಅಂತಿಮ ಅಂಕವನ್ನು ಉತ್ಪಾದಿಸಲು token-ಪ್ರತಿ ಗರಿಷ್ಠ ಸಾಮ್ಯತೆಗಳನ್ನು ಸೇರಿಸುತ್ತದೆ. ಇದು ಪ್ರಶ್ನೆಯ ವಿಭಿನ್ನ ಭಾಗಗಳು ಡಾಕ್ಯುಮೆಂಟ್‌ನ ವಿಭಿನ್ನ ಭಾಗಗಳಿಗೆ ಹೊಂದಿಕೊಳ್ಳಲು ಅವಕಾಶ ನೀಡುತ್ತದೆ, ಹೆಚ್ಚು ಬಲವಾದ token ಹೊಂದಾಣಿಕೆಗಳು ಅಂಕಕ್ಕೆ ಹೆಚ್ಚು ಕೊಡುಗೆ ನೀಡುತ್ತವೆ.

ವಿಸ್ತರಿಸಿ

ಈ ಹೆಚ್ಚುವರಿ ಅಭಿವ್ಯಕ್ತಿಶೀಲತೆ ಹೆಚ್ಚಿನ ಸಂಗ್ರಹಣೆ ಮತ್ತು ಅಭ್ಯರ್ಥಿ-ಸ್ಕೋರಿಂಗ್ ವೆಚ್ಚಗಳೊಂದಿಗೆ ಬರುತ್ತದೆ. ಡೆನ್ಸ್ ರಿಟ್ರೀವಲ್ ಪ್ರತಿ ದಾಖಲೆಗೆ ಒಂದು ವೆಕ್ಟರ್ ಅನ್ನು ಸಂಗ್ರಹಿಸಿ, ಒಂದೇ ಇನರ್ ಪ್ರಾಡಕ್ಟ್ ಮೂಲಕ ಅಭ್ಯರ್ಥಿಗೆ ಅಂಕ ನೀಡುತ್ತದೆ; ಲೇಟ್ ಇಂಟರ್ಯಾಕ್ಷನ್ ದಾಖಲೆಯ ಟೋಕನ್‌ಗಳಿಗೆ ವೆಕ್ಟರ್‌ಗಳನ್ನು ಸಂಗ್ರಹಿಸಿ, ಅನೇಕ ಟೋಕನ್-ನಿಂದ-ಟೋಕನ್ ಸಾದೃಶ್ಯಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತದೆ. ದಾಖಲೆಯ ಉದ್ದ ಹೆಚ್ಚಾದಂತೆ ವೆಚ್ಚವೂ ಹೆಚ್ಚುತ್ತದೆ; ಆದ್ದರಿಂದ ಲೇಟ್ ಇಂಟರ್ಯಾಕ್ಷನ್‌ಗೆ ಒಂದು-ವೆಕ್ಟರ್ ANN ರಿಟ್ರೀವಲ್‌ನಿಗಿಂತ ಬೇರೆ ಇಂಡೆಕ್ಸಿಂಗ್ ಮತ್ತು ಸರ್ವಿಂಗ್ ವಿನಿಮಯ-ತೂಕ ಅಗತ್ಯವಿರುತ್ತದೆ. ಬದಲಾಗಿ, ಗುಣಮಟ್ಟಕ್ಕೆ ಸಂವೇದನಾಶೀಲ ಕಾರ್ಪಸ್‌ಗಳಿಗೆ ಇದು ಇನ್ನಷ್ಟು ಸಮೃದ್ಧವಾದ ಮೊದಲ ಹಂತದ ಹಿಂಪಡೆಯುವಿಕೆಯನ್ನು ಒದಗಿಸುತ್ತದೆ ಮತ್ತು ದೊಡ್ಡ ವೆಬ್-ಸ್ಕೇಲ್ ಹಿಂಪಡೆಯುವಿಕೆ ಪೈಪ್‌ಲೈನ್‌ನಲ್ಲಿ ನಂತರದ ಹಂತವಾಗಿಯೂ ಸೇವೆ ಸಲ್ಲಿಸಬಹುದು.

ಒಂದು ಮಾದರಿ, ಹಲವು modalityಗಳು

ಸಂವಹನದ ಈ ಉತ್ತಮ ಆಳವು long-context, agentic ಮತ್ತು out-of-domain retrieval ಸೇರಿದಂತೆ ವಿವಿಧ ಕಾರ್ಯಗಳಿಗೆ ಅತ್ಯಂತ ಉಪಯುಕ್ತವೆಂದು ತೋರಿಸಲಾಗಿದೆ. ಈ ವ್ಯತ್ಯಾಸ multimodal retrieval ನಲ್ಲಿ ವಿಶೇಷವಾಗಿ ಸ್ಪಷ್ಟವಾಗುತ್ತದೆ, ಇದನ್ನು ViDoRe(V3) leaderboard‌ನಲ್ಲಿ ColPali ಮಾದರಿಗಳ ದೊಡ್ಡ ಮುನ್ನಡೆ ತೋರಿಸುತ್ತದೆ.

ವಾಸ್ತವಿಕ ಕಾರ್ಪಸ್‌ಗಳು ಶುದ್ಧ ಪಠ್ಯದಿಂದ ಮಾತ್ರ ಕೂಡಿರುವುದಿಲ್ಲ. ಅವು PDFಗಳು, ಸ್ಲೈಡ್ ಡೆಕ್‌ಗಳು, screenshot‌ಗಳು, scan ಮಾಡಿದ ಪುಟಗಳು, charts, ಮತ್ತು tables ರೂಪದಲ್ಲಿ ಬರುತ್ತವೆ. ಸಾಂಪ್ರದಾಯಿಕ pipeline ಈ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು parse ಮಾಡಿ, OCR ಅಥವಾ captioning ಅನ್ನು ಅನ್ವಯಿಸಿ, ಮತ್ತು ಫಲಿತಾಂಶದ ಪಠ್ಯವನ್ನು ಹುಡುಕುತ್ತದೆ; ಇದು ದುಬಾರಿ ಮತ್ತು ಮಾಹಿತಿಯನ್ನು ಕಳೆದುಕೊಳ್ಳುವ ಪ್ರಕ್ರಿಯೆ: ಇದು OCR ದೋಷಗಳನ್ನು ಪರಿಚಯಿಸಬಹುದು ಮತ್ತು layout, table structure, figures, ಮತ್ತು spatial ಸಂಬಂಧಗಳನ್ನು ಕೈಬಿಡುತ್ತದೆ. Visual document search ಆ ಹಂತವನ್ನು ಬಿಟ್ಟು, render ಮಾಡಿದ ಪುಟವನ್ನು ನೇರವಾಗಿ ಪ್ರತಿನಿಧನಾ space ಗೆ projection ಮಾಡಿ, ಅಲ್ಲಿ ಪಠ್ಯ ಪ್ರಶ್ನೆಗಳು ಅದನ್ನು ಹುಡುಕಬಹುದು.

ನಮ್ಮ ಹೊಸ ಮಾದರಿ ಕುಟುಂಬವು multi-modal ಹುಡುಕಾಟಕ್ಕಾಗಿ multi-vector ಮಾದರಿಗಳ ಬಲವಾದ ಕಾರ್ಯಕ್ಷಮತೆಯ ಮೇಲೆ ನಿರ್ಮಿತವಾಗಿದೆ ಮತ್ತು ಅತ್ಯಂತ ವ್ಯಾಪಕವಾಗಿ ಬಳಸಲಾಗುವ document search ಬೆಂಚ್‌ಮಾರ್ಕ್ ViDoRe(V3) ನಲ್ಲಿ ಸಣ್ಣ ಮಾದರಿಗಳಿಗೆ Pareto frontier ಅನ್ನು ಮುನ್ನಡೆಸುತ್ತದೆ. Document renderings ದೃಶ್ಯ ಇನ್‌ಪುಟ್‌ನ ಅತ್ಯಂತ ಸಾಮಾನ್ಯ ರೂಪವಾಗಿರುತ್ತದೆ ಎಂದು ನಾವು ನಿರೀಕ್ಷಿಸಿದರೂ, ನಮ್ಮ ಮಾದರಿಗಳು ದೃಶ್ಯಾವಳಿ ಫೋಟೋಗಳಂತಹ natural images ಮೇಲಿನ semantic image search ಅನ್ನು ಸಹ ಬೆಂಬಲಿಸುತ್ತವೆ.

ಒಂದುಗೂಡುವ ಮಾದರಿಗಳ ಕುಟುಂಬವನ್ನು ತರಬೇತಿ ಮಾಡುವುದು

ಹುಡುಕಾಟ ಮೂಲತಃ asymmetric ಆಗಿದೆ: indexing ಮತ್ತು query encoding ಗೆ ವಿಭಿನ್ನ operational constraints ಇವೆ. Indexing offline ನಲ್ಲಿ ನಡೆಯುತ್ತದೆ ಮತ್ತು ಸಮಾಂತರಗೊಳಿಸಬಹುದು, ಆದ್ದರಿಂದ ಅದರ compute ವೆಚ್ಚವನ್ನು ಅನೇಕ ಭವಿಷ್ಯದ ಹುಡುಕಾಟಗಳ ನಡುವೆ ಹಂಚಿಕೊಳ್ಳಬಹುದು. Query encoding ಪ್ರತಿಯೊಂದು ವಿನಂತಿಗೂ online ನಲ್ಲಿ ನಡೆಯುತ್ತದೆ, ಇದರಿಂದ ಅದು latency-ಸಂವೇದನಶೀಲವಾಗಿರುತ್ತದೆ ಮತ್ತು ಕೆಲವೊಮ್ಮೆ serving ಅಥವಾ edge-device ಮಿತಿಗಳಿಗೆ ಒಳಗಾಗುತ್ತದೆ. ನಮ್ಮ ಮಾದರಿ ಕುಟುಂಬವು ಈ asymmetry ಅನ್ನು ಬಳಸಿಕೊಂಡು, retrieval pipeline ನ ಪ್ರತಿಯೊಂದು ಬದಿಗೂ ಹೊಂದಿಕೊಳ್ಳುವ ಗಾತ್ರಗಳನ್ನು ನೀಡುತ್ತದೆ.

ನಾವು 18B teacher ಅನ್ನು contrastive ರೀತಿಯಲ್ಲಿ ತರಬೇತಿ ಮಾಡಿ, ನಂತರ ಅದನ್ನು ಪ್ರತ್ಯೇಕವಾಗಿ 9B ಮತ್ತು 0.6B students ಗೆ distill ಮಾಡುತ್ತೇವೆ. ಪ್ರತಿ student ಅನ್ನು teacher ನ ranking distribution ಅನ್ನು ಪುನರುತ್ಪಾದಿಸಲು ಮಾತ್ರ ತರಬೇತಿ ಮಾಡುವ ಬದಲು, ನಾವು LEAF-ಶೈಲಿಯ representation distillation ಬಳಸುತ್ತೇವೆ: ಪ್ರತಿಯೊಂದು ಇನ್‌ಪುಟ್ token ಗಾಗಿ, ನಾವು student ನ output embedding ಅನ್ನು teacher‌ನದ್ದಿನೊಂದಿಗೆ align ಮಾಡುತ್ತೇವೆ. Representation-space distillation ಅನ್ನು ಹಿಂದೆ dense, single-vector ಮಾದರಿಗಳಲ್ಲಿ ಬಳಸಿದ್ದರೂ, ನಾವು ಅದನ್ನು late interaction ಗೆ ವಿಸ್ತರಿಸುತ್ತೇವೆ, ಅಲ್ಲಿ alignment ಗುರಿ ಉಳಿಸಿಕೊಂಡಿರುವ ಪ್ರತಿಯೊಂದು token ಗಾಗಿ ಒಂದು vector ಆಗಿರುತ್ತದೆ.

ಫಲವಾಗಿ, ಬಿಡುಗಡೆ ಮಾಡಿದ ಎರಡೂ checkpoints ಒಂದೇ multi-vector embedding space ಅನ್ನು ಹಂಚಿಕೊಳ್ಳುತ್ತವೆ. ಇದು cross-model retrieval ಅನ್ನು ಸಾಧ್ಯವಾಗಿಸುತ್ತದೆ, ಹೆಚ್ಚುವರಿ deployment ಆಯ್ಕೆಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ.

• ಗರಿಷ್ಠ ಗುಣಮಟ್ಟ: ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳು ಮತ್ತು ಪ್ರಶ್ನೆಗಳನ್ನು 9B ಮಾದರಿಯಿಂದ encode ಮಾಡಿ.
• ಗರಿಷ್ಠ ದಕ್ಷತೆ: 100% local inferenceಗಾಗಿ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳು ಮತ್ತು ಪ್ರಶ್ನೆಗಳನ್ನು 0.6B ಮಾದರಿಯಿಂದ encode ಮಾಡಿ
• ಕಡಿಮೆ-ವಿಳಂಬ ಹಿಂಪಡೆಯುವಿಕೆ: 9B ಮಾದರಿಯೊಂದಿಗೆ ಕಾರ್ಪಸ್ ಇಂಡೆಕ್ಸ್ ಅನ್ನು ನಿರ್ಮಿಸಿ, ನಂತರ ಇಂಡೆಕ್ಸ್-ಸಮಯದ ಗಣನೆಗೆ ಲಾಭ ಪಡೆಯುವಾಗಲೇ ಪ್ರಶ್ನೆ ಮಾಡುವಿಕೆ ವೇಗವಾಗಿರಲು 0.6B ಮಾದರಿಯೊಂದಿಗೆ ನೇರ ಪ್ರಶ್ನೆಗಳನ್ನು ಎನ್‌ಕೋಡ್ ಮಾಡಿ.
• ಸ್ಥಳೀಯ–ಕ್ಲೌಡ್ ಹಿಂಪಡೆಯುವಿಕೆ: 0.6B ಮಾದರಿಯನ್ನು ಸಾಧನದಲ್ಲೇ ಬಳಸಿಕೊಂಡು ಖಾಸಗಿ ಸ್ಥಳೀಯ ದಾಖಲೆಗಳು ಅಥವಾ ನೇರ ಪ್ರಶ್ನೆಗಳನ್ನು ಎನ್‌ಕೋಡ್ ಮಾಡಿ, ಮತ್ತು ಆ ಪ್ರತಿನಿಧಿಕೆಗಳನ್ನು ಕ್ಲೌಡ್‌ನಲ್ಲಿ ಆತಿಥ್ಯಗೊಳಿಸಲಾದ 9B ಇಂಡೆಕ್ಸ್‌ನ ಫಲಿತಾಂಶಗಳೊಂದಿಗೆ ಹೋಲಿಸಿ ಅಥವಾ ಮರ್ಜ್ ಮಾಡಿ.

latency-ಸಂವೇದನಶೀಲ ಪರಿಸ್ಥಿತಿಗಳಿಗಾಗಿ, ನಾವು 0.6B ಮಾದರಿಯನ್ನು edge devices ಮೇಲೂ ನಡೆಯಬಲ್ಲ ಹಗುರವಾದ query encoder ಆಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಿದ್ದೇವೆ. Qwen3.5-0.8B ರಿಂದ ಪ್ರಾರಂಭಿಸಿ, ನಾವು ಅದರ 24-layer text tower ಅನ್ನು 12 layers ಗೆ prune ಮಾಡಿದ್ದೇವೆ; ಇದರ ಫಲವಾಗಿ ಆ tower ನ non-embedding parameters 498M ರಿಂದ 240M ಗೆ ಇಳಿದಿವೆ. ಪರಿಣಾಮವಾಗಿ ದೊರಕಿದ ಮಾದರಿಯಲ್ಲಿ ಒಟ್ಟು 594M parameters ಇವೆ, ಆದರೆ ಅದರ ನಾಮಮಾತ್ರ ಗಾತ್ರ serving cost ಅನ್ನು ಹೆಚ್ಚಾಗಿ ತೋರಿಸುತ್ತದೆ: 100M ಅನ್ನು image encoding ಗೆ ಬಳಸಲಾಗುತ್ತದೆ, ಮತ್ತು 254M token-embedding table ನಲ್ಲಿ ಇರುತ್ತವೆ, ಇದರ runtime ಮೇಲೆ ಕಡಿಮೆ ಪರಿಣಾಮವಿದೆ. Text encoding ಗಾಗಿ ಕೇವಲ ಸುಮಾರು 240M parameters ಮತ್ತು image encoding ಗಾಗಿ 340M ಮಾತ್ರ ಸಕ್ರಿಯವಾಗುತ್ತವೆ, ಇದರಿಂದ 9B index ಗೆ ಹೊಂದಾಣಿಕೆಯನ್ನು ಉಳಿಸಿಕೊಂಡು substantially smaller model ನ serving cost ಅನ್ನು ಈ ಮಾದರಿ ನೀಡುತ್ತದೆ.

ನಾವು ಇದೇ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಬಳಸಿಕೊಂಡು 27B backbone ನಿಂದ ನಮ್ಮ 18B teacher ಅನ್ನು ನಿರ್ಮಿಸಿದ್ದೇವೆ, ಇದು ಅದರಿಂದ distill ಮಾಡುವ ವೆಚ್ಚವನ್ನು signal ಅನ್ನು ದುರ್ಬಲಗೊಳಿಸದೆ ಬಹಳವಾಗಿ ಕಡಿಮೆ ಮಾಡಿತು.

ಬಹುಭಾಷಾ, ಬಹುಮಾಧ್ಯಮ, ಮಾಲಿನ್ಯರಹಿತ ತರಬೇತಿ ಡೇಟಾ

ನಾವು ಎರಡೂ ಮಾದರಿಗಳನ್ನು 46 ಭಾಷೆಗಳಲ್ಲಿ 594 datasets ಗಳಿಂದ ತೆಗೆದುಕೊಂಡ 186 million query-document ಜೋಡಿಗಳ dataset ಮೇಲೆ ತರಬೇತಿ ಮಾಡುತ್ತೇವೆ. ಈ ಜೋಡಿಗಳಲ್ಲಿ 88.3% text-to-text, 8.3% text-to-image, ಮತ್ತು 3.4% text-to-visual-document ಜೋಡಿಗಳಾಗಿವೆ. Dataset ಗಾತ್ರಕ್ಕೆ ಅನುಪಾತವಾಗಿ sampling ಮಾಡುವ ಬದಲು, ನಾವು ಪ್ರತಿ dataset ಗೆ sampling weight ನ್ನು ನಿಗದಿಪಡಿಸುತ್ತೇವೆ, ಇದರಿಂದ ಕ್ರಮವಾಗಿ 56.5%, 30.9%, ಮತ್ತು 12.6% ಗಳ ಹೆಚ್ಚು ಸಮತೋಲನದ training mixture ದೊರಕುತ್ತದೆ.

ನಮ್ಮ training data ಅನ್ನು ನಿರ್ಮಿಸುವಾಗ, benchmark scores ಅನ್ನು ಹೆಚ್ಚಿಸದೇ ನಮ್ಮ ಫಲಿತಾಂಶಗಳನ್ನು ನಿಷ್ಠೆಯಿಂದ ಪ್ರತಿನಿಧಿಸಲು ನಾವು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವ benchmarrk‌ಗಳಿಗೆ ಸಂಬಂಧಿಸಿದ ಯಾವುದೇ datasets ಅನ್ನು ಹೊರತುಪಡಿಸುತ್ತೇವೆ. ಈ ನಿರ್ಧಾರಕ್ಕೆ ಒಂದು trade-off ಇದೆ: ನಾವು ಹೊರಗಿಡಲು ಆಯ್ಕೆಮಾಡಿದ ಕೆಲವು datasets‌ಗಳಲ್ಲಿ ಉತ್ತಮ ಗುಣಮಟ್ಟದ data ಇದೆ, ಅದು ಅವು ಬಂದ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಹೊರತಾಗಿ ಇತರ tasks ಗಳಲ್ಲಿ ನಮ್ಮ ಮಾದರಿಯ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಉತ್ತಮಗೊಳಿಸಬಹುದಾಗಿತ್ತು. ಅಂತಿಮವಾಗಿ, ನಾವು ಆ ವೆಚ್ಚವನ್ನು ಸ್ವೀಕರಿಸಲು ನಿರ್ಧರಿಸಿದ್ದೇವೆ: ಅಭಿವೃದ್ಧಿಯ ಸಂದರ್ಭದಲ್ಲಿ, ಮತ್ತು models ಅನ್ನು ಹೋಲಿಸುವಾಗ ಬಳಕೆದಾರರಿಗೆ ಸಹ, ವಿಶ್ವಾಸಾರ್ಹ ಸಂಖ್ಯೆಗಳೇ ನಮಗೆ ಹೆಚ್ಚು ಉಪಯುಕ್ತ.

ಮೌಲ್ಯಮಾಪನ

ನಾವು ಪಠ್ಯ, visual-document, mixed-image, ಮತ್ತು agentic retrievalಗಳಾದ್ಯಂತ ಎರಡೂ ಮಾದರಿಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ. ಎರಡೂ ಮಾದರಿಗಳು Q2D-Web ಮತ್ತು BrowseComp+ ನಲ್ಲಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡಿದ baseline‌ಗಳನ್ನು ಮೀರಿಸುತ್ತವೆ, ಮತ್ತು visual-document retrieval ಮತ್ತು MADQA ನಲ್ಲಿ ಬಲವಾದ ಫಲಿತಾಂಶಗಳನ್ನು ಸಾಧಿಸುತ್ತವೆ.

ಪಠ್ಯ ಪುನಃಪ್ರಾಪ್ತಿ

ನಾವು ಮೂರು ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಲ್ಲಿ text-to-text retrieval ಅನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ:

• ಡೊಮೇನ್-ನಿರ್ದಿಷ್ಟ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳು: 72 MTEB-ಶೈಲಿಯ ಕಾರ್ಯಗಳ ಸಂಗ್ರಹ, ಐದು ಡೊಮೇನ್‌ಗಳಲ್ಲಿ 55 (finance, legal, health, conversation, tech), ಜೊತೆಗೆ 17 miscellaneous multilingual ಕಾರ್ಯಗಳು. ಈ ಸಂಗ್ರಹದಲ್ಲಿ FinQA, AILACasedocs ಮತ್ತು XLSum ಮುಂತಾದ ಕಾರ್ಯಗಳು ಸೇರಿವೆ. ಮೇಲೆಯೇ ವಿವರಿಸಿದಂತೆ, ಈ datasets‌ಗಳಲ್ಲಿ ಯಾವುದೂ ನಮ್ಮ training dataಯಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳುವುದಿಲ್ಲ.
• Q2D-Web: ನಮ್ಮ ವೆಬ್-ಸ್ಕೇಲ್ ಹಿಂಪಡೆಯುವಿಕೆ ಮಾನದಂಡ, ಸುಮಾರು 70,000 ಏಜೆಂಟ್-ಪುನರ್‌ರೂಪಿತ ಹುಡುಕಾಟ ಪ್ರಶ್ನೆಗಳೊಂದಿಗೆ, ಉತ್ಪಾದನಾ ಹುಡುಕಾಟ ಟ್ರಾಫಿಕ್‌ನಿಂದ ಪಡೆದ, 190M ವೆಬ್ ದಾಖಲೆಗಳ ಕಾರ್ಪಸ್‌ಮೇಲೆ. ಈ ಮಾನದಂಡವು ಉತ್ಪಾದನಾ-ಸಮಾನ ಪ್ರಶ್ನೆಗಳು ಮತ್ತು ದೊಡ್ಡ-ಪ್ರಮಾಣದ ಕಾರ್ಪಸ್‌ನ ಕಾರಣದಿಂದ, ಲಭ್ಯವಿರುವ ಇತರ ಹಿಂಪಡೆಯುವಿಕೆ ಮಾನದಂಡಗಳಿಗಿಂತ ನೈಜ-ಪ್ರಪಂಚದ ವೆಬ್ ಹಿಂಪಡೆಯುವಿಕೆಗೆ ಬಹಳ ಹತ್ತಿರವಾದ ಪರಿಸ್ಥಿತಿಯಲ್ಲಿ ಹಿಂಪಡೆಯುವಿಕೆ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಅಳೆಯುತ್ತದೆ.
• ViDoRe(V3) Markdown: ViDoRe(V3) ಸಾಮಾನ್ಯವಾಗಿ text-to-visual-document retrieval ಕಾರ್ಯವಾದರೂ, Markdown ಗೆ parse ಮಾಡಲಾದ corpus ಆವೃತ್ತಿಯನ್ನು ಬಳಸಿಕೊಂಡು ಇದನ್ನು ಪಠ್ಯ ಕಾರ್ಯವಾಗಿಯೂ ಮೌಲ್ಯಮಾಪನ ಮಾಡಬಹುದು, ಇದರಿಂದ ಚಿತ್ರ ಮತ್ತು ಪಠ್ಯ ಎರಡೂ modality ಗಳಲ್ಲಿ ಮಾಹಿತಿ-ಸಮೃದ್ಧ document retrieval ಅನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ.

ನಾವು ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು nDCG@10 ಮೂಲಕ ಅಳೆಯುತ್ತೇವೆ, ಆದರೆ Q2D-Web ನಲ್ಲಿ benchmark ನ ಮೊದಲ ಹಂತದ web-retrieval ಸಂದರ್ಭದ ಮೇಲೆ ಒತ್ತುವರಿಯಿರುವುದರಿಂದ Recall@1000 ಅನ್ನು ವರದಿ ಮಾಡುತ್ತೇವೆ. ನಮ್ಮ ಮೌಲ್ಯಮಾಪನಗಳಾದ್ಯಂತ, ನಾವು ವಿಭಿನ್ನ ಗಾತ್ರ ವರ್ಗಗಳಲ್ಲಿ ಉದ್ಯಮದ ಮುಂಚೂಣಿಯ embedding ಮಾದರಿಗಳೊಂದಿಗೆ ಹೋಲಿಕೆ ಮಾಡುತ್ತೇವೆ. ಪಠ್ಯ retrieval ಗಾಗಿ, nemotron-embed-8b, gemini-embedding-2, voyage-large-4, ಮತ್ತು qwen3-embed-8b ಅತಿ ಬಲವಾದ ಮತ್ತು ಅತ್ಯಂತ ವ್ಯಾಪಕವಾಗಿ ಬಳಸಲಾಗುವ dense ಸ್ಪರ್ಧಿಗಳನ್ನು ಪ್ರತಿನಿಧಿಸುತ್ತವೆ, ಆದರೆ voyage-4-nano ಮತ್ತು qwen3-embed-0.6b sub-billion parameter dense baseline‌ಗಳಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ. TopK ತನ್ನ ಫಲಿತಾಂಶಗಳನ್ನು ಪ್ರಕಟಿಸಿರುವ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಲ್ಲಿ ನಾವು TopK ನ ಇತ್ತೀಚೆಗೆ ಬಿಡುಗಡೆ ಮಾಡಿದ topk-embed-v1 late-interaction ಮಾದರಿಗಳೊಂದಿಗೆ ಸಹ ಹೋಲಿಕೆ ಮಾಡುತ್ತೇವೆ. ViDoRe(V3) ಅಂಕಗಳನ್ನು ಅವರ model cardಗಳಿಂದ 128 dimensions ನಲ್ಲಿ ತೆಗೆದುಕೊಳ್ಳಲಾಗಿದೆ, ಇದು ನಮ್ಮ token embeddings ನ ಅಗಲಕ್ಕೆ ಹೊಂದಿಕೆಯಾಗುತ್ತದೆ; Q2D-Web ಅಂಕವನ್ನು ನಮ್ಮ leaderboard ನಿಂದ ತೆಗೆದುಕೊಳ್ಳಲಾಗಿದೆ.

ಡೊಮೇನ್-ನಿರ್ದಿಷ್ಟ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಲ್ಲಿ, ನಮ್ಮ 9B ಮತ್ತು 0.6B ಮಾದರಿಗಳ ಸರಾಸರಿ ಕ್ರಮವಾಗಿ 81.3% ಮತ್ತು 78.0% ಆಗಿವೆ. ನಾವು ಮೌಲ್ಯಮಾಪನ ಮಾಡಿದ ಎಲ್ಲ ಮಾದರಿಗಳಲ್ಲಿ ನಮ್ಮ 9B ಮಾದರಿ ಅತ್ಯುನ್ನತ ಅಂಕವನ್ನು ಪಡೆಯುತ್ತದೆ, ಮುಂದಿನ ಅತ್ಯುತ್ತಮ ಮಾದರಿಯನ್ನು 1.6pp ಅಂತರದಿಂದ ಮೀರಿಸಿ. ನಮ್ಮ 0.6B ಮಾದರಿ ಇತರ ಉನ್ನತ-ಅಂಕ ಮಾದರಿಗಳೊಂದಿಗೆ ಸ್ಪರ್ಧಾತ್ಮಕವಾಗಿದೆ, gemini-embedding-2 ಗಿಂತ ಕೇವಲ 0.3pp ಹಿಂದೆ. ಮುಖ್ಯವಾಗಿ, ಈ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಕಾರ್ಯಗಳ ಡೇಟಾದ ಯಾವುದನ್ನೂ ನಾವು ತರಬೇತಿಗೆ ಬಳಸಿಲ್ಲವಾದ್ದರಿಂದ, ಈ ಡೊಮೇನ್-ನಿರ್ದಿಷ್ಟ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳು ನಮ್ಮ embedding ಮಾದರಿಗಳು ಹೊಸ ಡೊಮೇನ್‌ಗಳಿಗೆ ಸಾಮಾನ್ಯೀಕರಿಸಬಲ್ಲವೆಯೆಂಬುದನ್ನು ತೋರಿಸುತ್ತವೆ.

ವಿಸ್ತರಿಸಿ

ViDoRe(V3) Markdown ಕಾರ್ಯದಲ್ಲಿ ನಮ್ಮ 0.6B ಮಾದರಿಯ ಆಪೇಕ್ಷಿಕ ಬಲ ಇನ್ನೂ ಹೆಚ್ಚಾಗುತ್ತದೆ; ಅದರ 61.2% ಅಂಕವು ನಮ್ಮ 9B ಮಾದರಿಯನ್ನು ಹೊರತುಪಡಿಸಿ ಇತರ ಎಲ್ಲ ಮಾದರಿಗಳನ್ನು ಮೀರಿಸುತ್ತದೆ, ನಮ್ಮ 9B ಮಾದರಿ 64.7% ಅಂಕ ಪಡೆದಿದೆ. ಮುಂದಿನ ಅತ್ಯುತ್ತಮ ಬಾಹ್ಯ ಮಾದರಿ 60.6% ಅಂಕ ಪಡೆದಿದೆ, ಮತ್ತು ಮುಂದಿನ ಅತ್ಯುತ್ತಮ sub-1B ಮಾದರಿ topk-embed-v1-0.8b, ನಮ್ಮ 0.6B ಮಾದರಿಗಿಂತ 4.3pp ಹಿಂದೆ ಉಳಿದಿದೆ.

ವಿಸ್ತರಿಸಿ

Q2D-Web ನಲ್ಲಿ, ಪ್ರಸ್ತುತತೆ ಮೂರು ಮೌಲ್ಯಮಾಪನ ಸಮೂಹಗಳಿಂದ ಬರುತ್ತದೆ: ಏಜೆಂಟ್ ಉಲ್ಲೇಖಿಸಿದ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳು (Citation), ನಮ್ಮ production retrieval system ಮೂಲಕ ಶ್ರೇಯಾಂಕಿತವಾದ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳು (Web), ಮತ್ತು ಎರಡರ ಸಂಯೋಜನೆಗೆ unlabeled ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳ ಮೇಲಿನ LLM ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ಸೇರಿಸಿದ ಸಮೂಹ (Combined). ಎಲ್ಲಾ ಮೂರು ಮೌಲ್ಯಮಾಪನ ಸಮೂಹಗಳಲ್ಲಿ pplx-embed-v2-late ಮಾದರಿಗಳು ಪ್ರತಿಯೊಂದು baseline ಅನ್ನು ಮುನ್ನಡೆಸುತ್ತವೆ. ನಾವು combined ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ಗಮನಿಸುತ್ತೇವೆ, ಏಕೆಂದರೆ Citation ಮತ್ತು Web ಸಮೂಹಗಳು ನಮ್ಮದೇ ವ್ಯವಸ್ಥೆಗಳು ಈಗಾಗಲೇ ಮೇಲಕ್ಕೆ ತಂದದ್ದರಿಂದ ರೂಪಿಸಲ್ಪಟ್ಟಿವೆ; ಹೀಗಾಗಿ ಅವು ಅವುಗಳಂತೆ ಶ್ರೇಯಾಂಕಿಸುವ ಮಾದರಿಗಳಿಗೆ ಒಲವು ತೋರುತ್ತವೆ. Combined ನಲ್ಲಿ ಸೇರಿಸಿದ LLM ಮೌಲ್ಯಮಾಪನಗಳು ಯಾವುದೇ ವ್ಯವಸ್ಥೆಯೂ ಪಡೆಯದ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ಒಳಗೊಂಡಿವೆ. ಆ ಸಮೂಹದಲ್ಲಿ, ನಮ್ಮ 9B ಮತ್ತು 0.6B ಮಾದರಿಗಳು ಎಲ್ಲಾ ಪ್ರತಿಸ್ಪರ್ಧಿಗಳನ್ನು ಮೀರಿಸಿ, ಕ್ರಮವಾಗಿ 74.8% ಮತ್ತು 73.6% ಅಂಕಗಳನ್ನು ಸಾಧಿಸುತ್ತವೆ; ಹಿಂದಿನ ಅತ್ಯುತ್ತಮ ಅಂಕ 69.3% ಆಗಿತ್ತು.

ವಿಸ್ತರಿಸಿ

ದೃಶ್ಯ ಪುನಃಪ್ರಾಪ್ತಿ

ನಮ್ಮ ಪ್ರಾಥಮಿಕ ದೃಶ್ಯ ಪುನಃಪ್ರಾಪ್ತಿ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಎಂದರೆ ViDoRe(V3) ಯ ಮಾನಕ ಸಾರ್ವಜನಿಕ ಉಪಸಮೂಹ; ಇಲ್ಲಿ ಕಾರ್ಪಸ್ Markdown ಪರಿವರ್ತನೆಯ ಬದಲು ರೆಂಡರ್ ಮಾಡಿದ ಪುಟ ಚಿತ್ರಗಳನ್ನು ಒಳಗೊಂಡಿದೆ. ನಾವು ಎರಡು ಪ್ರಮುಖ dense vision-language ಮಾದರಿಗಳು, qwen3-vl-embed-8b ಮತ್ತು gemini-embedding-2, ಹಾಗು topk-embed-v1 late-interaction ಮಾದರಿಗಳೊಂದಿಗೆ ಹೋಲಿಕೆ ಮಾಡಿದ್ದೇವೆ. ಜೊತೆಗೆ, Tencent‌ನ EVIE ಮಾದರಿಗಳು ಮತ್ತು NVIDIAಯ Nemotron ColEmbed V2 ಮಾದರಿಗಳು ಚಿತ್ರ ಪುನಃಪ್ರಾಪ್ತಿ ಕಾರ್ಯಗಳಿಗಾಗಿ ವಿಶೇಷವಾಗಿ ತರಬೇತಿ ನೀಡಲಾದ “vision-only” multi-vector baseline‌ಗಳಾಗಿವೆ.

ನಮ್ಮ ಎರಡೂ ಮಾದರಿಗಳು vision-language ಮಾದರಿಗಳಲ್ಲಿ state of the art ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸಾಧಿಸುತ್ತವೆ. ನಮ್ಮ 9B ಮಾದರಿ ಸರಾಸರಿಯಾಗಿ 65.2% ಅಂಕ ಪಡೆಯುತ್ತದೆ, EVIE ಮಾತ್ರ ಅದಕ್ಕಿಂತ ಮುಂದೆ ಇರುತ್ತದೆ. ನಮ್ಮ 0.6B ಮಾದರಿ 62.3% ಅಂಕ ಸಾಧಿಸುತ್ತದೆ, topk-embed-v1-2bಗಿಂತ ಮುಂದಿದ್ದು, ಬಾಹ್ಯ baseline‌ಗಳಲ್ಲಿ ಬಹಳ ದೊಡ್ಡ EVIE ಮತ್ತು nemotron-colembed-v2-8b ಗಳಿಗಷ್ಟೇ ಹಿಂದೆ ಉಳಿಯುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

ಮಾದರಿ ಗಾತ್ರದ ಹಿನ್ನೆಲೆಯಲ್ಲಿಯೇ ನಮ್ಮ 0.6B ಮಾದರಿ ವಿಶೇಷವಾಗಿ ಸ್ಪರ್ಧಾತ್ಮಕವಾಗಿದೆ. ಅದು ಹೋಲಿಕೆಯ ಗಾತ್ರದ ಎಲ್ಲ ಮಾದರಿಗಳಿಗಿಂತ ಮುಂದಿದೆ ಮತ್ತು ಚಿತ್ರ ಇನ್‌ಪುಟ್‌ಗಳಿಗೆ ಕೇವಲ 340M parameters ಅನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುವುದರೊಂದಿಗೆ nemotron-colembed-v2-8b ಗಿಂತ 1.2pp ಒಳಗಿದೆ. ನಮ್ಮ ಮಾದರಿಗಳು ಪ್ರತಿ tokenಗೆ 128-dimensional embeddings ಅನ್ನು ಉತ್ಪಾದಿಸುತ್ತವೆ, ಹೋಲಿಸಿದರೆ EVIE-4.5Bಗೆ 2,048 ಮತ್ತು EVIE-8B ಹಾಗೂ nemotron-colembed-v2-8b ಗೆ 4,096. ಸಂಗ್ರಹಣಾ ವೆಚ್ಚದಲ್ಲಿನ ಈ ವ್ಯತ್ಯಾಸವು ಈ ಮಾದರಿಗಳು ಪ್ರಾಯೋಗಿಕವಾಗಿರುವ ಪರಿಸ್ಥಿತಿಗಳ ಮೇಲೆ ನಾಟಕೀಯ ಪರಿಣಾಮ ಬೀರುವ ಸಾಧ್ಯತೆ ಇದೆ.

ವಿಸ್ತರಿಸಿ

ನಾವು MIRACL-Vision ಮೇಲೂ ದೃಶ್ಯ ಪುನಃಪ್ರಾಪ್ತಿಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ; ಈ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನ corpus ನಲ್ಲಿ wikipedia ಲೇಖನಗಳ screenshot‌ಗಳು ಸೇರಿವೆ, ಮತ್ತು PPLX-Q2I ಒಂದು ಆಂತರಿಕ benchmark ಆಗಿದ್ದು visual documents ಮತ್ತು natural images ಎರಡನ್ನೂ ಒಳಗೊಂಡಿದೆ. PPLX-Q2I ಅನ್ನು Perplexity ಯ ಉತ್ಪಾದನಾ image-search log‌ಗಳಿಂದ ನಿರ್ಮಿಸಲಾಗಿದ್ದು, image search ಬಳಕೆ ಸಂದರ್ಭಗಳ ವೈವಿಧ್ಯತೆಯನ್ನು ಪ್ರತಿಬಿಂಬಿಸುವಂತೆ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ. ನಾವು ಭಾಷೆ ಮತ್ತು ಡೊಮೇನ್ ಆಧಾರಿತವಾಗಿ stratify ಮಾಡಿದ 10,000-query ಮಾದರಿಯನ್ನು, 100,000 ಚಿತ್ರಗಳ corpus ವಿರುದ್ಧ ಬಳಸುತ್ತೇವೆ; ಪ್ರತಿ ಪ್ರಶ್ನೆಗೆ ಸಂಬಂಧಿತ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳು ಅದಕ್ಕೆ ಸೇವೆ ಮಾಡಿದ ಚಿತ್ರಗಳೇ ಆಗಿವೆ. ನಾವು EVIE-8B ಅಥವಾ Nemotron ColEmbed ಅನ್ನು PPLX-Q2I ಮೇಲೆ ಮೌಲ್ಯಮಾಪನ ಮಾಡಲಿಲ್ಲ, ಏಕೆಂದರೆ ಅವರ default output dimensionalities (Nemotron ColEmbed 4B ಗೆ 2,560 ಮತ್ತು Nemotron ColEmbed 8B ಹಾಗೂ EVIE-8B ಗೆ 4,096) ನಲ್ಲಿ ಈ ಗಾತ್ರದ corpus ಅನ್ನು ಸೂಚ್ಯಂಕೀಕರಿಸುವುದು ಅಪ್ರಾಯೋಗಿಕವಾಗಿತ್ತು.

ViDoRe(V3) ಯಲ್ಲಿನ ಅದರ ಕಾರ್ಯಕ್ಷಮತೆಯಂತೆ, ನಮ್ಮ 0.6B ಮಾದರಿ ಬಹಳ ದೊಡ್ಡ ಮಾದರಿಗಳೊಂದಿಗೆ ಸ್ಪರ್ಧಾತ್ಮಕವಾಗಿದೆ, MIRACL-Vision ನಲ್ಲಿ qwen3-vl-embed-8b ಗಿಂತ ಕೇವಲ 1pp ಹಿಂದೆ ಅಂಕ ಪಡೆಯುತ್ತದೆ. ನಮ್ಮ 9B ಮಾದರಿ gemini-embedding-2 ಹೊರತುಪಡಿಸಿ ಇತರ ಎಲ್ಲ ಮಾದರಿಗಳನ್ನು ಮೀರಿಸುತ್ತದೆ.

PPLX-Q2I ಮೇಲೆ, ನಮ್ಮ ಎರಡೂ ಮಾದರಿಗಳು qwen3-vl-embedding-8b ಅನ್ನು 9pp ಕ್ಕಿಂತ ಹೆಚ್ಚು ಅಂತರದಿಂದ ಮೀರಿಸುತ್ತವೆ, ಮತ್ತು ನಮ್ಮ 9B ಮಾದರಿ gemini-embedding-2 ಗಿಂತ ಕೇವಲ 2pp ಹಿಂದೆ ಇದೆ. Visual documents ಜೊತೆಗೆ natural images ಅನ್ನು ಒಳಗೊಂಡಿರುವ corpora ಗಳಲ್ಲಿಯೂ ನಮ್ಮ ಫಲಿತಾಂಶಗಳು ಸ್ಪರ್ಧಾತ್ಮಕವಾಗಿಯೇ ಇರುತ್ತವೆ, ಆದ್ದರಿಂದ ViDoRe(V3) ಮೇಲೆ ಫಲ ನೀಡುವ multi-vector representations ಸಾಮಾನ್ಯ image search ನ ಬೆಲೆಯೊಂದಿಗೆ ಬರುವುದಿಲ್ಲ.

ವಿಸ್ತರಿಸಿ

ಕ್ರಾಸ್-ಮಾದರಿ ಪುನಃಪ್ರಾಪ್ತಿ

ಹಿಂದಿನ ವಿಭಾಗಗಳ ಫಲಿತಾಂಶಗಳು ಪ್ರತಿ ಮಾದರಿಯನ್ನು ಅದೇ ಎಂಬೆಡ್ ಮಾಡಿದ್ದ ಕಾರ್ಪಸ್ ವಿರುದ್ಧ ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತವೆ. ಹಂಚಿಕೊಂಡ embedding ಸ್ಪೇಸ್ ಇರುವುದರಿಂದ, ಪ್ರತಿ ಮಾದರಿಯೂ ತಾನೇ ಎಂಬೆಡ್ ಮಾಡಿದ ಕಾರ್ಪಸ್‌ನಲ್ಲೇ ಹುಡುಕಬೇಕು ಎಂಬುದು ಅವಶ್ಯಕವಲ್ಲ: 9B ಮಾದರಿಯಿಂದ ಸೂಚ್ಯಂಕೀಕರಿಸಿದ ಕಾರ್ಪಸ್ ಅನ್ನು 0.6B ಮಾದರಿಯಿಂದ ಎಂಬೆಡ್ ಮಾಡಿದ ಪ್ರಶ್ನೆಗಳಿಂದ ಹುಡುಕಬಹುದು. ಹೆಚ್ಚಾಗಿ ಬಹುತೇಕ production deployments‌ಗಳು ಬಳಸುವ ಸಂರಚನೆ ಇದೇ ಎಂದು ನಾವು ನಿರೀಕ್ಷಿಸುತ್ತೇವೆ, ಏಕೆಂದರೆ ಸೂಚ್ಯಂಕೀಕರಣ ಒಂದು ಬಾರಿ ಮಾತ್ರ ಆಗುವ ವೆಚ್ಚವಾಗಿದ್ದು ಕಾರ್ಪಸ್‌ನ ಆಯುಷ್ಯಪೂರ್ತಿ ಹಂಚಿಕೊಳ್ಳಲಾಗುತ್ತದೆ, ಆದರೆ query embedding ಪ್ರತಿಯೊಂದು ವಿನಂತಿಯ latency-ಮುಖ್ಯ ಮಾರ್ಗದಲ್ಲಿ ನಡೆಯುತ್ತದೆ.

query ಸಮಯದಲ್ಲಿ 9B ಮಾದರಿಯನ್ನು ನಡೆಸಲಾಗದ deployment ಇಲ್ಲವಾದರೆ 0.6B ಮಾದರಿಯಲ್ಲೇ ಸೂಚ್ಯಂಕೀಕರಿಸಬೇಕಾಗುತ್ತದೆ, ಆದ್ದರಿಂದ ಆ ಸಮಮಿತ 0.6B ಸಂರಚನೆ ಹೋಲಿಕೆಗೆ ಸಂಬಂಧಿತ ಅಂಶವಾಗಿದೆ. ನಾವು ಮೇಲಿನ 72 ಡೊಮೇನ್-ನಿರ್ದಿಷ್ಟ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳ ವಿರುದ್ಧ ಮತ್ತು ViDoRe v3 ಚಿತ್ರ ಪುನಃಪ್ರಾಪ್ತಿಯಲ್ಲಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ. ಪ್ರಶ್ನೆಗಳನ್ನು pplx-embed-v2-late-0.6b ಮೂಲಕ ಎಂಬೆಡ್ ಮಾಡಲಾಗುತ್ತದೆ, ಮತ್ತು ನಾವು ಕೇವಲ ಕಾರ್ಪಸ್ ಅನ್ನು ಯಾವುದು ಎಂಬೆಡ್ ಮಾಡಿತೋ ಅದನ್ನೇ ಬದಲಾಯಿಸುತ್ತೇವೆ.

9B ಮಾದರಿಯೊಂದಿಗೆ ಸೂಚ್ಯಂಕೀಕರಣವು ನಿಶ್ಚಿತ ಸುಧಾರಣೆಯಾಗಿದೆ. ಡೊಮೇನ್-ನಿರ್ದಿಷ್ಟ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಲ್ಲಿ, asymmetrical ಸಂರಚನೆ ಸರಾಸರಿಯಾಗಿ 1.6pp ಹೆಚ್ಚಳ ನೀಡುತ್ತದೆ. ViDoRe v3 ಚಿತ್ರ ಪುನಃಪ್ರಾಪ್ತಿಯಲ್ಲಿ, ಇದು 63.5% ಅಂಕ ಪಡೆಯುತ್ತದೆ, ಎರಡೂ ಕಡೆ 0.6B ಮಾದರಿಯೊಂದಿಗೆ 62.3% ಇದ್ದುದಕ್ಕಿಂತ 1.2 percentage points ಹೆಚ್ಚು. query-encoding ವೆಚ್ಚವು ಸಮಮಿತ 0.6B ಮತ್ತು asymmetrical ಸಂರಚನೆಗಳ ನಡುವೆ ಬದಲಾಗುವುದಿಲ್ಲ, ಏಕೆಂದರೆ ಎರಡೂ ಸಂದರ್ಭಗಳಲ್ಲಿಯೂ ಅದೇ 0.6B ಮಾದರಿ query ಅನ್ನು encode ಮಾಡುತ್ತದೆ; ಹೆಚ್ಚುವರಿ document-encoding ವೆಚ್ಚವನ್ನು ಸೂಚ್ಯಂಕೀಕರಣ ಸಮಯದಲ್ಲಿ ಭರಿಸಲಾಗುತ್ತದೆ.

ಎರಡೂ ಕಡೆ 9B ಮಾದರಿಯನ್ನು ಚಾಲನೆ ಮಾಡುವುದೇ ಇನ್ನೂ ಉತ್ತಮ, ಡೊಮೇನ್-ನಿರ್ದಿಷ್ಟ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಲ್ಲಿ ಸರಾಸರಿ 81.3% ತಲುಪುತ್ತದೆ. ಆದ್ದರಿಂದ asymmetrical ಸಂರಚನೆ ಪಠ್ಯದಲ್ಲಿ ಎರಡು ಮಾದರಿಗಳ ಗುಣಮಟ್ಟದ ವ್ಯತ್ಯಾಸದ ಸುಮಾರು ಅರ್ಧವನ್ನು ಹೆಚ್ಚುವರಿ query-encoding ವೆಚ್ಚವಿಲ್ಲದೆ ಮರುಪಡೆಯುತ್ತದೆ. ಯಾವ ಸಂರಚನೆಯನ್ನು ಆರಿಸಬೇಕೆಂಬುದು query ಸಮಯದಲ್ಲಿ 9B ಮಾದರಿ ಕೈಗೆಟುಕುವದೆಯೇ ಎಂಬುದರ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿದೆ; ಅದು ಸಾಧ್ಯವಿಲ್ಲದ ಕಡೆಗಳಲ್ಲಿ, asymmetrical setup ಅದರ ಲಾಭದ ಗಣನೀಯ ಭಾಗವನ್ನು ಹಿಡಿದುಕೊಳ್ಳುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

ಏಜೆಂಟ್-ಆಧಾರಿತ ಪುನಃಪ್ರಾಪ್ತಿ

Agentic retrieval multi-vector embeddings ವಿಶೇಷವಾಗಿ ಬಲವಾಗಿರುವ ಇನ್ನೊಂದು ಪರಿಸ್ಥಿತಿ. BrowseComp+ ನಲ್ಲಿ, ಒಂದು LLM (GPT-OSS-120B ನಮ್ಮ ಸಂದರ್ಭದಲ್ಲಿ) ಸಂಕೀರ್ಣ ಬಳಕೆದಾರ ಪ್ರಶ್ನೆಗೆ ಸಂಬಂಧಿಸಿದ ಮಾಹಿತಿಗಾಗಿ corpus ಅನ್ನು ಹುಡುಕಲು embedding ಮಾದರಿಯನ್ನು ಬಳಸುತ್ತದೆ, ಮತ್ತು ಎರಡನೇ LLM ಫಲಿತಾಂಶದ ಉತ್ತರ ground truth ಗೆ ಹೊಂದಿಕೆಯಾಗುತ್ತದೆಯೇ ಎಂದು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತದೆ. ನಮ್ಮ 9B ಮಾದರಿ 64.0% ಶುದ್ಧತೆಯನ್ನು ಸಾಧಿಸಿ, ಮುಂದಿನ ಅತ್ಯುತ್ತಮ ColBERT ಮಾದರಿಯನ್ನು 4.9pp ಮತ್ತು ಮುಂದಿನ ಅತ್ಯುತ್ತಮ dense ಮಾದರಿಯನ್ನು 8.7pp ಅಂತರದಿಂದ ಮೀರಿಸುತ್ತದೆ, ಜೊತೆಗೆ ನಮ್ಮ 0.6B ಹೊರತುಪಡಿಸಿ ಇತರ ಎಲ್ಲ ಮಾದರಿಗಳಿಗಿಂತ ಕಡಿಮೆ ಹುಡುಕಾಟಗಳನ್ನು ನಡೆಸುತ್ತದೆ. 0.6B ಮಾದರಿಯೂ ನಮ್ಮ ಕುಟುಂಬದ ಹೊರಗಿನ ಪ್ರತಿಯೊಂದು ಮಾದರಿಗಿಂತ ಮುಂದಿದೆ.

ವಿಸ್ತರಿಸಿ

MADQA 18,000ಕ್ಕೂ ಹೆಚ್ಚು ಪುಟಗಳನ್ನು ವ್ಯಾಪಿಸುವ 800 ವೈವಿಧ್ಯಮಯ ನೈಜ-ಪ್ರಪಂಚದ PDF‌ಗಳ ಮೇಲೆ agentic ಪ್ರಶ್ನೋತ್ತರವನ್ನು ಪರೀಕ್ಷಿಸುತ್ತದೆ, ಸಾಮಾನ್ಯ ಜ್ಞಾನದಿಂದ ಉತ್ತರಿಸಲಾಗದ 500 ಮಾನವ-ರಚಿತ ಪ್ರಶ್ನೆಗಳೊಂದಿಗೆ. ಒಂದು agent (ನಮ್ಮ ಸಂದರ್ಭದಲ್ಲಿ Gemini 3.5 Flash) ಪರೀಕ್ಷೆಯಲ್ಲಿರುವ retriever ಜೊತೆಗೆ ಸಂಗ್ರಹವನ್ನು ಹುಡುಕುತ್ತದೆ ಮತ್ತು ಉತ್ತರ ಶುದ್ಧತೆ ಮತ್ತು ಗುರುತಿಸಲಾದ ಸಾಕ್ಷ್ಯ ಪುಟಗಳ ವಿರುದ್ಧ page F1 ಆಧಾರದ ಮೇಲೆ ಅಂಕಿಸಲಾಗುತ್ತದೆ. ನಮ್ಮ 9B ಮಾದರಿ 92.4% ಶುದ್ಧತೆಯೊಂದಿಗೆ retrievers ಗಳಲ್ಲಿ ಹೊಸ state of the art ಅನ್ನು ಸ್ಥಾಪಿಸುತ್ತದೆ, Mixedbread ನ retriever ಅನ್ನು ಬಳಸುವ ಅದೇ agent ಗಿಂತ 3.5pp ಮುಂಚಿತವಾಗಿ; ನಮ್ಮ 0.6B ಮಾದರಿ 90.1% ತಲುಪುತ್ತದೆ. ಅವರ search system‌ನಲ್ಲಿನ search sub-agent ಮುಖ್ಯ agent ನಿಂದ ಪ್ರತಿ ಕರೆಗೂ ಹಲವಾರು ಹುಡುಕಾಟಗಳನ್ನು ಯೋಜಿಸಿ ನಡೆಸುವುದನ್ನು ಬಳಸುವ Mixedbread Agentic Search ವಿರುದ್ಧವೂ ನಮ್ಮ retriever ಸ್ಪರ್ಧಾತ್ಮಕ ಫಲಿತಾಂಶಗಳನ್ನು ಸಾಧಿಸುತ್ತದೆ ಎಂದು ನಾವು ಗಮನಿಸುತ್ತೇವೆ (93.4%, ನಮ್ಮ confidence interval ಒಳಗೆ).

ವಿಸ್ತರಿಸಿ

ಪ್ರಾರಂಭಿಸುವುದು

ನಮ್ಮ 0.6B ಮತ್ತು 9B ಎರಡೂ ಮಾದರಿಗಳು Hugging Face ನಲ್ಲಿ ಲಭ್ಯವಿವೆ ಮತ್ತು sentence-transformers >= 6.0.0 ಹಾಗು transformers >= 5.4.0. ಜೊತೆಗೆ ಕೂಡಲೇ ಹೊಂದಿಕೆಯಾಗುತ್ತವೆ. ಹೆಚ್ಚಿನ ತಾಂತ್ರಿಕ ವಿವರಗಳು ಮತ್ತು ಸಂಪೂರ್ಣ ಮೌಲ್ಯಮಾಪನ ಫಲಿತಾಂಶಗಳನ್ನು ಈ ವರ್ಷದ ನಂತರ ತಾಂತ್ರಿಕ ವರದಿಯಲ್ಲಿ ಪ್ರಕಟಿಸಲಾಗುತ್ತದೆ.

ನಾವು ಪ್ರಸ್ತುತ ನಮ್ಮ ಮುಂದಿನ ಪೀಳಿಗೆಯ ಡೆನ್ಸ್ ಎಂಬೆಡಿಂಗ್ ಮಾದರಿಗಳಿಗೆ ತರಬೇತಿ ನೀಡುತ್ತಿದ್ದೇವೆ ಮತ್ತು Perplexity API Platform ನಲ್ಲಿ ಲೇಟ್-ಇಂಟರಾಕ್ಷನ್, ಡೆನ್ಸ್ ಹಾಗೂ ಸಾಂದರ್ಭಿಕ ಎಂಬೆಡಿಂಗ್‌ಗಳಿಗೆ ಬೆಂಬಲವನ್ನು ಹಂತಹಂತವಾಗಿ ಹೊರತರಲಿದ್ದೇವೆ.

ಉಲ್ಲೇಖ

@online{perplexity2026MultimodalEmbeddingsBeyondASingleVector,
  author = {{Perplexity} and Markus Krimmel and Louis Milliken and Antoine Chaffin and Sarah Eslami and Ekaterina Glazkova and Maximilian Schall and Bo Wang and Denis Bykov and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Multimodal embeddings beyond a single vector}},
  date = {2026-10-07},
  url = {https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector}
}