ಗೋಲ್ಡ್ ಹಾದಿಯನ್ನು ಮೀರಿ ಸಂದರ್ಭಾನುಸಾರ ಎಂಬೆಂಡಿಂಗ್

ಸಂದರ್ಭಾನುಸಾರ ಎಂಬೆಂಡಿಂಗ್‌ಗಳು ಸಂಪೂರ್ಣ ಡಾಕ್ಯುಮೆಂಟ್‌ನ ಸಂದರ್ಭದಲ್ಲಿ ಪ್ರತಿ ಹಾದಿ ಅಥವಾ ತುಣುಕಿನ ಅರ್ಥವನ್ನು ಸೆರೆಹಿಡಿಯುತ್ತವೆ. ಅವುಗಳ ತರಬೇತಿ ಮತ್ತು ಮೌಲ್ಯಮಾಪನವು ಸಾಮಾನ್ಯವಾಗಿ ಪ್ರತಿ ಪ್ರಶ್ನೆಗೆ ಒಂದೇ ಸಂಬಂಧಿತ ತುಣುಕನ್ನು ಊಹಿಸುತ್ತದೆ, ಇದನ್ನು “ಗೋಲ್ಡ್ ಹಾದಿ” ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ. ಆದಾಗ್ಯೂ, ಪ್ರಾಯೋಗಿಕವಾಗಿ ಗೋಲ್ಡ್ ಹಾದಿಯು ಸಾಮಾನ್ಯವಾಗಿ ಸಾಕಾಗುವುದಿಲ್ಲ. ಇದು ಉತ್ತರವನ್ನು ಹೊಂದಿರಬಹುದು ಆದರೆ ಅದನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಅಥವಾ ಪರಿಶೀಲಿಸಲು ಅಗತ್ಯವಿರುವ ಬೆಂಬಲ ಸಂದರ್ಭದ ಕೊರತೆಯನ್ನು ಹೊಂದಿರಬಹುದು, ಇದರಿಂದಾಗಿ ಅದು ಪ್ರತ್ಯೇಕತೆಯಲ್ಲಿ ಅಸ್ಪಷ್ಟವಾಗಿರುತ್ತದೆ.

ನಾವು ನಮ್ಮ ಹೊಸ ಸಂದರ್ಭಾನುಸಾರ ಎಂಬೆಂಡಿಂಗ್ ಮಾದರಿಯಾದ pplx-embed-v2-context-9b-preview ಅನ್ನು ಪರಿಚಯಿಸುತ್ತಿದ್ದೇವೆ. Perplexity ಯ ಸಂದರ್ಭ ಸಂಕೋಚನ ಮಾದರಿಯನ್ನು ಶಿಕ್ಷಕರಾಗಿ ಬಳಸುವ ಹೊಸ ವಿಧಾನದೊಂದಿಗೆ ಮಾದರಿಗೆ ತರಬೇತಿ ನೀಡಲಾಗಿದೆ. ನಾವು ಅದರ ಟೋಕನ್-ಮಟ್ಟದ ಮುನ್ಸೂಚನೆಗಳನ್ನು ತುಣುಕು-ಮಟ್ಟದ ಪ್ರಸ್ತುತತೆ ಸ್ಕೋರ್‌ಗಳಾಗಿ ಒಟ್ಟುಗೂಡಿಸುತ್ತೇವೆ, ಕೇವಲ ಒಂದು ಗೋಲ್ಡ್ ತುಣುಕಿನ ಬದಲಿಗೆ ಉತ್ತರ ತುಣುಕುಗಳು ಮತ್ತು ಬೆಂಬಲ ಸಂದರ್ಭ ಎರಡನ್ನೂ ಹಿಂಪಡೆಯಲು ಎಂಬೆಂಡಿಂಗ್ ಮಾದರಿಗೆ ಕಲಿಸುತ್ತೇವೆ. ಮಾದರಿಯು ಯಾವುದೇ ಹೆಚ್ಚುವರಿ ಅನುಮಾನ ವೆಚ್ಚವಿಲ್ಲದೆ ಪ್ರತಿ ತುಣುಕಿಗೆ ಒಂದು ಎಂಬೆಂಡಿಂಗ್ ಅನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ ಮತ್ತು 1024-ಆಯಾಮದ ಹಾಗೂ int8 ಎಂಬೆಂಡಿಂಗ್‌ಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ.

ಇದು context-bench ಮೇಲೂ, context-aware ಹಿಂತೆಗೆತಿಗಾಗಿ ಹೊಸ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಆಗಿದ್ದು turbopuffer ಖಾಸಗಿಯಾಗಿ ಹೊಂದಿರುವದರಲ್ಲಿ, ಮತ್ತು ವ್ಯಾಪಕವಾಗಿ ಬಳಸಲಾಗುವ ಸಾರ್ವಜನಿಕ ಬೆಂಚ್‌ಮಾರ್ಕ್ ConTEB ಮೇಲೂ, ಅಗ್ರಗಣ್ಯ ಫಲಿತಾಂಶಗಳನ್ನು ಸಾಧಿಸುತ್ತದೆ. ನಮ್ಮ ಮಾದರಿಯನ್ನು context-bench‌ನಿಂದ ಸ್ವತಂತ್ರವಾಗಿ ಅಭಿವೃದ್ಧಿಪಡಿಸಿ, ಅಂಧ ಸಲ್ಲಿಕೆಯಾಗಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡಲಾಗಿದೆ.

Context-bench 21 ಡೊಮೇನ್‌ಗಳಲ್ಲಿ 38,894 ದೀರ್ಘ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳ ಮೇಲೆ 2,099 ಪ್ರಶ್ನೆಗಳನ್ನು ಒಳಗೊಂಡಿದೆ ಮತ್ತು ಸಂದರ್ಭಾನುಸಾರ ಎಂಬೆಂಡಿಂಗ್‌ಗಳ ಮೂರು ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತದೆ: ಸಮಾನವಾದ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳ ನಡುವೆ ಡಾಕ್ಯುಮೆಂಟ್ ಅಸ್ಪಷ್ಟತೆ ನಿವಾರಣೆ, ದೂರದ ಸಂದರ್ಭವನ್ನು ಅವಲಂಬಿಸಿರುವ ಗೋಲ್ಡ್ ತುಣುಕುಗಳ ಮರುಪಡೆಯುವಿಕೆ ಮತ್ತು ಉತ್ತರವನ್ನು ಪರಿಶೀಲಿಸಲು ಅಗತ್ಯವಿರುವ ಬೆಂಬಲ ಸಾಕ್ಷ್ಯದ ನೆನಪು.

ಮಾದರಿಯ ಪೂರ್ವದೃಶ್ಯವು Hugging Face ನಲ್ಲಿ ಸಾರ್ವಜನಿಕವಾಗಿ ಲಭ್ಯವಿದೆ. ತರಬೇತಿ ದೂಷಣೆಯ ಅಪಾಯವನ್ನು ಕಡಿಮೆ ಮಾಡಿ ಅದರ ಪ್ರಗತಿ ಮಾಪನ ಮೌಲ್ಯವನ್ನು ಉಳಿಸಿಕೊಳ್ಳಲು ಈ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಅನ್ನು turbopuffer ಖಾಸಗಿಯಾಗಿ ಇರಿಸಿದೆ. ಮೌಲ್ಯಮಾಪನವನ್ನು ವಿನಂತಿಸಲು, ದಯವಿಟ್ಟು contextbench@turbopuffer.com ನಲ್ಲಿ turbopuffer ಅನ್ನು ಸಂಪರ್ಕಿಸಿ.

context-bench ನಲ್ಲಿ ಡಾಕ್ಯುಮೆಂಟ್, ಉತ್ತರ ಮತ್ತು ಸಾಕ್ಷ್ಯ ಮರುಪಡೆಯುವಿಕೆ ಫಲಿತಾಂಶಗಳು — ಚಿತ್ರ 1: Perplexity v2 ಮುನ್ನೋಟ 9B ಅನ್ನು Voyage Context 4, Voyage 4 Large, ಮತ್ತು Perplexity context v1 4B ನೊಂದಿಗೆ ಹೋಲಿಸುವ context-bench ನಲ್ಲಿನ Answer@K, Document@K, Evidence Recall@K, ಮತ್ತು All-Evidence@10.

ಹಿಂಪಡೆಯುವಿಕೆ ವ್ಯವಸ್ಥೆಗಳು ಸಾಮಾನ್ಯವಾಗಿ ದೀರ್ಘ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ಸ್ವತಂತ್ರವಾಗಿ ಇಂಡೆಕ್ಸ್ ಮಾಡಬಹುದಾದ ಮತ್ತು ಹುಡುಕಬಹುದಾದ ಸಣ್ಣ ತುಣುಕುಗಳಾಗಿ ವಿಂಗಡಿಸುತ್ತವೆ. ಪ್ರಾಯೋಗಿಕವಾಗಿ ತುಣುಕು ಮಾಡುವುದು ಅನುಕೂಲಕರವಾಗಿದೆ, ಆದರೆ ಇದು ಪ್ರತಿ ತುಣುಕು ಮೂಲತಃ ಕಾಣಿಸಿಕೊಂಡ ಸಂದರ್ಭವನ್ನು ತೆಗೆದುಹಾಕುತ್ತದೆ, ಇದು ಮಾಹಿತಿ ಸಂಕೋಚನದ ಸೂಕ್ಷ್ಮತೆ ಮತ್ತು ಎನ್ಕೋಡಿಂಗ್ ಸಮಯದಲ್ಲಿ ಬಳಸುವ ಸಂದರ್ಭದ ನಡುವಿನ ರಾಜಿ ಸೃಷ್ಟಿಸುತ್ತದೆ. ತುಣುಕು ಹಿಂದೆ ಪರಿಚಯಿಸಲಾದ ಘಟಕವನ್ನು ಉಲ್ಲೇಖಿಸಬಹುದು, ವಿಭಾಗದ ಶೀರ್ಷಿಕೆಯಿಂದ ಅದರ ಅರ್ಥವನ್ನು ಆನುವಂಶಿಕವಾಗಿ ಪಡೆಯಬಹುದು ಅಥವಾ ಡಾಕ್ಯುಮೆಂಟ್‌ನಲ್ಲಿ ಬೇರೆಡೆ ಇರುವ ವ್ಯಾಖ್ಯಾನಗಳನ್ನು ಅವಲಂಬಿಸಿರಬಹುದು. ಒಮ್ಮೆ ಹೊರತೆಗೆದ ನಂತರ, ಇದು ಪ್ರಶ್ನೆಗೆ ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ಹೊಂದಾಣಿಕೆ ಮಾಡಲು ಸಾಕಷ್ಟು ಮಾಹಿತಿಯನ್ನು ಹೊಂದಿಲ್ಲದಿರಬಹುದು. ಸಂಪೂರ್ಣ ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ಒಂದೇ ವೆಕ್ಟರ್ ಆಗಿ ಎನ್ಕೋಡ್ ಮಾಡುವುದು ಇದನ್ನು ಪರಿಹರಿಸುವುದಿಲ್ಲ, ಏಕೆಂದರೆ ಒಂದು ಪೂಲ್ ಮಾಡಲಾದ ಪ್ರಾತಿನಿಧ್ಯವು ದೀರ್ಘ ಡಾಕ್ಯುಮೆಂಟ್‌ನ ಪ್ರತಿಯೊಂದು ಮುಖವನ್ನು ನಂಬಿಕೆಯಿಂದ ಸೆರೆಹಿಡಿಯಲು ಸಾಧ್ಯವಿಲ್ಲ.

ಸಂದರ್ಭಾನುಸಾರ ಎಂಬೆಂಡಿಂಗ್ ಮಾದರಿಗಳು ಪ್ರತಿ ತುಣುಕನ್ನು ಅದರ ಸುತ್ತಮುತ್ತಲಿನ ವಿಷಯದ ಸಂದರ್ಭದಲ್ಲಿ ಪ್ರತಿನಿಧಿಸುವ ಮೂಲಕ ಈ ಮಿತಿಯನ್ನು ಪರಿಹರಿಸುತ್ತವೆ, ಹೆಚ್ಚಾಗಿ ತಡವಾದ ಚಂಕ್ ಮಾಡುವಿಕೆ ಮೂಲಕ: ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ಒಂದೇ ಪಾಸ್‌ನಲ್ಲಿ ಎನ್ಕೋಡ್ ಮಾಡಲಾಗುತ್ತದೆ ಮತ್ತು ತುಣುಕು ಪ್ರಾತಿನಿಧ್ಯಗಳನ್ನು ನಂತರ ಪೂಲ್ ಮಾಡಲಾಗುತ್ತದೆ, ಇದರಿಂದಾಗಿ ಪ್ರತಿ ತುಣುಕು ವೆಕ್ಟರ್ ಅನ್ನು ಸಂಪೂರ್ಣ ಡಾಕ್ಯುಮೆಂಟ್‌ನೊಂದಿಗೆ ಲೆಕ್ಕಹಾಕಲಾಗುತ್ತದೆ. ConTEB ಮತ್ತು ನಮ್ಮದೇ ಆದ pplx-embed-context-v1 ನಂತಹ ಹಿಂದಿನ ಕೆಲಸಗಳು, ಸಂದರ್ಭಾನುಸಾರ ತುಣುಕು ಪ್ರಾತಿನಿಧ್ಯಗಳು ಸ್ವತಂತ್ರವಾಗಿ ಎನ್ಕೋಡ್ ಮಾಡಿದ ತುಣುಕುಗಳ ಮೇಲೆ ಹಿಂಪಡೆಯುವಿಕೆಯನ್ನು ಗಣನೀಯವಾಗಿ ಸುಧಾರಿಸುತ್ತವೆ ಎಂದು ತೋರಿಸಿವೆ, ವಿಶೇಷವಾಗಿ ದೀರ್ಘ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳ ಮೇಲೆ.

ಸಂದರ್ಭಾನುಸಾರ ಎಂಬೆಂಡಿಂಗ್ ಮಾದರಿಗಳಿಗೆ ತರಬೇತಿ ನೀಡಲು ಡಾಕ್ಯುಮೆಂಟ್‌ನ ಯಾವ ಭಾಗಗಳು ನಿರ್ದಿಷ್ಟ ಪ್ರಶ್ನೆಗೆ ಸಂಬಂಧ relevantes ಎಂಬುದನ್ನು ಗುರುತಿಸುವ ಮೇಲ್ವಿಚಾರಣೆ ಅಗತ್ಯವಿದೆ. ಒಂದು ಸಾಮಾನ್ಯ ವಿಧಾನವೆಂದರೆ ಗೋಲ್ಡ್-ಚಂಕ್ ಟಿಪ್ಪಣಿಗಳು: ಪ್ರತಿ ಪ್ರಶ್ನೆಗೆ, ಒಬ್ಬ ಅನುವಾದಕ, ಸಾಮಾನ್ಯವಾಗಿ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿ (LLM), ಅದಕ್ಕೆ ಉತ್ತರಿಸುವ ಡಾಕ್ಯುಮೆಂಟ್‌ನ ತುಣುಕನ್ನು ಗುರುತಿಸುತ್ತಾನೆ.

ತರಬೇತಿಯು ಸಾಮಾನ್ಯವಾಗಿ ಎರಡು ಕಾಂಟ್ರಾಸ್ಟಿವ್ ನಷ್ಟಗಳನ್ನು ಸಂಯೋಜಿಸುತ್ತದೆ: ಗೋಲ್ಡ್ ತುಣುಕನ್ನು ಇತರ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳ ತುಣುಕುಗಳೊಂದಿಗೆ ವಿರೋಧಿಸುವ ಡಾಕ್ಯುಮೆಂಟ್-ಮಟ್ಟದ ಕಾಂಟ್ರಾಸ್ಟಿವ್ ನಷ್ಟ, ಮತ್ತು ಅದನ್ನು ಅದೇ ಡಾಕ್ಯುಮೆಂಟ್‌ನಲ್ಲಿರುವ ಇತರ ತುಣುಕುಗಳೊಂದಿಗೆ ವಿರೋಧಿಸುವ ಡಾಕ್ಯುಮೆಂಟ್-ೊಳಗಿನ ನಷ್ಟ.

ಈ ವಿಧಾನವು ಕೆಲವು ಮಿತಿಗಳನ್ನು ಹೊಂದಿದೆ:

ಒಂದು ತುಣುಕು ಮಾತ್ರ ಸಂಬಂಧಿತವಾಗಿದೆ. ಇದು ಡಾಕ್ಯುಮೆಂಟ್‌ನಲ್ಲಿರುವ ಪ್ರತಿಯೊಂದು ಇತರ ತುಣುಕನ್ನು ನೆಗೆಟಿವ್ ಎಂದು ಪರಿಗಣಿಸುತ್ತದೆ, ಉಪಯುಕ್ತ ಬೆಂಬಲ ಮಾಹಿತಿಯನ್ನು ಹೊಂದಿರುವವುಗಳನ್ನು ಒಳಗೊಂಡಂತೆ. ಡಾಕ್ಯುಮೆಂಟ್-ಮಟ್ಟದ ಮೇಲ್ವಿಚಾರಣೆಯು ಇನ್ನೊಂದು ವಿಪರೀತದಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಇದು ಡಾಕ್ಯುಮೆಂಟ್‌ನಲ್ಲಿ ಯಾವ ತುಣುಕುಗಳು ಮುಖ್ಯವೆಂದು ನಿರ್ದಿಷ್ಟಪಡಿಸದೆ ಅದನ್ನು ಸಂಬಂಧಿತವೆಂದು ಗುರುತಿಸುತ್ತದೆ. ಪ್ರಾಯೋಗಿಕವಾಗಿ, ಪ್ರಸ್ತುತತೆಯು প্রায় ಈ ವಿಪರೀತಗಳ ನಡುವೆ ಇರುತ್ತದೆ. ಉತ್ತರ-ಹೊಂದಿರುವ ತುಣುಕು ಘಟಕವನ್ನು ಪರಿಚಯಿಸುವ, ಉಲ್ಲೇಖವನ್ನು ಪರಿಹರಿಸುವ ಅಥವಾ ಪೂರಕ ಸಂಗತಿಯನ್ನು ಒದಗಿಸುವ ಕೆಲವು ಬೆಂಬಲ ತುಣುಕುಗಳನ್ನು ಅವಲಂಬಿಸಿರಬಹುದು, ಆದರೆ ಡಾಕ್ಯುಮೆಂಟ್‌ನ ಉಳಿದ ಭಾಗವು ಅಪ್ರಸ್ತುತವಾಗಿರುತ್ತದೆ. ಆದ್ದರಿಂದ ಮಾದರಿಯು ಸರಿಯಾದ ಮಟ್ಟದ ಆಯ್ಕೆಯನ್ನು ಕಲಿಯಬೇಕು: ಒಂದೇ ಗೋಲ್ಡ್ ತುಣುಕುಗಿಂತ ವ್ಯಾಪಕವಾದ, ಆದರೆ ಒಟ್ಟಾರೆಯಾಗಿ ಡಾಕ್ಯುಮೆಂಟ್ಗಿಂತ ಹೆಚ್ಚು ಕೇಂದ್ರೀಕೃತವಾಗಿರುವ.
ಒರಟು ಮೇಲ್ವಿಚಾರಣೆ. ಪ್ರತಿ ಟಿಪ್ಪಣಿ ದಸ್ತಾವೇಜಾದ್ಯಂತ ಸಂಬಂಧಿತತೆಯ ಮಟ್ಟಗಳನ್ನು ಹಿಡಿಯದೆ ಒಂದೇ ಗೋಲ್ಡ್ ಚಂಕ್ ಅನ್ನು ಗುರುತಿಸುವುದರಿಂದ, ಅದನ್ನು ರಚಿಸಲು ಖರ್ಚಾಗುವ ಗಣನೆಗೆ ಅನುಪಾತವಾಗಿ ಅದು ಸೀಮಿತ ತರಬೇತಿ ಸಂಕೇತಗಳನ್ನು ನೀಡುತ್ತದೆ.
ಪ್ರಮಾಣಗೊಳಿಸಲು ವೆಚ್ಚದಾಯಕವಾಗಿದೆ. ಪ್ರತಿ ತರಬೇತಿ ಜೋಡಿಗೆ ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ಓದಲು ಮತ್ತು ಸಂಬಂಧಿತ ತುಣುಕನ್ನು ಆಯ್ಕೆ ಮಾಡಲು LLM ಅಗತ್ಯವಿದೆ, ಆದ್ದರಿಂದ ಟಿಪ್ಪಣಿ ವೆಚ್ಚವು ತರಬೇತಿ ಸೆಟ್‌ನ ಗಾತ್ರದೊಂದಿಗೆ ರೇಖೀಯವಾಗಿ ಬೆಳೆಯುತ್ತದೆ ಮತ್ತು ತರಬೇತಿ ಡೇಟಾ ಎಷ್ಟು ಮತ್ತು ಎಷ್ಟು ವೈವಿಧ್ಯಮಯವಾಗಿರಬಹುದು ಎಂಬುದನ್ನು ಮಿತಿಗೊಳಿಸುತ್ತದೆ.
ತುಣುಕು ಗಡಿಗಳಿಗೆ ಸಂವೇದನಾಶೀಲವಾಗಿದೆ. ಲೇಬಲ್‌ಗಳು ಟಿಪ್ಪಣಿಯ ಸಮಯದಲ್ಲಿ ಬಳಸುವ ತುಣುಕು ಗಡಿಗಳಿಗೆ ಸಹ ಸಂಬಂಧಿಸಿವೆ. ನಿಗದಿತ ಟೋಕನ್-ಗಾತ್ರದ ವಿಂಡೋಗೆ ನಿಯೋಜಿಸಲಾದ ಗೋಲ್ಡ್ ಲೇಬಲ್ ಯಾವ ಸಣ್ಣ ವಾಕ್ಯಗಳು ಅಥವಾ ದೀರ್ಘ ಪ್ಯಾರಾಗ್ರಾಫ್‌ಗಳು ಸಂಬಂಧ relevantes ಎಂಬುದನ್ನು ನಿರ್ದಿಷ್ಟಪಡಿಸುವುದಿಲ್ಲ. ತುಣುಕು ಮಾಡುವ ತಂತ್ರವನ್ನು ಬದಲಾಯಿಸುವುದು, ಅಥವಾ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ಇಂಡೆಕ್ಸಿಂಗ್ ಸಮಯದಲ್ಲಿ ಹೇಗೆ ವಿಭಜಿಸಲಾಗಿದೆ ಎಂಬುದಕ್ಕೆ ದೃಢತೆಯನ್ನು ಸುಧಾರಿಸಲು ಬಹು ತುಣುಕುಗಳಾದ್ಯಂತ ತರಬೇತಿ ನೀಡುವುದು, ಆದ್ದರಿಂದ ಕಾರ್ಪಸ್ ಅನ್ನು ಮತ್ತೆ ಟಿಪ್ಪಣಿ ಮಾಡುವ ಅಗತ್ಯವಿರಬಹುದು.

ನಾವು ಪ್ರಶ್ನೆ-ಅರಿವು ಸಂದರ್ಭ ಸಂಕೋಚನ ಮಾದರಿಯಿಂದ ಪ್ರಸ್ತುತತೆ ನಿರ್ಣಯಗಳನ್ನು ಬಟ್ಟಿ ಇಳಿಸುವ ಮೂಲಕ ಗೋಲ್ಡ್-ಚಂಕ್ ಮೇಲ್ವಿಚಾರಣೆಯ ಮಿತಿಗಳನ್ನು ಪರಿಹರಿಸುತ್ತೇವೆ. ಈ ಮಾದರಿಯು ಶಿಕ್ಷಕರಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ: ಇದು ಪ್ರಶ್ನೆ ಮತ್ತು ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ಒಟ್ಟಿಗೆ ಓದುತ್ತದೆ ಮತ್ತು ಪ್ರತಿ ಡಾಕ್ಯುಮೆಂಟ್ ಟೋಕನ್‌ಗೆ ಪ್ರಸ್ತುತತೆ ಸ್ಕೋರ್ ಅನ್ನು ನಿಯೋಜಿಸುತ್ತದೆ. ಇದರ ಮುನ್ಸೂಚನೆಗಳು ಸಂದರ್ಭಾನುಸಾರ ಎಂಬೆಂಡಿಂಗ್‌ಗಳಿಗೆ ತರಬೇತಿ ನೀಡಲು ಹಲವಾರು ಅನುಕೂಲಗಳನ್ನು ನೀಡುತ್ತವೆ:

ನಮ್ಯವಾದ ತುಣುಕು ಗಡಿಗಳು. ಟೋಕನ್-ಮಟ್ಟದ ಪ್ರಸ್ತುತತೆ ಸ್ಕೋರ್‌ಗಳನ್ನು ಯಾವುದೇ ಆಯ್ಕೆಮಾಡಿದ ತುಣುಕು ಗಡಿಗಳ ಮೇಲೆ ಒಟ್ಟುಗೂಡಿಸಬಹುದು, ಇದು ಮರು-ಟಿಪ್ಪಣಿ ಇಲ್ಲದೆ ವಿಭಿನ್ನ ತುಣುಕುಗಳನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಲು ಅದೇ ಶಿಕ್ಷಕರ ಮುನ್ಸೂಚನೆಗಳಿಗೆ ಅವಕಾಶ ನೀಡುತ್ತದೆ.
ನಿರಂತರ ಪ್ರಸ್ತುತತೆ. ಬೈನರಿ ಗೋಲ್ಡ್-ಚಂಕ್ ಲೇಬಲ್‌ಗಳಂತಲ್ಲದೆ, ಶಿಕ್ಷಕರು ಉತ್ತರ-ಹೊಂದಿರುವ ತುಣುಕುಗಳು, ಬೆಂಬಲ ಸಂದರ್ಭ ಮತ್ತು ಅಪ್ರಸ್ತುತ ವಿಷಯವನ್ನು ಸ್ವಾಭಾವಿಕವಾಗಿ ಪ್ರತ್ಯೇಕಿಸುವ ಪ್ರಸ್ತುತತೆಯ ಡಿಗ್ರಿಗಳನ್ನು ಸೆರೆಹಿಡಿಯುವ ನಿರಂತರ ಸ್ಕೋರ್‌ಗಳನ್ನು ಒದಗಿಸುತ್ತಾರೆ.
ಕಡಿಮೆ ಟಿಪ್ಪಣಿ ವೆಚ್ಚ. ಶಿಕ್ಷಕರು ಕಾಂಪ್ಯಾಕ್ಟ್ ಆಗಿದ್ದಾರೆ ಮತ್ತು ಪ್ರಸ್ತುತತೆ ಸ್ಕೋರಿಂಗ್‌ನಲ್ಲಿ ವಿಶೇಷತೆ ಹೊಂದಿದ್ದಾರೆ, ಸಾಮಾನ್ಯ ಉದ್ದೇಶದ LLM ಗಿಂತ ದೊಡ್ಡ ಪ್ರಮಾಣದಲ್ಲಿ ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಲು ಇದು ಹೆಚ್ಚು ಅಗ್ಗವಾಗಿದೆ.

ನಾವು ಪ್ರಶ್ನೆ-ಡಾಕ್ಯುಮೆಂಟ್ ಜೋಡಿಗಳ ಬ್ಯಾಚ್‌ಗಳ ಮೇಲೆ ಡಾಕ್ಯುಮೆಂಟ್-ಮಟ್ಟದ ಕಾಂಟ್ರಾಸ್ಟಿವ್ ನಷ್ಟ ಮತ್ತು ತುಣುಕು-ಮಟ್ಟದ ಡಿಸ್ಟಿಲೇಶನ್ ನಷ್ಟದ ತೂಕದ ಮೊತ್ತದೊಂದಿಗೆ ನಮ್ಮ ಮಾದರಿಗೆ ತರಬೇತಿ ನೀಡುತ್ತೇವೆ. ಪ್ರತಿ ಪ್ರಶ್ನೆಗೆ, ಜೋಡಿಯಾದ ಡಾಕ್ಯುಮೆಂಟ್ ಧನಾತ್ಮಕವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ, ಆದರೆ ಅದೇ ಬ್ಯಾಚ್‌ನಲ್ಲಿರುವ ಉಳಿದ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳು ನೆಗೆಟಿವ್‌ಗಳಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ.

ಪ್ರತಿ ಬ್ಯಾಚ್‌ಗಾಗಿ, ನಾವು ಯಾದೃಚ್ಛಿಕವಾಗಿ ತುಣುಕು ಮಾಡುವ ತಂತ್ರವನ್ನು ಆಯ್ಕೆ ಮಾಡುತ್ತೇವೆ, ಆ ಪ್ರಕಾರ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ವಿಭಜಿಸುತ್ತೇವೆ ಮತ್ತು ತುಣುಕುಗಳ ನಡುವೆ ಸೆಪರೇಟರ್ ಟೋಕನ್‌ಗಳನ್ನು ಸೇರಿಸುತ್ತೇವೆ. ನಾವು ನಂತರ ಪ್ರತಿ ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ಒಂದೇ ಫಾರ್ವರ್ಡ್ ಪಾಸ್‌ನಲ್ಲಿ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುತ್ತೇವೆ ಮತ್ತು ಸಂದರ್ಭಾನುಸಾರ ತುಣುಕು ಎಂಬೆಂಡಿಂಗ್‌ಗಳನ್ನು ಪಡೆಯಲು ಪ್ರತಿ ತುಣುಕಿನೊಳಗೆ ಟೋಕನ್ ಪ್ರಾತಿನಿಧ್ಯಗಳನ್ನು ಮೀನ್-ಪೂಲ್ ಮಾಡುತ್ತೇವೆ. ಪ್ರಶ್ನೆಗಳನ್ನು ಪ್ರತ್ಯೇಕವಾಗಿ ಎನ್ಕೋಡ್ ಮಾಡಲಾಗುತ್ತದೆ, ಅವುಗಳ ಟೋಕನ್ ಪ್ರಾತಿನಿಧ್ಯಗಳ ಮೇಲೆ ಮೀನ್ ಪೂಲಿಂಗ್ ಮಾಡಲಾಗುತ್ತದೆ. ಅಂತಿಮವಾಗಿ, ನಾವು ಪ್ರತಿ ಪ್ರಶ್ನೆ ಎಂಬೆಂಡಿಂಗ್ ಮತ್ತು ಬ್ಯಾಚ್‌ನಲ್ಲಿರುವ ಪ್ರತಿ ತುಣುಕು ಎಂಬೆಂಡಿಂಗ್ ನಡುವಿನ ಕೊಸೈನ್ ಸಾಮ್ಯತೆಯನ್ನು ಲೆಕ್ಕಹಾಕುತ್ತೇವೆ.

ನಮ್ಮ ಎಂಬೆಂಡಿಂಗ್ ಮಾದರಿಯು ತುಣುಕು-ಮಟ್ಟದ ಸಾಮ್ಯತೆಗಳನ್ನು ಮಾತ್ರ ಉತ್ಪಾದಿಸಿದರೂ, ನಾವು ಅವುಗಳಿಂದ ಸ್ವಾಭಾವಿಕವಾಗಿ ಡಾಕ್ಯುಮೆಂಟ್-ಮಟ್ಟದ ಸಾಮ್ಯತೆಗಳನ್ನು ಪಡೆಯಬಹುದು. ನಾವು ಡಾಕ್ಯುಮೆಂಟ್ d ಅನ್ನು ಪ್ರಶ್ನೆ q ಗೆ ಅದರ ಅತ್ಯಂತ ಸಂಬಂಧಿತ ತುಣುಕಿನಂತೆ ಸಂಬಂಧಿತವೆಂದು ಪರಿಗಣಿಸುತ್ತೇವೆ. ಈ ಸ್ಕೋರಿಂಗ್ ನಿಯಮವು ColBERT ನ MaxSim ಕಾರ್ಯಾಚರಣೆಯಿಂದ ಪ್ರೇರಿತವಾಗಿದೆ, ಇಲ್ಲಿ ಟೋಕನ್‌ಗಳ ಬದಲಿಗೆ ತುಣುಕುಗಳಿಗೆ ಅನ್ವಯಿಸಲಾಗಿದೆ.

ನಿರ್ದಿಷ್ಟವಾಗಿ ಹೇಳುವುದಾದರೆ, ಎಂಬೆಂಡಿಂಗ್ q ನೊಂದಿಗೆ ಪ್ರಶ್ನೆ q ಮತ್ತು ಎಂಬೆಂಡಿಂಗ್‌ಗಳೊಂದಿಗೆ c ತುಣುಕುಗಳ ಆದೇಶಿಸಿದ ಪಟ್ಟಿಯಾಗಿ ಡಾಕ್ಯುಮೆಂಟ್ d ಅನ್ನು ನೀಡಿದರೆ, ನಾವು ಡಾಕ್ಯುಮೆಂಟ್-ಮಟ್ಟದ ಸಾಮ್ಯತೆಯನ್ನು ಹೀಗೆ ವ್ಯಾಖ್ಯಾನಿಸುತ್ತೇವೆ:

s(q,d):=\max_{c\in d}\mathbf{q}^{\top}\mathbf{c}.

ಈ ಡಾಕ್ಯುಮೆಂಟ್-ಮಟ್ಟದ ಸಾಮ್ಯತೆಗಳನ್ನು ನೀಡಿದರೆ, ನಾವು ಇನ್-ಬ್ಯಾಚ್ ನೆಗೆಟಿವ್‌ಗಳ ಮೇಲೆ ಡಾಕ್ಯುಮೆಂಟ್-ಮಟ್ಟದ InfoNCE ಉದ್ದೇಶವನ್ನು ರೂಪಿಸಬಹುದು.

ಪ್ರಶ್ನೆ q ಗಾಗಿ, d⁺ ಅದರ ಸಂಬಂಧಿತ ಡಾಕ್ಯುಮೆಂಟ್ ಮತ್ತು 𝒟 ಬ್ಯಾಚ್‌ನಲ್ಲಿರುವ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳಾಗಿರಲಿ. ಓದುವಿಕ ಗಾಗಿ ತಾಪಮಾನಗಳನ್ನು ಬಿಟ್ಟುಬಿಟ್ಟು, ಕಾಂಟ್ರಾಸ್ಟಿವ್ ನಷ್ಟವು ಈ ಕೆಳಗಿನಂತಿದೆ:

\mathcal{L}_{\mathrm{doc}}(q,d^{+})=-\log\frac{\exp(s(q,d^{+}))}{\sum_{d\in\mathcal{D}}\exp(s(q,d))}

ಕಾಂಟ್ರಾಸ್ಟಿವ್ ನಷ್ಟವು ಯಾವ ಡಾಕ್ಯುಮೆಂಟ್ ಪ್ರಶ್ನೆಗೆ ಸಂಬಂಧಿಸಿದೆ ಎಂಬುದನ್ನು ಮಾದರಿಗೆ ಕಲಿಸುತ್ತದೆ. ಡಿಸ್ಟಿಲೇಶನ್ ನಷ್ಟವು ಆ ಡಾಕ್ಯುಮೆಂಟ್‌ನಲ್ಲಿ ಪ್ರಸ್ತುತತೆ ಎಲ್ಲಿದೆ ಎಂಬುದನ್ನು ಕಲಿಸುತ್ತದೆ, ಇದು ಸಂದರ್ಭಾನುಸಾರ ಮಾದರಿಗೆ ಅತ್ಯಾವಶ್ಯಕವಾಗಿದೆ.

ತರಬೇತಿಯ ವೇಳೆ, ನಾವು ಪ್ರತಿಯೊಂದು ಧನಾತ್ಮಕ ಪ್ರಶ್ನೆ–ದಸ್ತಾವೇಜು ಜೋಡಿಯನ್ನು ನಮ್ಮ ಸಂದರ್ಭ ಸಂಕೋಚನ ಮಾದರಿಗೆ ನೀಡುತ್ತೇವೆ; ಅದು ದಸ್ತಾವೇಜಿನ ಪ್ರತಿಯೊಂದು ಟೋಕನ್‌ಗೆ ಸಂಬಂಧಿತತಾ ಅಂಕವನ್ನು ನೀಡುತ್ತದೆ. ದಸ್ತಾವೇಜು-ಮಟ್ಟದ ಅಂಕೀಕರಣದಂತೆ, ನಾವು ಪ್ರತಿ ಚಂಕ್‌ನ ಸಂಬಂಧಿತತೆಯನ್ನು ಅದರ ಅತ್ಯಂತ ಸಂಬಂಧಿತ ವಿಷಯದಿಂದ ನಿರ್ಧರಿಸುತ್ತೇವೆ. ಚಂಕ್ ಗಡಿಗಳಲ್ಲಿರುವವುಗಳನ್ನು ಸೇರಿಸಿ ಹೊರಗುಳಿದ ಟೋಕನ್‌ಗಳ ಸಂವೇದನೆಯನ್ನು ಕಡಿಮೆ ಮಾಡಲು, ನಾವು ಚಂಕ್-ಮಟ್ಟದ ಸಂಬಂಧಿತತೆಯನ್ನು ಚಂಕ್‌ನೊಳಗಿನ ಅತಿ ಹೆಚ್ಚಿನ n ಟೋಕನ್ ಅಂಕಗಳ ಸರಾಸರಿಯಾಗಿ ವ್ಯಾಖ್ಯಾನಿಸುತ್ತೇವೆ.

ಪ್ರತಿಯೊಂದು ಪ್ರಶ್ನೆಗೆ, ನಾವು ಧನಾತ್ಮಕ ದಸ್ತಾವೇಜಿನೊಳಗಿನ ಶಿಕ್ಷಕನ ಚಂಕ್-ಮಟ್ಟದ ಸಂಬಂಧಿತತಾ ಅಂಕಗಳಿಗೆ ತಾಪಮಾನ-ಸ್ಕೇಲ್ ಮಾಡಿದ ಸಾಫ್ಟ್‌ಮ್ಯಾಕ್ಸ್ ಅನ್ನು ಅನ್ವಯಿಸಿ ಗುರಿ ವಿತರಣೆಯನ್ನು ಪಡೆಯುತ್ತೇವೆ. ಬ್ಯಾಚ್‌ನ ಇತರ ದಸ್ತಾವೇಜುಗಳಲ್ಲಿನ ಚಂಕ್‌ಗಳಿಗೆ ಶೂನ್ಯ ಗುರಿ ಸಾಧ್ಯತೆ ದೊರೆಯುತ್ತದೆ. ಬ್ಯಾಚ್‌ನಲ್ಲಿರುವ ಎಲ್ಲಾ ಚಂಕ್‌ಗಳ ಮೇಲಿನ ತನ್ನ ಭವಿಷ್ಯ ವಿತರಣೆಯೊಂದಿಗೆ ಗುರಿಯ ಫಾರ್ವರ್ಡ್ KL ವಿಭಜನವನ್ನು ಕನಿಷ್ಠಗೊಳಿಸುವ ಮೂಲಕ ನಾವು ಈ ಗುರಿಯನ್ನು ಹೊಂದಿಸಲು ಎಂಬೆಡ್ಡಿಂಗ್ ಮಾದರಿಯನ್ನು ತರಬೇತುಗೊಳಿಸುತ್ತೇವೆ:

\mathcal{L}_{\mathrm{dist}}(q,d^{+})=\mathrm{KL}\!\left(p^{\mathrm{T}}\parallel p^{\mathrm{S}}\right)

p^{\mathrm{T}}(c_j)=\frac{\exp(r_j)}{\sum_{c_k\in d^{+}}\exp(r_k)}

p^{\mathrm{S}}(c)=\frac{\exp(\mathbf{q}^{\top}\mathbf{c})}{\sum_{d\in\mathcal{D}}\sum_{c_k\in d}\exp(\mathbf{q}^{\top}\mathbf{c}_k)}

ಇಲ್ಲಿ, ಸೂಪರ್‌ಸ್ಕ್ರಿಪ್ಟ್‌ಗಳು T ಮತ್ತು S ಶಿಕ್ಷಕ ಮತ್ತು ವಿದ್ಯಾರ್ಥಿಯನ್ನು ಸೂಚಿಸುತ್ತವೆ, ಮತ್ತು rⱼ ಎಂಬುದು ಧನಾತ್ಮಕ ಡಾಕ್ಯುಮೆಂಟ್ d⁺ ನಲ್ಲಿರುವ ತುಣುಕು cⱼ ಗಾಗಿ ಶಿಕ್ಷಕರ ಪ್ರಸ್ತುತತೆ ಸ್ಕೋರ್ ಆಗಿದೆ. ಶಿಕ್ಷಕರ ಗುರಿ ವಿತರಣೆಯು ಬ್ಯಾಚ್‌ನಲ್ಲಿರುವ ಎಲ್ಲಾ ಇತರ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳಲ್ಲಿರುವ ತುಣುಕುಗಳಿಗೆ ಶೂನ್ಯ ಸಂಭವನೀಯತೆಯನ್ನು ನಿಯೋಜಿಸುತ್ತದೆ.

ಏಕ ಗೋಲ್ಡ್-ಚಂಕ್ ಲೇಬಲ್‌ನಂತಲ್ಲದೆ, ಈ ಗುರಿಯು ಪ್ರಸ್ತುತತೆಯ ಡಿಗ್ರಿಗಳನ್ನು ಸೆರೆಹಿಡಿಯುತ್ತದೆ. ಬೆಂಬಲ ತುಣುಕುಗಳು ನೆಗೆಟಿವ್‌ಗಳಾಗಿ ಪರಿಗಣಿಸಲ್ಪಡುವ ಬದಲು ಶಿಕ್ಷಕರ ಸ್ಕೋರ್‌ಗಳ ಪ್ರಕಾರ ತೂಕವನ್ನು ಪಡೆಯುತ್ತವೆ, ಉತ್ತರದ ಜೊತೆಗೆ ಬೆಂಬಲ ಸಂದರ್ಭವನ್ನು ಮರುಪಡೆಯಲು ಮಾದರಿಗೆ ಕಲಿಸುತ್ತುತ್ತವೆ.

ನಮ್ಮ ಸಂಯೋಜಿತ ತರಬೇತಿ ಉದ್ದೇಶವು ಡಾಕ್ಯುಮೆಂಟ್-ಮಟ್ಟದ ಕಾಂಟ್ರಾಸ್ಟಿವ್ ನಷ್ಟ ಮತ್ತು ತುಣುಕು-ಮಟ್ಟದ ಡಿಸ್ಟಿಲೇಶನ್ ನಷ್ಟದ ತೂಕದ ಮೊತ್ತವಾಗಿದೆ. ಪ್ರಶ್ನೆ-ಡಾಕ್ಯುಮೆಂಟ್ ಜೋಡಿಗಳ ಬ್ಯಾಚ್‌ನ ಮೇಲೆ ನಾವು ಈ ತೂಕದ ನಷ್ಟವನ್ನು ಸರಾಸರಿ ಮಾಡುತ್ತೇವೆ.

ಚಿತ್ರ 2 ನಮ್ಮ ತರಬೇತಿ ವಿಧಾನವನ್ನು ವಿವರಿಸುತ್ತದೆ. ಸಂದರ್ಭ ಸಂಕೋಚಕವು ತರಬೇತಿಯ ಸಮಯದಲ್ಲಿ ಮಾತ್ರ ಶಿಕ್ಷಕರಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಅನುಮಾನದ ಸಮಯದಲ್ಲಿ, ಎಂಬೆಂಡಿಂಗ್ ಮಾದರಿಯು ಪ್ರತಿ ತುಣುಕಿಗೆ ಒಂದು ಸಂದರ್ಭಾನುಸಾರ ಎಂಬೆಂಡಿಂಗ್ ಅನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ, ಯಾವುದೇ ಹೆಚ್ಚುವರಿ ಸಂಕೋಚನ ಅಥವಾ ಮರುಶ್ರೇಣೀಕರಣ ಹಂತವಿಲ್ಲದೆ. ಈ ವಿಧಾನವು ಸೂಚ್ಯಂಕ ಸಂಗ್ರಹಣೆಯನ್ನು ಹೆಚ್ಚಿಸದೆ ಅಥವಾ ಹಿಂಪಡೆಯುವ ಸಮಯದಲ್ಲಿ ಶಿಕ್ಷಕ-ಮಾದರಿಯ ಸುಪ್ತತೆಯನ್ನು ಸೇರಿಸದೆ ಸಂದರ್ಭಾನುಸಾರ ಎಂಬೆಂಡಿಂಗ್‌ಗಳನ್ನು ಹೇಗೆ ಕಲಿಯಲಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ಸುಧಾರಿಸುತ್ತದೆ.

ಸಂದರ್ಭಾನುಸಾರ ಎಂಬೆಂಡಿಂಗ್ ಡಿಸ್ಟಿಲೇಶನ್‌ಗಾಗಿ ತರಬೇತಿ ಸೆಟಪ್ — ಚಿತ್ರ 2: ನಮ್ಮ ಮಾದರಿಯ ತರಬೇತಿ ಸೆಟಪ್. ಸಂದರ್ಭಾನುಸಾರ ಎನ್‌ಕೋಡರ್ (ವಿದ್ಯಾರ್ಥಿ, ಎಡ) ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುತ್ತದೆ, ಪ್ರತಿಯೊಂದೂ ಹಲವಾರು ತುಣುಕುಗಳನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ. ಪ್ರತಿ ತುಣುಕನ್ನು ಅದರ ಸುತ್ತಮುತ್ತಲಿನ ಡಾಕ್ಯುಮೆಂಟ್ ಸಂದರ್ಭಕ್ಕೆ ಸಂಬಂಧಿಸಿದಂತೆ ಎಂಬೆಡ್ ಮಾಡಲಾಗುತ್ತದೆ. ಪ್ರಶ್ನೆ A ಡಾಕ್ಯುಮೆಂಟ್ A ಗಾಗಿ ತಿಳಿದಿರುವ ಹೊಂದಾಣಿಕೆಯಾಗಿದೆ ಮತ್ತು ಊಹಿಸಲಾದ ಸಾಮ್ಯತೆಗಳನ್ನು ಪಡೆಯಲು ಎಲ್ಲಾ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳ ತುಣುಕುಗಳ ವಿರುದ್ಧ ಸ್ಕೋರ್ ಮಾಡಲಾಗುತ್ತದೆ. ಈ ತುಣುಕು-ಮಟ್ಟದ ಸ್ಕೋರ್‌ಗಳನ್ನು ಡಾಕ್ಯುಮೆಂಟ್-ಮಟ್ಟದ ಸ್ಕೋರ್‌ಗಳಿಗೆ ಮ್ಯಾಕ್ಸ್-ಪೂಲ್ ಮಾಡಲಾಗುತ್ತದೆ. ಗುರಿ ವಿತರಣೆಗಳಿಗೆ (ಬಲ) ಹೊಂದಿಸಲು ನಾವು ತುಣುಕು-ಮಟ್ಟದ ಮುನ್ಸೂಚನೆಗಳು ಮತ್ತು ಡಾಕ್ಯುಮೆಂಟ್ ಮಟ್ಟದ ಮುನ್ಸೂಚನೆಗಳಿಗೆ ತರಬೇತಿ ನೀಡುತ್ತೇವೆ. ತುಣುಕು-ಮಟ್ಟದ ಗುರಿಯನ್ನು ತಿಳಿದಿರುವ ಸಂಬಂಧಿತ ಡಾಕ್ಯುಮೆಂಟ್‌ನಲ್ಲಿ ಸಂದರ್ಭ ಸಂಕೋಚಕದ ಮುನ್ಸೂಚನೆಯಾಗಿ ತರಬೇತಿ ಸಮಯದಲ್ಲಿ ಲೆಕ್ಕಹಾಕಲಾಗುತ್ತದೆ ಮತ್ತು ತಿಳಿದಿರುವ ಅಪ್ರಸ್ತುತ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳಲ್ಲಿ ಶೂನ್ಯಕ್ಕೆ ಹೊಂದಿಸಲಾಗುತ್ತದೆ. ಡಾಕ್ಯುಮೆಂಟ್-ಮಟ್ಟದ ಗುರಿ ವಿತರಣೆಯನ್ನು ತಿಳಿದಿರುವ ಸಂಬಂಧಿತ ಡಾಕ್ಯುಮೆಂಟ್‌ನಲ್ಲಿ ಒನ್-ಹಾಟ್ ಆಗಿ ಹೊಂದಿಸಲಾಗಿದೆ.

ತರಬೇತಿ ಡೇಟಾವು 50 ಕ್ಕೂ ಹೆಚ್ಚು ಭಷೆಗಳನ್ನು ಒಳಗೊಂಡಿರುವ ಸುಮಾರು 430 ಸಾರ್ವಜನಿಕ ಮತ್ತು ಇನ್-ಹೌಸ್ ಪ್ರಶ್ನೆ-ಡಾಕ್ಯುಮೆಂಟ್ ಡೇಟಾಸೆಟ್‌ಗಳನ್ನು ಒಳಗೊಂಡಿದೆ.

ನಾವು PII-ಫಿಲ್ಟರ್ ಮಾಡಿದ ಉತ್ಪಾದನಾ ಡೇಟಾದಿಂದ ಮತ್ತು ದೀರ್ಘ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳ ಮೇಲೆ ಸಂಬಂಧಿತ ಪ್ರಶ್ನೆಗಳನ್ನು ಸಂಶ್ಲೇಷಿಸುವ ಮೂಲಕ ಇನ್-ಹೌಸ್ ಜೋಡಿ ಡೇಟಾಸೆಟ್‌ಗಳನ್ನು ನಿರ್ಮಿಸುತ್ತೇವೆ. ಪ್ರತಿ ಫಾರ್ವರ್ಡ್ ಪಾಸ್‌ಗಾಗಿ, ನಾವು ಒಂದು ಡೇಟಾಸೆಟ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡುತ್ತೇವೆ ಮತ್ತು ಇನ್-ಬ್ಯಾಚ್ ನೆಗೆಟಿವ್‌ಗಳ ತೊಂದರೆಯನ್ನು ಹೆಚ್ಚಿಸಲು ಮತ್ತು ಶಾರ್ಟ್‌ಕಟ್ ಕಲಿಕೆಯನ್ನು ತಪ್ಪಿಸಲು ಅದರಿಂದ ಸಂಪೂರ್ಣ ಬ್ಯಾಚ್ ಅನ್ನು ಮಾದರಿ ಮಾಡುತ್ತೇವೆ. ನಮ್ಮ ಯಾವುದೇ ತರಬೇತಿ ಡೇಟಾಸೆಟ್‌ಗಳು ತುಣುಕು-ಮಟ್ಟದ ಟಿಪ್ಪಣಿಗಳನ್ನು ಹೊಂದಿಲ್ಲ: ಎಲ್ಲಾ ಡಾಕ್ಯುಮೆಂಟ್-ೊಳಗಿನ ಮೇಲ್ವಿಚಾರಣೆಯು ಸಂಕೋಚನ ಮಾದರಿಯಿಂದ ಬರುತ್ತದೆ ಮತ್ತು ಯಾವುದೇ ConTEB ಡೇಟಾವನ್ನು ತರಬೇತಿಗಾಗಿ ಬಳಸಲಾಗುವುದಿಲ್ಲ. ಅಲ್ಲದೆ, ಮಾದರಿ ಅಭಿವೃದ್ಧಿಯ ಸಮಯದಲ್ಲಿ ಯಾವುದೇ context-bench ಡೇಟಾ ಲಭ್ಯವಿರಲಿಲ್ಲ.

ಮಾದರಿಯು ಇನ್-ಹೌಸ್, 9B-ಪ್ಯಾರಾಮೀಟರ್ ColBERT ಹಿಂಪಡೆಯುವಿಕೆ ಮಾದರಿಯೊಂದಿಗೆ ಪ್ರಾರಂಭವಾಗುತ್ತದೆ ಮತ್ತು ರೇಖಾಚಿತ್ರ ಪ್ರೊಜೆಕ್ಷನ್ ಲೇಯರ್ ಮೂಲಕ 2048- ಆಯಾಮದ ಎಂಬೆಂಡಿಂಗ್‌ಗಳನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ. ನಾವು ಕಲಿತ <|chunk_sep|> ಟೋಕನ್‌ನೊಂದಿಗೆ ತುಣುಕು ಗಡಿಗಳನ್ನು ಗುರುತಿಸುತ್ತೇವೆ ಮತ್ತು ಅದರ ಟೋಕನ್ ಎಂಬೆಂಡಿಂಗ್‌ಗಳನ್ನು ಸರಾಸರಿ ಮಾಡುವ ಮೂಲಕ ಪ್ರತಿ ತುಣುಕು ಎಂಬೆಂಡಿಂಗ್ ಅನ್ನು ರೂಪಿಸುತ್ತೇವೆ. ಪ್ರಶ್ನೆಗಳನ್ನು ಅದೇ ಮಾದರಿಯಿಂದ ಎನ್ಕೋಡ್ ಮಾಡಲಾಗುತ್ತದೆ, ಅವುಗಳ ಟೋಕನ್ ಎಂಬೆಂಡಿಂಗ್‌ಗಳನ್ನು ಒಂದೇ ವೆಕ್ಟರ್ ಆಗಿ ಸರಾಸರಿ ಮಾಡಲಾಗುತ್ತದೆ.

1024- ಮತ್ತು 2048-ಆಯಾಮದ ಎಂಬೆಂಡಿಂಗ್‌ಗಳನ್ನು ಬೆಂಬಲಿಸಲು ನಾವು ಮ್ಯಾಟ್ರೋಷ್ಕಾ ತರಬೇತಿ ಅನ್ನು ಬಳಸುತ್ತೇವೆ, ಮತ್ತು ಸ್ಥಳೀಯ int8 ಎಂಬೆಂಡಿಂಗ್‌ಗಳನ್ನು ಬೆಂಬಲಿಸಲು ಕ್ವಾಂಟೈಸೇಶನ್-ಅವೇರ್ ತರಬೇತಿಯನ್ನು ಬಳಸುತ್ತೇವೆ. ತರಬೇತಿಯ ಸಮಯದಲ್ಲಿ, ನಾವು ಕಲಿಕೆಯ ದರವನ್ನು ಕ್ರಮೇಣ ಹೆಚ್ಚಿಸುತ್ತೇವೆ, ಅದನ್ನು ಸ್ಥಿರವಾಗಿರಿಸುತ್ತೇವೆ, ನಂತರ ಅದನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತೇವೆ.

ಬಿಡುಗಡೆಯಾದ ಮಾದರಿಯು ಮಾದರಿ ಸೂಪ್ ಆಗಿದ್ದು, ಇದು ಒಂದೇ ತರಬೇತಿ ರನ್‌ನಿಂದ ಹಲವಾರು ಚೆಕ್‌ಪಾಯಿಂಟ್‌ಗಳ ತೂಕವನ್ನು ಸರಾಸರಿ ಮಾಡುತ್ತದೆ.

ConTEB ನಂತಹ ಸಾರ್ವಜನಿಕ ಸಂದರ್ಭಾನುಸಾರ-ಹಿಂಪಡೆಯುವಿಕೆ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳು ಗೋಲ್ಡ್-ಚಂಕ್ ಮೇಲ್ವಿಚಾರಣೆಯ ಹಿಂದಿನ ಊಹೆಯನ್ನು ಹಂಚಿಕೊಳ್ಳುತ್ತವೆ: ಪ್ರತಿ ಪ್ರಶ್ನೆಯು ಒಂದೇ ಸಂಬಂಧಿತ ತುಣುಕನ್ನು ಹೊಂದಿದೆ ಮತ್ತು ಆ ತುಣುಕಿಗೆ ಮೊದಲು ಶ್ರೇಯಾಂಕ ನೀಡಿದ್ದಕ್ಕಾಗಿ ಮಾತ್ರ ಮಾದರಿಗೆ ಪ್ರತಿಫಲ ನೀಡಲಾಗುತ್ತದೆ. ಅವು ತಮ್ಮ ಮಿತಿಗಳನ್ನು ಸಹ ಆನುವಂಶಿಕವಾಗಿ ಪಡೆಯುತ್ತವೆ.

ಮೊದಲನೆಯದಾಗಿ, ConTEB ಸುತ್ತಮುತ್ತಲಿನ ಸಂದರ್ಭವಿಲ್ಲದೆ ತುಣುಕು ಅಸ್ಪಷ್ಟವಾಗಿರುವ ಕಾರ್ಯಗಳಲ್ಲಿ ಹಿಂಪಡೆಯುವಿಕೆಯನ್ನು ಪರೀಕ್ಷಿಸುತ್ತದೆ. ಈ ಕಾರ್ಯಗಳಲ್ಲಿ, ಸಂದರ್ಭಾನುಸಾರ ಮಾದರಿಗಳು ಪ್ರತಿ ತುಣುಕನ್ನು ಸ್ವತಂತ್ರವಾಗಿ ಎನ್ಕೋಡ್ ಮಾಡುವ ಮಾದರಿಗಳಿಗಿಂತ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸಿದವು. ಆದಾಗ್ಯೂ, ತುಣುಕನ್ನು ಅರ್ಥವಾಗುವಂತೆ ಮಾಡುವ ಡಾಕ್ಯುಮೆಂಟ್‌ನ ಇತರ ಭಾಗಗಳನ್ನು ಸಹ ಮಾದರಿಯು ಮೇಲ್ಮೈಗೆ ತರುತ್ತದೆಯೇ ಎಂದು ಅದು ಕೇಳುವುದಿಲ್ಲ.

ಎರಡನೆಯದಾಗಿ, ಒಂದೇ ಕಾರ್ಪಸ್‌ನಲ್ಲಿರುವ ಸಮಾನವಾದ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳು ಒಂದೇ ರೀತಿಯ ವಾಕ್ಯವನ್ನು ಸುತ್ತುವರೆದಿರುವ ಸಂದರ್ಭದಲ್ಲಿ ಮಾತ್ರ ಭಿನ್ನವಾಗಿರುವಾಗ ಸರಿಯಾದ ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ಕಂಡುಹಿಡಿಯಬಹುದೇ ಎಂದು ಇದು ವ್ಯವಸ್ಥಿತವಾಗಿ ಪರೀಕ್ಷಿಸುವುದಿಲ್ಲ.

ಹುಡುಕು ಏಜೆಂಟ್ ಅಥವಾ ಬಳಕೆದಾರನು ಸಂಪೂರ್ಣ ದಸ್ತಾವೇಜಿನ ಬದಲು ಕೆಲವೇ ಹಿಂತೆಗೆದು ಪಡೆದ ವಾಕ್ಯಗಳಿಂದ ಉತ್ತರವನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಿ ಮತ್ತು ಪರಿಶೀಲಿಸಬೇಕಾದಾಗ ಎರಡೂ ಸಾಮರ್ಥ್ಯಗಳು ಮಹತ್ವದ್ದಾಗಿವೆ. ಆದ್ದರಿಂದ, ನಾವು context-bench ಅನ್ನು ನಿರ್ಮಿಸಿದ್ದೇವೆ; ಇದು ದೀರ್ಘ ದಸ್ತಾವೇಜುಗಳ ಮೇಲಿನ ಹಿಂತೆಗೆತಿಗಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಿದ ನಿಯಂತ್ರಿತ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಆಗಿದ್ದು, ದಸ್ತಾವೇಜು ಸಂದರ್ಭದ ಬಳಕೆಯನ್ನು ಸಾಮಾನ್ಯ ಹಿಂತೆಗೆತಿ ಗುಣಮಟ್ಟದಿಂದ ಬೇರ್ಪಡಿಸಲು ರೂಪಿಸಲಾಗಿದೆ. ಇದು ಸಂದರ್ಭಾತ್ಮಕ ಎಂಬೆಡ್ಡಿಂಗ್‌ಗಳು ದಸ್ತಾವೇಜಿನ ಇತರ ಭಾಗಗಳ ಮಾಹಿತಿಯನ್ನು ಬಳಸಿಕೊಂಡು ಈ ಮೂರು ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತವೆಯೇ ಎಂಬುದನ್ನು ಪರೀಕ್ಷಿಸುತ್ತದೆ:

ಡಾಕ್ಯುಮೆಂಟ್ ಅಸ್ಪಷ್ಟತೆ ನಿವಾರಣೆ: ಸಮಾನವಾದ ಪರ್ಯಾಯಗಳಲ್ಲಿ ಸರಿಯಾದ ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ಗುರುತಿಸಿ.
ಉತ್ತರ ಮರುಪಡೆಯುವಿಕೆ: ಡಾಕ್ಯುಮೆಂಟ್‌ನಲ್ಲಿ ಬೇರೆಡೆಯ ವಿವರಗಳನ್ನು ಅವಲಂಬಿಸಿರುವ ಉತ್ತರ-ಹೊಂದಿರುವ ತುಣುಕುಗಳನ್ನು ಮರುಪಡೆಯಿರಿ.
ಸಾಕ್ಷ್ಯ ಮರುಪಡೆಯುವಿಕೆ: ಉತ್ತರವನ್ನು ಸ್ಪಷ್ಟಪಡಿಸುವ ಅಥವಾ ಪುಷ್ಟೀಕರಿಸುವ ಬೆಂಬಲ ತುಣುಕುಗಳನ್ನು ಮರುಪಡೆಯಿರಿ.

Context-bench 2,099 ಪ್ರಶ್ನೆಗಳನ್ನು ಮತ್ತು 38,894 ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ಹೊಂದಿದೆ. ವಾಕ್ಯದ ಉದ್ದದ ತುಣುಕುಗಳನ್ನು ಬಳಸಲಾಗುತ್ತದೆ, ಇದರ ಪರಿಣಾಮವಾಗಿ ಒಟ್ಟು 2,458,072 ತುಣುಕುಗಳು ಲಭ್ಯವಿವೆ. ಪ್ರಶ್ನೆಗಳು ಕಾರ್ಪೊರೇಟ್ ಫೈಲಿಂಗ್‌ಗಳು, ಕ್ಲಿನಿಕಲ್ ಸಂಶೋಧನೆ, ಪ್ರಯಾಣ, ಮನರಂಜನೆ, ಶಿಕ್ಷಣ, ಸರ್ಕಾರ, ಕಾನೂನು ಒಪ್ಪಂದಗಳು ಮತ್ತು ಸಾಫ್ಟ್‌ವೇರ್ ದಸ್ತಾವೇಜನ್ನು ಒಳಗೊಂಡಂತೆ 21 ಡೊಮೇನ್‌ಗಳನ್ನು ಒಳಗೊಂಡಿವೆ.

ಪ್ರತಿ ಪ್ರಶ್ನೆಯು ಹನ್ನೆರಡು ಸಂದರ್ಭಾನುಸಾರ ಸಾಮರ್ಥ್ಯಗಳಲ್ಲಿ ಒಂದನ್ನು ಪರೀಕ್ಷಿಸಲು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ. ಪ್ರಾಥಮಿಕ ಗುರಿ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳು ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿ ದೀರ್ಘವಾಗಿವೆ: 1,197 ವಿಭಿನ್ನ ಪ್ರಾಥಮಿಕ ಗುರಿ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳಲ್ಲಿ 1,061 ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳು ಕನಿಷ್ಠ 200 ವಾಕ್ಯಗಳನ್ನು ಹೊಂದಿವೆ, ಇದು ಸುಮಾರು 6,100 ಟೋಕನ್‌ಗಳ ಮಧ್ಯಮ ಉದ್ದವನ್ನು ಹೊಂದಿದೆ. ಕಾರ್ಪಸ್‌ನಲ್ಲಿ ಪ್ರತಿ ಪ್ರಶ್ನೆಗೆ ನಿಖರವಾಗಿ ಒಂದು ಸರಿಯಾದ ಉತ್ತರವಿದೆ. ಗೋಲ್ಡ್ ಡಾಕ್ಯುಮೆಂಟ್‌ನಲ್ಲಿ ಒಂದೇ ಸಂಗತಿಯನ್ನು ಒಂದಕ್ಕಿಂತ ಹೆಚ್ಚು ಬಾರಿ ಹೇಳಿದಾಗ, ಉದಾಹರಣೆಗೆ ಸಾರಾಂಶ ವಾಕ್ಯ ಮತ್ತು ಕೋಷ್ಟಕ ಸಾಲಿನಲ್ಲಿ, ಆ ಯಾವುದೇ ವಾಕ್ಯಗಳನ್ನು ಉತ್ತರಗಳಾಗಿ ಸ್ವೀಕರಿಸಲಾಗುತ್ತದೆ.

ಉತ್ತರ ಮಾರ್ಗವು ಉತ್ತರ ತುಣುಕು ಮತ್ತು ಅದನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಲು ಅಥವಾ ಪರಿಶೀಲಿಸಲು ಅಗತ್ಯವಿರುವ ಬೆಂಬಲ ಸಾಕ್ಷ್ಯದ ಒಂದು ಮಾನ್ಯ ಸಂಯೋಜನೆಯಾಗಿದೆ. 2,099 ಪ್ರಶ್ನೆಗಳಲ್ಲಿ, ಪ್ರಾಥಮಿಕ ಗುರಿ-ಡಾಕ್ಯುಮೆಂಟ್ ಉತ್ತರ ಮಾರ್ಗವು 964 ಪ್ರಶ್ನೆಗಳಿಗೆ ಒಂದು ಸಾಕ್ಷ್ಯ ಗುಂಪನ್ನು, 735 ಕ್ಕೆ ಎರಡು, 332 ಕ್ಕೆ ಮೂರು ಅಥವಾ ಹೆಚ್ಚು ಮತ್ತು 68 ಕ್ಕೆ ಯಾವುದೂ ಇಲ್ಲ. ಪರ್ಯಾಯ ಮಾನ್ಯ ಉತ್ತರ ಮಾರ್ಗಗಳು ವಿಭಿನ್ನ ಸಾಕ್ಷ್ಯ ಗುಂಪುಗಳ ಅಗತ್ಯವಿರಬಹುದು.

ಕೋಷ್ಟಕ 1: ಬೆಂಚ್‌ಮಾರ್ಕ್ ಅಂಕಿಅಂಶಗಳು.

ಅಂಕಿಅಂಶ	ಮೌಲ್ಯ
ಪ್ರಶ್ನೆಗಳು	2,099
ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳು	38,894
ವಾಕ್ಯ ತುಣುಕುಗಳು	2,458,072
ಮಧ್ಯಮ ಪ್ರಾಥಮಿಕ ಗುರಿ ಡಾಕ್ಯುಮೆಂಟ್ ಉದ್ದ	6,100 ಟೋಕನ್‌ಗಳು
ಡೊಮೇನ್‌ಗಳು	21
ಪ್ರತಿ ಪ್ರಶ್ನೆಗೆ ಸಾಕ್ಷ್ಯ ಗುಂಪುಗಳು (ಪ್ರಾಥಮಿಕ ಗುರಿ-ಡಾಕ್ಯುಮೆಂಟ್ ಉತ್ತರ ಮಾರ್ಗ)	1: 964; 2: 735; 3+: 332; ಯಾವುದೂ ಇಲ್ಲ: 68

ಕೋಷ್ಟಕ 2: ವಿವರವಾದ ಉದಾಹರಣೆಗಳೊಂದಿಗೆ, context-bench ನಿಂದ ಪರೀಕ್ಷಿಸಲ್ಪಟ್ಟ ಹನ್ನೆರಡು ಸಂದರ್ಭಾನುಸಾರ ಸಾಮರ್ಥ್ಯಗಳು.

ಸಾಮರ್ಥ್ಯ	ಉದಾಹರಣೆ ಪ್ರಶ್ನೆ	ಉತ್ತರ ತುಣುಕು	ಅಗತ್ಯವಿರುವ ಡಾಕ್ಯುಮೆಂಟ್ ಸಂದರ್ಭ
1. ಘಟಕದ ಗುರುತು	Northlake ಷೇರು ಮರುಖರೀದಿಗಳಿಗಾಗಿ ಎಷ್ಟು ಖರ್ಚು ಮಾಡಿತು?	ಕಂಪನಿಯು $12.8 ಬಿಲಿಯನ್ ಮೌಲ್ಯದ ಷೇರುಗಳನ್ನು ಮರುಖರೀದಿ ಮಾಡಿದೆ.	ಪರಿಚಯದಲ್ಲಿ Northlake ಅನ್ನು “ಕಂಪನಿ” ಎಂದು ಗುರುತಿಸಲಾಗಿದೆ. Southlake ಕುರಿತು ಸಮಾನ ವರದಿ ಇಲ್ಲಿ ಸಂಬಂಧಪಟ್ಟಿಲ್ಲ.
2. ಅವಧಿ ಅಥವಾ ಆವೃತ್ತಿ	ಯಾವ ಕಾರ್ಟ್ರಿಡ್ಜ್ M40 ಪರಿಷ್ಕರಣೆ B ಗೆ ಸರಿಹೊಂದುತ್ತದೆ?	KC-42 ಕಾರ್ಟ್ರಿಡ್ಜ್ ಅನ್ನು ಸ್ಥಾಪಿಸಿ.	ಈ ಸೂಚನೆಗಳು ಪರಿಷ್ಕರಣೆ C ಅಲ್ಲ, ಪರಿಷ್ಕರಣೆ B ಅನ್ನು ಒಳಗೊಂಡಿವೆ ಎಂದು ಅನ್ವಯಿಸುವಿಕೆ ವಿಭಾಗವು ಹೇಳುತ್ತದೆ.
3. ವ್ಯಾಖ್ಯಾನಗಳು ಮತ್ತು ಅಲಿಯಾಸ್‌ಗಳು	15 ಮಿಗ್ರಾಂ ಗುಂಪು ಯಾವ ಹಿಂಪಡೆಯುವಿಕೆಯ ಪ್ರಮಾಣವನ್ನು ಹೊಂದಿದೆ?	ಜೀಟಾ 12.7% ಹಿಂಪಡೆಯುವಿಕೆಯ ಪ್ರಮಾಣವನ್ನು ಹೊಂದಿತ್ತು.	ವರದಿಯು ಜೀಟಾವನ್ನು 15 ಮಿಗ್ರಾಂ ಗುಂಪು ಎಂದು ವ್ಯಾಖ್ಯಾನಿಸುತ್ತದೆ. ಆ ವ್ಯಾಖ್ಯಾನವಿಲ್ಲದೆ, ತುಣುಕು ವಿನಂತಿಸಿದ ಗುಂಪನ್ನು ಗುರುತಿಸುವುದಿಲ್ಲ.
4. ಕೋಷ್ಟಕ ರಚನೆ	Max ಮಾದರಿಯ ಬ್ಯಾಟರಿ ಸಾಮರ್ಥ್ಯ ಎಷ್ಟು?	ಸಾಮಾನ್ಯ ಸಾಮರ್ಥ್ಯ: 4,250 \| 4,700 \| 5,150.	ಕೋಷ್ಟಕ ಶೀರ್ಷಿಕೆಯು mAh ನಲ್ಲಿ ಅಳತೆ ಮಾಡಲಾದ Mini \| Base \| Max ಅನ್ನು ಸ್ಥಾಪಿಸುತ್ತದೆ. ಆದ್ದರಿಂದ ಉತ್ತರವು 5,150 mAh ಆಗಿದೆ.
5. ಷರತ್ತುಗಳು ಮತ್ತು ವಿನಾಯಿತಿಗಳು	ವಾಣಿಜ್ಯ ಬಳಕೆಗೆ ಬ್ಯಾಟರಿ ವ್ಯಾಪ್ತಿಯು ಎಷ್ಟು ಕಾಲ ಇರುತ್ತದೆ?	ಬ್ಯಾಟರಿ ವ್ಯಾಪ್ತಿಯು 18 ತಿಂಗಳುಗಳವರೆಗೆ ಇರುತ್ತದೆ.	ವಿಭಾಗದ ಪರಿಚಯವು ಈ ವ್ಯಾಪ್ತಿಯನ್ನು ವಾಣಿಜ್ಯ ಸ್ಥಾಪನೆಗಳಿಗೆ ನಿರ್ಬಂಧಿಸುತ್ತದೆ; ಮನೆಯ ಸ್ಥಾಪನೆಗಳು ವಿಭಿನ್ನ ವಾರಂಟಿಯನ್ನು ಹೊಂದಿವೆ.
6. ಉಲ್ಲೇಖಗಳು ಮತ್ತು ಸರ್ವನಾಮಗಳು	ಮಾರಾ ಯಾವಾಗ ಉಪ ಮೇಯರ್ ಆದರು?	ಅವರು 2021 ರಲ್ಲಿ ಅಧಿಕಾರ ವಹಿಸಿಕೊಂಡರು.	“ಅವಳು” ಎಂದರೆ ಚರ್ಚೆಯಲ್ಲಿರುವ ಎಲಿನ್ ಅಲ್ಲ, ಮಾರಾ ಎಂದು ಹಿಂದಿನ ನಿರೂಪಣೆಯು ಸ್ಥಾಪಿಸುತ್ತದೆ.
7. ಪಟ್ಟಿ ಆದೇಶ ಮತ್ತು ಸ್ಥಾನ	ಯಾವ ಹಾಡು ಎನ್‌ಕೋರ್ ಅನ್ನು ತೆರೆಯಿತು?	14. ಲ್ಯಾಂಟರ್ನ್ ರೋಡ್.	ಬೇರೆಡೆ ಇರುವ ಒಂದು ಟಿಪ್ಪಣಿಯಲ್ಲಿ ಹಾಡುಗಳು 14–16 ಅನ್ನು ಎನ್‌ಕೋರ್ ಎಂದು ಹೇಳಲಾಗಿದೆ. ಆದ್ದರಿಂದ ಟ್ರ್ಯಾಕ್ 14 ಅದರ ಆರಂಭಿಕ ಹಾಡಾಗಿದೆ.
8. ವಿಭಾಗದ ವ್ಯಾಪ್ತಿ	ಸಿನಿಮಾಟೋಗ್ರಫಿಗಾಗಿ ಯಾವ ಲೆನ್ಸ್‌ ಅನ್ನು ಬಳಸಲಾಗಿದೆ?	ಉದ್ದಕ್ಕೂ 35 mm ಪ್ರೈಮ್ ಅನ್ನು ಬಳಸಲಾಗಿದೆ.	ಈ ಭಾಗವು “ಪ್ರಧಾನ ಫೋಟೋಗ್ರಫಿ” ಗೆ ಸೇರಿದೆ, ಪ್ರಚಾರದ ಫೋಟೋಗಳ ಬಗ್ಗೆ ಪ್ರತ್ಯೇಕ ವಿಭಾಗಕ್ಕಲ್ಲ.
9. ಭಾಷಣಕಾರರ ಆರೋಪ	ಮೇಯರ್ ಯಾವ ಮರುಪ್ರಾರಂಭದ ದಿನಾಂಕವನ್ನು ಭೇಸಿದರು?	ನಾವು ಜೂನ್ 12 ರಂದು ಮರುಪ್ರಾರಂಭಿಸುತ್ತೇವೆ.	ಲಿಪಿಯು ಮೇಯರ್ ಅನ್ನು ಭಾಷಣಕಾರರೆಂದು ಗುರುತಿಸುತ್ತದೆ. ಗುತ್ತಿಗೆದಾರರ ಅದೇ ಪದಗಳು ಮೇಯರ್ ಭರವಸೆಯನ್ನು ಸ್ಥಾಪಿಸುವುದಿಲ್ಲ.
10. ಕಾಲಾನಂತರದಲ್ಲಿ ಬದಲಾವಣೆಗಳು	ಮೇ ತಿಂಗಳ ತಿದ್ದುಪಡಿಯ ನಂತರ ಯಾವ ಸೂಚನೆ ಅವಧಿ ಅನ್ವಯವಾಯಿತು?	ಸೂಚನೆ ಅವಧಿ ಈಗ 45 ದಿನಗಳು.	ಈ ಬದಲಾವಣೆಯು ಮೇ ತಿಂಗಳಲ್ಲಿ ಜಾರಿಗೆ ಬಂದಿದೆ ಎಂದು ತಿದ್ದುಪಡಿ ಇತಿಹಾಸವು ಸ್ಥಾಪಿಸುತ್ತದೆ, ಇದು ಹಿಂದಿನ 30 ದಿನಗಳ ನಿಯಮವನ್ನು ಬದಲಾಯಿಸಿದೆ.
11. ಕಾರಣ ಮತ್ತು ಪರಿಣಾಮದ ಸಂಬಂಧಗಳು	ಪಶ್ಚಿಮ ಪಂಪ್ ಏಕೆ ನಿಂತಿತು?	ಆ ದೋಷವೇ ಸ್ಥಗಿತಗೊಳ್ಳಲು ಕಾರಣವಾಯಿತು.	ತನಿಖೆಯು ಪಶ್ಚಿಮ ಪಂಪ್‌ನಲ್ಲಿನ ಜಮ್ ಆದ ಬೇರಿಂಗ್ ಎಂದು “ಆ ದೋಷವನ್ನು” ಗುರುತಿಸುತ್ತದೆ ಮತ್ತು ಅದನ್ನು ಸಂಬಂಧವಿಲ್ಲದ ಇನ್‌ಲೆಟ್ ತಡೆಯಿಂದ ಪ್ರತ್ಯೇಕಿಸುತ್ತದೆ.
12. ರೂಪಕ ಅಥವಾ ಅಂತರ-ಭಾಷೆಯ ಅರ್ಥ	ರೂಪಕ: ಕವಿತೆಯಲ್ಲಿ “ಚಳಿಗಾಲದ ಕೋಣೆ” ಏನು ಸಂಕೇತಿಸುತ್ತದೆ? ಅಂತರ-ಭಾಷೆ: ಯಾವ ಘಟಕವನ್ನು ತೆಗೆದುಹಾಕಲು ಫ್ರೆಂಚ್ ಸೂಚನೆಯು ತಂತ್ರಜ್ಞನಿಗೆ ಹೇಳುತ್ತದೆ?	ರೂಪಕ: ಇದು ಭೌತಿಕ ಕೋಣೆಗಿಂತ ಹೆಚ್ಚಾಗಿ ಗಡೀಪಾರು ಮಾಡುವುದನ್ನು ಪ್ರತಿನಿಧಿಸುತ್ತದೆ. ಅಂತರ-ಭಾಷೆ: Retirez le capot. (ಕವರ್ ತೆಗೆದುಹಾಕಿ.)	ರೂಪಕ: ಕಾಮೆಂಟರಿಯು “ಅದನ್ನು” ಕವಿತೆಯ ಮರುಕಳಿಸುವ “ಚಳಿಗಾಲದ ಕೋಣೆ” ಚಿತ್ರವೆಂದು ಗುರುತಿಸುತ್ತದೆ. ಅಂತರ-ಭಾಷೆ: ಮಾರ್ಗದರ್ಶಿಯ ಗ್ಲಾಸರಿಯು “capot” ಎಂದರೆ ರಕ್ಷಣಾತ್ಮಕ ಮೋಟಾರ್ ಹುಡ್ ಎಂದರ್ಥ, ಶಿಪ್ಪಿಂಗ್ ಕವರ್ ಅಲ್ಲ ಎಂದು ನಿರ್ದಿಷ್ಟಪಡಿಸುತ್ತದೆ.

ಪರೀಕ್ಷಿಸಲ್ಪಡುತ್ತಿರುವ ಪ್ರಶ್ನೆಗಳು, ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳು ಮತ್ತು ಸಾಮರ್ಥ್ಯಗಳು turbopuffer ನ ಗ್ರಾಹಕರೊಂದಿಗೆ ನಡೆಸಿದ ಸಂಭಾಷಣೆಗಳಿಂದ ಪ್ರೇರಿತವಾಗಿವೆ.

ಒಂದು ಉದಾಹರಣೆಯನ್ನು ನೀಡಲು, ಆಸ್ತಿ ನಿರ್ವಹಣಾ ಸಂಸ್ಥೆಯ ಹುಡುಕಾಟ ಅಗತ್ಯಗಳನ್ನು ಪರಿಗಣಿಸಿ. ಈ ಸಂಸ್ಥೆಗಳು ನೂರಾರು, ಕೆಲವೊಮ್ಮೆ ಸಾವಿರಾರು ಗುತ್ತಿಗೆ ಒಪ್ಪಂದಗಳನ್ನು ಹೊಂದಿವೆ, ಇವು ಬಾಡಿಗೆದಾರರ ಹೆಸರುಗಳು, ದಿನಾಂಕಗಳು ಮತ್ತು ಕೆಲವು ಇತರ ಪ್ರಮುಖ ವಿವರಗಳಲ್ಲಿ ಮಾತ್ರ ಭಿನ್ನವಾಗಿರುತ್ತವೆ. ಆ ಡೇಟಾಸೆಟ್‌ಗಾಗಿ ಸಾಮಾನ್ಯ ಪ್ರಶ್ನೆಯು “5 ಪಾರ್ಕ್ ಅವೆನ್ಯುವಿನ ಗುತ್ತಿಗೆ ಯಾವಾಗ ಮುಕ್ತಾಯಗೊಳ್ಳುತ್ತದೆ ಮತ್ತು ಪ್ರಸ್ತುತ ಬಾಡಿಗೆ ಎಷ್ಟು?” ಎಂಬುದಾಗಿರಬಹುದು. ಗುತ್ತಿಗೆ ಒಪ್ಪಂದಗಳು ದೀರ್ಘವಾಗಿರಬಹುದು ಮತ್ತು ನೀವು ಸರಿಯಾದ ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ಮರುಪಡೆಯಲಾಗಿದೆ ಎಂದು ಖಚಿತಪಡಿಸುವ ನಿರ್ಣಾಯಕ ಅಸ್ಪಷ್ಟತೆ ನಿವಾರಣಾ ಘಟಕಗಳು (ದಿನಾಂಕ, ವಿಳಾಸ, ಬಾಡಿಗೆದಾರರ ಹೆಸರು, ಇತ್ಯಾದಿ) ಮಾಸಿಕ ಗುತ್ತಿಗೆ ಪಾವತಿ ಮೊತ್ತವನ್ನು ಹೊಂದಿರುವ ಪ್ರಮುಖ ಉತ್ತರ ವಾಕ್ಯದಿಂದ ಬಹಳ ದೂರವಿರಬಹುದು. ಪ್ರಾಯೋಗಿಕವಾಗಿ, “ಮಾಸಿಕ ಬಾಡಿಗೆ $X,XXX ಆಗಿದೆ.” ನಂತಹ ಒಂದೇ ರೀತಿಯ ವಾಕ್ಯಗಳು ಕಾರ್ಪಸ್‌ನಲ್ಲಿರುವ ಅನೇಕ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳಬಹುದು.

ಒಳ್ಳೆಯ ಸಂದರ್ಭಾನುಸಾರ ಎಂಬೆಂಡಿಂಗ್ ಮಾದರಿಯು ಸರಿಯಾದ ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ಗುರುತಿಸಲು ಮತ್ತು ಉತ್ತರ ಹಾಗೂ ಅದರ ಬೆಂಬಲ ವಾಕ್ಯಗಳನ್ನು ಮರುಪಡೆಯಲು ಡಾಕ್ಯುಮೆಂಟ್‌ನಾದ್ಯಂತದ ಸಂದರ್ಭವನ್ನು ಬಳಸಬೇಕು. ಇದು ಬಳಕೆದಾರರಿಗೆ ಅಥವಾ ಹುಡುಕಾಟ ಏಜೆಂಟ್‌ಗೆ ಉತ್ತರವನ್ನು ತ್ವರಿತವಾಗಿ ಪರಿಶೀಲಿಸಲು ಮತ್ತು ಅದು ಸರಿಯಾದ ಡಾಕ್ಯುಮೆಂಟ್‌ನಿಂದ ಬಂದಿದೆ ಎಂದು ಖಚಿತಪಡಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ.

ಪ್ರತಿ ಪ್ರಶ್ನೆಗೆ, ನಾವು ಗುರಿ ಡಾಕ್ಯುಮೆಂಟ್‌ನಲ್ಲಿ “ಉತ್ತರ” ಮತ್ತು “ಸಾಕ್ಷ್ಯ” ವಾಕ್ಯಗಳನ್ನು ಲೇಬಲ್ ಮಾಡುತ್ತೇವೆ. ಮಾದರಿಯು ಉತ್ತರ ವಾಕ್ಯವನ್ನು ಪ್ರತಿ ಸಾಕ್ಷ್ಯ ಗುಂಪಿನಿಂದ ಕನಿಷ್ಠ ಒಂದು ವಾಕ್ಯದೊಂದಿಗೆ ಮರುಪಡೆಯುವುದಾದರೆ ನಮ್ಮ “ಓದುಗರ ಸಮರ್ಪಕತೆ” ಪರೀಕ್ಷೆಯಲ್ಲಿ ಉತ್ತೀರ್ಣನಾಗುತ್ತಾನೆ. ಒಟ್ಟಾರೆಯಾಗಿ, ಈ ವಾಕ್ಯಗಳು ಓದುಗರಿಗೆ ಬೆಂಬಲ ಸಾಕ್ಷ್ಯದೊಂದಿಗೆ ಉತ್ತರವನ್ನು ಪರಿಶೀಲಿಸಲು ಸಾಕಷ್ಟು ಸಂದರ್ಭವನ್ನು ಒದಗಿಸುತ್ತವೆ.

ಸಂದರ್ಭಾನುಸಾರ ಎಂಬೆಂಡಿಂಗ್ ಮಾದರಿಗಳು ಇದನ್ನು ಚೆನ್ನಾಗಿ ಮಾಡಿದಾಗ, ಹುಡುಕಾಟ ಏಜೆಂಟ್‌ಗಳು ಪರಿಶೀಲಿಸಬೇಕಾದ ಟೋಕನ್‌ಗಳ ಸಂಖ್ಯೆಯನ್ನು ಅವು ನಾಟಕೀಯವಾಗಿ ಕಡಿಮೆ ಮಾಡಬಹುದು ಹಾಗೂ ಸಂಪೂರ್ಣ ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ಓದದೆ ತಮ್ಮ ಮೂಲ ಪ್ರಶ್ನೆಗೆ ಸರಿಯಾದ ಉತ್ತರವನ್ನು ಅವರು ಪತ್ತೆ ಮಾಡಿದ್ದಾರೆ ಎಂದು ವ್ಯಕ್ತಿಯೊಬ್ಬರು ತ್ವರಿತವಾಗಿ ಖಚಿತಪಡಿಸಿಕೊಳ್ಳುವುದನ್ನು ಇದು ಬಹಳ ಸುಲಭಗೊಳಿಸುತ್ತದೆ.

ಪ್ರತಿ ಸಾಕ್ಷ್ಯ ಗುಂಪನ್ನು ಮರುಪಡೆಯಬೇಕು, ಆದರೆ ಗುಂಪಿನ ಪರ್ಯಾಯಗಳಲ್ಲಿ ಯಾವುದಾದರೂ ಒಂದನ್ನು ಮರುಪಡೆಯಲು ಸಾಕಾಗುತ್ತದೆ. ಈ ದೀರ್ಘ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳಲ್ಲಿ ಹಲವಾರು ಸ್ಥಳಗಳಲ್ಲಿ ಅದೇ ಸಂಗತಿಯನ್ನು ಹೇಳುವುದನ್ನು ನೋಡುವುದು ಸಾಮಾನ್ಯವಾಗಿದೆ. ಪ್ರತಿ ಸಾಕ್ಷ್ಯ ಗುಂಪಿನಿಂದ ಕೇವಲ ಒಂದು ವಾಕ್ಯವನ್ನು ಮರುಪಡೆಯುವುದು ಓದುಗರ ಸಮರ್ಪಕತೆಯ ಮಾನದಂಡವನ್ನು ಪೂರೈಸುತ್ತದೆ ಮತ್ತು ಹಾಗೆಯೇ ಪರಿಪೂರ್ಣ ಸಾಕ್ಷ್ಯ ನೆನಪಿನಂತೆ ಸ್ವೀಕರಿಸಲ್ಪಡುತ್ತದೆ.

ಪ್ರತಿ ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ವಾಕ್ಯಗಳಾಗಿ ತುಣುಕು ಮಾಡಲಾಗುತ್ತದೆ, ಮತ್ತು ಎಲ್ಲಾ ಮಾದರಿಗಳಿಗೆ ಅದೇ ಗಡಿಗಳನ್ನು ಬಳಸಲಾಗುತ್ತದೆ. ಸಂದರ್ಭ-ಅಲ್ಲದ ಎಂಬೆಂಡಿಂಗ್ ಮಾದರಿಗಳಿಗಾಗಿ ಎರಡು ಷರತ್ತುಗಳನ್ನು ಪರೀಕ್ಷಿಸಲಾಗುತ್ತದೆ: ಪ್ರತಿ ವಾಕ್ಯವನ್ನು ಸ್ವತಂತ್ರವಾಗಿ ಎಂಬೆಡ್ ಮಾಡಲಾದ ಒಂದು ಮತ್ತು ಸಂಪೂರ್ಣ ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ಒಂದೇ ತುಣುಕಾಗಿ ಎಂಬೆಡ್ ಮಾಡಲಾದ ಮತ್ತೊಂದು.

ಉತ್ತರ ನೆನಪು ಮತ್ತು ಸಾಕ್ಷ್ಯ ನೆನಪನ್ನು ಅಳೆಯಲು ನಾವು ವಾಕ್ಯ-ಮಟ್ಟದ ಷರತ್ತನ್ನು ಬಳಸುತ್ತೇವೆ. ಸುತ್ತಮುತ್ತಲಿನ ಡಾಕ್ಯುಮೆಂಟ್‌ಗೆ ಪ್ರವೇಶವಿಲ್ಲದೆ ಪ್ರತಿ ವಾಕ್ಯವನ್ನು ಎಂಬೆಡ್ ಮಾಡಿದಾಗ ಸಂದರ್ಭ-ಅಲ್ಲದ ಮಾದರಿಯು ಸರಿಯಾದ ಉತ್ತರ ಮತ್ತು ಬೆಂಬಲ ಸಾಕ್ಷ್ಯವನ್ನು ಗುರುತಿಸಬಹುದೇ ಎಂದು ಇದು ಪರೀಕ್ಷಿಸುತ್ತದೆ. ಇದು ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿ ಸವಾಲಾಗಿದೆ. ಅನೇಕ ಪ್ರಶ್ನೆಗಳಲ್ಲಿ, ಕಾರ್ಪಸ್‌ನಲ್ಲಿರುವ ಸಕ್ಕರೆ ವಾಕ್ಯಗಳಿಂದ ಅದನ್ನು ಪ್ರತ್ಯೇಕಿಸಲು ಅಗತ್ಯವಿರುವ ವಿವರಗಳು ಉತ್ತರ ವಾಕ್ಯದಲ್ಲಿ ಮಾತ್ರ ಕೊರತೆಯಿರುತ್ತವೆ.

ಡಾಕ್ಯುಮೆಂಟ್ ನೆನಪಿನ ಬೇಸ್‌ಲೈನ್ ಆಗಿ ನಾವು ಡಾಕ್ಯುಮೆಂಟ್-ಮಟ್ಟದ ಷರತ್ತನ್ನು ಬಳಸುತ್ತೇವೆ. ಪ್ರತಿ ಡಾಕ್ಯುಮೆಂಟ್‌ಗೆ ಒಂದು ವೆಕ್ಟರ್ ಅನ್ನು ಸಂಗ್ರಹಿಸಲು ಹೋಲಿಸಿದರೆ ಸೂಕ್ಷ್ಮ-ಧಾನ್ಯದ ವಾಕ್ಯ ಎಂಬೆಂಡಿಂಗ್‌ಗಳು ತಮ್ಮ ಹೆಚ್ಚುವರಿ ಸಂಗ್ರಹಣೆ ವೆಚ್ಚವನ್ನು ಸಮರ್ಥಿಸಲು ಸಾಕಷ್ಟು ಹಿಂಪಡೆಯುವಿಕೆ ಪ್ರಯೋಜನವನ್ನು ಒದಗಿಸುತ್ತವೆಯೇ ಎಂದು ಇದು ಪರೀಕ್ಷಿಸುತ್ತದೆ. ವಾಕ್ಯ-ಮಟ್ಟದ ಸೂಚ್ಯಂಕವು ಡಾಕ್ಯುಮೆಂಟ್-ಮಟ್ಟದ ಸೂಚ್ಯಂಕಕ್ಕಿಂತ ಗಣನೀಯವಾಗಿ ಹೆಚ್ಚಿನ ವೆಕ್ಟರ್‌ಗಳನ್ನು ಸೃಷ್ಟಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ಆ ವೆಚ್ಚವನ್ನು ಸಮರ್ಥಿಸಲು ಇದು ಒಂದು-ವೆಕ್ಟರ್-ಪ್ರತಿ-ಡಾಕ್ಯುಮೆಂಟ್ ಬೇಸ್‌ಲೈನ್ ಅನ್ನು ಮೀರಿಸಬೇಕು.

ಎಲ್ಲಾ ಮೌಲ್ಯಮಾಪನಗಳು ಎಲ್ಲಾ 2,458,072 ತುಣುಕುಗಳ ವಿರುದ್ಧ ಸಮಗ್ರ ಶ್ರೇಯಾಂಕಗಳನ್ನು ಬಳಸುತ್ತವೆ. ಆದ್ದರಿಂದ ಮಾದರಿಗಳ ನಡುವಿನ ವ್ಯತ್ಯಾಸಗಳು ಪ್ರಾತಿನಿಧ್ಯಗಳನ್ನು ಪ್ರತಿಬಿಂಬಿಸುತ್ತವೆ, ಸೂಚ್ಯಂಕ ಸಂರಚನೆಯನ್ನಲ್ಲ. ನಾವು ಮೂರು ಪ್ರಮುಖ ಮೆಟ್ರಿಕ್‌ಗಳ ಮೇಲೆ ಗಮನ ಕೇಂದ್ರೀಕರಿಸುತ್ತೇವೆ:

Document@K ಅನ್ನು ಹೀಗೆ ವ್ಯಾಖ್ಯಾನಿಸಲಾಗಿದೆ:

\text{Document@K}=1[\operatorname{rank}(d^{*})\le K]

ಇಲ್ಲಿ $d^{*}$ ಎಂಬುದು $D_q$ ನಲ್ಲಿ ಅತಿ ಹೆಚ್ಚು ಶ್ರೇಯಾಂಕ ಪಡೆದ ಡಾಕ್ಯುಮೆಂಟ್ ಆಗಿದೆ.

Answer@K ಅನ್ನು ಹೀಗೆ ವ್ಯಾಖ್ಯಾನಿಸಲಾಗಿದೆ:

\text{Answer@K}=1[A_q\cap C_K(q)\ne\varnothing]

ಇಲ್ಲಿ $C_K(q)$ ಸಂಪೂರ್ಣ ಕಾರ್ಪಸ್ ಮೇಲಿನ ಉನ್ನತ $K$ ತುಣುಕುಗಳು ಮತ್ತು $A_{q}$ ಸ್ವೀಕರಿಸಿದ ಉತ್ತರ ತುಣುಕುಗಳ ಗುಂಪಾಗಿದೆ.

Evidence Recall@K ಅನ್ನು ಒಳಗೆ ಈ ಕೆಳಗಿನಂತೆ ಅಳೆಯಲಾಗುತ್ತದೆ: ನ ವಾಕ್ಯಗಳಿಗೆ ಸಾಮ್ಯತೆಯ ಮೂಲಕ ಶ್ರೇಯಾಂಕ ನೀಡಿ, ಅತಿ ಹೆಚ್ಚು ಶ್ರೇಯಾಂಕ ಪಡೆದ ಉತ್ತರ ವಾಕ್ಯವನ್ನು ತೆಗೆದುಹಾಕಿ ಮತ್ತು ಉಳಿದ ಉನ್ನತ ಅನ್ನು ಆಗಿರಲಿ. ಸಾಕ್ಷ್ಯ ಗುಂಪುಗಳು ಗಾಗಿ, ಕೆಲವು ಪರ್ಯಾಯ ಯು ಅನ್ನು ಪೂರೈಸಿದರೆ ಗುಂಪು ಮರುಪಡೆಯಲ್ಪಡುತ್ತದೆ, ಮತ್ತು $d^{*}$ $d^{*}$ $R_K(q)$ $K$ $G_q=\{g_1,\ldots,g_m\}$ $g_j$ $E\in g_j$ $E\subseteq R_K(q)$

\text{EvidenceRecall@K}=1[\operatorname{rank}(d^{*})\le10]\cdot\frac{1}{m}\sum_{j=1}^{m}1[g_j\ \text{recovered}].

ಸಂದರ್ಭೀಕರಣವು ಸರಿಯಾದ ಡಾಕ್ಯುಮೆಂಟ್ ತನ್ನ ಶಬ್ದಕೋಶವನ್ನು ಹಂಚಿಕೊಳ್ಳುವ ಸಹೋದರರು ಮತ್ತು ಡಿಸ್ಟ್ರ್ಯಾಕ್ಟರ್‌ಗಳನ್ನು ಸೋಲಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆಯೇ ಎಂದು Document@K ಕೇಳುತ್ತದೆ.

ಉತ್ತರ ವಾಕ್ಯವೇ ಉನ್ನತ ತುಣುಕುಗಳಲ್ಲಿ ಶ್ರೇಯಾಂಕ ಪಡೆಯುತ್ತದೆಯೇ ಎಂದು Answer@K ಕೇಳುತ್ತದೆ.

ಅತಿ ಹೆಚ್ಚು ಶ್ರೇಯಾಂಕ ಪಡೆದ ಉತ್ತರ ತುಣುಕನ್ನು ಹೊರಗಿಟ್ಟ ನಂತರ, ಸರಿಯಾದ ಡಾಕ್ಯುಮೆಂಟ್‌ನ ಉನ್ನತ K ತುಣುಕುಗಳಲ್ಲಿ ಎಷ್ಟು ಬೆಂಬಲ ಸಂದರ್ಭವನ್ನು ಮರುಪಡೆಯಲಾಗಿದೆ ಎಂದು Evidence Recall@K ಕೇಳುತ್ತದೆ. ಉತ್ತರವನ್ನು ತೆಗೆದುಹಾಕುವುದು ಸಾಕ್ಷ್ಯ ನೆನಪು Answer@K ಈಗಾಗಲೇ ಅಳೆಯುವುದನ್ನು ಎರಡು ಬಾರಿ ಎಣಿಸುವುದನ್ನು ತಡೆಯುತ್ತದೆ, ಮತ್ತು ಬೆಂಬಲ ಸಂದರ್ಭಕ್ಕಾಗಿ ಎಲ್ಲಾ $K$ ಸ್ಲಾಟ್‌ಗಳನ್ನು ಬಿಡುತ್ತದೆ. ಗೋಲ್ಡ್ ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ಉನ್ನತ 10 ಹಿಂಪಡೆದ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳಲ್ಲಿರಲು ಅಗತ್ಯವಿರುವುದು ಅಂದರೆ ಯಾವುದೇ ಮಾದರಿಯು ತಾನು ಮೇಲ್ಮೈಗೆ ತರದ ಡಾಕ್ಯುಮೆಂಟ್‌ಗೆ ಸಾಕ್ಷ್ಯ ಕ್ರೆಡಿಟ್‌ಗಳನ್ನು ಸ್ವೀಕರಿಸುವುದಿಲ್ಲ. ನಾವು ಎಲ್ಲಾ ಗುಂಪುಗಳು ಮರುಪಡೆಯಲ್ಪಟ್ಟ ಪ್ರಶ್ನೆಗಳ ಭಾಗವಾದ All-Evidence@K ಅನ್ನು ಸಹ ವರದಿ ಮಾಡುತ್ತೇವೆ.

ಒಟ್ಟಾರೆಯಾಗಿ, ಈ ಮೆಟ್ರಿಕ್‌ಗಳು ಸಂದರ್ಭ- ಎಂಬೆಂಡಿಂಗ್ ಮಾದರಿಗಳು ಎದುರಿಸುವ ಸವಾಲುಗಳನ್ನು ವಿಭಜಿಸುತ್ತವೆ: ಸರಿಯಾದ ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ಹುಡುಕುವುದು, ಸರಿಯಾದ ಉತ್ತರವನ್ನು ಕಂಡುಹಿಡಿಯುವುದು ಮತ್ತು ಉತ್ತರವು ಏಕೆ ಸರಿಯಾಗಿದೆ ಎಂಬುದನ್ನು ತೋರಿಸುವ ಕನಿಷ್ಠ ಸಂದರ್ಭವನ್ನು ಮರುಪಡೆಯುವುದು.

ಚಿತ್ರ 3 ಆಸ್ತಿ ನಿರ್ವಹಣಾ ಉದಾಹರಣೆಯೊಂದಿಗೆ ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ವಿವರಿಸುತ್ತದೆ.

context-bench ಡಾಕ್ಯುಮೆಂಟ್, ಉತ್ತರ ಮತ್ತು ಸಾಕ್ಷ್ಯ ಮರುಪಡೆಯುವಿಕೆಯನ್ನು ಹೇಗೆ ಸ್ಕೋರ್ ಮಾಡಲಾಗುತ್ತದೆ — ಚಿತ್ರ 3: ಗುತ್ತಿಗೆ ಪ್ರಶ್ನೆಯೊಂದಿಗೆ ವಿವರಿಸಲಾದ context-bench ಮೆಟ್ರಿಕ್‌ಗಳು. Document@K ಸರಿಯಾದ ಡಾಕ್ಯುಮೆಂಟ್‌ನ ಮರುಪಡೆಯುವಿಕೆಯನ್ನು ಪರೀಕ್ಷಿಸುತ್ತದೆ; Answer@K ಅದರ ಉತ್ತರ ತುಣುಕಿನ ಮರುಪಡೆಯುವಿಕೆಯನ್ನು ಪರೀಕ್ಷಿಸುತ್ತದೆ; Evidence Recall@K ಗುರಿ ಡಾಕ್ಯುಮೆಂಟ್ ಒಳಗೆ ಬೆಂಬಲ ಸಾಕ್ಷ್ಯ ಗುಂಪುಗಳ ಚೇತರಿಕೆಯನ್ನು ಅಳೆಯುತ್ತದೆ. ಈ ಉದಾಹರಣೆಯಲ್ಲಿ, ಬಾಡಿಗೆಯನ್ನು ಪರಿಶೀಲಿಸಲು ವಿಳಾಸ ಮತ್ತು ಗುತ್ತಿಗೆ-ವರ್ಷದ ಸಾಕ್ಷ್ಯ ಎರಡೂ ಅಗತ್ಯವಿದೆ. ಸಾಕ್ಷ್ಯ ನೆನಪು ಉನ್ನತ ಉತ್ತರ ತುಣುಕನ್ನು ಹೊರಗಿಡುತ್ತದೆ ಮತ್ತು ಗುರಿ ಡಾಕ್ಯುಮೆಂಟ್ ಉನ್ನತ 10 ರಲ್ಲಿ ಶ್ರೇಯಾಂಕ ಪಡೆಯಬೇಕಾಗುತ್ತದೆ.

ನಾವು ನಮ್ಮ ಮಾದರಿಯನ್ನು ನಾಲ್ಕು ರಂಗಗಳಲ್ಲಿ ಸಂದರ್ಭಾನುಸಾರ ಮತ್ತು ಸಂದರ್ಭ-ಅಲ್ಲದ ಎಂಬೆಂಡಿಂಗ್ ಮಾದರಿಗಳ ವಿರುದ್ಧ ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ.

ನಮ್ಮ ಸಂದರ್ಭಾನುಸಾರ ಬೇಸ್‌ಲೈನ್‌ಗಳು pplx-embed-context-v1-4B ಮತ್ತು voyage-context-4 ಆಗಿವೆ. ನಮ್ಮ ಸಂದರ್ಭ-ಅಲ್ಲದ ಬೇಸ್‌ಲೈನ್‌ಗಳು voyage-4-large ಮತ್ತು NVIDIA ನ Nemotron-3-Embed-8B-BF16 ಆಗಿವೆ, ಇವು ತುಣುಕುಗಳನ್ನು ಸ್ವತಂತ್ರವಾಗಿ ಎನ್ಕೋಡ್ ಮಾಡುತ್ತವೆ. ಪ್ರತಿ ಚಿತ್ರದಲ್ಲಿ ಸೂಚಿಸಿದಂತೆ ಬೇಸ್‌ಲೈನ್ ಸೆಟ್ ಪ್ರಯೋಗದಿಂದ ಪ್ರಯೋಗಕ್ಕೆ ಬದಲಾಗುತ್ತದೆ.

ನಾವು context-bench‌ನಿಂದ ಪ್ರಾರಂಭಿಸುತ್ತೇವೆ; ಇದು ಈ ಕೆಲಸಕ್ಕೆ ಆಧಾರವಾದ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ನೇರವಾಗಿ ಪರೀಕ್ಷಿಸುತ್ತದೆ, ಮತ್ತು ನಂತರ ಸಂದರ್ಭಾತ್ಮಕ ಎಂಬೆಡ್ಡಿಂಗ್‌ಗಳಿಗಾಗಿ ಮಾನಕ ಸಾರ್ವಜನಿಕ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಆಗಿರುವ ConTEB ಮೇಲಿನ ಫಲಿತಾಂಶಗಳನ್ನು ವರದಿ ಮಾಡುತ್ತೇವೆ. ಈ ಸುಧಾರಣೆಗಳು ಸಾಮಾನ್ಯ ಹಿಂತೆಗೆತಿ ಗುಣಮಟ್ಟದ ಬೆಲೆಯಲ್ಲಿ ಬಂದಿಲ್ಲ ಎಂಬುದನ್ನು ಪರಿಶೀಲಿಸಲು, ಸಾರ್ವಜನಿಕ ಡೇಟಾಸೆಟ್‌ಗಳಿಂದ ನಾವು ನಿರ್ಮಿಸಿದ ಕ್ಷೇತ್ರ-ನಿರ್ದಿಷ್ಟ ದಸ್ತಾವೇಜು ಮತ್ತು ಚಂಕ್ ಹಿಂತೆಗೆತಿ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳನ್ನೂ ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ. ಕೊನೆಗೆ, ನಿಯೋಜನೆಗೆ ಸಂಬಂಧಿಸಿದ ಎರಡು ಪ್ರಾಯೋಗಿಕ ಗುಣಗಳನ್ನು ಪರಿಶೀಲಿಸುತ್ತೇವೆ: ಪ್ರತಿ ವೆಕ್ಟರ್‌ಗೆ ಸಂಗ್ರಹಣಾ ವೆಚ್ಚಗಳ ವಿರುದ್ಧ ಹಿಂತೆಗೆತಿ ಗುಣಮಟ್ಟ, ಮತ್ತು ಸೂಚ್ಯಂಕೀಕರಣ ಸಮಯದಲ್ಲಿ ಬಳಸಲಾದ ಚಂಕ್ ಗಾತ್ರದ ಸಂವೇದನೆ. ಎಲ್ಲಾ ಮೌಲ್ಯಮಾಪನಗಳು ಒಂದು ಪಾಸ್‌ನಲ್ಲಿ 32,768 ಟೋಕನ್‌ಗಳವರೆಗೆ ಇರುವ ದಸ್ತಾವೇಜುಗಳನ್ನು ಎನ್‌ಕೋಡ್ ಮಾಡುತ್ತವೆ.

ಪರಿಚಯದಲ್ಲಿರುವ ಚಿತ್ರ 1 ರಲ್ಲಿ ತೋರಿಸಿರುವಂತೆ, ನಮ್ಮ ಮುನ್ನೋಟವು ವರದಿ ಮಾಡಲಾದ ಪ್ರತಿ ಕಟ್‌ಆಫ್‌ನಲ್ಲಿ Answer@K ಮತ್ತು Evidence Recall@K ಹಾಗೂ All-Evidence@10 ನಲ್ಲಿ ಮುಂಚೂಣಿಯಲ್ಲಿದೆ. K = 10 ನಲ್ಲಿ, ಇದು 45.5% ಉತ್ತರ ನೆನಪು, 40.6% ಸಾಕ್ಷ್ಯ ನೆನಪು ಮತ್ತು 31.1% ಎಲ್ಲಾ-ಸಾಕ್ಷ್ಯ ನೆನಪನ್ನು ಸಾಧಿಸುತ್ತದೆ. ಇದು Document@1 ಮತ್ತು Document@10 ನಲ್ಲೂ ಮುಂಚೂಣಿಯಲ್ಲಿದೆ, ಕ್ರಮವಾಗಿ 15.2% ಮತ್ತು 61.6% ತಲುಪುತ್ತದೆ. K = 10 ನಲ್ಲಿ, ನಮ್ಮ ಮುನ್ನೋಟವು ಉತ್ತರ ನೆನಪಿನಲ್ಲಿ voyage-context-4 ಅನ್ನು 14.4 ಶೇಕಡಾವಾರು ಅಂಕಗಳಿಂದ ಮತ್ತು ಸಾಕ್ಷ್ಯ ನೆನಪಿನಲ್ಲಿ 5.0 ಅಂಕಗಳಿಂದ ಮೀರಿಸುತ್ತದೆ.

ಚಿತ್ರ 4 ರಲ್ಲಿ ConTEB ನಲ್ಲಿ ತೋರಿಸಿರುವ ಮಾದರಿಗಳಲ್ಲಿ ನಮ್ಮ ಮುನ್ನೋಟ ಮಾದರಿಯು ಅತ್ಯಧಿಕ ಸರಾಸರಿ nDCG@10 ಅನ್ನು ಸಾಧಿಸುತ್ತದೆ. ಇದು ಪ್ರತಿ ಕಾರ್ಯದಲ್ಲೂ ಮುಂಚೂಣಿಯಲ್ಲಿಲ್ಲ: pplx-context-v1-4B NarrativeQA ನಲ್ಲಿ ಹೆಚ್ಚಿನ ಸ್ಕೋರ್ ಮಾಡುತ್ತದೆ, ಆದರೆ Nemotron-3-8B COVID-QA ನಲ್ಲಿ ಅತ್ಯಧಿಕ ಸ್ಕೋರ್ ಮಾಡುತ್ತದೆ. ಮುಖ್ಯ ಲೇಖಕರು ConTEB ಪತ್ರಿಕೆಯಲ್ಲಿ ಸೂಚಿಸಿದಂತೆ, COVID-QA ಹೆಚ್ಚಾಗಿ ಪ್ರಶ್ನೆ-ಚಂಕ್ ಜೋಡಿಗಳನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ ಅದು ಹೆಚ್ಚು ಹೊರತೆಗೆಯುವ ಮತ್ತು ತಾಂತ್ರಿಕ ವೈದ್ಯಕೀಯ ಪದಗಳ ಮೇಲೆ ಸರಳ ಮೇಲ್ಮೈ ಲೆಕ್ಸಿಕಲ್ ಹೊಂದಾಣಿಕೆಯೊಂದಿಗೆ ಪೂರೈಸಬಹುದು. ಪರಿಣಾಮವಾಗಿ, ಈ ಕಾರ್ಯಕ್ಕೆ ಸಂದರ್ಭ ತಿಳುವಳಿಕೆಯು ಕಡಿಮೆ ಉಪಯುಕ್ತವಾಗಿದೆ ಮತ್ತು ಸಂದರ್ಭ-ಅಲ್ಲದ ಮಾದರಿಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಸಂದರ್ಭಾನುಸಾರ ಮಾದರಿಗಳಿಗಿಂತ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ.

ConTEB ನಲ್ಲಿ 10 ರಲ್ಲಿ ಕಾರ್ಯ-ಮಟ್ಟದ nDCG — ಚಿತ್ರ 4: ಪ್ರಶ್ನೆ-to-ಚಂಕ್ ಸೆಟ್ಟಿಂಗ್‌ನಲ್ಲಿ ConTEB ನಲ್ಲಿ ಕಾರ್ಯ-ಮಟ್ಟದ nDCG@10. ಸರಾಸರಿಯು ಎಂಟು ಕಾರ್ಯಗಳಾದ್ಯಂತ ತೂಕವಿಲ್ಲದ ಸರಾಸರಿಯಾಗಿದೆ.

ಸಂದರ್ಭಾನುಸಾರ ಎಂಬೆಂಡಿಂಗ್‌ಗಳಿಗಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಲಾದ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳ ಹೊರತಾಗಿ, ನಾವು ನಮ್ಮ ಮಾದರಿಯ ಡೊಮೇನ್-ನಿರ್ದಿಷ್ಟ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ.

ನಮ್ಮ ಪ್ರಶ್ನೆ-to-ಚಂಕ್ (Q2C) ಸೂಟ್ LegalBench ಮತ್ತು FinanceBench ನಂತಹ MTEB ಕಾರ್ಯಗಳನ್ನು ಸಾರ್ವಜನಿಕ ಡೇಟಾಸೆಟ್‌ಗಳಿಂದ ನಾವು ಕ್ಯುರೇಟ್ ಮಾಡಿದ ಹೆಚ್ಚುವರಿ ಹಿಂಪಡೆಯುವಿಕೆ ಕಾರ್ಯಗಳ ಜೊತೆಗೆ ಬಳಸುತ್ತದೆ. ಪ್ರತಿ ಸಂಬಂಧಿತ ಡಾಕ್ಯುಮೆಂಟ್‌ನಲ್ಲಿ, ಕಾರ್ಯವು ಒಂದನ್ನು ಒದಗಿಸಿದಾಗ ತುಣುಕು ನಿಖರವಾದ ಉತ್ತರ ಸ್ಪ್ಯಾನ್ ಅನ್ನು ಹೊಂದಿದ್ದರೆ ಅದನ್ನು ಸಂಬಂಧಿತವೆಂದು ಲೇಬಲ್ ಮಾಡಲಾಗುತ್ತದೆ, ಮತ್ತು ಇಲ್ಲದಿದ್ದರೆ ಪ್ರಶ್ನೆಗೆ ಅದರ ಪ್ರಸ್ತುತತೆಯನ್ನು ನಿರ್ಣಯಿಸುವ LLM ಮೂಲಕ ಮಾಡಲಾಗುತ್ತದೆ. ಪ್ರಶ್ನೆ-to-ಡಾಕ್ಯುಮೆಂಟ್ (Q2D) ಸೂಟ್ ಅದೇ ಕಾರ್ಯಗಳನ್ನು ಬಳಸುತ್ತದೆ ಮತ್ತು ಸಂಬಂಧಿತ ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ಮರುಪಡೆಯಲಾಗಿದೆಯೇ ಎಂದು ಸ್ಕೋರ್ ಮಾಡುತ್ತದೆ.

ನಮ್ಮ ಮಾದರಿ ಚಿತ್ರ 5ರಲ್ಲಿ ಚಂಕ್ ಹಿಂತೆಗೆತಿಯಲ್ಲಿ ಅತ್ಯಧಿಕ ಸರಾಸರಿ ಅಂಕವನ್ನು ಸಾಧಿಸುತ್ತದೆ ಮತ್ತು ಕಾನೂನು, ತಾಂತ್ರಿಕ ಮತ್ತು ಆರೋಗ್ಯ ಕ್ಷೇತ್ರಗಳಲ್ಲಿ ಮುನ್ನಡೆಸುತ್ತದೆ. ಇದು ಪ್ರತಿಯೊಂದು ಕ್ಷೇತ್ರದಲ್ಲೂ ಮುನ್ನಡೆಸುವುದಿಲ್ಲ: voyage-context-4 ಹಣಕಾಸು ಮತ್ತು ಬಹುಭಾಷಾ ಹಿಂತೆಗೆತಿಯಲ್ಲಿ ಹೆಚ್ಚಿನ ಅಂಕ ಪಡೆಯುತ್ತದೆ, ಮತ್ತು Nemotron-3-8B ಸಂಭಾಷಣಾ ಹಿಂತೆಗೆತಿಯಲ್ಲಿ ಅತ್ಯಧಿಕ ಅಂಕ ಪಡೆಯುತ್ತದೆ. ಚಿತ್ರ 6ರಲ್ಲಿ ದಸ್ತಾವೇಜು ಹಿಂತೆಗೆತಿಯಲ್ಲಿ, ನಮ್ಮ ಮಾದರಿ ಸರಾಸರಿಯಾಗಿ voyage-context-4 ಗಿಂತ ಸ್ವಲ್ಪ ಕಡಿಮೆ ಅಂಕ ಪಡೆಯುತ್ತದೆ, ಆದರೆ ತಾಂತ್ರಿಕ ಕ್ಷೇತ್ರದಲ್ಲಿ ಮುನ್ನಡೆಸುತ್ತದೆ. pplx-context-v1-4B ಬೇಸ್‌ಲೈನ್ ಎರಡೂ ಸೂಟ್‌ಗಳಲ್ಲಿ ಸರಾಸರಿಯಾಗಿ ಕಡಿಮೆ ಅಂಕ ಪಡೆಯುತ್ತದೆ; ಇದು ಅದನ್ನು ConTEB ತರಬೇತಿ ಸಮೂಹದ ಮೇಲಷ್ಟೇ ತರಬೇತುಗೊಳಿಸಲಾಗಿದೆ ಎಂಬುದಕ್ಕೆ ಹೊಂದಿಕೆಯಾಗುತ್ತದೆ, ಇದರಿಂದ ಒಂದು ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನ ಗೋಲ್ಡ್ ಚಂಕ್‌ಗಳಿಗೆ ಸೀಮಿತವಾದ ಮೇಲ್ವಿಚಾರಣೆ ಇತರ ಕ್ಷೇತ್ರಗಳಿಗೆ ದುರ್ಬಲವಾಗಿ ವರ್ಗಾಂತರಗೊಳ್ಳುತ್ತದೆ ಎಂಬುದು ತೋರಿಸುತ್ತದೆ.

ಡೊಮೇನ್ ಮೂಲಕ ಪ್ರಶ್ನೆ-to-ಚಂಕ್ ಹಿಂಪಡೆಯುವಿಕೆ ಸ್ಕೋರ್‌ಗಳು — ಚಿತ್ರ 5: ಪ್ರಶ್ನೆ-to-ಚಂಕ್ (Q2C) ಕಾರ್ಯಗಳ ಮೇಲೆ ಸರಾಸರಿ nDCG@10, ಡೊಮೇನ್ ಮೂಲಕ ಗುಂಪು ಮಾಡಲಾಗಿದೆ. ಡೊಮೇನ್ ಬಾರ್‌ಗಳು ಆ ಡೊಮೇನ್‌ನಲ್ಲಿನ ಕಾರ್ಯ-ಮಟ್ಟದ ಸ್ಕೋರ್‌ಗಳ ತೂಕವಿಲ್ಲದ ಸರಾಸರಿಗಳಾಗಿವೆ; ಒಟ್ಟಾರೆ ಸರಾಸರಿಯು ಎಲ್ಲಾ ಪ್ರದರ್ಶಿಸಲಾದ ಕಾರ್ಯಗಳಾದ್ಯಂತ ತೂಕವಿಲ್ಲದ ಸರಾಸರಿಯಾಗಿದೆ.

ಡೊಮೇನ್ ಮೂಲಕ ಪ್ರಶ್ನೆ-to-ಡಾಕ್ಯುಮೆಂಟ್ ಹಿಂಪಡೆಯುವಿಕೆ ಸ್ಕೋರ್‌ಗಳು — ಚಿತ್ರ 6: ಪ್ರಶ್ನೆ-to-ಡಾಕ್ಯುಮೆಂಟ್ (Q2D) ಕಾರ್ಯಗಳ ಮೇಲಿನ ಸರಾಸರಿ ಹಿಂಪಡೆಯುವಿಕೆ ಸ್ಕೋರ್, ಡೊಮೇನ್ ಮೂಲಕ ಗುಂಪು ಮಾಡಲಾಗಿದೆ. ಡೊಮೇನ್‌ನಲ್ಲಿರುವ ಪ್ರತಿ ಬಾರ್ ಅದರ ಕಾರ್ಯ-ಮಟ್ಟದ ಮುಖ್ಯ ಸ್ಕೋರ್‌ಗಳ ತೂಕವಿಲ್ಲದ ಸರಾಸರಿಯಾಗಿದೆ; ಒಟ್ಟಾರೆ ಸರಾಸರಿಯು ಎಲ್ಲಾ ಪ್ರದರ್ಶಿಸಲಾದ ಕಾರ್ಯಗಳಾದ್ಯಂತ ತೂಕವಿಲ್ಲದ ಸರಾಸರಿಯಾಗಿದೆ.

ಸಂದರ್ಭಾನುಸಾರ ಎಂಬೆಂಡಿಂಗ್ ಮಾದರಿಯು ಪ್ರತಿ ತುಣುಕಿಗೆ ಒಂದು ವೆಕ್ಟರ್ ಅನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ನಮ್ಮ ಮಾದರಿಯೊಂದಿಗೆ ನಿರ್ಮಿಸಲಾದ ಸೂಚ್ಯಂಕವು ಅದೇ ತುಣುಕು ತಂತ್ರದೊಂದಿಗೆ ಸಾಂಪ್ರದಾಯಿಕ ತುಣುಕು-ಮಟ್ಟದ ಸೂಚ್ಯಂಕದಷ್ಟು ನಿಖರವಾಗಿ ಅನೇಕ ವೆಕ್ಟರ್‌ಗಳನ್ನು ಹೊಂದಿರುತ್ತದೆ. ಸಂದರ್ಭೀಕರಣವು ಎಷ್ಟು ವೆಕ್ಟರ್‌ಗಳನ್ನು ಸಂಗ್ರಹಿಸಲಾಗಿದೆ ಎಂಬುದನ್ನು ಬದಲಾಯಿಸುವುದಿಲ್ಲ, ಪ್ರತಿ ವೆಕ್ಟರ್ ಏನು ಎನ್ಕೋಡ್ ಮಾಡುತ್ತದೆ ಎಂಬುದನ್ನು ಬದಲಾಯಿಸುತ್ತದೆ. ಆದ್ದರಿಂದ ಸಂಗ್ರಹಣೆಯ ಹೆಜ್ಜೆಗುರುತು ಪ್ರತಿ ವೆಕ್ಟರ್‌ನ ಗಾತ್ರದಿಂದ ನಿಯಂತ್ರಿಸಲ್ಪಡುತ್ತದೆ. ಮಾದರಿಯು ಅದನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಎರಡು ವಿಧಾನಗಳನ್ನು ನೀಡುತ್ತದೆ: ಎಂಬೆಂಡಿಂಗ್ ಅನ್ನು 2048 ರಿಂದ 1024 ಆಯಾಮಗಳಿಗೆ ಕಡಿಮೆ ಮಾಡುವುದು ಮತ್ತು ಅದನ್ನು int8 ಗೆ ಕ್ವಾಂಟೈಸ್ ಮಾಡುವುದು.

ಚಿತ್ರ 7 ಹಿಂಪಡೆಯುವಿಕೆ ಗುಣಮಟ್ಟ ಮತ್ತು ವೆಕ್ಟರ್ ಸಂಗ್ರಹಣೆಯ ನಡುವಿನ ಅನುಕೂಲಕರ ರಾಜಿ ತೋರಿಸುತ್ತದೆ. 1024 ಆಯಾಮಗಳಲ್ಲಿ, ನಮ್ಮ int8 ಎಂಬೆಂಡಿಂಗ್‌ಗಳು ಪ್ರತಿ ವೆಕ್ಟರ್‌ಗೆ 1 KB ಅನ್ನು ಬಳಸುತ್ತವೆ ಮತ್ತು ಪ್ರತಿ ವೆಕ್ಟರ್‌ಗೆ 8 KB ಅನ್ನು ಬಳಸುವ float32 ನಲ್ಲಿ 2048 ಆಯಾಮಗಳಲ್ಲಿ voyage-context-4 ನ ತುಣುಕು-ಹಿಂಪಡೆಯುವಿಕೆ ಸ್ಕೋರ್ ಅನ್ನು ಸ್ವಲ್ಪ ಮೀರಿಸುತ್ತದೆ. ನಮ್ಮ ಎಂಬೆಂಡಿಂಗ್ ಗಾತ್ರವನ್ನು 2048 ಆಯಾಮಗಳಿಗೆ ಹೆಚ್ಚಿಸುವುದರಿಂದ ಪ್ರತಿ ವೆಕ್ಟರ್‌ಗೆ 2 KB ನಲ್ಲಿ ಹಿಂಪಡೆಯುವಿಕೆ ಗುಣಮಟ್ಟವನ್ನು ಮತ್ತಷ್ಟು ಹೆಚ್ಚಿಸುತ್ತದೆ. ಈ ಸಂಗ್ರಹಣೆ ಅಂಕಿಅಂಶಗಳು ಸೂಚ್ಯಂಕದ ಉಳಿದ ಭಾಗವಲ್ಲದೆ, ವೆಕ್ಟರ್‌ಗಳನ್ನು ಮಾತ್ರ ಉಲ್ಲೇಖಿಸುತ್ತವೆ.

ತುಣುಕು ಹಿಂಪಡೆಯುವಿಕೆ ಗುಣಮಟ್ಟ ವರ್ಸಸ್ ಪ್ರತಿ ವೆಕ್ಟರ್‌ಗೆ ಸಂಗ್ರಹಣೆ — ಚಿತ್ರ 7: ಪ್ರತಿ ವೆಕ್ಟರ್‌ಗೆ ಸಂಗ್ರಹಣೆಯ ಕಾರ್ಯವಾಗಿ ತುಣುಕು ಹಿಂಪಡೆಯುವಿಕೆ ಗುಣಮಟ್ಟ (ಸರಾಸರಿ nDCG@10). ಘನ ರೇಖೆಗಳು float32 ಅನ್ನು ಸೂಚಿಸುತ್ತವೆ ಮತ್ತು ಡ್ಯಾಶ್ ಮಾಡಲಾದ ರೇಖೆಗಳು int8 ಅನ್ನು ಸೂಚಿಸುತ್ತವೆ; ಲೇಬಲ್‌ಗಳು ಎಂಬೆಂಡಿಂಗ್ ಆಯಾಮವನ್ನು ನೀಡುತ್ತವೆ.

ಚಿತ್ರ 8 ತುಣುಕು ಗಾತ್ರವು 64 ರಿಂದ 512 ಟೋಕನ್‌ಗಳಿಗೆ ಹೆಚ್ಚಾದಂತೆ ಹಿಂಪಡೆಯುವಿಕೆ ಗುಣಮಟ್ಟದಲ್ಲಿ ಸಾಧಾರಣ ಬದಲಾವಣೆಯನ್ನು ಮಾತ್ರ ತೋರಿಸುತ್ತದೆ: ಸರಾಸರಿ ಸ್ಕೋರ್ 81.0% ರಿಂದ 79.9% ಕ್ಕೆ ಇಳಿಯುತ್ತದೆ, ಇದು 1.1 ಶೇಕಡಾವಾರು ಅಂಕಗಳ ಇಳಿಕೆಯಾಗಿದೆ. ಇದು ಪರೀಕ್ಷಿಸಲಾದ ತುಣುಕು ಗಾತ್ರಗಳಾದ್ಯಂತ ಮಾದರಿಯು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಉಳಿದಿದೆ ಎಂದು ಸೂಚಿಸುತ್ತದೆ, ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ಹೇಗೆ ವಿಭಜಿಸಲಾಗಿದೆ ಎಂಬುದರಲ್ಲಿ ಇಂಡೆಕ್ಸಿಂಗ್ ಪೈಪ್‌ಲೈನ್‌ಗಳಿಗೆ ನಮ್ಯತೆಯನ್ನು ನೀಡುತ್ತದೆ.

ತುಣುಕು-ಗಾತ್ರ ಸಂವೇದನೆ: 64 ರಿಂದ 512 ಟೋಕನ್‌ಗಳ ತುಣುಕುಗಳಿಗೆ ಹಿಂಪಡೆಯುವಿಕೆ ಸ್ಕೋರ್‌ಗಳು — ಚಿತ್ರ 8: ನಮ್ಮ ಮಾದರಿಯ ತುಣುಕು-ಗಾತ್ರ ಸಂವೇದನೆ. ಪ್ರತಿ ಬಿಂದುವು ನೀಡಲಾದ ತುಣುಕು ಗಾತ್ರದಲ್ಲಿ ಇಂಡೆಕ್ಸ್ ಮಾಡಲಾದ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳೊಂದಿಗೆ, 74 MTEB ಕಾರ್ಯಗಳಾದ್ಯಂತ ತೂಕವಿಲ್ಲದ ಸರಾಸರಿ nDCG@10 ಆಗಿದೆ.

turbopuffer context-bench ನ ಸಂಪೂರ್ಣ ಕಾರ್ಪಸ್, ಪ್ರಶ್ನೆಗಳು ಮತ್ತು ಲೇಬಲ್‌ಗಳನ್ನು ಖಾಸಗಿಯಾಗಿ ಇರಿಸುತ್ತದೆ ಮತ್ತು ಸಲ್ಲಿಸಿದ ಮಾದರಿಗಳ ಫಲಿತಾಂಶಗಳನ್ನು ವರದಿ ಮಾಡುತ್ತದೆ. ಈ ರೀತಿಯ ಸಾರ್ವಜನಿಕ ಬೆಂಚ್‌ಮಾರ್ಕ್ ತನ್ನ ಪ್ರಶ್ನೆಗಳು ಮತ್ತು ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳ ಮೇಲೆ ನೇರ ತರಬೇತಿಯನ್ನು ಆಹ್ವಾನಿಸುತ್ತದೆ, ಇದು ಕ್ರಮೇಣ ಅದನ್ನು ಶುದ್ಧತ್ವಗೊಳಿಸುತ್ತದೆ ಮತ್ತು ಕಾಲಾನಂತರದಲ್ಲಿ ಪ್ರಗತಿಯನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡುವ ಅದರ ಮೌಲ್ಯವನ್ನು ಕುಂಠಿತಗೊಳಿಸುತ್ತದೆ. ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನಲ್ಲಿ ನಿಮ್ಮ ಮಾದರಿಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ನೀವು ಬಯಸಿದರೆ, ದಯವಿಟ್ಟು contextbench@turbopuffer.com ನಲ್ಲಿ turbopuffer ಅನ್ನು ಸಂಪರ್ಕಿಸಿ.

ನಮ್ಮ ಮಾದರಿಯ ಮುನ್ನೋಟವು Hugging Face ನಲ್ಲಿ ಲಭ್ಯವಿದೆ, ಮತ್ತು ಈ ಪೋಸ್ಟ್‌ನಲ್ಲಿನ ಎಲ್ಲಾ ಫಲಿತಾಂಶಗಳನ್ನು ಈ ಮುನ್ನೋಟಕ್ಕಾಗಿ ವರದಿ ಮಾಡಲಾಗಿದೆ. Perplexity API ಮೂಲಕ ಮಾದರಿಯನ್ನು ಲಭ್ಯವಾಗುವಂತೆ ಮಾಡಲು ಮತ್ತು turbopuffer ಜೊತೆಗೆ ದೀರ್ಘ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳ ಮೇಲಿನ ಹಿಂಪಡೆಯುವಿಕೆಯನ್ನು ಮತ್ತಷ್ಟು ಸುಧಾರಿಸಲು ನಾವು ಕೆಲಸ ಮಾಡುತ್ತಿದ್ದೇವೆ.

BibTeX

@online{perplexity2026ContextualEmbeddingBeyondTheGoldPassage,
  author = {{Perplexity} and Sarah Eslami and William Barber and Markus Krimmel and Antoine Chaffin and Bo Wang and Louis Milliken and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Contextual embedding beyond the gold passage}},
  date = {2026-09-30},
  url = {https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage}
}

ಪರಿಚಯ

ಹಿಂಪಡೆಯುವಿಕೆಗೆ ಸಂದರ್ಭ ಏಕೆ ಮುಖ್ಯವಾಗಿದೆ

ಗೋಲ್ಡ್-ಚಂಕ್ ಮೇಲ್ವಿಚಾರಣೆಯ ಮಿತಿಗಳು

ಸಂದರ್ಭಾನುಸಾರ ಕಲಿಕೆಗೆ ಹೊಸ ವಿಧಾನ

ನಷ್ಟ ಕಾರ್ಯ

ಡಾಕ್ಯುಮೆಂಟ್-ಮಟ್ಟದ ಕಾಂಟ್ರಾಸ್ಟಿವ್ ನಷ್ಟ

ತುಣುಕು-ಮಟ್ಟದ ಡಿಸ್ಟಿಲೇಶನ್ ನಷ್ಟ

ಸಂಯೋಜಿತ ನಷ್ಟ

ತರಬೇತಿ ಡೇಟಾ

ತರಬೇತಿ ಸೆಟಪ್

ತುಣುಕು-ಮಟ್ಟದ ಹಿಂಪಡೆಯುವಿಕೆಗಾಗಿ ಹೊಸ ಬೆಂಚ್‌ಮಾರ್ಕ್

ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳು ಮತ್ತು ಪ್ರಶ್ನೆಗಳು

ಉತ್ತರ ಮತ್ತು ಸಾಕ್ಷ್ಯ ಲೇಬಲ್‌ಗಳು

ಮೆಟ್ರಿಕ್‌ಗಳು

ಮೌಲ್ಯಮಾಪನ ಫಲಿತಾಂಶಗಳು

Context-bench

ConTEB

ಡೊಮೇನ್‌ಗಳಾದ್ಯಂತ ಸಾಮಾನ್ಯ ಹಿಂಪಡೆಯುವಿಕೆ ಗುಣಮಟ್ಟ

ಹಿಂಪಡೆಯುವಿಕೆ ಗುಣಮಟ್ಟ ಮತ್ತು ಸಂಗ್ರಹಣೆ ವೆಚ್ಚಗಳು

ತುಣುಕು ಗಾತ್ರ ಸಂವೇದನೆ

ಬಿಡುಗಡೆ

ಉಲ್ಲೇಖ