గోల్డ్ పాసేజ్ మించి సందర్భోచిత ఎంబెడ్డింగ్

సందర్భోచిత ఎంబెడ్డింగ్‌లు మొత్తం పత్రం సందర్భంలో ప్రతి పాసేజ్ లేదా చంక్ యొక్క అర్థాన్ని క్యాప్చర్ చేస్తాయి. వాటి శిక్షణ మరియు మూల్యాంకనం సాధారణంగా ప్రశ్న ఒక్కింటికి ఒక సంబంధిత చంక్‌ను ఊహిస్తాయి, దీనిని “గోల్డ్ పాసేజ్” అని పిలుస్తారు. అయితే, ఆచరణలో గోల్డ్ పాసేజ్ తరచుగా సరిపోదు. ఇది సమాధానాన్ని కలిగి ఉండవచ్చు కానీ దానిని అర్థం చేసుకోవడానికి లేదా ధృవీకరించడానికి అవసరమైన మద్దతు సందర్భం లేకపోవచ్చు, తద్వారా ఇది ఒంటరిగా అస్పష్టంగా ఉంటుంది.

ಅತ್ಯುತ್ತಮ ಹೊಸ ಸಂದರ್ಭೋಚಿತ ಎಂಬೆಡಿಂಗ್ ಮಾದರಿ pplx-embed-v2-context-9b-preview ಅನ್ನು ನಾವು ಪರಿಚಯಿಸುತ್ತಿದ್ದೇವೆ. ಈ ಮಾದರಿಗೆ ಪೆರ್ಪ್ಲೆಕ್ಸಿಟಿಯ ಸಂದರ್ಭ ಸಂಕೋಚನ ಮಾದರಿಯನ್ನು ಶಿಕ್ಷಕರಾಗಿ ಬಳಸುವ ನವೀನ ವಿಧಾನದೊಂದಿಗೆ ತರಬೇತಿ ನೀಡಲಾಗುತ್ತದೆ. ಇದರ ಟೋಕೆನ್-ಮಟ್ಟದ ಮುನ್ಸೂಚನೆಗಳನ್ನು ನಾವು ಚಂಕ್-ಮಟ್ಟದ ಪ್ರಾಸಂಗಿಕತೆ ಸ್ಕೋರ್‌ಗಳಾಗಿ ಒಟ್ಟುಗೂಡಿಸುತ್ತೇವೆ, ಎಂಬೆಡಿಂಗ್ ಮಾದರಿಗೆ ಒಂದೇ ಗೋಲ್ಡ್ ಚಂಕ್ ಬದಲಿಗೆ ಉತ್ತರ ಚಂಕ್‌ಗಳು ಮತ್ತು ಬೆಂಬಲ ಸಂದರ್ಭ ಎರಡನ್ನೂ ಮರುಪಡೆಯಲು ಕಲಿಸುತ್ತೇವೆ. ಈ ಮಾದರಿಯು ಯಾವುದೇ ಹೆಚ್ಚುವರಿ ಅನುಮಾನ ವೆಚ್ಚವಿಲ್ಲದೆ ಚಂಕ್‌ಗೆ ಒಂದು ಎಂಬೆಡಿಂಗ್ ಅನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ ಮತ್ತು 1024-ಡೈಮೆನ್ಷನಲ್ ಮತ್ತು int8 ಎಂಬೆಡಿಂಗ್‌ಗಳಿಗೆ ಬೆಂಬಲ ನೀಡುತ್ತದೆ.

ఇది context-benchపై అత్యుత్తమ ఫలితాలను సాధిస్తుంది; ఇది context-aware retrieval కోసం కొత్త బెంచ్‌మార్క్, turbopuffer ద్వారా సృష్టించబడి ప్రైవేట్‌గా ఉంచబడింది, మరియు విస్తృతంగా ఉపయోగించే ప్రజా బెంచ్‌మార్క్ అయిన ConTEBపై కూడా సాధిస్తుంది. మా మోడల్ context-benchకు స్వతంత్రంగా అభివృద్ధి చేయబడింది మరియు అంధ సమర్పణగా మూల్యాంకించబడింది.

Context-bench 21 డొమైన్‌లలో 38,894 సుదీర్ఘ పత్రాలపై 2,099 ప్రశ్నలను కలిగి ఉంది మరియు సందర్భోచిత ఎంబెడ్డింగ్‌ల యొక్క మూడు సామర్థ్యాలను అంచనా వేస్తుంది: దాదాపు డూప్లికేట్ పత్రాల మధ్య పత్ర విభేదం, దూరపు సందర్భంపై అర్థం ఆధారపడే గోల్డ్ చంక్‌ల పునరుద్ధరణ మరియు సమాధానాన్ని ధృవీకరించడానికి అవసరమైన మద్దతు సాక్ష్యాల రీకాల్.

మోడల్ యొక్క ప్రివ్యూ Hugging Faceలో పబ్లిక్‌గా అందుబాటులో ఉంది. శిక్షణ కాలుష్య ప్రమాదాన్ని తగ్గించడానికి మరియు పురోగతిని కొలవడానికి దాని విలువను సంరక్షించడానికి ఈ బెంచ్‌మార్క్ turbopuffer ద్వారా ప్రైవేట్‌గా ఉంచబడింది. మూల్యాంకనాన్ని అభ్యర్థించడానికి, దయచేసి contextbench@turbopuffer.com లో turbopufferని సంప్రదించండి.

Context-bench పై డాక్యుమెంట్, సమాధానం మరియు సాక్ష్య పునరుద్ధరణ ఫలితాలు — చిత్రం 1: context-benchపై Answer@K, Document@K, Evidence Recall@K, మరియు All-Evidence@10; ఇందులో Perplexity v2 preview 9Bను Voyage Context 4, Voyage 4 Large, మరియు Perplexity context v1 4Bతో పోల్చారు.

రిట్రీవల్ వ్యవస్థలు సాధారణంగా పొడవైన పత్రాలను చిన్న చిన్న చంక్‌లుగా విభజిస్తాయి, వాటిని స్వతంత్రంగా సూచికీకరించి శోధించవచ్చు. ఆచరణలో చంకింగ్ సౌకర్యవంతంగా ఉంటుంది, కానీ అది ప్రతి చంక్ మొదట కనిపించిన సందర్భాన్ని తొలగిస్తుంది; దీని వల్ల సమాచార సంకోచం యొక్క సూక్ష్మత మరియు ఎన్‌కోడింగ్ సమయంలో ఉపయోగించిన సందర్భం మధ్య ఒక మార్పిడి ఏర్పడుతుంది. ఒక చంక్ ముందుగా పరిచయమైన ఏదైనా ఎంటిటీని సూచించవచ్చు, శీర్షిక నుంచి దాని అర్థాన్ని పొందవచ్చు, లేదా పత్రంలోని మరెక్కడో ఉన్న నిర్వచనాలపై ఆధారపడవచ్చు. ఒకసారి వేరుచేసిన తర్వాత, అది ప్రశ్నకు విశ్వసనీయంగా సరిపోల్చడానికి సరిపడ సమాచారం ఇక ఉండకపోవచ్చు. మొత్తం పత్రాన్ని ఒకే వెక్టర్‌గా ఎన్‌కోడ్ చేయడం దీనిని పరిష్కరించదు, ఎందుకంటే ఒక సమగ్ర ప్రతినిధ్యం దీర్ఘ పత్రంలోని ప్రతి కోణాన్ని నమ్మకంగా పట్టుకోలేడు.

సందర్భోచిత ఎంబెడ్డింగ్ మోడల్స్ ప్రతి చంక్‌ను దాని చుట్టుపక్కల కంటెంట్ సందర్భంలో సూచించడం ద్వారా ఈ పరిమితిని పరిష్కరిస్తాయి, సాధారణంగా ಲೇಟ್ ಚಂಕಿಂಗ್ ద్వారా: పత్రం ఒకే పాస్‌లో ఎన్‌కోడ్ చేయబడుతుంది మరియు చంక్ ప్రాతినిధ్యాలు తర్వాత పూల్ చేయబడతాయి, తద్వారా ప్రతి చంక్ వెెక్టర్ మొత్తం పత్రం దృష్టిలో ఉంచబడి లెక్కించబడుతుంది. మునుపటి పని, ConTEB మరియు మా స్వంత pplx-embed-context-v1 వంటివి, సందర్భోచిత చంక్ ప్రాతినిధ్యాలు స్వతంత్రంగా ఎన్‌కోడ్ చేయబడిన చంక్‌లపై పునరుద్ధరణను గణనీయంగా మెరుగుపరుస్తాయని చూపించాయి, ముఖ్యంగా సుదీర్ఘ పత్రాలపై.

సందర్భాత్మక ఎంబెడింగ్ మోడళ్లను శిక్షణ ఇవ్వడానికి, పత్రంలోని ఏ భాగాలు నిర్దిష్ట ప్రశ్నకు సంబంధితమో గుర్తించే పర్యవేక్షణ అవసరం. సాధారణ పద్ధతి బంగారు-చంక్ వ్యాఖ్యానాలు: ప్రతి ప్రశ్నకు, సాధారణంగా పెద్ద భాషా మోడల్ (LLM) అయిన ఒక వ్యాఖ్యాత, దానికి సమాధానమిచ్చే పత్రంలోని చంక్‌ను గుర్తిస్తాడు.

శిక్షణ సాధారణంగా రెండు contrastive loss‌లను కలిగి ఉంటుంది: బంగారు చంక్‌ను ఇతర పత్రాల చంక్‌లతో వ్యత్యాసపరిచే cross-document loss, మరియు అదే పత్రంలోని ఇతర చంక్‌లతో దానిని వ్యత్యాసపరిచే within-document loss.

ఈ విధానం కొన్ని పరిమితులను కలిగి ఉంది:

కేవలం ఒక చంక్ మాత్రమే సంబంధితది. ఇది పత్రంలోని ఇతర ప్రతి చంక్‌ను ప్రతికూలంగా పరిగణిస్తుంది, ఉపయోగకరమైన సహాయక సమాచారమున్న వాటిని కూడా ఇందులో కలుపుతుంది. పత్ర-స్థాయి పర్యవేక్షణ మరో అంచు వద్ద పనిచేస్తుంది. ఇది ఏ చంక్‌లు ముఖ్యమో నిర్దిష్టం చేయకుండా పత్రాన్నే సంబంధితదిగా గుర్తిస్తుంది. ఆచరణలో, సంబంధితత తరచూ ఈ రెండు అంచుల మధ్య ఉంటుంది. సమాధానాన్ని కలిగిన చంక్, ఒక సత్త్వాన్ని పరిచయం చేసే, ఒక సూచనను పరిష్కరించే, లేదా అనుబంధ వాస్తవాన్ని అందించే కొన్ని సహాయక చంక్‌లపై ఆధారపడవచ్చు, మిగతా పత్రం సంబంధితత లేకపోవచ్చు. కాబట్టి మోడల్ సరైన ఎంపిక స్థాయిని నేర్చుకోవాలి: ఒకే బంగారు చంక్ కంటే విస్తృతంగా, కానీ మొత్తం పత్రం కంటే మరింత కేంద్రీకృతంగా.
ಕೊರತೆಯ ಮೇಲ್ವಿಚಾರಣೆ. ಪ್ರತಿಯೊಂದು ಟಿಪ್ಪಣಿಯು ಡಾಕ್ಯುಮೆಂಟ್‌ನಾದ್ಯಂತ ಪ್ರಾಸಂಗಿಕತೆಯ ಡಿಗ್ರಿಗಳನ್ನು ಸೆರೆಹಿಡಿಯುವ ಬದಲು ಒಂದೇ ಗೋಲ್ಡ್ ಚಂಕ್ ಅನ್ನು ಗುರುತಿಸುವುದರಿಂದ, ಇದು ಉತ್ಪಾದಿಸಲು ಖರ್ಚು ಮಾಡಿದ ಕಂಪ್ಯೂಟ್ ಮೊತ್ತಕ್ಕೆ ಸೀಮಿತ ತರಬೇತಿ ಸಂಕೇತಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ.
ಸ್ಕೇಲ್ ಮಾಡಲು ವೆಚ್ಚದಾಯಕ. ಪ್ರತಿಯೊಂದು ತರಬೇತಿ ಜೋಡಿಗೆ ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ಓದಲು ಮತ್ತು ಸಂಬಂಧಿತ ಚಂಕ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡಲು LLM ಅಗತ್ಯವಿದೆ, ಆದ್ದರಿಂದ ಟಿಪ್ಪಣಿ ವೆಚ್ಚವು ತರಬೇತಿ ಸೆಟ್ ಗಾತ್ರದೊಂದಿಗೆ ರೇಖೀಯವಾಗಿ ಬೆಳೆಯುತ್ತದೆ ಮತ್ತು ತರಬೇತಿ ಡೇಟಾ ಎಷ್ಟು ಮತ್ತು ಎಷ್ಟು ವೈವಿಧ್ಯಮಯವಾಗಿರಬಹುದು ಎಂಬುದನ್ನು ಮಿತಿಗೊಳಿಸುತ್ತದೆ.
ಚಂಕ್ ಗಡಿಗಳಿಗೆ ಸಂವೇದನಾಶೀಲವಾಗಿದೆ. ಲೇಬಲ್‌ಗಳು ಟಿಪ್ಪಣಿ ಮಾಡುವ ಸಮಯದಲ್ಲಿ ಬಳಸುವ ಚಂಕ್ ಗಡಿಗಳಿಗೆ ಸಹ ಸಂಬಂಧಿಸಿವೆ. ಸ್ಥಿರ ಟೋಕೆನ್-ಗಾತ್ರದ ವಿಂಡೋಗೆ ನಿಯೋಜಿಸಲಾದ ಗೋಲ್ಡ್ ಲೇಬಲ್ ಯಾವ ಚಿಕ್ಕ ವಾಕ್ಯಗಳು ಅಥವಾ ಉದ್ದನೆಯ ಪ್ಯಾರಾಗ್ರಾಫ್‌ಗಳು ಪ್ರಾಸಂಗಿಕವಾಗಿವೆ ಎಂಬುದನ್ನು ನಿರ್ದಿಷ್ಟಪಡಿಸುವುದಿಲ್ಲ. ಚಂಕಿಂಗ್ ಕಾರ್ಯತಂತ್ರವನ್ನು ಬದಲಾಯಿಸುವುದು, ಅಥವಾ ಸೂಚ್ಯಂಕ ಮಾಡುವ ಸಮಯದಲ್ಲಿ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ಹೇಗೆ ವಿಭಜಿಸಲಾಗುತ್ತದೆ ಎಂಬುದಕ್ಕೆ ದೃಢತೆಯನ್ನು ಸುಧಾರಿಸಲು ಬಹು ಚಂಕಿಂಗ್‌ಗಳಲ್ಲಿ ತರಬೇತಿ ನೀಡುವುದು, ಆದ್ದರಿಂದ ಕಾರ್ಪಸ್ ಅನ್ನು ಮತ್ತೆ ಟಿಪ್ಪಣಿ ಮಾಡುವ ಅಗತ್ಯವಿರುತ್ತದೆ.

ಪ್ರಶ್ನೆ-ಅವಗಾಹನೆ ಸಂದರ್ಭ ಸಂಕೋಚನ ಮಾದರಿ ನಿಂದ ಪ್ರಾಸಂಗಿಕತೆ ತೀರ್ಪುಗಳನ್ನು ಡಿಸ್ಟಿಲ್ ಮಾಡುವ ಮೂಲಕ ನಾವು ಗೋಲ್ಡ್-ಚಂಕ್ ಮೇಲ್ವಿಚಾರಣೆಯ ಮಿತಿಗಳನ್ನು ತಿಳಿಸುತ್ತೇವೆ. ಈ ಮಾದರಿಯು ಶಿಕ್ಷಕರಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ: ಇದು ಪ್ರಶ್ನೆ ಮತ್ತು ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ಒಟ್ಟಾಗಿ ಓದುತ್ತದೆ ಮತ್ತು ಪ್ರತಿ ಡಾಕ್ಯುಮೆಂಟ್ ಟೋಕೆನ್‌ಗೆ ಪ್ರಾಸಂಗಿಕತೆ ಸ್ಕೋರ್ ಅನ್ನು ನಿಯೋಜಿಸುತ್ತದೆ. ಇದರ ಮುನ್ಸೂಚನೆಗಳು ಸಂದರ್ಭೋಚಿತ ಎಂಬೆಡಿಂಗ್‌ಗಳಿಗೆ ತರಬೇತಿ ನೀಡಲು ಹಲವಾರು ಅನುಕೂಲಗಳನ್ನು ನೀಡುತ್ತವೆ:

ಹೊಂದಿಕೊಳ್ಳುವ ಚಂಕ್ ಗಡಿಗಳು. ಟೋಕೆನ್-ಮಟ್ಟದ ಪ್ರಾಸಂಗಿಕತೆ ಸ್ಕೋರ್‌ಗಳನ್ನು ಯಾವುದೇ ಆಯ್ಕೆಮಾಡಿದ ಚಂಕ್ ಗಡಿಗಳ ಮೇಲೆ ಒಟ್ಟುಗೂಡಿಸಬಹುದು, ಮರು-ಟಿಪ್ಪಣಿ ಮಾಡದೆ ಒಂದೇ ಶಿಕ್ಷಕರ ಮುನ್ಸೂಚನೆಗಳು ವಿಭಿನ್ನ ಚಂಕಿಂಗ್ ಅನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ.
ನಿರಂತರ ಪ್ರಾಸಂಗಿಕತೆ. ಬೈನರಿ ಗೋಲ್ಡ್-ಚಂಕ್ ಲೇಬಲ್‌ಗಳಂತಲ್ಲದೆ, ಶಿಕ್ಷಕರು ಉತ್ತರ-ಹೊಂದಿರುವ ಚಂಕ್‌ಗಳು, ಬೆಂಬಲ ಸಂದರ್ಭ ಮತ್ತು ಅಪ್ರಾಸಂಗಿಕ ವಿಷಯವನ್ನು ಸ್ವಾಭಾವಿಕವಾಗಿ ಪ್ರತ್ಯೇಕಿಸುವ ಪ್ರಾಸಂಗಿಕತೆಯ ಡಿಗ್ರಿಗಳನ್ನು ಸೆರೆಹಿಡಿಯುವ ನಿರಂತರ ಸ್ಕೋರ್‌ಗಳನ್ನು ಒದಗಿಸುತ್ತಾರೆ.
ಕಡಿಮೆ ಟಿಪ್ಪಣಿ ವೆಚ್ಚ. ಶಿಕ್ಷಕರು ಕಾಂಪ್ಯಾಕ್ಟ್ ಆಗಿರುತ್ತಾರೆ ಮತ್ತು ಪ್ರಾಸಂಗಿಕತೆ ಸ್ಕೋರಿಂಗ್‌ನಲ್ಲಿ ವಿಶೇಷತೆ ಹೊಂದಿದ್ದಾರೆ, ಇದು ಸಾಮಾನ್ಯ ಉದ್ದೇಶದ LLM ಗಿಂತ ದೊಡ್ಡ ಪ್ರಮಾಣದಲ್ಲಿ ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಲು ಹೆಚ್ಚು ವೆಚ್ಚವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.

ಪ್ರಶ್ನೆ-ಡಾಕ್ಯುಮೆಂಟ್ ಜೋಡಿಗಳ ಬ್ಯಾಚ್‌ಗಳ ಮೇಲೆ ಡಾಕ್ಯುಮೆಂಟ್-ಮಟ್ಟದ ಕಾಂಟ್ರಾಸ್ಟಿವ್ ಲಾಸ್ ಮತ್ತು ಚಂಕ್-ಮಟ್ಟದ ಡಿಸ್ಟಿಲ್ಲೇಷನ್ ಲಾಸ್ ಗಳ ತೂಕದ ಮೊತ್ತದೊಂದಿಗೆ ನಾವು ನಮ್ಮ ಮಾದರಿಗೆ ತರಬೇತಿ ನೀಡುತ್ತೇವೆ. ಪ್ರತಿ ಪ್ರಶ್ನೆಗೆ, ಜೋಡಿಯಾಗಿರುವ ಡಾಕ್ಯುಮೆಂಟ್ ಧನಾತ್ಮಕವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ, ಆದರೆ ಅದೇ ಬ್ಯಾಚ್‌ನಲ್ಲಿರುವ ಉಳಿದ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳು ನೆಗೆಟಿವ್‌ಗಳಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ.

ಪ್ರತಿ ಬ್ಯಾಚ್‌ಗೆ, ನಾವು ಯಾದೃಚ್ಛಿಕವಾಗಿ ಚಂಕಿಂಗ್ ಕಾರ್ಯತಂತ್ರವನ್ನು ಆಯ್ಕೆ చేస్తాము, ಅದಕ್ಕೆ ತಕ್ಕಂತೆ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ವಿಭಜಿಸುತ್ತೇವೆ ಮತ್ತು ಚಂಕ್‌ಗಳ ನಡುವೆ ಸೆಪರೇಟರ್ ಟೋಕೆನ್‌ಗಳನ್ನು ಸೇರಿಸುತ್ತೇವೆ. ನಂತರ ನಾವು ಪ್ರತಿ ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ಒಂದೇ ಫಾರ್ವರ್ಡ್ ಪಾಸ್‌ನಲ್ಲಿ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುತ್ತೇವೆ ಮತ್ತು ಸಂದರ್ಭೋಚಿತ ಚಂಕ್ ಎಂಬೆಡಿಂಗ್‌ಗಳನ್ನು ಪಡೆಯಲು ಪ್ರತಿ ಚಂಕ್ ಒಳಗೆ ಇರುವ ಟೋಕೆನ್ ಪ್ರಾತಿನಿಧಿಗಳನ್ನು ಮೀನ್-ಪೂಲ್ ಮಾಡುತ್ತೇವೆ. ಪ್ರಶ್ನೆಗಳು ಪ್ರತ್ಯೇಕವಾಗಿ ಎನ್‌ಕೋಡ್ ಮಾಡಲ್ಪಡುತ್ತವೆ, ಅವುಗಳ ಟೋಕೆನ್ ಪ್ರಾತಿನಿಧಿಗಳ ಮೇಲೆ ಮೀನ್ ಪೂಲಿಂಗ್ ಮಾಡಲಾಗುತ್ತದೆ. ಅಂತಿಮವಾಗಿ, ನಾವು ಬ್ಯಾಚ್‌ನಲ್ಲಿರುವ ಪ್ರತಿಯೊಂದು ಪ್ರಶ್ನೆ ಎಂಬೆಡಿಂಗ್ ಮತ್ತು ಪ್ರತಿಯೊಂದು ಚಂಕ್ ಎಂಬೆಡಿಂಗ್ ನಡುವಿನ ಕೊಸೈನ್ ಸಾಮ್ಯತೆಯನ್ನು ಲೆಕ್ಕ ಹಾಕುತ್ತೇವೆ.

ನಮ್ಮ ಎಂಬೆಡಿಂಗ್ ಮಾದರಿಯು ಚಂಕ್-ಮಟ್ಟದ ಸಾಮ್ಯತೆಗಳನ್ನು ಮಾತ್ರ ಉತ್ಪಾದಿಸಿದರೂ, ನಾವು ಅವುಗಳಿಂದ ಸ್ವಾಭಾವಿಕವಾಗಿ ಡಾಕ್ಯುಮೆಂಟ್-ಮಟ್ಟದ ಸಾಮ್ಯತೆಗಳನ್ನು ಪಡೆಯಬಹುದು. ಡಾಕ್ಯುಮೆಂಟ್ d ಅನ್ನು ಪ್ರಶ್ನೆ q ಗೆ ಅದರ ಅತ್ಯಂತ ಪ್ರಾಸಂಗಿಕ ಚಂಕ್‌ನಂತೆ ಪ್ರಾಸಂಗಿಕವೆಂದು ನಾವು ಪರಿಗಣಿಸುತ್ತೇವೆ. ಈ ಸ್ಕೋರಿಂಗ್ ನಿಯಮವು ColBERT ನ MaxSim ಆಪರೇಷನ್‌ನಿಂದ ಪ್ರೇರಿತವಾಗಿದೆ, ಇಲ್ಲಿ ಟೋಕೆನ್‌ಗಳ ಬದಲಿಗೆ ಚಂಕ್‌ಗಳಿಗೆ ಅನ್ವಯಿಸಲಾಗಿದೆ.

ప్రత్యేకంగా, ఎంబెడింగ్ q ఉన్న ప్రశ్న q, మరియు ఎంబెడింగ్‌లు c ఉన్న చంక్‌ల క్రమబద్ధ జాబితాగా ఉన్న పత్రం d ఇచ్చినప్పుడు, మేము పత్ర-స్థాయి సారూప్యతను ఇలా నిర్వచిస్తాము:

s(q,d):=\max_{c\in d}\mathbf{q}^{\top}\mathbf{c}.

ఈ పత్ర-స్థాయి సారూప్యతలను ఇచ్చినప్పుడు, ఇన్-బ్యాచ్ నెగటివ్‌లపై పత్ర-స్థాయి InfoNCE objectiveను రూపొందించవచ్చు.

ಪ್ರಶ್ನೆ q ಗಾಗಿ, d⁺ ಅದರ ಸಂಬಂಧಿತ ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ಮತ್ತು 𝒟 ಬ್ಯಾಚ್‌ನಲ್ಲಿರುವ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ಸೂಚಿಸಲಿ. ಓದುವ ಸುಲಭಕ್ಕಾಗಿ ತಾಪಮಾನಗಳನ್ನು ಬಿಟ್ಟುಬಿಟ್ಟು, ಕಾಂಟ್ರಾಸ್ಟಿವ್ ಲಾಸ್ ಈ ಕೆಳಗಿನಂತಿರುತ್ತದೆ:

\mathcal{L}_{\mathrm{doc}}(q,d^{+})=-\log\frac{\exp(s(q,d^{+}))}{\sum_{d\in\mathcal{D}}\exp(s(q,d))}

ಕಾಂಟ್ರಾಸ್ಟಿವ್ ಲಾಸ್ ಮಾದರಿಗೆ ಯಾವ ಡಾಕ್ಯುಮೆಂಟ್ ಪ್ರಶ್ನೆಗೆ ಸಂಬಂಧಿಸಿದೆ ಎಂದು ಕಲಿಸುತ್ತದೆ. ಡಿಸ್ಟಿಲ್ಲೇಷನ್ ಲಾಸ್ ಆ ಡಾಕ್ಯುಮೆಂಟ್‌ನಲ್ಲಿ ಪ್ರಾಸಂಗಿಕತೆ ಎಲ್ಲಿ ಇರುತ್ತದೆ ಎಂದು ಕಲಿಸುತ್ತದೆ, ಇದು ಸಂದರ್ಭೋಚಿತ ಮಾದರಿಗೆ ಅತ್ಯ esenciales.

శిక్షణ సమయంలో, ప్రతి సానుకూల ప్రశ్న–పత్ర జంటను మా context compression మోడల్‌కు పంపుతాము, ఇది పత్రంలోని ప్రతి టోకెన్‌కు ఒక సంబంధితత స్కోర్‌ను కేటాయిస్తుంది. పత్ర-స్థాయి స్కోరింగ్‌లో వలె, ప్రతి చంక్ యొక్క సంబంధితతను దాని అత్యంత సంబంధిత విషయాల నుండి పొందుతాము. చంక్ సరిహద్దుల వద్ద ఉన్నవాటితో సహా అవుట్‌లయ్యర్ టోకెన్‌ల పట్ల సున్నితత్వాన్ని తగ్గించడానికి, చంక్‌లోని పై n టోకెన్ స్కోర్ల సగటుగా చంక్-స్థాయి సంబంధితతను నిర్వచిస్తాము.

ప్రతి ప్రశ్నకు, సానుకూల పత్రంలో ఉన్న ఉపాధ్యాయుడి చంక్-స్థాయి సంబంధితత స్కోర్లపై ఉష్ణోగ్రత-స్కేల్ చేసిన softmaxను వర్తింపజేసి ఒక లక్ష్య పంపిణీని పొందుతాము. బ్యాచ్‌లోని ఇతర పత్రాల్లో ఉన్న చంక్‌లు శూన్య లక్ష్య సంభావ్యతను పొందుతాయి. అన్ని బ్యాచ్ చంక్‌లపై దాని అంచనా పంపిణీ మరియు లక్ష్య పంపిణీ మధ్య forward KL divergenceను తగ్గించడం ద్వారా, ఈ లక్ష్యానికి సరిపోలేలా ఎంబెడింగ్ మోడల్‌ను శిక్షణ ఇస్తాము:

\mathcal{L}_{\mathrm{dist}}(q,d^{+})=\mathrm{KL}\!\left(p^{\mathrm{T}}\parallel p^{\mathrm{S}}\right)

p^{\mathrm{T}}(c_j)=\frac{\exp(r_j)}{\sum_{c_k\in d^{+}}\exp(r_k)}

p^{\mathrm{S}}(c)=\frac{\exp(\mathbf{q}^{\top}\mathbf{c})}{\sum_{d\in\mathcal{D}}\sum_{c_k\in d}\exp(\mathbf{q}^{\top}\mathbf{c}_k)}

ఇక్కడ, T మరియు S ఉపసర్గలు ఉపాధ్యాయుడు మరియు విద్యార్థిని సూచిస్తాయి, మరియు rⱼ అనేది సానుకూల పత్రం d⁺లోని చంక్ cⱼ కోసం ఉపాధ్యాయుడి సంబంధితత స్కోర్. ఉపాధ్యాయుడి లక్ష్య పంపిణీ బ్యాచ్‌లోని మిగతా అన్ని పత్రాల్లోని చంక్‌లకు శూన్య సంభావ్యతను కేటాయిస్తుంది.

ఒకే బంగారు-చంక్ లేబుల్‌కు భిన్నంగా, ఈ లక్ష్యం సంబంధితత స్థాయిలను పట్టుకుంటుంది. సహాయక చంక్‌లు ప్రతికూలాలుగా పరిగణించబడకుండా, ఉపాధ్యాయుడి స్కోర్ల ప్రకారం బరువు పొందుతాయి; దీని ద్వారా మోడల్‌కు సమాధానంతో పాటు సహాయక సందర్భాన్ని కూడా తిరిగి పొందడం నేర్పబడుతుంది.

మా సంయుక్త శిక్షణ లక్ష్యం పత్ర-స్థాయి contrastive loss మరియు చంక్-స్థాయి distillation loss యొక్క బరువుతో కూడిన మొత్తము. ఈ బరువుతో కూడిన lossను ప్రశ్న–పత్ర జంటల బ్యాచ్‌పై సగటు చేస్తాము.

చిత్రం 2 మా శిక్షణ విధానాన్ని చూపిస్తుంది. context compressor శిక్షణ సమయంలో మాత్రమే ఉపాధ్యాయుడిగా పనిచేస్తుంది. అనుమానన సమయంలో, ఎంబెడింగ్ మోడల్ అదనపు compression లేదా reranking దశ లేకుండా ప్రతి చంక్‌కు ఒక సందర్భాత్మక ఎంబెడింగ్‌ను ఉత్పత్తి చేస్తుంది. ఈ విధానం, సూచిక నిల్వను పెంచకుండా లేదా రిట్రీవల్ సమయంలో ఉపాధ్యాయ మోడల్ లేటెన్సీని చేర్చకుండా, సందర్భాత్మక ఎంబెడింగులు ఎలా నేర్చుకోబడతాయో మెరుగుపరుస్తుంది.

సందర్భోచిత ఎంబెడ్డింగ్ ಡಿಸ್ಟಿಲ್ಲೇಷನ್ కోసం శిక్షణ సెటప్ — చిత్రం 2: మా మోడల్ యొక్క శిక్షణ సెటప్. సందర్భాత్మక ఎన్‌కోడర్ (విద్యార్థి, ఎడమ) ప్రతి ఒక్కటి అనేక చంక్‌లను కలిగి ఉన్న పత్రాలను ప్రాసెస్ చేస్తుంది. ప్రతి చంక్ దాని చుట్టుపక్కల పత్ర సందర్భానికి అనుగుణంగా ఎంబెడ్ చేయబడుతుంది. Query A అనేది Document Aకు తెలిసిన సరిపోలిక, మరియు అంచనా సారూప్యతలను పొందడానికి అన్ని పత్రాల చంక్‌లతో పోల్చి స్కోర్ చేయబడుతుంది. ఈ చంక్-స్థాయి స్కోర్లు డాక్యుమెంట్-స్థాయి స్కోర్లుగా max-pool చేయబడతాయి. మేము చంక్-స్థాయి అంచనాలు మరియు పత్ర-స్థాయి అంచనాలను లక్ష్య పంపిణీలకు సరిపోలేలా శిక్షణ ఇస్తాము (కుడి). చంక్-స్థాయి లక్ష్యం శిక్షణ సమయంలో తెలిసిన సంబంధిత పత్రంలో context compressor యొక్క అంచనాగా లెక్కించబడుతుంది మరియు తెలిసిన అసంబద్ధ పత్రాల్లో శూన్యంగా సెట్ చేయబడుతుంది. పత్ర-స్థాయి లక్ష్య పంపిణీ తెలిసిన సంబంధిత పత్రంపై one-hotగా సెట్ చేయబడుతుంది.

శిక్షణ డేటాలో 50 కంటే ఎక్కువ భాషలను కవర్ చేసే దాదాపు 430 పబ్లిక్ మరియు ఇన్-హౌస్ క్వెరీ-డాక్యుమెంట్ డేటాసెట్‌లు ఉన్నాయి.

మేము PII-ఫిల్టర్ చేయబడిన ప్రొడక్షన్ డేటా నుండి మరియు సుదీర్ఘ పత్రాలపై సంబంధిత ప్రశ్నలను సంశ్లేషణ చేయడం ద్వారా ఇన్-హౌస్ జత డేటాసెట్‌లను నిర్మిస్తాము. ప్రతి ఫార్వర్డ్ పాస్ కోసం, మేము ఒక డేటాసెట్‌ను ఎంచుకుంటాము మరియు ఇన్-బ్యాచ్ నెగెటివ్‌ల కష్టాన్ని పెంచడానికి మరియు షార్ట్‌కట్ లెర్నింగ్‌ను నివారించడానికి దాని నుండి మొత్తం బ్యాచ్‌ని శాంపిల్ చేస్తాము. మా శిక్షణ డేటాసెట్‌లలో ఏవీ చంక్-స్థాయి ఉల్లేఖనాలను కలిగి ఉండవు: డాక్యుమెంట్ లోపల పర్యవేక్షణ అంతా కంప్రెషన్ మోడల్ నుండి వస్తుంది మరియు శిక్షణ కోసం ఎలాంటి ConTEB డేటా ఉపయోగించబడదు. అంతేకాకుండా, మోడల్ అభివృద్ధి సమయంలో ఎలాంటి context-bench డేటా అందుబాటులో లేదు.

మోడల్ ఇన్-హౌస్, 9B-పరామీటర్ ColBERT రిట్రీవల్ మోడల్ నుండి ప్రారంభమవుతుంది మరియు లీనియర్ ప్రొజెక్షన్ లేయర్ ద్వారా 2048-డైమెన్షనల్ ఎంబెడ్డింగ్‌లను ఉత్పత్తి చేస్తుంది. మేము నేర్చుకున్న <|chunk_sep|> టోకెన్‌తో చంక్ సరిహద్దులను గుర్తిస్తాము మరియు దాని టోకెన్ ఎంబెడ్డింగ్‌లను సగటు చేయడం ద్వారా ప్రతి చంక్ ఎంబెడ్డింగ్‌ను ఏర్పరుస్తాము. ప్రశ్నలు అదే మోడల్ ద్వారా ఎన్‌కోడ్ చేయబడతాయి, వాటి టోకెన్ ఎంబెడ్డింగ్‌లు ఒకే వెెక్టర్‌గా సగటు చేయబడతాయి.

1024 మరియు 2048-డైమెన్షనల్ ఎంబెడ్డింగ్‌లు రెండింటికి మద్దతు ఇవ్వడానికి మేము మట్రియోష్కా శిక్షణను ఉపయోగిస్తాము మరియు నేటివ్ int8 ఎంబెడ్డింగ్‌లకు మద్దతు ఇవ్వడానికి క్వాంటైజేషన్-అవేర్ శిక్షణను ఉపయోగిస్తాము. శిక్షణ సమయంలో, మేము క్రమంగా లెర్నింగ్ రేట్‌ను పెంచుతాము, దానిని స్థిరంగా ఉంచుతాము, ఆపై తగ్గిస్తాము.

విడుదల చేయబడిన మోడల్ అనేది అదే శిక్షణ రన్ నుండి అనేక చెక్‌పాయింట్ల బరువులను సగటు చేసే మోడల్ సూప్.

ConTEB వంటి ప్రజా సందర్భాత్మక-పునరుద్ధరణ బెంచ్‌మార్కులు బంగారు-చంక్ పర్యవేక్షణ వెనుక ఉన్న ఊహను పంచుకుంటాయి: ప్రతి ప్రశ్నకు ఒకే సంబంధిత చంక్ ఉంటుంది, మరియు మోడల్ ఆ చంక్‌ను మొదటిస్థానంలో ఉంచినప్పుడే బహుమతి పొందుతుంది. అవి దాని పరిమితులను కూడా వారసత్వంగా పొందుతాయి.

మొదటిది, చుట్టుపక్కల సందర్భం లేకుండా చంక్ అస్పష్టంగా ఉండే టాస్క్‌లపై ConTEB పునరుద్ధరణను పరీక్షిస్తుంది. ఈ టాస్క్‌లపై, ప్రతి చంక్‌ను స్వతంత్రంగా ఎన్‌కోడ్ చేసే మోడళ్ల కంటే సందర్భోచిత మోడల్స్ మెరుగ్గా పనిచేశాయి. అయితే, చంక్‌ను అర్థం చేసుకునేలా చేసే పత్రంలోని ఇతర భాగాలను కూడా మోడల్ వెలికితీస్తుందో లేదో ఇది అడగదు.

రెండవది, అదే కార్పస్‌లోని దాదాపు ఒకేలా ఉండే పత్రాలు కేవలం ఒకేలా ఉండే వాక్యాన్ని చుట్టుముట్టే సందర్భంలో మాత్రమే తేడా ఉన్నప్పుడు సరైన పత్రాన్ని కనుగొనగలదా అని ఇది క్రమపద్ధతిలో పరీక్షించదు.

శోధన ఏజెంట్ లేదా వినియోగదారు మొత్తం పత్రం కంటే కొన్ని పునరుద్ధరించబడిన వాక్యాల నుండి సమాధానాన్ని అర్థం చేసుకుని ధృవీకరించవలసి వచ్చినప్పుడు రెండు సామర్థ్యాలు ముఖ్యం. అందువల్ల మేము context-bench ని నిర్మించాము, ఇది సుదీర్ఘ పత్రాలపై పునరుద్ధరణ కోసం ఒక నియంత్రిత బెంచ్‌మార్క్, ఇది సాధారణ పునరుద్ధరణ నాణ్యత నుండి పత్ర సందర్భం యొక్క ಬಳಕೆಯನ್ನು వేరు చేయడానికి రూపొందించబడింది. ఇది మూడు సామర్థ్యాలకు మద్దతు ఇవ్వడానికి పత్రంలోని వేరే చోటి నుండి సమాచారాన్ని సందర్భోచిత ఎంబెడ్డింగ్‌లు ఉపయోగిస్తున్నాయో లేదో పరీక్షిస్తుంది:

డాక్యుమెంట్ డిస్ఎంబిగ్యుయేషన్: దాదాపు ఒకేలా ఉండే ప్రత్యామ్నాయాల మధ్య సరైన పత్రాన్ని గుర్తించండి.
సమాధానం పునరుద్ధరణ: పత్రంలోని వేరే చోట ఉన్న వివరాలపై అర్థం ఆధారపడి ఉండే సమాధాన-భార మోస్తున్న చంక్‌లను పునరుద్ధరించండి.
సాక్ష్య పునరుద్ధరణ: సమాధానాన్ని స్పష్టం చేసే లేదా సమర్థించే మద్దతు చంక్‌లను పునరుద్ధరించండి.

Context-bench 2,099 ప్రశ్నలను మరియు 38,894 పత్రాలను కలిగి ఉంది. వాక్య పొడవు చంక్‌లు ఉపయోగించబడతాయి, ఫలితంగా మొత్తం 2,458,072 చంక్‌లు వస్తాయి. ప్రశ్నలు కార్పొరేట్ ఫైలింగ్‌లు, క్లినికల్ పరిశోధన, ప్రయాణం, వినోదం, విద్య, ప్రభుత్వం, చట్టపరమైన ఒప్పందాలు మరియు సాఫ్ట్‌వేర్ డాక్యుమెంటేషన్‌తో సహా 21 డొమైన్‌లను కవర్ చేస్తాయి.

ప్రతి ప్రశ్నను పన్నెండు సందర్భాత్మక సామర్థ్యాలలో ఒకదాన్ని పరీక్షించేలా రూపొందించారు. ప్రధాన లక్ష్య పత్రాలు ఉద్దేశపూర్వకంగా పొడవుగా ఉంటాయి: 1,197 ప్రత్యేక ప్రధాన లక్ష్య పత్రాల్లో 1,061 పత్రాలకు కనీసం 200 వాక్యాలు ఉన్నాయి, మరియు మధ్యస్థ పొడవు సుమారు 6,100 టోకెన్లు. ప్రతి ప్రశ్నకు కార్పస్‌లో ఖచ్చితంగా ఒక సరైన సమాధానం ఉంటుంది. ఒకే వాస్తవం బంగారు పత్రంలో ఒకసారి కంటే ఎక్కువ చోట్ల, ఉదాహరణకు సారాంశ వాక్యం మరియు పట్టిక పంక్తిలో, చెప్పబడినప్పుడు ఆ వాక్యాలన్నీ సమాధానాలుగా అంగీకరించబడతాయి.

సమాధాన మార్గం అనేది సమాధాన చంక్ మరియు దానిని వివరించడానికి లేదా ధృవీకరించడానికి అవసరమైన మద్దతు సాక్ష్యం యొక్క ఒక చెల్లుబాటు అయ్యే కలయిక. 2,099 ప్రశ్నలలో, ప్రాథమిక లక్ష్య-పత్ర సమాధాన మార్గం 964 ప్రశ్నలకు ఒక సాక్ష్య సమూహాన్ని, 735కి రెండు, 332కి మూడు లేదా అంతకంటే ఎక్కువ మరియు 68కి ఏదీ లేదు. ప్రత్యామ్నాయ చెల్లుబాటు అయ్యే సమాధాన మార్గాలకు వేర్వేరు సాక్ష్య సమూహాలు అవసరం కావచ్చు.

పట్టిక 1: బెంచ్‌మార్క్ గణాంకాలు.

గణాంకం	విలువ
ప్రశ్నలు	2,099
పత్రాలు	38,894
వాక్య చంక్‌లు	2,458,072
మధ్యస్థ ప్రాథమిక లక్ష్య పత్రం పొడవు	6,100 టోకెన్‌లు
డొమైన్‌లు	21
ప్రశ్నకు ఆధార గుంపులు (ప్రాథమిక లక్ష్య-పత్ర సమాధాన మార్గం)	1: 964; 2: 735; 3+: 332; ఏదీ లేదు: 68

పట్టిక 2: సందర్భోచిత సామర్థ్యాల ఉదాహరణలతో context-bench ద్వారా పరీక్షించబడిన పన్నెండు సందర్భోచిత సామర్థ్యాలు.

సామర్థ్యం	ఉదాహరణ ప్రశ్న	సమాధానం చంక్	అవసరమైన పత్ర సందర్భం
1. ఎంటిటీ గుర్తింపు	షేర్ రీపర్చేజ్‌లపై నార్త్‌లెక్ ఎంత ఖర్చు పెట్టింది?	కంపెనీ $12.8 బిలియన్ల షేర్లను రీపర్చేజ్ చేసింది.	పరిచయం నార్త్‌లెక్ “కంపెనీ” అని గుర్తిస్తుంది. ఇలాంటి సౌత్‌లెక్ నివేదిక సంబంధితమైనది కాదు.
2. కాలం లేదా వెర్షన్	M40 రివిజన్ B కి ఏ కార్ట్రిడ్జ్ సరిపోతుంది?	KC-42 కార్ట్రిడ్జ్‌ను ఇన్‌స్టాల్ చేయండి.	వర్తింపు విభాగం ఈ సూచనలు రివిజన్ C కి కాకుండా రివిజన్ B కి వర్తిస్తాయని చెబుతుంది.
3. నిర్వచనాలు మరియు మారుపేర్లు	15 mg సమూహం యొక్క ఉపసంహరణ రేటు ఎంత?	జీటా 12.7% ఉపసంహరణ రేటును కలిగి ఉంది.	నివేదిక Zetaను 15 mg గుంపుగా నిర్వచిస్తుంది. ఆ నిర్వచనం లేకుండా, భాగం అభ్యర్థించిన గుంపును గుర్తించదు.
4. పట్టిక నిర్మాణం	Max మోడల్ బ్యాటరీ సామర్థ్యం ఎంత?	సాధారణ సామర్థ్యం: 4,250 \| 4,700 \| 5,150.	పట్టిక శీర్షిక mAh లో కొలవబడిన Mini \| Base \| Max ని ఏర్పాటు చేస్తుంది. కాబట్టి సమాధానం 5,150 mAh.
5. షరతులు మరియు మినహాయింపులు	వాణిజ్య ఉపయోగం కోసం బ్యాటరీ కవరేజ్ ఎంతకాలం ఉంటుంది?	బ్యాటరీ కవరేజ్ 18 నెలలు ఉంటుంది.	ఒక విభాగం పరిచయం ఈ కవరేజీని వాణిజ్య సంస్థాపనలకు పరిమితం చేస్తుంది; గృహ సంస్థాపనలు వేరే వారంటీని కలిగి ఉంటాయి.
6. సూచనలు మరియు సర్వనామాలు	మారా ఎప్పుడు డిప్యూటీ మేయర్ అయ్యారు?	ఆమె 2021లో బాధ్యతలు చేపట్టారు.	“ఆమె” అంటే చర్చిస్తున్న ఎలిన్ కాకుండా మారా అని మునుపటి కథనం establishes చేస్తుంది.
7. జాబితా క్రమం మరియు స్థానం	ఎన్‌కోర్‌ను ఏ పాట ప్రారంభించింది?	14. లాంతర్ రోడ్.	పాటలు 14-16 ఎన్‌కోర్‌ను ఏర్పరుస్తాయని వేరే చోట ఒక గమనిక చెబుతుంది. అందువల్ల ట్రాక్ 14 దాని ప్రారంభ పాట.
8. విభాగ పరిధి	చిత్రం యొక్క సినిమాటోగ్రఫీ కోసం ఏ లెన్స్ ఉపయోగించబడింది?	మొత్తం మీద 35 mm ప్రైమ్ ఉపయోగించబడింది.	ఈ భాగం పబ్లిసిటీ ఫోటోగ్రాఫ్‌ల గురించి వేరే విభాగం కాకుండా “ప్రధాన ఫోటోగ్రఫీ”కి చెందినది.
9. వక్త కేటాయింపు	మేయర్ ఏ తిరిగి ప్రారంభ తేదీని హామీ ఇచ్చారు?	మే 12న మేము మళ్లీ ప్రారంభిస్తాము.	ట్రాన్స్క్రిప్ట్ మేయర్‌ను వక్త్రుడిగా గుర్తిస్తుంది. కాంట్రాక్టర్ నుండి వచ్చే అదే మాటలు మేయర్ వాగ్దానాన్ని స్థాపించలేవు.
10. కాలక్రమేణా మార్పులు	మే సవరణ తర్వాత ఏ నోటీసు వ్యవధి వర్తించింది?	నోటీసు వ్యవధి ఇప్పుడు 45 రోజులు.	ఈ మార్పు మేలో అమల్లోకి వచ్చిందని, మునుపటి 30 రోజుల నిబంధనను భర్తీ చేసిందని సవరణ చరిత్ర నిర్ధారిస్తుంది.
11. కారణ సంబంధాలు	పశ్చిమ పంపు ఎందుకు ఆగిపోయింది?	ఆ లోపం షట్‌డౌన్‌కు కారణమైంది.	విచారణ పశ్చిమ పంపులో సీజ్ చేయబడిన బేరింగ్‌గా “ఆ లోపాన్ని” గుర్తిస్తుంది మరియు దానిని సంబంధం లేని ఇన్‌లెట్ అడ్డుపడటంతో వేరు చేస్తుంది.
12. అలంకారిక లేదా క్రాస్-లాంగ్వేజ్ అర్థం	అలంకారిక: కవితలో “శీతాకాలపు గది” దేనికి ప్రతీక? క్రాస్-లాంగ్వేజ్: ఫ్రెంచ్ సూచన సాంకేతిక నిపుణుడిని ఏ భాగాన్ని తొలగించమని చెబుతుంది?	అలంకారిక: ఇది భౌతిక గది కాకుండా ప్రవాసాన్ని సూచిస్తుంది. క్రాస్-లాంగ్వేజ్: Retirez le capot. (కవర్‌ను తొలగించండి.)	అలంకారిక: వ్యాఖ్యానం “దానిని” కవిత యొక్క పునరావృతమయ్యే “శీతాకాలపు గది” చిత్రంగా గుర్తిస్తుంది. క్రాస్-లాంగ్వేజ్: గైడ్ గ్లోసరీ “కపాట్” అంటే షిప్పింగ్ కవర్ కాకుండా రక్షిత మోటార్ హుడ్ అని పేర్కొంది.

ప్రశ్నలు, పత్రాలు మరియు పరీక్షించబడుతున్న సామర్థ్యాలు turbopuffer కస్టమర్లతో సంభాషణల ద్వారా ప్రేరణ పొందాయి.

ఒక ఉదాహరణగా, ఆస్తి నిర్వహణ సంస్థ యొక్క శోధన అవసరాలను పరిగణించండి. ఈ సంస్థలకు వందల, కొన్నిసార్లు వేల అద్దె ఒప్పందాలు ఉంటాయి; వాటిలో వ్యత్యాసం కేవలం అద్దెకున్నవారి పేర్లు, తేదీలు, మరియు మరికొన్ని కీలక వివరాలు మాత్రమే. ఆ డేటాసెట్ కోసం ఒక సాధారణ ప్రశ్న ఇలా ఉండవచ్చు: “5 park avenue’s లీజ్ ఎప్పుడు ముగుస్తుంది, ప్రస్తుత అద్దె ఎంత?”. అద్దె ఒప్పందాలు కూడా దీర్ఘంగా ఉండవచ్చు, మరియు మీరు సరైన పత్రాన్ని తిరిగి పొందారని నిర్ధారించే కీలక భేదక భాగాలు (తేదీ, చిరునామా, అద్దెకున్నవారి పేరు మొదలైనవి) నెలవారీ లీజ్ చెల్లింపు మొత్తాన్ని కలిగి ఉన్న కీలక సమాధాన వాక్యానికి చాలా దూరంలో ఉండవచ్చు. ఆచరణలో, “Monthly rent is $X,XXX.” వంటి ఒకేలా ఉండే వాక్యాలు కార్పస్‌లోని అనేక పత్రాలలో కనిపించవచ్చు.

మంచి సందర్భోచిత ఎంబెడ్డింగ్ మోడల్ సరైన పత్రాన్ని గుర్తించడానికి మరియు సమాధానం మరియు దాని మద్దతు వాక్యాలు రెండింటిని పునరుద్ధరించడానికి పత్రం అంతటా ఉన్న సందర్భాన్ని ఉపయోగించాలి. ఇది వినియోగదారు లేదా శోధన ఏజెంట్ సమాధానాన్ని త్వరగా ధృవీకరించడానికి మరియు అది సరైన పత్రం నుండి వచ్చిందని నిర్ధారించడానికి అనుమతిస్తుంది.

ప్రతి ప్రశ్న కోసం, మేము లక్ష్య పత్రంలో “సమాధానం” మరియు “సాక్ష్యం” వాక్యాలను లేబుల్ చేస్తాము. ఒక మోడల్ సమాధాన వాక్యంతో పాటు ప్రతి సాక్ష్య సమూహం నుండి కనీసం ఒక వాక్యాన్ని పునరుద్ధరిస్తే అది మా “రీడర్ పర్యాప్తత” పరీక్షలో ఉత్తీర్ణత సాధిస్తుంది. కలిసి, ఈ వాక్యాలు పాఠకుడు మద్దతు సాక్ష్యంతో సమాధానాన్ని ధృవీకరించడానికి తగిన సందర్భాన్ని అందిస్తాయి.

సందర్భోచిత ఎంబెడ్డింగ్ మోడల్స్ దీన్ని బాగా చేసినప్పుడు, అవి శోధన ఏజెంట్లు సమీక్షించాల్సిన టోకెన్ల సంఖ్యను నాటకీయంగా తగ్గించగలవు అలాగే మొత్తం పత్రాన్ని చదవకుండానే తమ అసలు ప్రశ్నకు సరైన సమాధానం లభించిందని ఒక వ్యక్తి త్వరగా నిర్ధారించుకోవడాన్ని చాలా సులభతరం చేయగలవు.

ప్రతి సాక్ష్య సమూహాన్ని పునరుద్ధరించాలి, కానీ సమూహం యొక్క ప్రత్యామ్నాయాలలో ఏదైనా ఒకటి దానిని పునరుద్ధరించడానికి సరిపోతుంది. ఈ సుదీర్ఘ పత్రాలలో అనేక ప్రదేశాలలో అదే వాస్తవం చెప్పబడటం సాధారణం. ప్రతి సాక్ష్య సమూహం నుండి కేవలం ఒక వాక్యాన్ని పునరుద్ధరించడం రీడర్ పర్యాప్తత ప్రమాణాలను కలుస్తుంది మరియు తద్వారా పరిపూర్ణ సాక్ష్య రీకాల్‌గా అంగీకరించబడుతుంది.

ప్రతి పత్రం వాక్యాలుగా చంక్ చేయబడుతుంది మరియు అన్ని మోడళ్లకు ఒకే సరిహద్దులు ఉపయోగించబడతాయి. సందర్భోచితం కాని ఎంబెడ్డింగ్ మోడళ్ల కోసం రెండు షరతులు పరీక్షించబడతాయి: ప్రతి వాక్యం స్వతంత్రంగా ఎంబెడ్ చేయబడినది మరియు మొత్తం పత్రం ఒకే చంక్‌గా ఎంబెడ్ చేయబడినది.

సమాధాన రీకాల్ మరియు సాక్ష్య రీకాల్‌ను కొలవడానికి మేము వాక్య-స్థాయి షరతును ఉపయోగిస్తాము. ప్రతి వాక్యం చుట్టుపక్కల పత్రానికి ప్రాప్యత లేకుండా ఎంబెడ్ చేయబడినప్పుడు సందర్భోచితం కాని మోడల్ సరైన సమాధానం మరియు మద్దతు సాక్ష్యాన్ని గుర్తించగలదో లేదో ఇది పరీక్షిస్తుంది. ఇది ఉద్దేశపూర్వకంగా సవాలుతో కూడుకున్నది. అనేక ప్రశ్నలలో, సమాధాన వాక్యం ఒంటరిగా కార్పస్‌లోని ఇలాంటి వాక్యాల నుండి దానిని వేరు చేయడానికి అవసరమైన వివరాలను కలిగి ఉండదు.

పత్ర-స్థాయి పరిస్థితిని మేము పత్ర రీకాల్‌కు బేస్‌లైన్‌గా ఉపయోగిస్తాము. ఇది సన్నగా వివరణాత్మక వాక్య ఎంబెడింగులు, ఒక పత్రానికి ఒక వెక్టర్ నిల్వ చేయడంపై ఉన్న ఖర్చుతో పోలిస్తే, వాటి అదనపు నిల్వ వ్యయాన్ని సమర్థించేంత రిట్రీవల్ లాభం ఇస్తాయా అని పరీక్షిస్తుంది. వాక్య-స్థాయి సూచిక పత్ర-స్థాయి సూచిక కంటే గణనీయంగా ఎక్కువ వెక్టర్లను సృష్టిస్తుంది, కాబట్టి ఆ ఖర్చును సమర్థించాలంటే అది ఒక్క-వెక్టర్-ప్రతి-పత్రం బేస్‌లైన్‌ను మించాలి.

అన్ని మూల్యాంకనాలు మొత్తం 2,458,072 చంక్‌లకు వ్యతిరేకంగా సమగ్ర ర్యాంకింగ్‌లను ఉపయోగిస్తాయి. కాబట్టి మోడళ్ల మధ్య తేడాలు ప్రాతినిధ్యాలను ప్రతిబింబిస్తాయి, ఇండెక్స్ కాన్ఫిగరేషన్‌ను కాదు. మేము మూడు కీలక మెట్రిక్‌లపై దృష్టి పెడతాము:

Document@K ఇలా నిర్వచించబడింది:

\text{Document@K}=1[\operatorname{rank}(d^{*})\le K]

ఇక్కడ $d^{*}$ అనేది $D_q$ లో అత్యధిక ర్యాంక్ పొందిన పత్రం.

Answer@K ఇలా నిర్వచించబడింది:

\text{Answer@K}=1[A_q\cap C_K(q)\ne\varnothing]

ఇక్కడ $C_K(q)$ అనేది మొత్తం కార్పస్‌పై ఉన్న టాప్ $K$ చంక్‌లు మరియు $A_{q}$ అనేది ఆమోదించబడిన సమాధాన చంక్‌ల సెట్.

Evidence Recall@K లో ఈ క్రింది విధంగా కొలవబడుతుంది: యొక్క వాక్యాలను సారూప్యత ద్వారా ర్యాంక్ చేయండి, అత్యధిక ర్యాంక్ పొందిన సమాధాన వాక్యాన్ని తీసివేయండి మరియు మిగిలిన టాప్ గా ని ఉంచండి. సాక్ష్య సమూహాల కోసం, కొన్ని ప్రత్యామ్నాయాలు ని సంతృప్తిపరిస్తే సమూహం పునరుద్ధరించబడుతుంది మరియు $d^{*}$ $d^{*}$ $R_K(q)$ $K$ $G_q=\{g_1,\ldots,g_m\}$ $g_j$ $E\in g_j$ $E\subseteq R_K(q)$

\text{EvidenceRecall@K}=1[\operatorname{rank}(d^{*})\le10]\cdot\frac{1}{m}\sum_{j=1}^{m}1[g_j\ \text{recovered}].

Document@K సందర్భీకరణ వల్ల సరైన పత్రం తన పదసంపదను పంచుకునే సహోదరాలు మరియు దృష్టిమళ్లింపులను మించగలదా అని అడుగుతుంది.

Answer@K సమాధాన వాక్యం స్వయంగా టాప్ చంక్‌లలో ఉందో లేదో అడుగుతుంది.

Evidence Recall@K అత్యధిక ర్యాంక్ పొందిన సమాధాన చంక్‌ను మినహాయించిన తర్వాత, సరైన పత్రం యొక్క టాప్ K చంక్‌లలో ఎంత మద్దతు సందర్భం పునరుద్ధరించబడుతుందో అడుగుతుంది. సమాధానాన్ని తీసివేయడం వల్ల Answer@K ఇప్పటికే కొలిచే దానిని సాక్ష్య రీకాల్ రెండుసార్లు లెక్కించకుండా నిరోధిస్తుంది మరియు మద్దతు సందర్భం కోసం అన్ని $K$ స్లాట్‌లను వదిలివేస్తుంది. గోల్డ్ డాక్యుమెంట్ టాప్ 10 పునరుద్ధరించిన పత్రాలలో ఉండాలని కోరడం అంటే ఏ మోడల్ కూడా అది వెలికితీసి ఉండని పత్రం కోసం సాక్ష్య క్రెడిట్‌లను అందుకోదు. మేము All-Evidence@K ని కూడా నివేదిస్తాము, ఇది ప్రతి సమూహం పునరుద్ధరించబడిన ప్రశ్నల భిన్నం.

కలిసి, ఈ మెట్రిక్‌లు సందర్భోచిత-ఎంబెడ్డింగ్ మోడల్స్ ఎదుర్కొనే సవాళ్లను విడదీస్తాయి: సరైన పత్రాన్ని కనుగొనండి, సరైన సమాధానాన్ని కనుగొనండి మరియు సమాధానం ఎందుకు సరైనదో చూపే కనీస సందర్భాన్ని పునరుద్ధరించండి.

ಚಿತ್ರ 3 ప్రాపర్టీ మేనేజ్‌మెంట్ ఉదాహరణతో మెట్రిక్‌లను వివరిస్తుంది.

Context-bench డాక్యుమెంట్, సమాధానం మరియు సాక్ష్య పునరుద్ధరణ ఎలా స్కోర్ చేయబడతాయి — చిత్రం 3: లీజ్ ప్రశ్నతో చూపిన Context-bench మీట్రిక్‌లు. Document@K సరైన పత్రం తిరిగి పొందడాన్ని పరీక్షిస్తుంది; Answer@K దాని సమాధాన చంక్ తిరిగి పొందడాన్ని పరీక్షిస్తుంది; Evidence Recall@K లక్ష్య పత్రంలోని సహాయక ఆధారాల గుంపులను తిరిగి పొందడాన్ని కొలుస్తుంది. ఈ ఉదాహరణలో, అద్దెను ధృవీకరించడానికి చిరునామా మరియు లీజ్-సంవత్సర ఆధారాలు రెండూ అవసరం. Evidence recall అగ్ర సమాధాన చంక్‌ను మినహాయించి, లక్ష్య పత్రం టాప్ 10లో ర్యాంక్ కావాలని కోరుతుంది.

మేము నాలుగు మోర్చాలపై సందర్భోచిత మరియు సందర్భోచితం కాని ఎంబెడ్డింగ్ మోడళ్లకు వ్యతిరేకంగా మా మోడల్‌ను అంచనా వేస్తాము.

మా సందర్భోచిత బేస్‌లైన్‌లు pplx-embed-context-v1-4B మరియు voyage-context-4. మా సందర్భోచితం కాని బేస్‌లైన్‌లు voyage-4-large మరియు NVIDIA యొక్క Nemotron-3-Embed-8B-BF16, ఇవి చంక్‌లను స్వతంత్రంగా ఎన్‌కోడ్ చేస్తాయి. ప్రతి చిత్రంలో సూచించినట్లుగా, బేస్‌లైన్ సెట్ ప్రయోగం ద్వారా మారుతుంది.

మేము context-benchతో ప్రారంభిస్తాము, ఇది ఈ పనికి ప్రేరణనిచ్చే సామర్థ్యాలను నేరుగా పరీక్షిస్తుంది, ఆపై సందర్భాత్మక ఎంబెడింగుల కోసం ప్రామాణిక ప్రజా బెంచ్‌మార్క్ అయిన ConTEBపై ఫలితాలను నివేదిస్తాము. ఈ లాభాలు సాధారణ రిట్రీవల్ నాణ్యత ఖర్చుతో రాలేదని నిర్ధారించడానికి, మేము ప్రజా డేటాసెట్‌ల నుంచి నిర్మించిన డొమైన్-నిర్దిష్ట పత్ర మరియు చంక్ రిట్రీవల్ బెంచ్‌మార్క్‌లను కూడా మూల్యాంకనం చేస్తాము. చివరగా, అమలులో ప్రాయోగికమైన రెండు లక్షణాలను పరిశీలిస్తాము: ప్రతి వెక్టర్‌కు రిట్రీవల్ నాణ్యత వర్సెస్ నిల్వ ఖర్చులు, మరియు ఇండెక్సింగ్ సమయంలో ఉపయోగించిన చంక్ పరిమాణానికి సున్నితత్వం. అన్ని మూల్యాంకనాలు 32,768 టోకెన్ల వరకు ఉన్న పత్రాలను ఒకే పాస్‌లో ఎన్‌కోడ్ చేస్తాయి.

పరిచయంలోని చిత్రం 1లో చూపిన విధంగా, మా ప్రివ్యూ ప్రతి నివేదించబడిన కట్-ఆఫ్ వద్ద Answer@K మరియు Evidence Recall@K లో అలాగే All-Evidence@10 లో ముందుంది. K = 10 వద్ద, ఇది 45.5% సమాధాన రీకాల్, 40.6% సాక్ష్య రీకాల్ మరియు 31.1% ఆల్-ఎవిడెన్స్ రీకాల్ సాధిస్తుంది. ఇది Document@1 మరియు Document@10 లో కూడా ముందుంది, వరుసగా 15.2% మరియు 61.6% చేరుకుంది. K = 10 వద్ద, మా ప్రివ్యూ సమాధాన రీకాల్‌లో 14.4 శాతం పాయింట్లు మరియు సాక్ష్య రీకాల్‌లో 5.0 పాయింట్లతో voyage-context-4 ని అధిగమించింది.

ಚಿತ್ರ 4 లో ConTEB పై చూపబడిన మోడళ్లలో మా ప్రివ్యూ మోడల్ అత్యధిక సగటు nDCG@10 ని సాధించింది. ఇది ప్రతి టాస్క్‌లో ముందుండదు: NarrativeQA పై pplx-context-v1-4B ఎక్కువ స్కోర్ చేస్తుంది, అయితే COVID-QA పై Nemotron-3-8B అత్యధిక స్కోర్ చేస్తుంది. ప్రధాన రచయితలు కూడా ConTEB పేపర్‌లో ఎత్తి చూపినట్లుగా, COVID-QA లో ఎక్కువగా క్వೆరీ-చంక్ జోడీలు ఉంటాయి, ఇవి చాలా ఎక్స్‌ట్రాక్టివ్ మరియు సాంకేతిక వైద్య పదాలపై సాధారణ ఉపరితల లెక్సికల్ మ్యాచింగ్‌తో సంతృప్తి చెందుతాయి. ఫలితంగా, ఈ టాస్క్‌కు సందర్భ అవగాహన తక్కువ ఉపయోగకరంగా ఉంటుంది మరియు సందర్భోచితం కాని మోడల్స్ సాధారణంగా సందర్భోచితమైన వాటి కంటే మెరుగ్గా పని చేస్తాయి.

ConTEBపై 10 వద్ద పని-స్థాయి nDCG — చిత్రం 4: ప్రశ్న-నుంచి-చంక్ పరిస్థితిలో ConTEBపై పని-స్థాయి nDCG@10. సగటు ఎనిమిది పనులపై గణించని సగటు.

సందర్భోచిత ఎంబెడ్డింగ్‌ల కోసం రూపొందించిన బెంచ్‌మార్క్‌ల కంటే మించి, మేము మా మోడల్ యొక్క డొమైన్-నిర్దిష్ట పనితీరును అంచనా వేస్తాము.

మా ప్రశ్న-నుంచి-చంక్ (Q2C) సూట్‌లో LegalBench మరియు FinanceBench వంటి MTEB పనులతో పాటు, ప్రజా డేటాసెట్‌ల నుంచి మేము కూర్చిన అదనపు రిట్రీవల్ పనులు కూడా ఉన్నాయి. ప్రతి సంబంధిత పత్రంలో, ఆ పని ఒక ఖచ్చిత సమాధాన భాగాన్ని అందించినప్పుడు, ఆ భాగాన్ని కలిగి ఉంటే ఒక చంక్‌ను సంబంధితదిగా లేబుల్ చేస్తారు; లేనప్పుడు, దాని ప్రశ్నకు సంబంధాన్ని ఒక LLM నిర్ణయిస్తుంది. ప్రశ్న-నుంచి-పత్రం (Q2D) సూట్ అదే పనులను ఉపయోగించి, సంబంధిత పత్రం తిరిగి పొందబడిందా అనే విషయంపై స్కోర్ ఇస్తుంది.

ಚಿತ್ರ 5 లో మా మోడల్ చంక్ పునరుద్ధరణపై అత్యధిక సగటు స్కోర్‌ను సాధించింది మరియు ಕಾನೂನು, సాంకేతిక మరియు ఆరోగ్య డొమైన్‌లలో ముందుంది. ఇది ప్రతి డొమైన్‌లో ముందుండదు: finance మరియు బహుభాషా పునరుద్ధరణలో voyage-context-4 ఎక్కువ స్కోర్ చేస్తుంది మరియు సంభాషణ పునరుద్ధరణలో Nemotron-3-8B అత్యధిక స్కోర్ చేస్తుంది. ಚಿತ್ರ 6 లోని డాక్యుమెంట్ రిట్రీవల్‌లో, మా మోడల్ సగటున voyage-context-4 కంటే కొద్దిగా తక్కువ స్కోర్ చేస్తుంది, అయితే సాంకేతిక డొమైన్‌లో ముందుంది. Pplx-context-v1-4B బేస్‌లైన్ రెండు సూట్‌లలో సగటున తక్కువ స్కోర్ చేస్తుంది, ఇది ConTEB శిక్షణ సెట్‌లో మాత్రమే శిక్షణ పొందిందనేదానికి అనుగుణంగా ఉంది, ఒక బెంచ్‌మార్క్ యొక్క గోల్డ్ చంక్‌లకు ముడిపడి ఉన్న పర్యవేక్షణ ఇతర డొమైన్‌లకు సరిగ్గా బదిలీ కాదని చూపుతుంది.

డొమైన్ వారీగా ప్రశ్న-నుంచి-చంక్ రిట్రీవల్ స్కోర్లు — చిత్రం 5: డొమైన్‌ల వారీగా గుంపులుగా చూపిన ప్రశ్న-నుంచి-చంక్ (Q2C) పనులపై సగటు nDCG@10. డొమైన్ బార్లు ఆ డొమైన్‌లోని పని-స్థాయి స్కోర్ల గణించని సగటులు; మొత్తం సగటు చూపిన అన్ని పనులపై గణించని సగటు.

డొమైన్ వారీగా ప్రశ్న-నుంచి-పత్రం రిట్రీవల్ స్కోర్లు — చిత్రం 6: డొమైన్‌ల వారీగా గుంపులుగా చూపిన ప్రశ్న-నుంచి-పత్రం (Q2D) పనులపై సగటు రిట్రీవల్ స్కోర్. ఒక డొమైన్‌లోని ప్రతి బార్ ఆ డొమైన్‌కు చెందిన పని-స్థాయి ప్రధాన స్కోర్ల గణించని సగటు; మొత్తం సగటు చూపిన అన్ని పనులపై గణించని సగటు.

సందర్భాత్మక ఎంబెడింగ్ మోడల్ ప్రతి చంక్‌కు ఒక వెక్టర్‌ను ఉత్పత్తి చేస్తుంది, కాబట్టి మా మోడల్‌తో నిర్మించిన సూచిక, అదే చంకింగ్ వ్యూహంతో ఉన్న సంప్రదాయ చంక్-స్థాయి సూచికలో ఉన్నంత వెక్టర్లనే ఖచ్చితంగా కలిగి ఉంటుంది. సందర్భీకరణ ప్రతి వెక్టర్ ఏమి సంకేతీకరిస్తుందో మార్చుతుంది, నిల్వ అయ్యే వెక్టర్ల సంఖ్యను కాదు. కాబట్టి నిల్వ పరిమాణాన్ని నిర్ణయించేది ప్రతి వెక్టర్ పరిమాణమే. దాన్ని తగ్గించడానికి మోడల్ రెండు మార్గాలను అందిస్తుంది: ఎంబెడింగ్‌ను 2048 నుండి 1024 కొలతలకు కుదించడం, మరియు దాన్ని int8కు క్వాంటైజ్ చేయడం.

ಚಿತ್ರ 7 పునరుద్ధరణ నాణ్యత మరియు వెెక్టర్ నిల్వ మధ్య అనుకూలమైన ట్రేడ్-ఆఫ్‌ను చూపుతుంది. 1024 డైమెన్షన్‌ల వద్ద, మా int8 ఎంబెడ్డింగ్‌లు వెెక్టర్‌కు 1 KB ని ఉపయోగిస్తాయి, అదే సమయంలో float32 లో 2048 డైమెన్షన్‌ల వద్ద voyage-context-4 యొక్క చంక్-పునరుద్ధరణ స్కోర్‌ను కొద్దిగా మించుతాయి, ఇది వెెక్టర్‌కు 8 KB ని ఉపయోగిస్తుంది. మా ఎంబెడ్డింగ్ పరిమాణాన్ని 2048 డైమెన్షన్‌లకు పెంచడం వెెక్టర్‌కు 2 KB వద్ద పునరుద్ధరణ నాణ్యతను మరింత పెంచుతుంది. ఈ నిల్వ గణాంకాలు వెెక్టర్‌లను మాత్రమే సూచిస్తాయి, మిగిలిన ఇండెక్స్‌ను కాదు.

ಚంಕ್ పునరుద్ధరణ నాణ్యత వర్సెస్ వెెక్టర్ প্রতি నిల్వ — ಚಿತ್ರ 7: వెెక్టర్ প্রতি నిల్వ యొక్క ఫంక్షన్‌గా చంక్ పునరుద్ధరణ నాణ్యత (సగటు nDCG@10). ఘన రేఖలు float32 ని సూచిస్తాయి మరియు డాష్ చేయబడిన రేఖలు int8 ని సూచిస్తాయి; లేబుళ్లు ఎంబెడ్డింగ్ డైమెన్షన్‌ను ఇస్తాయి.

ಚಿತ್ರ 8 చంక్ పరిమాణం 64 నుండి 512 టోకెన్‌లకు పెరిగినప్పుడు పునరుద్ధరణ నాణ్యతలో ಸಾಧಾರಣ మార్పును మాత్రమే చూపుతుంది: సగటు స్కోరు 81.0% నుండి 79.9% కి పడిపోతుంది, ఇది 1.1 శాతం పాయింట్ల తగ్గుదల. ఇది పరీక్షించబడిన చంక్ పరిమాణాలలో మోడల్ ప్రభావవంతంగా ఉంటుందని సూచిస్తుంది, పత్రాలు ఎలా విభజించబడతాయి అనే విషయంలో ఇండెక్సింగ్ పైప్‌లైన్‌లకు సౌలభ్యాన్ని ఇస్తుంది.

చంక్-పరిమాణ సున్నితత్వం: 64 నుండి 512 టోకెన్ల వరకు చంక్‌ల కోసం రిట్రీవల్ స్కోర్లు — చిత్రం 8: మా మోడల్ యొక్క చంక్-పరిమాణ సున్నితత్వం. ప్రతి బిందువు 74 MTEB పనులపై గణించని సగటు nDCG@10ను సూచిస్తుంది, పత్రాలు ఇచ్చిన చంక్ పరిమాణంలో సూచికీకరించబడినవి.

turbopuffer context-bench యొక్క పూర్తి కార్పస్, ప్రశ్నలు మరియు లేబుల్‌లను ప్రైవేట్‌గా ఉంచుతుంది మరియు సమర్పించిన మోడళ్ల ఫలితాలను నివేదిస్తుంది. ఈ రకమైన పబ్లిక్ బెంచ్‌మార్క్ దాని ప్రశ్నలు మరియు పత్రాలపై నేరుగా శిక్షణను ఆహ్వానిస్తుంది, ఇది క్రమంగా దానిని సంతృప్తపరుస్తుంది మరియు కాలక్రమేణా పురోగతిని ట్రాక్ చేయడానికి దాని విలువను క్షీణింపజేస్తుంది. బెంచ్‌మార్క్‌లో మీ మోడల్ మూల్యాంకనం చేయబడాలని మీరు ಬಯಸಿದರೆ, దయచేసి contextbench@turbopuffer.com లో turbopufferని సంప్రదించండి.

మా మోడల్ యొక్క ప్రివ్యూ Hugging Faceలో అందుబాటులో ఉంది మరియు ఈ పోస్ట్‌లోని అన్ని ఫలితాలు ఈ ప్రివ్యూ కోసం నివేదించబడ్డాయి. Perplexity API ద్వారా మోడల్‌ను అందుబాటులో ఉంచడానికి మరియు turbopuffer తో కలిసి సుదీర్ఘ పత్రాలపై పునరుద్ధరణను మరింత మెరుగుపరచడానికి మేము కృషి చేస్తున్నాము.

BibTeX

@online{perplexity2026ContextualEmbeddingBeyondTheGoldPassage,
  author = {{Perplexity} and Sarah Eslami and William Barber and Markus Krimmel and Antoine Chaffin and Bo Wang and Louis Milliken and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Contextual embedding beyond the gold passage}},
  date = {2026-09-30},
  url = {https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage}
}

పరిచయం

పునరుద్ధరణకు సందర్భం ఎందుకు ముఖ్యం

బంగారు-చంక్ పర్యవేక్షణ యొక్క పరిమితులు

ಸಂದರ್ಭೋಚಿತ ಕಲಿಕೆಗೆ ಒಂದು ನವೀನ ವಿಧಾನ

ಲಾಸ್ ಫಂಕ್ಷನ್

ಡಾಕ್ಯುಮೆಂಟ್-ಮಟ್ಟದ ಕಾಂಟ್ರಾಸ್ಟಿವ್ ಲಾಸ್

ಚಂಕ್-ಮಟ್ಟದ ಡಿಸ್ಟಿಲ್ಲೇಷನ್ ಲಾಸ್

ಸಂಯೋಜಿತ ಲಾಸ್

శిక్షణ డేటా

శిక్షణ సెటప్

చంక్-స్థాయి పునరుద్ధరణ కోసం కొత్త బెంచ్‌మార్క్

పత్రాలు మరియు ప్రశ్నలు

సమాధానం మరియు సాక్ష్య లేబుళ్లు

మెట్రిక్స్

మూల్యాంకన ఫలితాలు

Context-bench

ConTEB

డొమైన్‌లలో సాధారణ పునరుద్ధరణ నాణ్యత

పునరుద్ధరణ నాణ్యత మరియు నిల్వ ఖర్చులు

ಚಂಕ್ పరిమాణ సున్నితత్వం

విడుదల

ఉదాహరణ