Q2D-Web: ದೊಡ್ಡ ಪ್ರಮಾಣದಲ್ಲಿ ಮೊದಲ ಹಂತದ ರಿಟ್ರೈವರ್‌ಗಳ ಮೌಲ್ಯಮಾಪನ

70 ಸಾವಿರ ಏಜೆಂಟ್ ಪ್ರಶ್ನೆಗಳು, 190 ಮಿಲಿಯನ್ ವೆಬ್ ದಾಖಲೆಗಳು ಮತ್ತು ಮೂರು ಸೆಟ್ ಪ್ರಸ್ತುತತೆ ತೀರ್ಪುಗಳನ್ನು ಹೊಂದಿರುವ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಮತ್ತು ಲೀಡರ್‌ಬೋರ್ಡ್.

ಲೇಖಕರುPerplexity Research

ಇಂದು, ನಾವು Q2D-Web (Query2Doc-Web) ಅನ್ನು ಪರಿಚಯಿಸುತ್ತಿದ್ದೇವೆ, ಇದು ಏಜೆಂಟ್ RAG ಸಿಸ್ಟಮ್‌ಗಳಲ್ಲಿ ಮರುಪಡೆಯುವಿಕೆಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಒಂದು ಖಾಸಗಿ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಮತ್ತು ಸಾರ್ವಜನಿಕ ಲೀಡರ್‌ಬೋರ್ಡ್ ಆಗಿದೆ. Q2D-Web ನಮ್ಮ ಮೂಲ Q2D ಬೆಂಚ್‌ಮಾರ್ಕ್ ಅನ್ನು ದೊಡ್ಡ ಪ್ರಮಾಣದ ಕಾರ್ಪಸ್, ದೊಡ್ಡ ಪ್ರಶ್ನೆ ಸೆಟ್ ಮತ್ತು ಆಳವಾದ ತೀರ್ಪು ಟಿಪ್ಪಣಿಗಳಿಗೆ ವಿಸ್ತರಿಸುತ್ತದೆ.

ದೊಡ್ಡ ಪ್ರಮಾಣದ ವೆಬ್ ಹುಡುಕಾಟದಲ್ಲಿ ಎಂಬೆಡಿಂಗ್ ಮಾದರಿಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು Q2D-Web ಅನ್ನು ನಿರ್ಮಿಸಲಾಗಿದೆ. ಇದು ಒಂಬತ್ತು ತಿ PII-ಮುಕ್ತ ಪ್ರೊಡಕ್ಷನ್ ಹುಡುಕಾಟ ಟ್ರಾಫಿಕ್‌ನಲ್ಲಿ ಸ್ಯಾಂಪಲ್ ಮಾಡಲಾದ ಹತ್ತು ಭಾಷೆಗಳಲ್ಲಿ 190 ಮಿಲಿಯನ್ ವೆಬ್ ದಾಖಲೆಗಳು ಮತ್ತು 69,721 ಏಜೆಂಟ್-ಮರುರೂಪಿಸಿದ ಪ್ರಶ್ನೆಗಳನ್ನು ಒಳಗೊಂಡಿದೆ.

ಈ ಪ್ರಮಾಣದಲ್ಲಿ, ಕ್ವೆರಿ–ದಸ್ತಾವೇಜು ಮಟ್ಟದಲ್ಲಿ ಪ್ರಸ್ತುತತೆ ಸಂಕೇತವು ಅನಿವಾರ್ಯವಾಗಿ ಅಪರೂಪವಾಗಿರುತ್ತದೆ. ಒಂದೇ ಮೂಲವನ್ನು ಸತ್ಯದ ಏಕೈಕ ಆಧಾರವಾಗಿ ಪರಿಗಣಿಸುವ ಬದಲು, ನಾವು ಏಜೆಂಟ್ ಉಲ್ಲೇಖಗಳು, ಉತ್ಪಾದನಾ ವೆಬ್ ರ್ಯಾಂಕಿಂಗ್‌ಗಳು, ಮತ್ತು ಮೊದಲು ಮೌಲ್ಯಮಾಪನವಾಗಿರದ ಜೋಡಿಗಳಿಗೆ ಹೆಚ್ಚುವರಿ LLM ನಿರ್ಣಯಗಳಿಂದ ಪಡೆದ ಮೂರು ಪ್ರಸ್ತುತತೆ-ನಿರ್ಣಯ ಸಮೂಹಗಳನ್ನು ಒದಗಿಸುತ್ತೇವೆ. ಬಹು ಮೂಲಗಳು ಯಾವುದೇ ಒಂದೇ ಲೇಬಲಿಂಗ್ ಪೈಪ್‌ಲೈನ್‌ನ ಪಕ್ಷಪಾತವನ್ನು ಮಿತಿಗೊಳಿಸುತ್ತವೆ, ಆದರೆ ಆಳವಾದ ಟಿಪ್ಪಣೀಕರಣವು ತಪ್ಪು ನೆಗೆಟಿವ್‌ಗಳನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.

ನಮ್ಮ ಲೀಡರ್‌ಬೋರ್ಡ್ ಸಾರ್ವಜನಿಕವಾಗಿ ಬಿಡುಗಡೆಯಾದ ರಿಟ್ರೈವಲ್ ಮಾದರಿಗಳ ಫಲಿತಾಂಶಗಳನ್ನು ವರದಿ ಮಾಡುತ್ತದೆ, ಇದು ಸುಸಂಗತವಾದ ಇಂಡೆಕ್ಸಿಂಗ್, ರಿಟ್ರೈವಲ್ ಮತ್ತು ಸ್ಕೋರಿಂಗ್ ಪೈಪ್‌ಲೈನ್ ಬಳಸಿ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗೆ ನೇರವಾಗಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡಲ್ಪಟ್ಟಿದೆ. ನಮ್ಮ ವಿನಂತಿ ನಮೂನೆಯ ಮೂಲಕ ಮೌಲ್ಯಮಾಪನವನ್ನು ಸಲ್ಲಿಸಬಹುದು.

ವಾಸ್ತವಿಕ ಮರುಪಡೆಯುವಿಕೆ ಮೌಲ್ಯಮಾಪನದ ಸವಾಲು

ಪ್ರತಿ ಪ್ರಶ್ನೆಗೆ, ಪ್ರೊಡಕ್ಷನ್-ಪ್ರಮಾಣದ ಮರುಪಡೆಯುವಿಕೆ ವ್ಯವಸ್ಥೆಯು ಶತಕೋಟಿ ವೆಬ್ ಪುಟಗಳ ಕಾರ್ಪಸ್ ಅನ್ನು ಹುಡುಕುತ್ತದೆ ಮತ್ತು ಸಾವಿರಾರು ಅಭ್ಯರ್ಥಿ ದಾಖಲೆಗಳನ್ನು ಹಿಂದಿರುಗಿಸುತ್ತದೆ. ಈ ಅಭ್ಯರ್ಥಿಗಳು ಡೌನ್‌ಸ್ಟ್ರೀಮ್ ಸಿಸ್ಟಮ್‌ಗಳು ಯಾವ ಮೂಲಗಳನ್ನು ನೋಡಬಹುದು ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುತ್ತಾರೆ, ಇದು ಏಜೆಂಟ್‌ಗೆ ಲಭ್ಯವಿರುವ ಸಾಕ್ಷ್ಯವನ್ನು ನೇರವಾಗಿ ರೂಪಿಸುತ್ತದೆ.

ಆದ್ದರಿಂದ ಈ ಮೊದಲ ಹಂತದ ವಾಸ್ತವಿಕ ಮೌಲ್ಯಮಾಪನಕ್ಕೆ ಮೂರು ಆಯಾಮಗಳಲ್ಲಿ ಅಳೆಯುವ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳ ಅಗತ್ಯವಿದೆ: ಕಾರ್ಪಸ್‌ನಲ್ಲಿರುವ ದಾಖಲೆಗಳ ಸಂಖ್ಯೆ, ನಿರ್ಣಯಿಸಿದ ಪ್ರಶ್ನೆಗಳ ಸಂಖ್ಯೆ ಮತ್ತು ಪ್ರತಿ ಪ್ರಶ್ನೆಗೆ ಪ್ರಸ್ತುತತೆ ತೀರ್ಪುಗಳ ಸಂಖ್ಯೆ.

ದೊಡ್ಡ ಕಾರ್ಪಸ್‌ಗಳು queryಗೆ ಅರ್ಥಪೂರ್ಣವಾಗಿ ಸಮಾನವಾದರೂ ಬೇಡಿಕೆಯ ಮಾಹಿತಿಯನ್ನು ನೀಡದ documents ಆಗಿರುವ hard negativesಗಳನ್ನು ಪರಿಚಯಿಸುವ ಮೂಲಕ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಅನ್ನು ಹೆಚ್ಚು ಭೇದಕಾರಿ ಮಾಡಬಹುದು. Retrievers ಈ ಸಾಧ್ಯವಾದ matches ಗಳನ್ನು ಸಂಬಂಧಿತ ದಸ್ತಾವೇಜುಗಳಿಂದ ಬೇರ್ಪಡಿಸಬೇಕಾಗುತ್ತದೆ. ತಿಳಿದಿರುವ ಸಂಬಂಧಿತ ದಸ್ತಾವೇಜುಗಳನ್ನು ಉಳಿಸಿಕೊಂಡು ಕಾರ್ಪಸ್ ಅನ್ನು ಸಣ್ಣಗೊಳಿಸುವುದು ಈ distractors ಗಳನ್ನು ತೆಗೆದುಹಾಕಬಹುದು ಮತ್ತು recall ಅನ್ನು ಹೆಚ್ಚಿಸಬಹುದು, ಕೆಳಗಿನ ನಮ್ಮ subsampling ಪ್ರಯೋಗಗಳು ತೋರಿಸುವಂತೆ.

ಹೆಚ್ಚು ನಿರ್ಣಯಿಸಿದ ಪ್ರಶ್ನೆಗಳು ಕಾರ್ಯಕ್ಷಮತೆಯ ಅಂದಾಜುಗಳನ್ನು ಹೆಚ್ಚು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿಸುತ್ತವೆ. ಸಣ್ಣ ಪ್ರಶ್ನೆ ಸೆಟ್‌ನೊಂದಿಗೆ, ಬೆಂಚ್‌ಮಾರ್ಕ್ ಫಲಿತಾಂಶಗಳು ಯಾವ ಪ್ರಶ್ನೆಗಳನ್ನು ಸ್ಯಾಂಪಲ್ ಮಾಡಲಾಗಿದೆ ಎಂಬುದರ ಮೇಲೆ ಹೆಚ್ಚು ಅವಲಂಬಿತವಾಗಿರುತ್ತದೆ, ಇದು ಪ್ರತಿ ಮಾದರಿಯ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ನಿಖರವಾಗಿ ಅಂದಾಜು ಮಾಡಲು ಮತ್ತು ಮಾದರಿಗಳ ನಡುವೆ ವಿಶ್ವಾಸದಿಂದ ಪ್ರತ್ಯೇಕಿಸಲು ಕಷ್ಟಕರವಾಗಿಸುತ್ತದೆ.

ಆಳವಾದ ನಿರ್ಣಯಗಳು ಮೌಲ್ಯಮಾಪನದಲ್ಲಿನ ತಪ್ಪು ನೆಗೆಟಿವ್‌ಗಳನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತವೆ. ವಿರಳ ಲೇಬಲ್‌ಗಳೊಂದಿಗೆ, retriever ಸಂಬಂಧಿತ ದಸ್ತಾವೇಜುಗಳನ್ನು ಮೇಲ್ಮೈಗೆ ತರಬಹುದು; ಅವುಗಳನ್ನು ನಿರ್ಣಯಿಸದೆ ಬಿಟ್ಟಿರುವುದರಿಂದ ಅವು ತಪ್ಪಾಗಿ non-relevant ಎಂದು ಎಣಿಸಲ್ಪಡುತ್ತವೆ. ಇದರಿಂದ ಮೌಲ್ಯಮಾಪನ ಕಡಿಮೆ ವಿಶ್ವಾಸಾರ್ಹವಾಗುತ್ತದೆ. MS MARCO information retrieval ಕ್ಷೇತ್ರದಲ್ಲಿನ ಮುಖ್ಯ ದೊಡ್ಡ-ಪ್ರಮಾಣದ open dataset ಆಗಿದ್ದು, neural retrieval models ಅಭಿವೃದ್ಧಿಗೆ ರೂಪ ನೀಡಿದೆ. ಅಲ್ಲಿ, ಕೈಯಿಂದ ಪರಿಶೀಲಿಸಿದ top-retrieved ಆದರೆ unlabeled passages ಗಳಲ್ಲಿ 70% ವಾಸ್ತವವಾಗಿ relevant ಆಗಿದ್ದವು.

ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಈ ಆಯಾಮಗಳಲ್ಲಿ ಒಂದೆರಡುಗಳಲ್ಲಿ ಮಾತ್ರ ವಿಸ್ತರಿಸುತ್ತವೆ: ವೆಬ್-ಪ್ರಮಾಣದ ಸಂಗ್ರಹಗಳಲ್ಲಿ ಸಾಮಾನ್ಯವಾಗಿ ತೀರ್ಮಾನಿತ ಕ್ವೆರಿ‌ಗಳು ಕಡಿಮೆ ಇರುತ್ತವೆ, ಆದರೆ ಹೆಚ್ಚಿನ ಕ್ವೆರಿ‌ಗಳನ್ನು ಹೊಂದಿರುವ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಬಹಳ ಚಿಕ್ಕ ಕಾರ್ಪಸ್‌ಗಳನ್ನು ಮತ್ತು ವಿರಳ ಲೇಬಲ್‌ಗಳನ್ನು ಬಳಸುತ್ತವೆ. ಇದಕ್ಕೆ ಮೇಲಾಗಿ, ಬಹುತೇಕ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳು ಮಾನವರು ಬರೆದ ಕ್ವೆರಿ‌ಗಳನ್ನು ಬಳಸುತ್ತವೆ, ಆದರೆ ಏಜೆಂಟ್‌ಚಾಲಿತ RAG ವ್ಯವಸ್ಥೆಗಳು ಕ್ವೆರಿ-ಪುನರ್‌ರೂಪಿತ ಕ್ವೆರಿ‌ಗಳೊಂದಿಗೆ ಹುಡುಕುತ್ತವೆ; ಅವು ಪದಪ್ರಯೋಗ, ರಚನೆ, ಮತ್ತು ವಿಶೇಷತೆಯಲ್ಲಿ ಭಿನ್ನವಾಗಿರಬಹುದು.

Q2D-Web ಎಲ್ಲಾ ಮೂರು ಆಯಾಮಗಳಲ್ಲಿ ವಿಸ್ತರಿಸುತ್ತದೆ. ಇದರಲ್ಲಿ 190 ಮಿಲಿಯನ್ ವೆಬ್ ದಸ್ತಾವೇಜುಗಳು, 69,721 agent-reformulated queries, ಮತ್ತು ಅದರ ಸಂಯುಕ್ತ judgment setನಲ್ಲಿ ಪ್ರತಿ ಕ್ವೆರಿಗೆ ಸರಾಸರಿ 88.5 positive relevance judgmentsಗಳಿವೆ. ಅತಿ ಸಮೀಪದ ಸಾರ್ವಜನಿಕ ಹೋಲಿಕೆ MS MARCO Web Search ಆಗಿದೆ, ಇದು MS MARCOಯ ವೆಬ್-ಪ್ರಮಾಣದ ಆವೃತ್ತಿ. ಇದರಲ್ಲಿ 100.9 ಮಿಲಿಯನ್ ದಸ್ತಾವೇಜುಗಳು, 9,374 test queries, ಮತ್ತು ಪ್ರತಿ ಕ್ವೆರಿಗೆ click-derived positive label ಒಂದಿದೆ.

ನಾವು Q2D-Web ಅನ್ನು ಹೇಗೆ ರಚಿಸಿದೆವು

Q2D-Web ನಿರ್ಮಾಣ: ಗೌಪ್ಯತೆ-ಫಿಲ್ಟರ್ ಮಾಡಿದ ಪ್ರಶ್ನೆ ಮಾದರಿ ಸಂಗ್ರಹಣೆ, ಕಾರ್ಪಸ್ ಜೋಡಣೆ ಮತ್ತು ನಕಲು ನಿವಾರಣೆ, ಪ್ರಸ್ತುತತೆ ಲೇಬಲಿಂಗ್ ಮತ್ತು ಉಪ-ಕಾರ್ಪಸ್ ಮಾದರಿ ಸಂಗ್ರಹಣೆ.

ಪ್ರಶ್ನೆಗಳು

Q2D-Web ಅನ್ನು ಒಂಬತ್ತು ತಿಂಗಳ ಅವಧಿಯಲ್ಲಿ ಸಂಗ್ರಹಿಸಲಾದ ಹತ್ತು ಭಾಷೆಗಳಲ್ಲಿ ಮತ್ತು ಡಜನ್ಗಟ್ಟಲೆ ಡೊಮೇನ್‌ಗಳಲ್ಲಿ 23,000 PII-ಮುಕ್ತ ಪ್ರೊಡಕ್ಷನ್ ಹುಡುಕಾಟಗಳ ಮೇಲೆ ನಿರ್ಮಿಸಲಾಗಿದೆ.

ಹುಡುಕಾಟವೆಂದರೆ ಬಳಕೆದಾರರ ಸಂದೇಶಕ್ಕೆ ಪ್ರತಿಕ್ರಿಯೆಯಾಗಿ ಏಜೆಂಟ್ ನಿರ್ವಹಿಸುವ ಎಲ್ಲಾ ವೆಬ್ ಹುಡುಕಾಟ ಉಪಕರಣ ಕರೆಗಳು. ಪ್ರತಿ ಉಪಕರಣ ಕರೆಯು ಒಂದು ಅಥವಾ ಹೆಚ್ಚಿನ ಪ್ರಶ್ನೆಗಳನ್ನು ಹೊಂದಿರುತ್ತದೆ. ಪ್ರತಿ ಪ್ರಶ್ನೆಯನ್ನು ಬಳಕೆದಾರರ ವಿನಂತಿ, ಹಿಂದಿನ ಸಂಭಾಷಣೆ ಮತ್ತು ಅನ್ವಯವಾಗುವ ಕಡೆಗಳಲ್ಲಿ ಅದೇ ಹುಡುಕಾಟದಲ್ಲಿ ಹಿಂದೆ ಹಿಂಪಡೆಯಲಾದ ದಾಖಲೆಗಳಿಂದ ಮರುರೂಪಿಸಲಾಗುತ್ತದೆ. ಪ್ರತಿ ಪ್ರೊಡಕ್ಷನ್ ಹುಡುಕಾಟವು ಒಂದು ಪ್ರಾಥಮಿಕ ಪ್ರಶ್ನೆಯನ್ನು ಹೊಂದಿರುತ್ತದೆ, ಇದು ಬಳಕೆದಾರರ ಮಾಹಿತಿಯ ಅಗತ್ಯವನ್ನು ಪುನರುಚ್ಚರಿಸುತ್ತದೆ, ಮತ್ತು ಶೂನ್ಯ ಅಥವಾ ಹೆಚ್ಚಿನ ಬೆಂಬಲ ಪ್ರಶ್ನೆಗಳು, ಇದು ಪರ್ಯಾಯ ಪದಗಳು, ಹಿನ್ನೆಲೆ ಮಾಹಿತಿ ಅಥವಾ ಸಂಬಂಧಿತ ಘಟಕಗಳನ್ನು ಅನ್ವೇಷಿಸುತ್ತವೆ. ಅವು ಒಂದೇ ರೀತಿಯ ವಿಶಾಲವಾದ ವಿನಂತಿಯನ್ನು ತಿಳಿಸಿದರೂ, ಅವುಗಳಿಗೆ ವಿಭಿನ್ನ ದಾಖಲೆಗಳು ಬೇಕಾಗಬಹುದು, ಆದ್ದರಿಂದ Q2D-Web ಪ್ರತಿ ಪ್ರಶ್ನೆಯನ್ನು ತನ್ನದೇ ಆದ ಪ್ರಸ್ತುತತೆ ತೀರ್ಪುಗಳೊಂದಿಗೆ ಸ್ವತಂತ್ರವಾಗಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತದೆ.

Q2D-Web ನ 69,721 ಪ್ರಶ್ನೆಗಳ ಉದ್ದ ಮತ್ತು ಭಾಷೆಯ ವಿತರಣೆಗಳು. ಉದ್ದವನ್ನು ಅಕ್ಷರಗಳಲ್ಲಿ ಅಳೆಯಲಾಗುತ್ತದೆ; ಬಾರ್‌ಗಳು ಪ್ರತಿ ವರ್ಗದಲ್ಲಿನ ಪ್ರಶ್ನೆಗಳ ಭಾಗವನ್ನು ತೋರಿಸುತ್ತವೆ.
ವಿಷಯ ಡೊಮೇನ್‌ಗಳಾದ್ಯಂತ Q2D-Web ಪ್ರಶ್ನೆಗಳ ವಿತರಣೆ. ಬಾರ್‌ಗಳು ಪ್ರತಿ ಡೊಮೇನ್‌ನ ಪ್ರಶ್ನೆ ಸೆಟ್‌ನ ಪಾಲನ್ನು ತೋರಿಸುತ್ತವೆ; "ಇತರ" ಹದಿನೈದು ಹೆಚ್ಚುವರಿ ಡೊಮೇನ್‌ಗಳನ್ನು ಗುಂಪು ಮಾಡುತ್ತದೆ.

ಸೇರಿಸಲಾದ ಎಲ್ಲಾ ಪ್ರಶ್ನೆಗಳಿಗೆ ನಾವು ಕಟ್ಟುನಿಟ್ಟಾದ ಗೌಪ್ಯತೆ ಫಿಲ್ಟರಿಂಗ್ ಅನ್ನು ಅನ್ವಯಿಸುತ್ತೇವೆ. ಪ್ರಶ್ನೆಗಳು ತಮ್ಮ ಡೇಟಾವನ್ನು ಬಳಸಲು ಅನುಮತಿಸಿದ ಬಳಕೆದಾರರಿಂದ ಬರಬೇಕು, ಮತ್ತು perplexity-ai/pplx-pii-masking ಬಳಸಿ PII ಪತ್ತೆಹಚ್ಚುವಿಕೆಯು ವೈಯಕ್ತಿಕ ಮಾಹಿತಿಯನ್ನು ಹೊಂದಿರುವ ಪ್ರಶ್ನೆಗಳನ್ನು ಹೊರತುಪಡಿಸುತ್ತದೆ. ನಾವು ನಿಖರವಾದ ನಕಲುಗಳು, ಬಹಳ ಕಡಿಮೆ ಪ್ರಶ್ನೆಗಳು ಮತ್ತು site: ಅಥವಾ ಉದ್ಧರಣ ಚಿಹ್ನೆಗಳಂತಹ ಹುಡುಕಾಟ ಆಪರೇಟರ್‌ಗಳನ್ನು ಹೊಂದಿರುವ ಪ್ರಶ್ನೆಗಳನ್ನು ಸಹ ತೆಗೆದುಹಾಕುತ್ತೇವೆ.

ಬೆಂಚ್‌ಮಾರ್ಕ್ ಹತ್ತು ಭಾಷೆಗಳನ್ನು ಒಳಗೊಂಡಿದೆ. ಇಂಗ್ಲಿಷ್ 65.8% ರಷ್ಟು ಪ್ರಶ್ನೆಗಳನ್ನು ಹೊಂದಿದೆ, ನಂತರ ಸ್ಪ್ಯಾನಿಷ್, ರಷ್ಯನ್, ಜರ್ಮನ್, ಫ್ರೆಂಚ್, ಪೋರ್ಚುಗೀಸ್, ಇಟಾಲಿಯನ್, ಕೊರಿಯನ್, ಜಪಾನೀಸ್ ಮತ್ತು ಚೈನೀಸ್ ಇವೆ. ಪ್ರಶ್ನೆ ವಿತರಣೆಯು ಗ್ರಾಹಕ ಸರಕುಗಳು, ಪ್ರೋಗ್ರಾಮಿಂಗ್, ಕಾನೂನು, ಆರೋಗ್ಯ, ವ್ಯಾಪಾರ, ವಿಜ್ಞಾನ, ಶಿಕ್ಷಣ, ತಂತ್ರಜ್ಞಾನ, ಹಣಕಾಸು, ಪ್ರಯಾಣ, ಮನರಂಜನೆ, ರಾಜಕೀಯ, ಸ್ಥಳೀಯ ಮಾಹಿತಿ ಮತ್ತು ಸುದ್ದಿಗಳನ್ನು ಒಳಗೊಂಡಂತೆ ವ್ಯಾಪಕ ಶ್ರೇಣಿಯ ಡೊಮೇನ್‌ಗಳನ್ನು ವ್ಯಾಪಿಸಿದೆ.

ಕಾರ್ಪಸ್

ಪ್ರತಿ ಪ್ರಶ್ನೆಗೆ, ನಾವು ಪ್ರೊಡಕ್ಷನ್ ರಿಟ್ರೈವಲ್ ಸಿಸ್ಟಮ್‌ನೊಂದಿಗೆ ಟಾಪ್ 5,000 ದಾಖಲೆಗಳನ್ನು ಹಿಂಪಡೆಯುತ್ತೇವೆ ಮತ್ತು ಈ ಫಲಿತಾಂಶ ಸೆಟ್‌ಗಳ ಯೂನಿಯನ್ ಅನ್ನು ತೆಗೆದುಕೊಳ್ಳುತ್ತೇವೆ. ನಂತರ ನಾವು MinHash–LSH ಬಳಸಿ ಕಾರ್ಪಸ್ ಅನ್ನು ಡಿಡ್ಯೂಪ್ಲಿಕೇಟ್ ಮಾಡುತ್ತೇವೆ, ಕನಿಷ್ಠ 0.975 ರ Jaccard ಹೋಲಿಕೆಯನ್ನು ಹೊಂದಿರುವ ಟೋಕನ್ 5-ಗ್ರಾಂ ಸೆಟ್‌ಗಳನ್ನು ಹೊಂದಿರುವ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ಕ್ಲಸ್ಟರ್ ಮಾಡುತ್ತೇವೆ.

ಈ ಸಂಗ್ರಹಣೆಯು ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿ ಯಾದೃಚ್ಛಿಕ ವೆಬ್ ಮಾದರಿಯಲ್ಲದೆ. ಕನಿಷ್ಠ ಒಂದು ಬೆಂಚ್‌ಮಾರ್ಕ್ ಪ್ರಶ್ನೆಗೆ ಪ್ರತಿಯೊಂದು ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ಸಮಂಜಸವಾದ ಫಲಿತಾಂಶವೆಂದು ಪರಿಗಣಿಸಲಾಗಿದೆ. ಇದು ಕಷ್ಟಕರವಾದ ಡಿಸ್ಟ್ರಾಕ್ಟರ್‌ಗಳ ದಟ್ಟವಾದ ಗುಂಪನ್ನು ಸೃಷ್ಟಿಸುತ್ತದೆ: ಪ್ರಶ್ನೆಯ ವಿಷಯ ಅಥವಾ ಭಾಷೆಗೆ ಹೊಂದಿಕೆಯಾಗುವ ಆದರೆ ಅಗತ್ಯವಿರುವ ದಿನಾಂಕ, ಘಟಕ, ಆವೃತ್ತಿ, ಪ್ರಮಾಣ ಅಥವಾ ಅಂಶವನ್ನು ತಪ್ಪಿಸಿಕೊಳ್ಳಬಹುದಾದ ಪುಟಗಳು.

ಸುಮಾರು 190 ಮಿಲಿಯನ್ ಡಾಕ್ಯುಮೆಂಟ್ ಕಾರ್ಪಸ್‌ನಲ್ಲಿ ಡಾಕ್ಯುಮೆಂಟ್ ಉದ್ದ ಮತ್ತು ಭಾಷೆಯ ವಿತರಣೆಗಳು. ಉದ್ದವನ್ನು ಅಕ್ಷರಗಳಲ್ಲಿ ಅಳೆಯಲಾಗುತ್ತದೆ; ಬಾರ್‌ಗಳು ಪ್ರತಿ ವರ್ಗದಲ್ಲಿನ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳ ಭಾಗವನ್ನು ತೋರಿಸುತ್ತವೆ.

ತೀರ್ಪುಗಳು

ದೊಡ್ಡ ಪ್ರಮಾಣದಲ್ಲಿ ಪ್ರಸ್ತುತತೆ ಲೇಬಲ್‌ಗಳು ಸ್ವಭಾವತಃ ಅಪೂರ್ಣವಾಗಿವೆ. ಪ್ರತಿ ಸಂಭಾವ್ಯ ಪ್ರಶ್ನೆ-ಡಾಕ್ಯುಮೆಂಟ್ ಜೋಡಿಯನ್ನು ಲೇಬಲ್ ಮಾಡುವುದು ಅಸಾಧ್ಯ, ಮತ್ತು ಪ್ರತಿಯೊಂದು ತೀರ್ಪುಗಳ ಮೂಲವು ವಿಭಿನ್ನ ಪಕ್ಷಪಾತವನ್ನು ಹೊಂದಿರುತ್ತದೆ.

Q2D-Web ಒಂದು ಮೂಲವನ್ನು ಗ್ರೌಂಡ್ ಟ್ರೂತ್ ಎಂದು ಪರಿಗಣಿಸುವ ಬದಲು ಮೂರು ಪ್ರಸ್ತುತತೆ ಸೆಟ್‌ಗಳನ್ನು ಬಳಸುತ್ತದೆ, ಇದರಿಂದಾಗಿ ಒಂದೇ ಪಕ್ಷಪಾತದಿಂದ ಬಳಲದೆ ಟಿಪ್ಪಣಿ ಆಳವನ್ನು ಹೆಚ್ಚಿಸಬಹುದು.

ಉಲ್ಲೇಖಯು ಏಜೆಂಟ್ ಪ್ರತಿಕ್ರಿಯೆಯಲ್ಲಿ ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ಉಲ್ಲೇಖಿಸಿದಾಗ ಅದನ್ನು ಸಂಬಂಧಿತವೆಂದು ಲೇಬಲ್ ಮಾಡುತ್ತದೆ. ಇದು ಡೌನ್‌ಸ್ಟ್ರೀಮ್ ಬಳಕೆಯ ಹತ್ತಿರದ ಸಂಕೇತವಾಗಿದೆ: ಏಜೆಂಟ್ ಹಕ್ಕುಗಾಗಿ ಸಾಕ್ಷ್ಯವಾಗಿ ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡಿದೆ. ಆದರೆ ಉಲ್ಲೇಖವು ರಚನೆಯಿಂದಾಗಿ ಹೆಚ್ಚಿನ ನಿಖರತೆ ಮತ್ತು ಕಡಿಮೆ ರಿಕಾಲ್ ಆಗಿದೆ. ಒಮ್ಮೆ ಏಜೆಂಟ್ ಸಾಕಷ್ಟು ಬೆಂಬಲವನ್ನು ಹೊಂದಿದ್ದರೆ, ಪ್ರತಿ ಇತರ ಸಂಬಂಧಿತ ಪುಟವನ್ನು ಉಲ್ಲೇಖಿಸಲು ಅದಕ್ಕೆ ಕಡಿಮೆ ಕಾರಣವಿರುತ್ತದೆ.

ವೆಬ್ ಶ್ರೇಯಾಂಕ ಪ್ರತಿ ಪ್ರಶ್ನೆಗೆ 50 ದಾಖಲೆಗಳನ್ನು (ಸರಾಸರಿ 43.1) ಒಳಗೊಂಡಿದೆ, ಇದು ಮೊದಲ ಹಂತದಲ್ಲಿ BM25 ಮತ್ತು ಡೆನ್ಸ್ ರಿಟ್ರೈವಲ್ ಬಳಸಿ ಆಂತರಿಕ ರಿಟ್ರೈವಲ್ ಸ್ಟಾಕ್‌ನಿಂದ ಗುರುತಿಸಲ್ಪಟ್ಟಿದೆ, ನಂತರ ಕ್ರಾಸ್-ಎಕೋಡರ್ ಮರುಶ್ರೇಣೀಕರಣದಿಂದ ಕೂಡಿದೆ. ಇದು ಉಪಯುಕ್ತವಾದ ಆದರೆ ಉಲ್ಲೇಖಿಸದ ದಾಖಲೆಗಳನ್ನು ಸೆರೆಹಿಡಿಯುತ್ತದೆ.

Combined + LLM-Judged Citation ಮತ್ತು Web Ranking ಗಳ ಸಂಯುಕ್ತವನ್ನು ತೆಗೆದುಕೊಂಡು, ನಂತರ ಹಿಂದಿನಂತೆ ನಿರ್ಣಯಿಸದ candidatesಗಳಿಗೆ LLM judgmentsಗಳನ್ನು ಸೇರಿಸುತ್ತದೆ; ಇದರ ಗುರಿ ತಪ್ಪು ನೆಗೆಟಿವ್‌ಗಳ ಸಂಖ್ಯೆಯನ್ನು ಕಡಿಮೆ ಮಾಡುವುದು. ನಾವು BM25, ColBERTv2, ಮತ್ತು 2025 ಜನವರಿ 1ರ ಮೊದಲು ಬಿಡುಗಡೆಗೊಂಡ ಏಳು dense retrieversಗಳಿಂದ ಫಲಿತಾಂಶಗಳನ್ನು pool ಮಾಡುತ್ತೇವೆ, reciprocal rank fusion (RRF) ಬಳಸಿ ಅವುಗಳ rankingsಗಳನ್ನು merge ಮಾಡುತ್ತೇವೆ, ಮೇಲಿನ 500 unjudged documentsಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡುತ್ತೇವೆ, ಮತ್ತು DeepSeek-V4-Flash ಬಳಸಿಕೊಂಡು ಕಟ್ಟುನಿಟ್ಟಾದ binary relevance judge ಅನ್ನು ಅನ್ವಯಿಸುತ್ತೇವೆ.

ಮೂರು ಸೆಟ್‌ಗಳು ಮಾದರಿಯ ಕಾರ್ಯಕ್ಷಮತೆಯು ಪ್ರಸ್ತುತತೆಯನ್ನು ಹೇಗೆ ವ್ಯಾಖ್ಯಾನಿಸಲಾಗಿದೆ ಎಂಬುದರ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿದೆಯೇ ಎಂದು ಕೇಳಲು ನಮಗೆ ಅವಕಾಶ ನೀಡುತ್ತವೆ. ಅವು ಒಂದೇ ಲೇಬಲಿಂಗ್ ಸ್ಟಾಕ್ ಮೇಲಿನ ಅವಲಂಬನೆಯನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತವೆ, ಇದು ಲೇಬಲ್‌ಗಳನ್ನು ರಚಿಸಲು ಬಳಸುವ ಸಿಸ್ಟಮ್‌ಗೆ ಹೋಲುವ ರಿಟ್ರೈವರ್‌ಗಳಿಗೆ ಅನುಕೂಲ ಕಲ್ಪಿಸಬಹುದು.

ಲಾಗ್ ಸ್ಕೇಲ್‌ನಲ್ಲಿ ಪ್ರತಿ ಪ್ರಶ್ನೆಗೆ ಸಂಬಂಧಿತ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳ ವಿತರಣೆ. ಸಂಯೋಜಿತ ಲೇಬಲ್‌ಗಳು ಉಲ್ಲೇಖಗಳು, ವೆಬ್ ರೇಟಿಂಗ್‌ಗಳು ಮತ್ತು ಹೆಚ್ಚುವರಿ LLM ನಿರ್ಣಯಗಳನ್ನು ಒಟ್ಟಿಗೆ ತರುತ್ತವೆ.

ಸಬ್‌ಸಂಪ್ಲಿಂಗ್: ದೊಡ್ಡ ಪ್ರಮಾಣದಲ್ಲಿ ಸಮರ್ಥ ಮೌಲ್ಯಮಾಪನ

ಪೂರ್ಣ-ಕಾರ್ಪಸ್ ಮೌಲ್ಯಮಾಪನವು ದುಬಾರಿಯಾಗಿದೆ ಮತ್ತು ನಿಧಾನವಾಗಿದೆ. pplx-embed-v1-4b ನೊಂದಿಗೆ Q2D-Web ನಲ್ಲಿ ಒಂದೇ ಮೌಲ್ಯಮಾಪನಕ್ಕೆ 4,608 H200 GPU-ಗಂಟೆಗಳು ಬೇಕಾಗುತ್ತವೆ, ಆದರೆ EmbeddingGemma-300M ನಂತಹ ಸಣ್ಣ ಮಾದರಿಗೆ ಸುಮಾರು 200 H200 GPU-ಗಂಟೆಗಳು ಬೇಕಾಗುತ್ತವೆ.

ಮೌಲ್ಯಮಾಪನವನ್ನು ಪ್ರಾಯೋಗಿಕವಾಗಿಡಲು, ನಾವು ಕಾರ್ಪಸ್‌ನ ಸಬ್‌ಸ್ಯಾಂಪಲ್ ಮಾಡಿದ ಆವೃತ್ತಿಯನ್ನು ನಿರ್ಮಿಸುತ್ತೇವೆ.

ಪೂರ್ಣ ಕಾರ್ಪಸ್‌ನ ವರ್ತನೆಯನ್ನು ಪ್ರತಿಬಿಂಬಿಸುವ ಚಿಕ್ಕ subcorpus ಅನ್ನು ನಿರ್ಮಿಸಲು ನಾವು sampling strategiesಗಳಾದ್ಯಂತ ವ್ಯಾಪಕ ablation ನಡೆಸಿದೆವು. ಪ್ರತಿಯೊಂದು strategy ಎಲ್ಲಾ positively judged documentsಗಳನ್ನು ಉಳಿಸುತ್ತದೆ ಮತ್ತು unjudged distractorsಗಳನ್ನು ಹೇಗೆ ಆಯ್ಕೆ ಮಾಡಲಾಗುತ್ತದೆ ಎಂಬುದರಲ್ಲಿ ಮಾತ್ರ ಭಿನ್ನವಾಗಿರುತ್ತದೆ. ಮುಖ್ಯವಾಗಿರುವ distractors ಎಂದರೆ, retriever ಒಂದು ಸಂಬಂಧಿತ ದಸ್ತಾವೇಜಿಗಿಂತ ಮೇಲಾಗಿ rank ಮಾಡುವ ಸಾಧ್ಯತೆ ಇರುವವು, ಏಕೆಂದರೆ ಅವು ಮಾದರಿಯ score ಮತ್ತು rankingನಲ್ಲಿ ಅದರ ಸ್ಥಾನವನ್ನು ಬದಲಾಯಿಸುತ್ತವೆ.

ನಾವು ಸಮರೂಪದ ಯಾದೃಚ್ಛಿಕ ಮಾದರಿ ಸಂಗ್ರಹಣೆ (uniform random sampling), ನಿರ್ಮಾಣ ರಿಟ್ರೈವರ್‌ಗಳಾದ್ಯಂತ ಸ್ಥಿರ ಆಳಕ್ಕೆ ಪೂಲಿಂಗ್ ಮಾಡುವುದು ಮತ್ತು ವಿವಿಧ ಆಳಗಳಲ್ಲಿ ಪ್ರತಿ-ಕ್ವೆರಿ RRF ಅನ್ನು ಹೋಲಿಕೆ ಮಾಡಿದ್ದೇವೆ. RRF ಆಧಾರಿತ ಮಾದರಿ ಸಂಗ್ರಹಣೆಯು ಪೂರ್ಣ ಕಾರ್ಪಸ್‌ನಲ್ಲಿರುವ ದಾಖಲೆಗಳ ಕೇವಲ 31.7% ಅನ್ನು ಮಾತ್ರ ಬಳಸುತ್ತದೆ. ಇದು ಸಂಯೋಜಿತ ತೀರ್ಪುಗಳ ಅಡಿಯಲ್ಲಿ ಪೂರ್ಣ-ಕಾರ್ಪಸ್ ಮಾದರಿ ಶ್ರೇಯಾಂಕವನ್ನು ಸಂರಕ್ಷಿಸುತ್ತದೆ, ಜೊತೆಗೆ ಸಂಪೂರ್ಣ ಅಂಕಗಳಿಗೆ ಹತ್ತಿರದಲ್ಲಿದ್ದು, ಅದೇ ಗಾತ್ರದಲ್ಲಿ ಯಾದೃಚ್ಛಿಕ ಮಾದರಿ ಸಂಗ್ರಹಣೆಗೆ 12.8 ಪಾಯಿಂಟ್‌ಗಳ ಬದಲಿಗೆ ಸರಾಸರಿ Recall@1000 ಅನ್ನು 5.2 ಪಾಯಿಂಟ್‌ಗಳಷ್ಟು ಹೆಚ್ಚಿಸುತ್ತದೆ.

ಸರಾಸರಿ Recall@1000 ಮತ್ತು ಮಾದರಿ ಸಂಗ್ರಹಣಾ ತಂತ್ರಗಳಾದ್ಯಂತ ಸಂಯೋಜಿತ ತೀರ್ಪುಗಳ ಅಡಿಯಲ್ಲಿ ಪೂರ್ಣ-ಕಾರ್ಪಸ್ ಮಾದರಿ ಶ್ರೇಯಾಂಕಗಳೊಂದಿಗೆ ಒಪ್ಪಿಗೆ. ರೆಸಿಪ್ರೊಕಲ್ ರಾಂಕ್ ಫ್ಯೂಷನ್ (RRF) ಯಾದೃಚ್ಛಿಕ ಮಾದರಿ ಸಂಗ್ರಹಣೆಗಿಂತ ಕಡಿಮೆ ರಿಕಾಲ್ ಹೆಚ್ಚಳದೊಂದಿಗೆ, ಕಾರ್ಪಸ್‌ನ 31.7% ಅನ್ನು ಬಳಸಿಕೊಂಡು ಮೌಲ್ಯಮಾಪನ ಮಾಡಿದ ಮಾದರಿಗಳ ಶ್ರೇಯಾಂಕವನ್ನು ಸಂರಕ್ಷಿಸುತ್ತದೆ.

ಇದು ಮೌಲ್ಯಮಾಪನ ವೆಚ್ಚವನ್ನು ಪೂರ್ಣ-ಕಾರ್ಪಸ್ ವೆಚ್ಚದ ಮೂರನೇ ಒಂದು ಭಾಗಕ್ಕೆ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. RRF-ಆಧಾರಿತ ಉಪಕಾರ್ಪಸ್ ಬಳಸಿ, pplx-embed-v1-4b ಗೆ ಸುಮಾರು 1,500 H200 GPU-ಗಂಟೆಗಳು ಮತ್ತು EmbeddingGemma-300M ಗೆ 70 ಕ್ಕಿಂತ ಕಡಿಮೆ ಬೇಕಾಗುತ್ತದೆ.

ಪ್ರತಿ ಸಲ್ಲಿಕೆಯನ್ನು ಮೊದಲು ಮಾದರಿ ಉಪಕಾರ್ಪಸ್ ಆವೃತ್ತಿಯಲ್ಲಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡಲಾಗುತ್ತದೆ. ಸಲ್ಲಿಕೆಗಳನ್ನು ಒಟ್ಟು ಪ್ಯಾರಾಮೀಟರ್ ಎಣಿಕೆಯಿಂದ ಎರಡು ಗುಂಪುಗಳಾಗಿ ವಿಂಗಡಿಸಲಾಗಿದೆ: 1B ವರೆಗೆ ಮತ್ತು 1B ಗಿಂತ ಹೆಚ್ಚು. ಮಾದರಿ ಉಪಕಾರ್ಪಸ್‌ನಲ್ಲಿ ತನ್ನ ಗುಂಪಿನ ಟಾಪ್ ಹತ್ತನ್ನು ತಲುಪುವ ಮಾದರಿಯನ್ನು ನಂತರ ಪೂರ್ಣ ಕಾರ್ಪಸ್‌ನಲ್ಲಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡಲಾಗುತ್ತದೆ. ತಮ್ಮ ಗುಂಪಿನಲ್ಲಿ ಟಾಪ್ 10 ರ ಹೊರಗೆ ಶ್ರೇಣೀಕರಿಸಲಾದ ಮಾದರಿಗಳನ್ನು ಮಾದರಿ ಉಪಕಾರ್ಪಸ್ ಲೀಡರ್‌ಬೋರ್ಡ್‌ನಲ್ಲಿ ಮಾತ್ರ ಪ್ರಕಟಿಸಲಾಗುತ್ತದೆ.

ಮೌಲ್ಯಮಾಪನ ಫಲಿತಾಂಶಗಳು

ಮೌಲ್ಯಮಾಪನ ಮಾಡಿದ ಮಾದರಿಗಳಲ್ಲಿ, Q2D-Web ತನ್ನ 3 ವಿಭಿನ್ನ ಪ್ರಸ್ತುತತೆ ಸೆಟ್‌ಗಳಲ್ಲಿ ವೆಬ್ ಮಾಪಕದಲ್ಲಿ ಮರುಪಡೆಯುವಿಕೆ ಕಾರ್ಯಕ್ಷಮತೆಯ ಸುಸಂಗತ ನೋಟವನ್ನು ಒದಗಿಸುತ್ತದೆ. ಲೀಡರ್‌ಬೋರ್ಡ್ ಈ ಪೂರಕ ವೀಕ್ಷಣೆಗಳನ್ನು ಪಕ್ಕಪಕ್ಕದಲ್ಲಿ ಲಭ್ಯವಾಗುವಂತೆ ಮಾಡುತ್ತದೆ, ಕಿರಿದಾದ ಉಲ್ಲೇಖ-ಆಧಾರಿತ ಲೇಬಲ್‌ಗಳು ಮತ್ತು ವಿಶಾಲವಾದ ಪ್ರಸ್ತುತತೆ ತೀರ್ಪುಗಳ ಅಡಿಯಲ್ಲಿ ಮಾದರಿಗಳು ಹೇಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ ಎಂಬುದನ್ನು ಪರಿಶೀಲಿಸಲು ಬಳಕೆದಾರರಿಗೆ ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ.

ನಾವು Recall@1000 ಅನ್ನು ನಮ್ಮ ಪ್ರಾಥಮಿಕ ಮೆಟ್ರಿಕ್ ಆಗಿ ಕೇಂದ್ರೀಕರಿಸುತ್ತೇವೆ ಏಕೆಂದರೆ ಮೊದಲ ಹಂತದ ರಿಟ್ರೈವರ್ ಕೇವಲ ಸಂಬಂಧಿತ ದಾಖಲೆಗಳನ್ನು ಅಭ್ಯರ್ಥಿ ಪೂಲ್‌ನಲ್ಲಿ ಇರಿಸಬೇಕಾಗುತ್ತದೆ, ಆದರೆ ನಂತರದ ಮರುಶ್ರೇಣೀಕರಣವು ಅವುಗಳ ಅಂತಿಮ ಆದೇಶವನ್ನು ನಿರ್ಧರಿಸುತ್ತದೆ.

ಹದಿಮೂರು ರಿಟ್ರೈವರ್‌ಗಳಿಗಾಗಿ ಸಂಯೋಜಿತ Recall@1000 ವಿರುದ್ಧ ಸಂಯೋಜಿತ nDCG@10, ಮಾದರಿ ಕುಟುಂಬದ ಮೂಲಕ ಗುಂಪು ಮಾಡಲಾಗಿದೆ. ಎರಡು ಮೆಟ್ರಿಕ್‌ಗಳ ನಡುವೆ ಅತಿ ಹೆಚ್ಚು ಸ್ಕೋರ್ ಪಡೆದ ಮಾದರಿಯು ಭಿನ್ನವಾಗಿರುತ್ತದೆ.

ಕೋಷ್ಟಕ 1. ಉಲ್ಲೇಖ, ವೆಬ್ ಶ್ರೇಯಾಂಕ ಮತ್ತು ಸಂಯೋಜಿತ ಪ್ರಸ್ತುತತೆ ಸೆಟ್‌ಗಳಾದ್ಯಂತ ಹದಿಮೂರು ರಿಟ್ರೈವರ್‌ಗಳಿಗೆ ಪೂರ್ಣ-ಕಾರ್ಪಸ್ Recall@1000 ಮತ್ತು nDCG@10. ಹೆಚ್ಚಿನ ಅಂಕಗಳು ಉತ್ತಮವಾಗಿರುತ್ತವೆ.

ಮಾದರಿ

Recall@1000: ಉಲ್ಲೇಖ

Recall@1000: ವೆಬ್ ಶ್ರೇಯಾಂಕ

Recall@1000: ಸಂಯೋಜಿತ

nDCG@10: ಉಲ್ಲೇಖ

nDCG@10: ವೆಬ್ ಶ್ರೇಯಾಂಕ

nDCG@10: ಸಂಯೋಜಿತ

BM25-tantivy

60.84

42.50

45.25

7.30

11.45

29.27

EmbeddingGemma-300M

80.10

58.93

66.24

12.21

17.30

41.95

mDenseOn

73.72

52.56

60.09

10.08

15.06

38.87

Nemotron-3-Embed-1B

75.64

54.37

62.44

9.69

14.83

38.84

Nemotron-3-Embed-8B

83.14

61.73

69.33

13.17

18.69

45.65

pplx-embed-v1-0.6b

81.85

62.15

67.91

12.52

19.76

42.73

pplx-embed-v1-4b

85.03

65.73

70.00

14.18

21.29

44.12

Qwen3-Embedding-0.6B

71.19

51.82

58.68

8.53

14.11

36.19

Qwen3-Embedding-4B

76.49

55.60

62.78

9.91

14.97

38.82

Qwen3-Embedding-8B

79.26

58.34

65.32

10.75

16.27

41.20

voyage-4-nano

69.55

50.14

57.42

6.96

11.77

30.59

mLateOn

74.16

53.12

61.77

10.94

15.51

41.61

pplx-embed-v1-late-0.6b

78.64

58.14

64.20

11.88

17.25

41.77

ಎಲ್ಲಾ ಮೂರು ತೀರ್ಪು ಸೆಟ್‌ಗಳಲ್ಲಿ pplx-embed-v1-4b ಅತ್ಯಧಿಕ Recall@1000 ಅನ್ನು ಹೊಂದಿದೆ: ಉಲ್ಲೇಖ (85.03), ವೆಬ್ ಶ್ರೇಯಾಂಕ (65.73), ಮತ್ತು ಸಂಯೋಜಿತ (70.00). ಸಂಯೋಜಿತ Recall@100 ಮತ್ತು nDCG@10 ನಲ್ಲಿ, Nemotron-3-Embed-8B (30.32 ಮತ್ತು 45.65) ಇದು pplx-embed-v1-4b (30.17 ಮತ್ತು 44.12) ಗಿಂತ ಹೆಚ್ಚಿನ ಅಂಕಗಳನ್ನು ಗಳಿಸುತ್ತದೆ.

ಒಂದು ಕುಟುಂಬದೊಳಗೆ, ದೊಡ್ಡ ಮಾದರಿಗಳು ಸಂಯೋಜಿತ Recall@1000 ನಲ್ಲಿ ಹೆಚ್ಚಿನ ಅಂಕಗಳನ್ನು ಗಳಿಸುತ್ತವೆ. Qwen3-Embedding 58.68 (0.6B) ರಿಂದ 65.32 (8B) ಗೆ ಏರುತ್ತದೆ, Nemotron-3-Embed 62.44 (1B) ರಿಂದ 69.33 (8B) ಗೆ ಏರುತ್ತದೆ, ಮತ್ತು pplx-embed-v1 67.91 (0.6B) ರಿಂದ 70.00 (4B) ಗೆ ಏರುತ್ತದೆ.

Perplexity ಮಾದರಿಗಳನ್ನು ಇತರ ಎಲ್ಲಾ ಸಲ್ಲಿಸಿದ ಮಾದರಿಗಳಂತೆಯೇ ಅದೇ ಪೈಪ್‌ಲೈನ್ ಬಳಸಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡಲಾಗುತ್ತದೆ. ಆದಾಗ್ಯೂ, Q2D-Web Perplexity ಪ್ರೊಡಕ್ಷನ್ ಟ್ರಾಫಿಕ್‌ನಿಂದ ಪಡೆಯಲ್ಪಟ್ಟಿರುವುದರಿಂದ, ಈ ಮಾದರಿಗಳು ಇನ್-ಡಿಸ್ಟ್ರಿಬ್ಯೂಷನ್ ಪ್ರಯೋಜನದಿಂದ ಲಾಭ ಪಡೆಯಬಹುದು. ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನ ಮೌಲ್ಯಮಾಪನ ಪ್ರಶ್ನೆಗಳು ಮತ್ತು ಕಾರ್ಪಸ್ ಅನ್ನು ಮಾದರಿ ತರಬೇತಿಯಿಂದ ಹೊರಗಿಡಲಾಗಿದ್ದರೂ, ಫಲಿತಾಂಶಗಳನ್ನು ಈ ಸಂಭಾವ್ಯ ಪ್ರಯೋಜನವನ್ನು ಗಮನದಲ್ಲಿಟ್ಟುಕೊಂಡು ವ್ಯಾಖ್ಯಾನಿಸಬೇಕು.

ಲೀಡರ್‌ಬೋರ್ಡ್‌ಗೆ ಸಲ್ಲಿಸುವುದು ಹೇಗೆ

ಮೌಲ್ಯಮಾಪನವನ್ನು ವಿನಂತಿಸಲು, ನಮ್ಮ ಮೌಲ್ಯಮಾಪನ ವಿನಂತಿ ನಮೂನೆಯ ಮೂಲಕ ಸಾರ್ವಜನಿಕವಾಗಿ ಲಭ್ಯವಿರುವ Hugging Face ಮಾದರಿಯನ್ನು ಸಲ್ಲಿಸಿ.

ನಾವು ಮಾದರಿ-ನಿರ್ದಿಷ್ಟ ಇನ್ಫರೆನ್ಸ್ ಸೆಟ್ಟಿಂಗ್‌ಗಳಿಗೆ ಸಲ್ಲಿಸಲಾದ ರೆಪೊಸಿಟರಿಯಲ್ಲಿರುವ model card ಅನ್ನು ಅನುಸರಿಸುತ್ತೇವೆ; ಇದರಲ್ಲಿ ಶಿಫಾರಸು ಮಾಡಿದ ಕ್ವೆರಿ ಮತ್ತು ದಸ್ತಾವೇಜು ಸೂಚನೆಗಳು ಅಥವಾ ಪ್ರಿಫಿಕ್ಸ್‌ಗಳು, pooling, normalization, ಮತ್ತು similarity function ಸೇರಿವೆ. ಎಲ್ಲಾ ಕ್ವೆರಿ ಮತ್ತು ದಸ್ತಾವೇಜುಗಳನ್ನು ಮಾದರಿಯ ಸ್ವಂತ tokenizer ಬಳಸಿ 512 tokens ಗೆ ಕಡಿತಗೊಳಿಸಲಾಗುತ್ತದೆ; ಇದರಲ್ಲಿ ಸೂಚನೆಗಳು, ಪ್ರಿಫಿಕ್ಸ್‌ಗಳು, ಮತ್ತು special tokens ಸೇರಿವೆ, ಆದ್ದರಿಂದ ದೀರ್ಘವಾದ supported context ಯಾವುದೇ ಲಾಭವನ್ನು ನೀಡುವುದಿಲ್ಲ. ಉದ್ದೇಶಿತ retrieval setup ಅನ್ನು ಪುನರುತ್ಪಾದಿಸಲು model card ಸಂಪೂರ್ಣ, ಅಸಂದಿಗ್ಧ ಸೂಚನೆಗಳನ್ನು ಒದಗಿಸುವುದನ್ನು ದಯವಿಟ್ಟು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಿ.

ಅರ್ಹ ಮಾದರಿಗಳು ಪ್ರಮಾಣಿತ transformers ಅಥವಾ sentence-transformers API ಗಳ ಮೂಲಕ ಲೋಡ್ ಆಗಬೇಕು. trust_remote_code=False ನೊಂದಿಗೆ ರನ್ ಆಗದ ಮಾದರಿಗಳಿಗೆ ಮೌಲ್ಯಮಾಪನ ಮಾಡುವ ಮೊದಲು ಕಸ್ಟಮ್ ಕೋಡ್ ಮತ್ತು ಸಲ್ಲಿಸುವವರ ಕೈಪಿಡಿ ವಿಮರ್ಶೆಯ ಅಗತ್ಯವಿರುತ್ತದೆ, ಇದು ಗಮನಾರ್ಹವಾಗಿ ಹೆಚ್ಚು ಸಮಯ ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ. ಖಾಸಗಿ ಅಥವಾ ಗೇಟೆಡ್ ರೆಪೊಸಿಟರಿಗಳು ಅರ್ಹವಲ್ಲ.

ವಿಧಾನಶಾಸ್ತ್ರ ಮತ್ತು ಸಂಶೋಧನೆಗಳ ಬಗ್ಗೆ ಇನ್ನಷ್ಟು ತಿಳಿದುಕೊಳ್ಳಲು ನಮ್ಮ ತಾಂತ್ರಿಕ ವರದಿಯನ್ನು ಓದಿ.

ಉಲ್ಲೇಖ

BibTeX
@online{perplexity2026Q2dWeb,
  author = {{Perplexity} and Maximilian Schall and Sedigheh Eslami and Markus Krimmel and Antoine Chaffin and Louis Milliken and Bo Wang and Denis Bykov and Phi Hoang and Claire Beamer and Jeremy Yang},
  title = {{Q2D-Web: Evaluating first-stage retrievers at scale}},
  date = {2026-09-09},
  url = {https://www.perplexity.ai/hub/blog/q2d-web}
}