WANDR ಬೆಂಚ್‌ಮಾರ್ಕ್: ವಿಶಾಲ ಮತ್ತು ಆಳವಾಗಿ ಹುಡುಕಬೇಕಾದ ಸಂಶೋಧನಾ ಏಜೆಂಟ್‌ಗಳ ಮೌಲ್ಯಮಾಪನ

ಇಂದು, ನಾವು ಜ್ಞಾನದ ಕೆಲಸಕ್ಕಾಗಿ 500 ವಾಸ್ತವಿಕ, ಸವಾಲಿನ ಡೇಟಾ-ಸಂಗ್ರಹಣಾ ಕಾರ್ಯಗಳ ಸುತ್ತ ನಿರ್ಮಿಸಲಾದ ಮುಕ್ತ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಮತ್ತು ಮೌಲ್ಯಮಾಪನ ಹಾರ್ನೆಸ್ ಆಗಿರುವ WANDR (Wide ANd Deep Research) ಅನ್ನು ಬಿಡುಗಡೆ ಮಾಡುತ್ತಿದ್ದೇವೆ. WANDR ನಮ್ಮ ಆಳಗಿನ ಸಂಶೋಧನೆಗಾಗಿ DRACO ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನ ವಿಶಾಲವಾದ ಸಹೋದರನಾಗಿದೆ. DRACO ಏಜೆಂಟ್ ನಿಖರವಾದ, ಸಂಪೂರ್ಣ ಮತ್ತು ವಸ್ತುನಿಷ್ಠ ದೀರ್ಘ-ರೂಪದ ವರದಿಯನ್ನು ತಯಾರಿಸಬಹುದೇ ಎಂದು ಕೇಳುತ್ತದೆ; WANDR ಇದು ದೊಡ್ಡ ಸಂಗ್ರಹವನ್ನು ನಿರ್ಮಿಸಬಹುದೇ ಮತ್ತು ಪ್ರತಿ ಸದಸ್ಯರನ್ನು ನಿರ್ದಿಷ್ಟ ಸಾಕ್ಷ್ಯದೊಂದಿಗೆ ಬೆಂಬಲಿಸಬಹುದೇ ಎಂದು ಕೇಳುತ್ತದೆ.

ಜನರು ಈಗಾಗಲೇ ಸಂಶೋಧನಾ ಏಜೆಂಟ್‌ಗಳಿಗೆ ಒಪ್ಪಿಸುವ ಕೆಲಸಗಳು ಇವಾಗಿವೆ: ಸ್ಪರ್ಧಾತ್ಮಕ ಮ್ಯಾಪಿಂಗ್, ಸರಿಯಾದ ಶ್ರದ್ಧೆ, ಸಾಹಿತ್ಯ ವಿಮರ್ಶೆ, ಮಾರುಕಟ್ಟೆ ವಿಶ್ಲೇಷಣೆ, ಉತ್ಪನ್ನ ಹೋಲಿಕೆ, ಪ್ರತಿಭೆ ಮೂಲಗಳು ಮತ್ತು ಇನ್ನಷ್ಟು. ಕಾರ್ಯಗಳು ಡಾಜನ್‌ಗಳಿಂದ ಹಿಡಿದು ಸಾವಿರಾರು ಸ್ವತಂತ್ರವಾಗಿ ಪರಿಶೀಲಿಸಬಹುದಾದ ದಾಖಲೆಗಳವರೆಗೆ ಇರುತ್ತವೆ. ಹೆಚ್ಚಿನ ಪ್ರಯತ್ನದ ಸೆಟ್ಟಿಂಗ್‌ನಲ್ಲಿಯೂ ಸಹ, ನಮ್ಮ ಮೌಲ್ಯಮಾಪನದಲ್ಲಿ ಪ್ರಬಲವಾದ ಸಿಸ್ಟಮ್ ಕೇವಲ 0.363 ಸಾಫ್ಟ್ F1 ಮತ್ತು 0.133 ಹಾರ್ಡ್ F1 ಅನ್ನು ತಲುಪುತ್ತದೆ. ವಿಶಾಲ ಮತ್ತು ಆಳಗಿನ ಸಂಶೋಧನೆಯು ಪರಿಹಾರಗೊಳ್ಳಲು ಇನ್ನೂ ಬಹಳ ದೂರವಿದೆ.

ವಿಸ್ತರಿಸಿ

ವಿಶಾಲ ಮತ್ತು ಆಳಗಿನ ಸಂಶೋಧನೆಯು ಏಕೆ ಮುಖ್ಯವಾಗಿದೆ

ಏಜೆಂಟ್ ಒಂದು ಉತ್ತರವನ್ನು ಕಂಡುಕೊಂಡಾಗ ಅನೇಕ ಉಪಯುಕ್ತ ಸಂಶೋಧನಾ ಕೆಲಸಗಳು ಕೊನೆಗೊಳ್ಳುವುದಿಲ್ಲ. ಮಾರುಕಟ್ಟೆ ವಿಶ್ಲೇಷಕರಿಗೆ ಪ್ರತಿ ಅರ್ಹ competitor ಅಗತ್ಯವಿರಬಹುದು, ಪ್ರತಿಯೊಂದಕ್ಕೂ ಒಂದೇ ರೀತಿಯ ಸಾಕ್ಷ್ಯವಿರಬೇಕು. ಸರಿಯಾದ ಶ್ರದ್ಧೆ (due-diligence) ತಂಡಕ್ಕೆ ಡಾಜನ್‌ಗಳಷ್ಟು ಕಂಪನಿಗಳು ಬೇಕಾಗಬಹುದು, ನಂತರ ಅವುಗಳಲ್ಲಿ ಪ್ರತಿಯೊಂದಕ್ಕೂ ಮಾಲೀಕತ್ವ, ಕಾರ್ಯನಿರ್ವಾಹಕರು, ಹಣಕಾಸು ಮತ್ತು ನಿಯಂತ್ರಕ ಸ್ಥಿತಿ ಬೇಕಾಗಬಹುದು. ಇದು ಎರಡು ಪ್ರತ್ಯೇಕ ಬೇಡಿಕೆಗಳನ್ನು ಸೃಷ್ಟಿಸುತ್ತದೆ:

ವಿಶಾಲವಾದದ್ದು (Wide): ಅರ್ಹ ಘಟಕಗಳ ದೊಡ್ಡ ಮತ್ತು ಸಾಮಾನ್ಯವಾಗಿ ಮುಕ್ತ-ಅಂತ್ಯದ ಸೆಟ್ ಅನ್ನು ಅನ್ವೇಷಿಸಿ.

ಆಳವಾದದ್ದು (Deep): ವಿನಂತಿಸಿದ ಪ್ರತಿಯೊಂದು ಕ್ಲೈಮ್ ಅನ್ನು ಸಾಕ್ಷ್ಯದೊಂದಿಗೆ ಬೆಂಬಲಿಸಲು ಪ್ರತಿ ಘಟಕವನ್ನು ಸಾಕಷ್ಟು ದೂರದವರೆಗೆ ತನಿಖೆ ಮಾಡಿ.

ಎಲ್ಲವನ್ನೂ ಒಟ್ಟುಗೂಡಿಸುವುದರಿಂದ ಸಮಸ್ಯೆಯೇ ಬದಲಾಗುತ್ತದೆ. ಕೆಲವೇ ಕೆಲವು ಬಲವಾದ ಉದಾಹರಣೆಗಳು ಸಾಕಾಗುವುದಿಲ್ಲ, ಮತ್ತು ಅಪೂರ್ಣ ಸಂಶೋಧನೆಯ ಮೇಲೆ ನಿರ್ಮಿಸಲಾದ ನಯಗೊಳಿಸಿದ ನಿರೂಪಣೆಯೂ ಸಾಕಾಗುವುದಿಲ್ಲ. ಏಜೆಂಟ್ ಒಂದು ದಾಖಲೆಯಿಂದ ಮತ್ತೊಂದು ದಾಖಲೆಗೆ ವಾಸ್ತವಿಕ ಗುಣಮಟ್ಟವನ್ನು ತ್ಯಾಗ ಮಾಡದೆ ವಿಶಾಲವಾದ ಅನ್ವೇಷಣೆಯನ್ನು ಮುಂದುವರಿಸಬೇಕು.

WANDR ಆ ರಚನೆಯನ್ನು ಹೊಂದಿಕೊಳ್ಳುವ, ಸಂಯೋಜಿಸಬಹುದಾದ ಅರ್ಹತಾ ಕೀ ಶ್ರೇಣಿಯೊಂದಿಗೆ (qualification key hierarchy) ಸೆರೆಹಿಡಿಯುತ್ತದೆ. ಒಂದು ಕಾರ್ಯವು ಕೇಳಬಹುದು:

company(n) → employee(m) → url(k)

ಇದರರ್ಥ n ಅರ್ಹ ಕಂಪನಿಗಳನ್ನು, ಪ್ರತಿ ಕಂಪನಿಯಲ್ಲಿ m ಅರ್ಹ ಉದ್ಯೋಗಿಗಳನ್ನು ಮತ್ತು ಪ್ರತಿ ಉದ್ಯೋಗಿಗೆ k ಬೆಂಬಲಿಸುವ ಪುಟಗಳನ್ನು ಕಂಡುಹಿಡಿಯುವುದು ಎಂದರ್ಥ. ಮರದ ಮೂಲಕ ಪ್ರತಿ ಸಂಪೂರ್ಣ ಮಾರ್ಗವನ್ನು ಸ್ವತಂತ್ರವಾಗಿ ಮೌಲ್ಯೀಕರಿಸಬಹುದು. ಅದೇ ಮೂಲ ರಚನೆಯು ಫ್ಲಾಟ್ ಪಟ್ಟಿ, ನೆಸ್ಟೆಡ್ ಹುಡುಕಾಟ, ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಅಥವಾ ಬಹು ಸಾಕ್ಷ್ಯ ಶಾಖೆಗಳನ್ನು ಹೊಂದಿರುವ ಕಾರ್ಯವನ್ನು ಪ್ರತಿನಿಧಿಸಬಹುದು. ಈ ಮಾದರಿಗಳನ್ನು ಸಹ ಸಂಯೋಜಿಸಬಹುದು, ಒಂದೇ ಪ್ರಾತಿನಿಧ್ಯವು ವಿಶಾಲವಾದ ನೈಜ-ಪ್ರಪಂಚದ ಬಳಕೆಯ ಪ್ರಕರಣಗಳನ್ನು ಒಳಗೊಳ್ಳಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

ಬಿಡುಗಡೆಯಾದ ಒಂದು ಕಾರ್ಯವು ಆ ರಚನೆಯನ್ನು ಪ್ರಾಯೋಗಿಕವಾಗಿ ವಿವರಿಸುತ್ತದೆ.

ceo_cfo_appointments

प्राथमिक कार्य (Primary task). 2026ರ ಮಾರ್ಚ್ 1 ಮತ್ತು ಏಪ್ರಿಲ್ 30ರ ನಡುವೆ ಮೊದಲ ಬಾರಿಗೆ ಘೋಷಿಸಲಾದ CEO ಅಥವಾ CFO ನೇಮಕಾತಿಯನ್ನು ಹೊಂದಿರುವ US ಮೂಲದ ಕನಿಷ್ಠ 70 ಕಂಪನಿಗಳನ್ನು ಹುಡುಕಿ. ಪ್ರತಿ ಕಂಪನಿಗೆ, ಕಂಪನಿ ಮತ್ತು ನೇಮಕಾತಿದಾರರನ್ನು ಗುರುತಿಸುವ, ಪಾತ್ರ ಮತ್ತು ಘೋಷಣೆಯ ದಿನಾಂಕವನ್ನು ಸ್ಥಾಪಿಸುವ ಅಧಿಕೃತ ನೇಮಕಾತಿ ಪುಟವನ್ನು ಒದಗಿಸಿ ಮತ್ತು ಇದು ನೀಡುವವರಿಂದ, ಫೈಲಿಂಗ್‌ನಿಂದ, ನ್ಯೂಸ್‌ವೈರ್‌ನಿಂದ ಅಥವಾ ನೇರವಾಗಿ ಆರೋಪಿಸಲಾದ ಮೊದಲನೇ ಹಂತದ ವ್ಯಾಪಾರ ಪತ್ರಿಕೋದ್ಯಮದಿಂದ ಬಂದಿರಬೇಕು.

Primary hierarchy. company(70) → company_appointee(1) → url(1).

Company-listing subtask. ಅದೇ ಕಂಪನಿಗಳಿಗಾಗಿ, US ರಾಷ್ಟ್ರೀಯ ಭದ್ರತಾ ವಿನಿಮಯ ಕೇಂದ್ರದಲ್ಲಿ ಪಟ್ಟಿ ಮಾಡಲಾಗಿರುವುದನ್ನು ಅಥವಾ US-ಡೊಸಿಲೈಲ್ SEC ಎಕ್ಸ್‌ಚೇಂಜ್ ಆಕ್ಟ್ ರಿಪೋರ್ಟಿಂಗ್ ನೀಡುವವರ ಸ್ಥಿತಿಯನ್ನು ತೋರಿಸುವ ಗುರುತಿಸಲ್ಪಟ್ಟ ಪಟ್ಟಿ-ಅಧಿಕಾರ ಪುಟವನ್ನು ಒದಗಿಸಿ.

Subtask hierarchy. company(70) → url(1).

Records required. 140: 70 ನೇಮಕಾತಿ ದಾಖಲೆಗಳು ಜೊತೆಗೆ 70 ಪಟ್ಟಿ ದಾಖಲೆಗಳು.

ಪ್ರತಿ ಮಾರ್ಗವು ಒಂದು ಪುಟದಲ್ಲಿ ಕೊನೆಗೊಳ್ಳುತ್ತದೆ ಮತ್ತು ಗ್ರೇಡರ್ ಮರುಪರಿಶೀಲಿಸಬಹುದಾದ ತುಣುಕುಗಳನ್ನು ಹೊಂದಿರುತ್ತದೆ. ಹಂಚಿಕೊಳ್ಳಲಾದ ಕಂಪನಿ ಕೀ ನೇಮಕಾತಿ ಮತ್ತು ಪಟ್ಟಿ ಮಾಡುವ ಶಾಖೆಗಳನ್ನು ಸಾಲಾಗಿ ಜೋಡಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ಪಟ್ಟಿ ಮಾಡುವ ಸ್ಥಿತಿಯ ಪ್ರತ್ಯೇಕ ಪುರಾವೆ ಇಲ್ಲದ ನೇಮಕಾತಿಯು ಆ ಕಂಪನಿಯನ್ನು ಅಪೂರ್ಣವಾಗಿ ಬಿಡುತ್ತದೆ.

ವಾಸ್ತವಿಕ ಕಾರ್ಯಗಳು, ದೊಡ್ಡ ಪ್ರಮಾಣದಲ್ಲಿ ಉತ್ಪತ್ತಿಯಾಗುತ್ತವೆ

WANDR ಉತ್ಪಾದನಾ ಬಳಕೆಯಲ್ಲಿ ಗಮನಿಸಿದ ಗುರುತುರಹಿತ ಮಾದರಿಗಳಿಂದ ಆರಂಭವಾಗುತ್ತದೆ, ಕೃತಕ ಪ್ರಾಂಪ್ಟ್‌ಗಳಿಂದ ಅಲ್ಲ. ಇದರಿಂದ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಜನರು ನಿಜವಾಗಿ ಒಪ್ಪಿಸುವ ಕೆಲಸದ ಹತ್ತಿರದಲ್ಲೇ ಉಳಿಯುತ್ತದೆ: ಮುಕ್ತಾಂತ್ಯ ಅನ್ವೇಷಣೆ, ಮರುಮರು ಸಮೃದ್ಧೀಕರಣ, ಬಹುಮೂಲ ಪರಿಶೀಲನೆಗಳು, ಮತ್ತು ವೃತ್ತಿಪರ ಮಟ್ಟದಲ್ಲಿ ಸಂರಚಿತ ಹೋಲಿಕೆಗಳು. ಅರೆ-ಸ್ವಯಂಚಾಲಿತ ಪೈಪ್‌ಲೈನ್ ಆ ಮಾದರಿಗಳನ್ನು ಕಾರ್ಯಗಳಾಗಿ ಪರಿವರ್ತಿಸುತ್ತದೆ, ಸಂಪೂರ್ಣ ಉತ್ತರ ಟಿಪ್ಪಣಿಗೊಳಿಸುವುದಕ್ಕಿಂತ ಗುಣಮಟ್ಟ ನಿಯಂತ್ರಣಕ್ಕಾಗಿ ಮಾನವ ಪ್ರಯತ್ನವನ್ನು ಮೀಸಲಿಡುತ್ತದೆ.

ಪೈಪ್‌ಲೈನ್ ನಾಲ್ಕು ಹಂತಗಳನ್ನು ಹೊಂದಿದೆ. ಸೀಡಿಂಗ್ (Seeding) ಮರುಬಳಕೆ ಮಾಡಬಹುದಾದ ವಿಶಾಲ-ಸಂಶೋಧನಾ ಮಾದರಿಗಾಗಿ ಗುರುತಿಸದ ಉತ್ಪನ್ನ ವಿನಂತಿಗಳನ್ನು ಗಣಿ ಮಾಡುತ್ತದೆ. ಲೇಖನ (Authoring) ಇಂಟರ್‌ಲೀವ್ಡ್ ಆಥರ್-ಕ್ರಿಟಿಕ್ ಲೂಪ್ ಅನ್ನು ರನ್ ಮಾಡುತ್ತದೆ: ಏಜೆಂಟ್‌ಗಳು ವಿನ್ಯಾಸವನ್ನು ಸ್ಕೆಚ್ ಮಾಡುತ್ತಾರೆ ಮತ್ತು ಸ್ಟ್ರೆಸ್-ಟೆಸ್ಟ್ ಮಾಡುತ್ತಾರೆ, ಕಾರ್ಯದ ವಿವರಣೆ ಮತ್ತು ನ್ಯಾಯಾಧೀಶರನ್ನು ಬರೆಯುತ್ತಾರೆ, ಫಿಕ್ಚರ್ ದಾಖಲೆಗಳನ್ನು ರಚಿಸುತ್ತಾರೆ ಮತ್ತು ಎಲ್ಲವನ್ನೂ ಜೋಡಿಸಿಡಲು ಯಾಂತ್ರಿಕ ಲಿಂಟರ್ ಅನ್ನು ಬಳಸುತ್ತಾರೆ. ಪ್ರವೇಶ (Admission) 10-12 ಆಥರ್ ರೋಲ್‌ಔಟ್‌ಗಳನ್ನು ವಿಲೀನಗೊಳಿಸುವ ಮೂಲಕ ಗುರಿ ಪರಿಮಾಣವನ್ನು ತಲುಪಬಹುದು ಎಂದು ಪರಿಶೀಲಿಸುತ್ತದೆ, ಕಾರ್ಯ-ನಿರ್ದಿಷ್ಟ ನ್ಯಾಯಾಧೀಶರನ್ನು ಲೆಕ್ಕಪರಿಶೋಧನೆ ಮಾಡುತ್ತದೆ ಮತ್ತು ಐಚ್ಛಿಕವಾಗಿ ಮಾನವ ಸೈನ್-ಆಫ್ ಅನ್ನು ಸೇರಿಸುತ್ತದೆ. ಕ್ಯುರೇಷನ್ (Curation) ಪ್ರವೇಶ ಪಡೆದ ಕಾರ್ಯಗಳನ್ನು ಲೇಬಲ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ವಿಷಯಗಳು, ಪ್ರಮಾಣ, ಟೋಪೋಲಜಿ ಮತ್ತು ತೊಂದರೆಗಳಾದ್ಯಂತ ಸಮತೋಲಿತ ಅಂತಿಮ ಸೆಟ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

ಮಧ್ಯಸ್ಥ ಕಾರ್ಯವು 50 ಸದಸ್ಯರನ್ನು, ಪ್ರತಿ ಸದಸ್ಯರಿಗೆ ನಾಲ್ಕು ದಾಖಲೆಗಳನ್ನು ಮತ್ತು ಒಟ್ಟಾರೆಯಾಗಿ 245 ದಾಖಲೆಗಳನ್ನು ಕೇಳುತ್ತದೆ. ಒಟ್ಟಾಗಿ ತೆಗೆದುಕೊಂಡರೆ, 500 ಕಾರ್ಯಗಳಿಗೆ 170,495 ಮೂಲ-ಬೆಂಬಲಿತ ದಾಖಲೆಗಳ ಅಗತ್ಯವಿರುತ್ತದೆ. ನಾವು ಐತಿಹಾಸಿಕ ವಿನ್ಯಾಸ-ಹಂತದ ರೋಲ್‌ಔಟ್‌ಗಳಿಂದ ತೊಂದರೆಯನ್ನು ಮಾಪಾಂಕಗೊಳಿಸುತ್ತೇವೆ, ನಂತರ ಕಾರ್ಯಗಳನ್ನು ಶ್ರೇಣಿಯ ಮೂಲಕ 167 ಕೆಳಗಿನ, 166 ಮಧ್ಯಮ ಮತ್ತು 167 ಹೆಚ್ಚಿನ ಕಷ್ಟದ ಉದಾಹರಣೆಗಳಾಗಿ ವಿಭಜಿಸುತ್ತೇವೆ. ಕೆಳಗಿನ ಪ್ಲಾಟ್ ತೊಂದರೆಯು ಪ್ರಮಾಣದಿಂದ ಮಾತ್ರ ನಿರ್ಧರಿಸಲ್ಪಡುವುದಿಲ್ಲ ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತದೆ; ಇದು ಪ್ರತಿ ದಾಖಲೆಗೆ ಅಗತ್ಯವಿರುವ ಕೆಲಸದ ಮೇಲೂ ಅವಲಂಬಿತವಾಗಿರುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

ಉಲ್ಲೇಖ-ಮುಕ್ತ, ಸಾಕ್ಷ್ಯ-ಪರಿಶೀಲಿಸಿದ ಗ್ರೇಡಿಂಗ್

ಸ್ಥಿರ ಉತ್ತರ ಕೀ ಮುಕ್ತ-ಅಂತ್ಯದ ಸಂಶೋಧನೆಗೆ ಕಳಪೆ ಫಿಟ್ ಆಗಿದೆ. ಇದನ್ನು ನಿರ್ಮಿಸುವುದು ದುಬಾರಿಯಾಗಿದೆ, ತ್ವರಿತವಾಗಿ ಹಳತಾಗುತ್ತದೆ ಮತ್ತು ಕಾಲಾನಂತರದಲ್ಲಿ ಉತ್ತರಗಳು ಬದಲಾಗುವ ಪ್ರಶ್ನೆಗಳನ್ನು ಕಳಪೆಯಾಗಿ ಪ್ರತಿನಿಧಿಸುತ್ತದೆ. WANDR ಬದಲಿಗೆ ಏಜೆಂಟ್ ಉಲ್ಲೇಖಿಸುವ ಸಾಕ್ಷ್ಯದ ವಿರುದ್ಧ ಸಲ್ಲಿಸಿದ ಪ್ರತಿಯೊಂದು ಕ್ಲೈಮ್ ಅನ್ನು ಗ್ರೇಡ್ ಮಾಡುತ್ತದೆ.

ಪ್ರತಿ ದಾಖಲೆಯು ಒಂದು ಐಟಂ, URL, ಆಯ್ಕೆಮಾಡಿದ ತುಣುಕುಗಳು ಮತ್ತು ಉತ್ತರವನ್ನು ಹೊಂದಿರುತ್ತದೆ. ಗ್ರೇಡರ್ ಪುಟವನ್ನು ಮರು-ಫೆಚ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ಅದು ಬಳಸಬಹುದಾಗಿದೆಯೇ, ಕ್ಲೈಮ್ ಸ್ಪಷ್ಟವಾಗಿದೆಯೇ ಮತ್ತು ವ್ಯಾಪ್ತಿಯಲ್ಲಿದೆಯೇ, ತುಣುಕುಗಳು ಪುಟದಲ್ಲಿ ನಿಷ್ಠೆಯಿಂದ ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತವೆಯೇ ಮತ್ತು ಪುಟ ಹಾಗೂ ತುಣುಕುಗಳು ಎರಡೂ ಪ್ರತಿಯೊಂದು ಅವಶ್ಯಕತೆಯನ್ನು ಬೆಂಬಲಿಸುತ್ತವೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸುತ್ತದೆ.

ಈ ಬೈನರಿ ದಾಖಲೆಯ ತೀರ್ಪುಗಳು ಶ್ರೇಣಿಯ ಮೂಲಕ ಮೇಲಕ್ಕೆ rolled up ಆಗುತ್ತವೆ. ನಿಖರತೆ (Precision) ಸಿಸ್ಟಮ್ ಸಲ್ಲಿಸಿದ ವಿಷಯದ ಗುಣಮಟ್ಟವನ್ನು ಅಳೆಯುತ್ತದೆ. ಮರುಕಳಿಸುವಿಕೆ (Recall) ವಿನಂತಿಸಿದ ಪರಿಮಾಣದ ವಿರುದ್ಧ ಗುಣಮಟ್ಟ-ಹೊಂದಾಣಿಕೆಯ ಪೂರ್ಣಗೊಳಿಸುವಿಕೆಯನ್ನು ಅಳೆಯುತ್ತದೆ, ಯಾವುದೇ ಕೊರತೆಯನ್ನು ಸೊನ್ನೆಗಳಿಂದ ತುಂಬುತ್ತದೆ. F1 ಎರಡನ್ನೂ ಸಮತೋಲನಗೊಳಿಸುತ್ತದೆ. ಸಾಫ್ಟ್ ಸ್ಕೋರ್‌ಗಳು ಅಪೂರ್ಣ ಸದಸ್ಯರಿಗೆ ಭಾಗಶಃ ಕ್ರೆಡಿಟ್‌ಗಳನ್ನು ನೀಡುತ್ತವೆ; ಹಾರ್ಡ್ ಸ್ಕೋರ್‌ಗಳು ತಮ್ಮ ಸಂಪೂರ್ಣ ಅಗತ್ಯವಿರುವ ಉಪಮರವು ಸರಿಯಾಗಿರುವ ಸದಸ್ಯರನ್ನು ಮಾತ್ರ ಎಣಿಸುತ್ತವೆ. ರೋಗನಿರ್ಣಯಕ್ಕಾಗಿ, WANDR ಮಾನ್ಯತೆ ಮತ್ತು ಸಲ್ಲಿಸಿದ ತುಣುಕುಗಳ ಮೇಲಿನ ಕಠಿಣ ಪರಿಶೀಲನೆಗಳನ್ನು ಸೇರಿಸುವ ಮೊದಲು ಫೆಚ್ ಮಾಡಿದ ಪುಟವು ಕಾರ್ಯವನ್ನು ಪೂರೈಸುತ್ತದೆಯೇ ಎಂದು ಕೇಳುವ ರಿಟ್ರೈವಲ್-ಮಾತ್ರ ತೀರ್ಪನ್ನು ಸಹ ವರದಿ ಮಾಡುತ್ತದೆ.

ಇದು ವೈಫಲ್ಯಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಬಹುದಾಗಿಯೂ ಸ್ಥಳೀಕರಿಸಬಹುದಾಗಿಯೂ ಮಾಡುತ್ತದೆ. ಕಡಿಮೆ recall ಜೊತೆಗೆ ಹೆಚ್ಚಿನ precision ಸಾಮಾನ್ಯವಾಗಿ ವ್ಯವಸ್ಥೆ ಕೆಲವು ಉತ್ತಮ ಸದಸ್ಯರನ್ನು ಕಂಡುಹಿಡಿದಿದೆ, ಆದರೆ ಸಾಕಷ್ಟು ಸದಸ್ಯರನ್ನು ಅಲ್ಲ ಎಂಬುದನ್ನು ಸೂಚಿಸುತ್ತದೆ. ದೊಡ್ಡ soft-to-hard ಕುಸಿತವೆಂದರೆ ಅದು ಭಾಗಶಃ ಪ್ರಗತಿ ಸಾಧಿಸಿದ್ದರೂ, ಪೂರ್ಣ ಕ್ರೆಡಿಟ್‌ಗೆ ಅಗತ್ಯವಿರುವ ಪ್ರತಿಯೊಂದು ಶಾಖೆಯನ್ನು ಅಪರೂಪವಾಗಿ ಪೂರ್ಣಗೊಳಿಸಿದೆ ಎಂಬರ್ಥ. score tree ಅನ್ವೇಷಣೆ, ಸಮೃದ್ಧೀಕರಣ, ಗುರುತು ನಿರ್ವಹಣೆ, ಪುಟ ಅರ್ಹತೆ, ಅಥವಾ ಸಾಕ್ಷ್ಯ ಹೊರತೆಗೆಯುವಿಕೆಗೆ ನಷ್ಟವನ್ನು ಸ್ಥಳೀಕರಿಸಬಹುದು.

ವಿಸ್ತರಿಸಿ

ನಾವು ಕಂಡುಕೊಂಡದ್ದು ಏನು

ನಾವು ಆರು ಉತ್ಪಾದನಾ ವ್ಯವಸ್ಥೆಗಳನ್ನು ಹೋಲಿಸಿದ್ದೇವೆ: ಹೋಸ್ಟ್ ಮಾಡಿದ ಕಾರ್ಯ ಮತ್ತು ಹುಡುಕಾಟ API ಗಳು, ಸಾಮಾನ್ಯ ವೆಬ್-ಏಜೆಂಟ್ API ಗಳು, ಆಳಗಿನ ಸಂಶೋಧನಾ ಉತ್ಪನ್ನ, ಮತ್ತು ನಮ್ಮ ಪ್ರೋಗ್ರಾಮ್ಯಾಟಿಕ್ ಹುಡುಕಾಟ-ಆರ್ಕೆಸ್ಟ್ರೇಷನ್ ಸಿಸ್ಟಮ್, Search as Code (SaC). ಪ್ರತಿಯೊಂದನ್ನು ಪಿನ್ ಮಾಡಿದ ಕಾನ್ಫಿಗರೇಶನ್ ಅಡಿಯಲ್ಲಿ ಎಲ್ಲಾ 500 ಕಾರ್ಯಗಳಲ್ಲಿ ನಿಗದಿಪಡಿಸಲಾಗಿದೆ, ನಂತರ ಅದೇ ಫೆಚ್, ಜಡ್ಜ್, ಐಡೆಂಟಿಟಿ-ರಿಸಲ್ಯೂಷನ್ ಮತ್ತು ಸ್ಕೋರಿಂಗ್ ಪೈಪ್‌ಲೈನ್ ಮೂಲಕ ಹೋಯಿತು.

Perplexity Search as Code 0.363 ಸಾಫ್ಟ್ F1 ಮತ್ತು 0.133 ಹಾರ್ಡ್ F1 ನಲ್ಲಿ ಮುಂಚೂಡಿಯಲ್ಲಿದೆ. ಆಂಥ್ರೋಪಿಕ್ 0.249 ಮತ್ತು 0.072 ರಲ್ಲಿ ಎರಡನೇ ಸ್ಥಾನದಲ್ಲಿದೆ; ಪ್ರತಿಯೊಂದು ಇತರ ಸಿಸ್ಟಮ್ 0.121 ಸಾಫ್ಟ್ F1 ಮತ್ತು 0.035 ಹಾರ್ಡ್ F1 ನಲ್ಲಿ ಟಾಪ್ ಔಟ್ ಆಗುತ್ತದೆ. ಯಾವುದೇ ಸಿಸ್ಟಮ್ ಗುಣಮಟ್ಟ ಮತ್ತು ದಕ್ಷತೆ ಎರಡರಲ್ಲೂ ಪ್ರಾಬಲ್ಯ ಸಾಧಿಸುವುದಿಲ್ಲ. Perplexity ಪ್ರತಿ ಕಾರ್ಯಕ್ಕೆ $5.20 ವೆಚ್ಚದಲ್ಲಿ ಮಧ್ಯಮ ಶ್ರೇಣಿಯ ಮಧ್ಯದಲ್ಲಿದೆ, 14.9 ನಿಮಿಷಗಳ ಮಧ್ಯಸ್ಥ ಪರಿಹಾರ ಸಮಯ ಮತ್ತು ಪ್ರತಿ ಕಾರ್ಯಕ್ಕೆ 3.82 ಮಿಲಿಯನ್ ವರದಿ ಮಾಡಿದ ಟೋಕನ್‌ಗಳನ್ನು ಹೊಂದಿದೆ. OpenAI ಮತ್ತು Exa ವೇಗವಾಗಿರುತ್ತವೆ ಮತ್ತು ಅಗ್ಗವಾಗಿರುತ್ತವೆ ಆದರೆ ಕಡಿಮೆ ಸ್ಕೋರ್ ಮಾಡುತ್ತವೆ. ಆಂಥ್ರೋಪಿಕ್ ಗುಣಮಟ್ಟದಲ್ಲಿ ಹತ್ತಿರದಲ್ಲಿದೆ, ಆದರೆ ಗಣನೀಯವಾಗಿ ಹೆಚ್ಚಿನ ಸಮಯ, ಹಣ ಮತ್ತು ಟೋಕನ್‌ಗಳನ್ನು ಬಳಸುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

ವಿಸ್ತರಿಸಿ

ನಾವು ಅದೇ 45-ಕಾರ್ಯ ಉಪವಿಭಾಗದಲ್ಲಿ ಲಭ್ಯವಿರುವ ಪ್ರತಿಯೊಂದು ಪ್ರಯತ್ನದ ಸೆಟ್ಟಿಂಗ್ ಅನ್ನು ಸಹ ಮೌಲ್ಯಮಾಪನ ಮಾಡಿದ್ದೇವೆ. ಹೆಚ್ಚಿನ ಪ್ರಯತ್ನವು ಪ್ರತಿ ಹಂತದಲ್ಲೂ Perplexity, Gemini ಮತ್ತು Exa ಅನ್ನು ಸುಧಾರಿಸುತ್ತದೆ; xhigh ನಲ್ಲಿ Perplexity 0.447 ಸಾಫ್ಟ್ F1 ಮತ್ತು 0.224 ಹಾರ್ಡ್ F1 ಅನ್ನು ತಲುಪುತ್ತದೆ. ಆದಾಗ್ಯೂ, ಹೆಚ್ಚಿನ ಪ್ರಯತ್ನವು ಏಕರೂಪವಾಗಿ ಉತ್ತಮವಾಗಿಲ್ಲ: OpenAI high ನಲ್ಲಿ ಗರಿಷ್ಠ ಮಟ್ಟವನ್ನು ತಲುಪುತ್ತದೆ, ಮತ್ತು Parallel ನ ಹಾರ್ಡ್ F1 ultra2x ಮತ್ತು ultra4x ನಡುವೆ ಸ್ವಲ್ಪ ಕುಸಿಯುತ್ತದೆ. ವೆಚ್ಚವು ನಾಲ್ಕು ಆದೇಶಗಳಿಗಿಂತ ಹೆಚ್ಚು ವಿಸ್ತರಿಸುತ್ತದೆ, Exa low ಗೆ ಪ್ರತಿ ಕಾರ್ಯಕ್ಕೆ $0.03 ರಿಂದ Gemini max ಗೆ $324.83 ವರೆಗೆ ಇರುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

ವಿಸ್ತರಿಸಿ

ನಾಲ್ಕು ಸಂಶೋಧನೆಗಳು ಎದ್ದು ಕಾಣುತ್ತವೆ.

ಭಾಗಶಃ ಪ್ರಗತಿ ಸಾಮಾನ್ಯವಾಗಿದೆ; ಸಂಪೂರ್ಣ ವ್ಯಾಪ್ತಿಯು ಅಲ್ಲ. ಪ್ರತಿ ಸಿಸ್ಟಮ್‌ಗೆ ಸಾಫ್ಟ್ ಮರುಕಳಿಸುವಿಕೆಯು ಸಾಫ್ಟ್ ನಿಖರತೆಗಿಂತ ಕಡಿಮೆಯಿರುತ್ತದೆ, ಅಂದರೆ ವಿನಂತಿಸಿದ ಸಂಪೂರ್ಣ ಪರಿಮಾಣವು ಛೇದಕ್ಕೆ (denominator) ಪ್ರವೇಶಿಸಿದ ಒಮ್ಮೆ ಕಾರ್ಯಕ್ಷಮತೆ ಕುಸಿಯುತ್ತದೆ. Perplexity 0.389 ನಿಖರತೆಯಿಂದ 0.357 ಮರುಕಳಿಸುವಿಕೆಯನ್ನು ಉಳಿಸಿಕೊಳ್ಳುತ್ತದೆ, ಇದು ಅತ್ಯಂತ ಚಿಕ್ಕ ಅಂತರವಾಗಿದೆ; ಆಂಥ್ರೋಪಿಕ್ 0.354 ರಿಂದ 0.222 ಕ್ಕೆ ಕುಸಿಯುತ್ತದೆ. ಸಾಫ್ಟ್-ಟು-ಹಾರ್ಡ್ ಪರಿವರ್ತನೆಯು ಇನ್ನೂ ಕಠಿಣವಾಗಿದೆ. Perplexity 0.363 ಸಾಫ್ಟ್ F1 ನಿಂದ 0.133 ಹಾರ್ಡ್ F1 ಗೆ ಕುಸಿಯುತ್ತದೆ, ಮತ್ತು ಆಂಥ್ರೋಪಿಕ್ 0.249 ರಿಂದ 0.072 ಕ್ಕೆ ಕುಸಿಯುತ್ತದೆ. ಅತ್ಯುತ್ತಮ ಹಾರ್ಡ್ ನಿಖರತೆ 0.150 ಮತ್ತು ಅತ್ಯುತ್ತಮ ಹಾರ್ಡ್ ಮರುಕಳಿಸುವಿಕೆ 0.134 ಆಗಿದೆ: ನಾಯಕ ಕೂಡ ತಾನು ಸಲ್ಲಿಸುವ ಪ್ರತಿ ಏಳು ಸದಸ್ಯರಲ್ಲಿ ಒಬ್ಬರಿಗೆ ಮತ್ತು ಕಾರ್ಯವು ಕೇಳುವ ಪ್ರತಿ ಏಳು ಸದಸ್ಯರಲ್ಲಿ ಒಬ್ಬರಿಗೆ ಮಾತ್ರ ಸಂಪೂರ್ಣ ಕ್ರೆಡಿಟ್ ಅನ್ನು ಗಳಿಸುತ್ತಾನೆ.

ಪ್ರಮಾಣವು ಸಮಸ್ಯೆಯನ್ನು ಸಂಯೋಜಿಸುತ್ತದೆ. ಚಿಕ್ಕದರಿಂದ ದೊಡ್ಡ ಗುರಿ-ಪರಿಮಾಣದ ಬಿನ್ ವರೆಗೆ, Perplexity ನ ಹಾರ್ಡ್ ನಿಖರತೆಯು 0.235 ರಿಂದ 0.096 ಕ್ಕೆ ಕುಸಿಯುತ್ತದೆ ಮತ್ತು ಅದರ ಹಾರ್ಡ್ ಮರುಕಳಿಸುವಿಕೆಯು 0.219 ರಿಂದ 0.079 ಕ್ಕೆ ಕುಸಿಯುತ್ತದೆ. ಆಂಥ್ರೋಪಿಕ್ 0.205 ರಿಂದ 0.113 ಕ್ಕೆ ಮತ್ತು 0.127 ರಿಂದ 0.042 ಕ್ಕೆ ಕುಸಿಯುತ್ತದೆ; OpenAI 0.109 ರಿಂದ 0.034 ಕ್ಕೆ ಮತ್ತು 0.102 ರಿಂದ 0.016 ಕ್ಕೆ ಕುಸಿಯುತ್ತದೆ. ಮರುಕಳಿಸುವಿಕೆಯು ಸಾಮಾನ್ಯವಾಗಿ ನಿಖರತೆಗಿಂತ ವೇಗವಾಗಿ ಕುಸಿಯುತ್ತದೆ: ವಿನಂತಿಸಿದ ಸೆಟ್ ಅನ್ನು ಕಡಿಮೆ ಮತ್ತು ಕಡಿಮೆ ಕವರ್ ಮಾಡುವಾಗ ಸಿಸ್ಟಮ್ ಸಂಪೂರ್ಣ ಸದಸ್ಯರ ಸಣ್ಣ ಪಾಕೆಟ್ ಅನ್ನು ಇರಿಸಿಕೊಳ್ಳಬಹುದು.

ಆಳವಾದ ಶ್ರೇಣಿಗಳು ಇನ್ನೂ ಕಠಿಣವಾಗಿವೆ. ಮಧ್ಯಂತರ ಕೀ ಇಲ್ಲದೆ ಇರುವುದಕ್ಕಿಂತ ಮೂರು ಅಥವಾ ಹೆಚ್ಚಿನ ಕೀಗಳಿಗೆ ಹೋಗುವುದರಿಂದ, Perplexity ನ ಹಾರ್ಡ್ ನಿಖರತೆಯು 0.392 ರಿಂದ 0.019 ಕ್ಕೆ ಕುಸಿಯುತ್ತದೆ ಮತ್ತು ಹಾರ್ಡ್ ಮರುಕಳಿಸುವಿಕೆಯು 0.378 ರಿಂದ 0.017 ಕ್ಕೆ ಕುಸಿಯುತ್ತದೆ; ಆಂಥ್ರೋಪಿಕ್ 0.311 ರಿಂದ 0.049 ಕ್ಕೆ ಮತ್ತು 0.229 ರಿಂದ 0.022 ಕ್ಕೆ ಕುಸಿಯುತ್ತದೆ; OpenAI 0.136 ರಿಂದ 0.012 ಕ್ಕೆ ಮತ್ತು 0.120 ರಿಂದ 0.011 ಕ್ಕೆ ಕುಸಿಯುತ್ತದೆ. ಪ್ರತಿ ಸೇರಿಸಲಾದ ಶಾಖೆಯು ಸದಸ್ಯರು ಆಲ್-ಅರ್-ನಥಿಂಗ್ ಹಾರ್ಡ್ ಸ್ಕೋರ್ ಅನ್ನು ತಪ್ಪಿಸಿಕೊಳ್ಳುವ ಮತ್ತೊಂದು ಸ್ಥಳವನ್ನು ಸೃಷ್ಟಿಸುತ್ತದೆ. ವೆಚ್ಚ ಮತ್ತು ಸುಪ್ತತೆಯು ಸಾಮಾನ್ಯ ಮೊನೊಟಾನಿಕ್ ಮಾದರಿಯನ್ನು ಅನುಸರಿಸುವುದಿಲ್ಲ.

ವಿಸ್ತರಿಸಿ

ಗುಣಮಟ್ಟವನ್ನು ನಿರ್ಣಯಿಸುವ ಮೊದಲುಲೇ, ಅನ್ವೇಷಣೆ ಮೊದಲ ರಚನಾತ್ಮಕ bottleneck ಆಗಿದೆ. raw, pre-collapse ಎಣಿಕೆಗಳನ್ನು ಮಾತ್ರ ನೋಡಿದರೆ, ಸರಾಸರಿ top-level ಅನ್ವೇಷಣೆ ಪೂರ್ಣತೆ 0.611 ರಿಂದ 0.951 ವರೆಗೆ ಇರುತ್ತದೆ. conditional ಸಮೃದ್ಧೀಕರಣ 0.767–0.967 ನಲ್ಲಿ ಇನ್ನಷ್ಟು ಬಲವಾಗಿದೆ, ಮತ್ತು terminal evidence-slot ಪೂರ್ಣತೆ ಸದಸ್ಯ ಮತ್ತು ಅದರ ಸಮೃದ್ಧೀಕರಣ ಮಾರ್ಗ ಅಸ್ತಿತ್ವದಲ್ಲಿರುವಾಗ 0.979–0.994 ತಲುಪುತ್ತದೆ. Perplexity ಅನ್ವೇಷಣದಲ್ಲಿ 0.951 ಮತ್ತು ಸಮೃದ್ಧೀಕರಣದಲ್ಲಿ 0.967 ಮೂಲಕ ಮುಂಚೂಣಿಯಲ್ಲಿದೆ, ಆದರೆ OpenAI terminal evidence slots ನಲ್ಲಿ 0.994 ಮೂಲಕ ಸ್ವಲ್ಪ ಹೆಚ್ಚಾಗಿದೆ, 0.991 ಗೆ ವಿರುದ್ಧವಾಗಿ. Duplicate collapse ಆರು ಸಂಪೂರ್ಣ ರನ್‌ಗಳಲ್ಲಿ count loss‌ನ ಕೇವಲ 0.017–0.205 ಶೇಕಡಾ ಅಂಕಗಳಿಗೆ ಕಾರಣವಾಗುತ್ತದೆ, ಆದ್ದರಿಂದ identity merging ಅಲ್ಲ, under-delivery ಅಗ್ರಿಗೇಟ್ ವಿವರಣೆಗಾಗಿ ಮುಖ್ಯ ಕಾರಣ. ಅಂತಿಮ URL ಜೋಡಿಸುವ ಮೊದಲು ಅತಿ ದೊಡ್ಡ raw ರಚನಾತ್ಮಕ ನಷ್ಟಗಳು ಸಂಭವಿಸುತ್ತವೆ.

ವಿಸ್ತರಿಸಿ

ಬಳಕೆ ಮಾಡಬಹುದಾದ ಪುಟವನ್ನು ಕಂಡುಹಿಡಿಯುವುದು ಸಾಮಾನ್ಯವಾಗಿ ಸುಲಭ; ಸಂಪೂರ್ಣ ಸಾಕ್ಷ್ಯವನ್ನು ಕಂಡುಹಿಡಿಯುವುದು ಕಷ್ಟ. ಐದು ಸಿಸ್ಟಮ್‌ಗಳಿಗೆ, ಸಲ್ಲಿಸಿದ ಪುಟಗಳಲ್ಲಿ ಕೇವಲ 3.2%-8.9% ಬಳಕೆ ಮಾಡಲಾಗುವುದಿಲ್ಲ; OpenAI 23.1% ಹೊರಗುಳಿದಿದೆ. ಅಮಾನ್ಯವಾದ ಅಥವಾ ತಪ್ಪು-ಪ್ರಕಾರದ ದಾಖಲೆಗಳು ಸಹ 4.2%-17.4% ನಲ್ಲಿ ತುಲನಾತ್ಮಕವಾಗಿ ಅಪರೂಪ. ಪ್ರಮುಖ ನಷ್ಟಗಳು ಮುಂದೆ ಬರುತ್ತವೆ: ಸಲ್ಲಿಸಿದ ಪುಟಗಳಲ್ಲಿ 33.6%-68.3% ಕನಿಷ್ಠ ಒಂದು ಗಂಭೀರ ಕಾರ್ಯ ಅವಶ್ಯಕತೆಯಲ್ಲಿ ವಿಫಲಗೊಳ್ಳುತ್ತವೆ, ಮತ್ತು ಸಲ್ಲಿಸಿದ ತುಣುಕುಗಳಲ್ಲಿ 57.5%-86.6% ದಾಖಲೆಯು ಕ್ಲೈಮ್ ಮಾಡುವ ಎಲ್ಲವನ್ನೂ ಬೆಂಬಲಿಸುವಲ್ಲಿ ವಿಫಲಗೊಳ್ಳುತ್ತವೆ. Perplexity ನ ದರಗಳು 41.4% ಮತ್ತು 57.5% ಆಗಿವೆ. ಪುಟವು ಪ್ರತಿಯೊಂದು ಗಂಭೀರ ಅವಶ್ಯಕತೆಯನ್ನು ಪೂರೈಸುತ್ತದೆಯೇ ಎಂದು ಮಾತ್ರ ಕೇಳುವ ರಿಟ್ರೈವಲ್-ಮಾತ್ರ ಪರಿಶೀಲನೆಯ ಅಡಿಯಲ್ಲಿ ಅದರ ಸಾಫ್ಟ್ F1 0.531 ರಿಂದ, ಸಾರ್ವತ್ರಿಕ ಪರಿಶೀಲನೆಗಳು, ಕಾರ್ಯ-ನಿರ್ದಿಷ್ಟ ಸಿಂಧುತ್ವ ಮತ್ತು ಸಂಪೂರ್ಣ ತುಣುಕು ಬೆಂಬಲವನ್ನು ಸಹ ಅಗತ್ಯವಿರುವ ಪೂರ್ಣ ತೀರ್ಪಿನ ಅಡಿಯಲ್ಲಿ 0.363 ಕ್ಕೆ ಕುಸಿಯುತ್ತದೆ. ಹಾರ್ಡ್ F1 ಕೂಡ 0.245 ರಿಂದ 0.133 ಕ್ಕೆ ಕುಸಿಯುತ್ತದೆ. ಕಷ್ಟಕರವಾದ ಭಾಗವು ಕೇವಲ ಸಮಂಜಸವಾದ ಪುಟವನ್ನು ತಲುಪುವುದಲ್ಲ; ಆ ಪುಟವನ್ನು ಸಂಪೂರ್ಣ ಕ್ಲೈಮ್‌ಗೆ ಸಾಕಷ್ಟು ಸಾಕ್ಷ್ಯವನ್ನಾಗಿ ಪರಿವರ್ತಿಸುವುದು.

ವಿಸ್ತರಿಸಿ

Search as Code ಈ ಕಾರ್ಯದ ಆಕಾರಕ್ಕೆ ಚೆಂದವಾಗಿ ಹೊಂದಿಕೆಯಾಗುತ್ತದೆ. ಮಾದರಿಯು ರಿಟ್ರೈವಲ್, ಫಿಲ್ಟರಿಂಗ್, ಫ್ಯಾನ್-ಔಟ್, ರೆಂಡರಿಂಗ್, ಜೋನ್‌ಗಳು, ಡಿಡೂಪ್ಲಿಕೇಶನ್ ಮತ್ತು ಸ್ಟಾಪಿಂಗ್ ಲಾಜಿಕ್ ಅನ್ನು ಪ್ರೋಗ್ರಾಂ ಆಗಿ ವ್ಯಕ್ತಪಡಿಸಬಹುದು, ಆದರೆ ನಿರ್ಣಾಯಕ ಕಂಪ್ಯೂಟ್ ಮಾದರಿಯ ಸಂದರ್ಭದ ಹೊರಗೆ ಪುನರಾವರ್ತಿತ ಕಾರ್ಯಾಚರಣೆಗಳನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ. ಆ ಪ್ರೊಫೈಲ್ Perplexity ನ ಬಲವಾದ ಬ್ರೆಡ್ತ್ ರಿಟೆನ್ಶನ್ ಮತ್ತು ತುಣುಕು ನಿರ್ಮಾಣದೊಂದಿಗೆ ಸ್ಥಿರವಾಗಿರುತ್ತದೆ, ಆದರೂ ಇದು ಪ್ರತಿ ಪದರದಲ್ಲೂ ಮುಂಚೂಣಿಯಲ್ಲಿಲ್ಲ: ಆಂಥ್ರೋಪಿಕ್ ಅತ್ಯಂತ ಕಡಿಮೆ ಪುಟ-ಅವಶ್ಯಕತೆ ವೈಫಲ್ಯದ ದರವನ್ನು ಹೊಂದಿದೆ.

ಮುಂದೇನು

WANDR ಒಂದೇ leaderboard score ಕ್ಕಿಂತ ಹೆಚ್ಚನ್ನು ಒದಗಿಸುತ್ತದೆ. ಅದರ ಸಾಮಾನ್ಯ ಕಾರ್ಯ ರಚನೆ ಮತ್ತು semi-automated pipeline ವಿಭಿನ್ನ, ಹೆಚ್ಚಿನ-ಪ್ರಮಾಣದ task generation ಅನ್ನು ಬೆಂಬಲಿಸುತ್ತವೆ, ಮತ್ತು ಪ್ರತಿ ದಾಖಲೆಯ verdicts ಹಾಗೂ hierarchy-level scores ಒಂದು run ಎಲ್ಲಿ ವಿಫಲವಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತವೆ: discovery, enrichment, identity handling, semantic qualification, ಅಥವಾ evidence construction. ಬಿಡುಗಡೆಗೊಂಡ tasks, verifier, ಮತ್ತು structural diagnostics comprehensive search systems ಅನ್ನು ಸುಧಾರಿಸಲು ಹಾಗೂ ಆ ಲಾಭಗಳು scale ನಲ್ಲಿ ಮುಂದುವರಿಯುತ್ತವೆಯೇ ಎಂದು ಪರೀಕ್ಷಿಸಲು ಒಂದು ಆಧಾರ ಒದಗಿಸುತ್ತವೆ.

ಅದೇ ರಚನೆಯು WANDR ಅನ್ನು ಬಲವರ್ಧನೆಯ ಕಲಿಕೆಗಾಗಿ (reinforcement learning) ಉಪಯುಕ್ತವಾಗಿಸಬಹುದು. ಒಂದೇ ವಿರಳ ಟರ್ಮಿನಲ್ ಪ್ರತಿಫಲವನ್ನು ಅವಲಂಬಿಸುವ ಬದಲು, ತರಬೇತುದಾರ ದಾಖಲೆ- ಮತ್ತು ಶಾಖೆ-ಮಟ್ಟದ ನಿರ್ಣಯಗಳನ್ನು ಬಳಸಬಹುದು, ಅನ್ವೇಷಣೆ ಮತ್ತು ಪುಷ್ಟೀಕರಣ ಪ್ರಗತಿಗೆ ಭಾಗಶಃ ಕ್ರೆಡಿಟ್‌ಗಳನ್ನು ನಿಯೋಜಿಸಬಹುದು ಮತ್ತು ಕಾಲಾನಂತರದಲ್ಲಿ ಅಗತ್ಯವಿರುವ ಎಣಿಕೆಗಳನ್ನು ಹೆಚ್ಚಿಸುವ ಮೂಲಕ ಪಠ್ಯಕ್ರಮವನ್ನು ನಿರ್ಮಿಸಬಹುದು. ಪೈಪ್‌ಲೈನ್ ಚಿನ್ನದ ಉತ್ತರಗಳನ್ನು ಎಣಿಕೆ ಮಾಡದೆ ಡೊಮೇನ್‌ಗಳು, ಶ್ರೇಣಿ ಆಕಾರಗಳು, ಸಾಕ್ಷ್ಯ ನಿಯಮಗಳು ಮತ್ತು ಬ್ರೆಡ್ತ್-ಡೆಪ್ತ್ ಸೆಟ್ಟಿಂಗ್‌ಗಳಲ್ಲಿ ಹೋಲ್ಡ್-ಔಟ್ ಸಿಬ್ಲಿಂಗ್ ಕಾರ್ಯಗಳನ್ನು ಉತ್ಪಾದಿಸಬಹುದು. ಇದು ಸರಿಯಾದ ಸತ್ಯಗಳನ್ನು ಕಂಡುಹಿಡಿಯಲು ಮಾತ್ರವಲ್ಲದೆ, ವ್ಯಾಪ್ತಿಯನ್ನು ಯೋಜಿಸಲು, ಕಾಣೆಯಾದ ಶಾಖೆಗಳನ್ನು ಪತ್ತೆಹಚ್ಚಲು ಮತ್ತು ನಿಲ್ಲಿಸುವ ಮೊದಲು ಚೇತರಿಸಿಕೊಳ್ಳಲು ಏಜೆಂಟ್‌ಗಳಿಗೆ ತರಬೇತಿ ನೀಡುವ ಹಾದಿಯನ್ನು ಸೃಷ್ಟಿಸುತ್ತದೆ.

ಬೆಂಚ್‌ಮಾರ್ಕ್ ಕಾರ್ಯಗಳು, ಮೌಲ್ಯಮಾಪನ ಹಾರ್ನೆಸ್ ಮತ್ತು ಪೂರ್ಣ ತಾಂತ್ರಿಕ ವರದಿಯು GitHub ನಲ್ಲಿ ಲಭ್ಯವಿದೆ.

ಉಲ್ಲೇಖ

@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}