DRACO ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನೊಂದಿಗೆ ವೈಲ್ಡ್‌ನಲ್ಲಿ ಆಳಗಿನ ಸಂಶೋಧನೆ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು

ಇಂದು, ನಾವು ಡೀಪ್ ರಿಸರ್ಚ್ ಅಕ್ಯುರಸಿ, ಕಂಪ್ಲೀಟ್‌ನೆಸ್ ಮತ್ತು ಆಬ್ಜೆಕ್ಟಿವಿಟಿ (DRACO) ಬೆಂಚ್‌ಮಾರ್ಕ್ ಅನ್ನು ಬಿಡುಗಡೆ ಮಾಡುತ್ತಿದ್ದೇವೆ, ಇದು ಸಂಕೀರ್ಣ ಸಂಶೋಧನಾ ಕಾರ್ಯಗಳಿಗಾಗಿ ಬಳಕೆದಾರರು ವಾಸ್ತವವಾಗಿ AI ಅನ್ನು ಹೇಗೆ ಬಳಸುತ್ತಾರೆ ಎಂಬುದರ ಆಧಾರದ ಮೇಲೆ ಆಳಗಿನ ಸಂಶೋಧನೆ ಏಜೆಂಟ್‌ಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಒಂದು ಮುಕ್ತ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಆಗಿದೆ. DRACO ಅನ್ನು ಓಪನ್ ಸೋರ್ಸ್ ಮಾಡುವ ಮೂಲಕ, ನೈಜ ಬಳಕೆದಾರರ ಅಗತ್ಯಗಳಿಗೆ ಉತ್ತಮವಾಗಿ ಸೇವೆ ಸಲ್ಲಿಸುವ ಸಂಶೋಧನಾ ಸಾಧನಗಳನ್ನು ನಿರ್ಮಿಸಲು ವಿಶಾಲವಾದ AI ಸಮುದಾಯಕ್ಕೆ ಸಹಾಯ ಮಾಡುವ ಗುರಿಯನ್ನು ನಾವು ಹೊಂದಿದ್ದೇವೆ.

DRACO ಸಿಂಥೆಟಿಕ್ ಕಾರ್ಯಗಳನ್ನು ಪರಿಹರಿಸುವುದು ಮತ್ತು ಅಧಿಕೃತ ಸಂಶೋಧನಾ ಅಗತ್ಯಗಳನ್ನು ಪೂರೈಸುವುದರ ನಡುವಿನ ಅಂತರವನ್ನು ಎತ್ತಿ ತೋರಿಸುತ್ತದೆ. ಮೌಲ್ಯಮಾಪನ ಹಾರ್ನೆಸ್ ಮಾದರಿ ಅಜ್ಞಾತವಾಗಿದೆ: ಬಲವಾದ ಏಜೆಂಟಿಕ್ LLM ಗಳು ಹೊರಹೊಮ್ಮುತ್ತಿದ್ದಂತೆ, ನಾವು ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ಮರುಪ್ರಾರಂಭಿಸುತ್ತೇವೆ ಮತ್ತು ನವೀಕರಿಸಿದ ಫಲಿತಾಂಶಗಳನ್ನು ಪ್ರಕಟಿಸುತ್ತೇವೆ. ಮತ್ತು ನಾವು Perplexity.ai ನಲ್ಲಿ ಆಳಗಿನ ಸಂಶೋಧನೆ ಗೆ ಸುಧಾರಣೆಗಳನ್ನು ಕಳುಹಿಸಿದಂತೆ, ಬಳಕೆದಾರರು ಆ ಲಾಭಗಳನ್ನು ಉತ್ಪನ್ನದ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಬೆಂಚ್‌ಮಾರ್ಕ್ ಸ್ಕೋರುಗಳೆರಡರಲ್ಲೂ ಪ್ರತಿಫಲಿಸುವುದನ್ನು ನೋಡುತ್ತಾರೆ.

ಅತ್ಯಾಧುನಿಕ ಆಳಗಿನ ಸಂಶೋಧನೆ

Perplexity ಆಳಗಿನ ಸಂಶೋಧನೆ Google DeepMind ನ DeepSearchQA ಮತ್ತು Scale AI ನ ResearchRubrics ಸೇರಿದಂತೆ ಪ್ರಮುಖ ಬಾಹ್ಯ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಲ್ಲಿ ಅತ್ಯಾಧುನಿಕ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸಾಧಿಸುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

ವಿಸ್ತರಿಸಿ

ಈ ಫಲಿತಾಂಶಗಳು ಲಭ್ಯವಿರುವ ಅತ್ಯುತ್ತಮ ಮಾದರಿಗಳನ್ನು Perplexity ಯ ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿ ನಿರ್ಮಿಸಲಾದ ಏಜೆಂಟಿಕ್ ಸಾಮರ್ಥ್ಯಗಳೊಂದಿಗೆ ಸಂಯೋಜಿಸುವುದರಿಂದ ಉದ್ಭವಿಸುತ್ತವೆ: ಸ್ವಾಮ್ಯದ ಹುಡುಕಾಟ ಉಪಕರಣಗಳು, ಬ್ರೌಸರ್ ಮೂಲಸೌಕರ್ಯ ಮತ್ತು ಕೋಡ್ ಎಕ್ಸಿಕ್ಯೂಷನ್. ಒಟ್ಟಾರೆಯಾಗಿ, ಇವು ನೈಜ-ಪ್ರಪಂಚದ ಮಾಹಿತಿಯನ್ನು ಮರುಪಡೆಯಲು, ಸಂಶ್ಲೇಷಿಸಲು ಮತ್ತು ತಾರ್ಕಿಕವಾಗಿ ವಿಶ್ಲೇಷಿಸಲು ಎಂಡ್-ಟು-ಎಂಡ್ ಆಪ್ಟಿಮೈಸ್ ಮಾಡಲಾದ ವ್ಯವಸ್ಥೆಯನ್ನು ರೂಪಿಸುತ್ತವೆ.

ಈ ಉತ್ಪನ್ನವನ್ನು ನಿರ್ಮಿಸುವ ಪ್ರಕ್ರಿಯೆಯಲ್ಲಿ, ಬಾಹ್ಯ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳು ಮಾದರಿಗಳನ್ನು ಹೋಲಿಸಲು ಉಪಯುಕ್ತವಾಗಿದ್ದರೂ, ನೈಜ ಬಳಕೆದಾರರು ಪ್ರತಿದಿನ ಕೇಳುವ ಬಹುಮುಖಿ ಪ್ರಶ್ನೆಗಳು ಮತ್ತು ಸಂಶ್ಲೇಷಣೆಯ ಬೇಡಿಕೆಗಳನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ಸೆರೆಹಿಡಿಯುವುದಿಲ್ಲ ಎಂದು ನಾವು ಅರಿತುಕೊಂಡೆವು. ಇಂದು, ನಾವು DRACO ಬೆಂಚ್‌ಮಾರ್ಕ್ ಅನ್ನು ಓಪನ್-ಸೋರ್ಸ್ ಮಾಡುತ್ತಿದ್ದೇವೆ, ಇದು ಹತ್ತು ಡೊಮೇನ್‌ಗಳಲ್ಲಿನ ಲಕ್ಷಾಂತರ ಪ್ರೊಡಕ್ಷನ್ ಕಾರ್ಯಗಳಿಂದ ಪ್ರೇರಿತವಾದ, ಜನರು ಆಳಗಿನ ಸಂಶೋಧನೆ ಅನ್ನು ವಾಸ್ತವವಾಗಿ ಹೇಗೆ ಬಳಸುತ್ತಾರೆ ಎಂಬುದರ ಮೇಲೆ ಆಧಾರಿತವಾದ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಆಗಿದೆ.

ವಿಸ್ತರಿಸಿ

ಪ್ರೊಡಕ್ಷನ್-ಆಧಾರಿತ ಮೌಲ್ಯಮಾಪನವು ಏಕೆ ಮುಖ್ಯವಾಗಿದೆ

ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಕಿರಿದಾದ ಕೌಶಲ್ಯಗಳನ್ನು ಪ್ರತ್ಯೇಕವಾಗಿ ಪರೀಕ್ಷಿಸುತ್ತವೆ: ಒಂದೇ ಸಂಗತಿಯನ್ನು ಮರುಪಡೆಯುವುದು, ಟ್ರಿವಿಯಾ ಪ್ರಶ್ನೆಗೆ ಉತ್ತರಿಸುವುದು ಅಥವಾ ಉತ್ತಮವಾಗಿ ವ್ಯಾಖ್ಯಾನಿಸಲಾದ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸುವುದು. ಆದರೆ ನೈಜ ಸಂಶೋಧನಾ ಪ್ರಶ್ನೆಗಳಿಗೆ ಮೂಲಗಳಾದ್ಯಂತ ಸಂಶ್ಲೇಷಣೆ, ಸೂಕ್ಷ್ಮವಾದ ವಿಶ್ಲೇಷಣೆ ಮತ್ತು ಕಾರ್ಯಸಾಧ್ಯವಾದ ಮಾರ್ಗದರ್ಶನ ಅಗತ್ಯವಿರುತ್ತದೆ, ಜೊತೆಗೆ ವಾಸ್ತವಿಕ ನಿಖರತೆ ಮತ್ತು ಸರಿಯಾದ ಉಲ್ಲೇಖವನ್ನು ಕಾಪಾಡಿಕೊಳ್ಳಲಾಗುತ್ತದೆ.

DRACO ಬೆಂಚ್‌ಮಾರ್ಕ್ ಶೈಕ್ಷಣಿಕ (Academic), ಹಣಕಾಸು (Finance), ಕಾನೂನು (Law), ವೈದ್ಯಕೀಯ (Medicine), ತಂತ್ರಜ್ಞಾನ (Technology), ಸಾಮಾನ್ಯ জ্ঞান (General Knowledge), UX ವಿನ್ಯಾಸ (UX Design), ವೈಯಕ್ತೀಕರಿಸಿದ ಸಹಾಯಕ (Personalized Assistant), ಶಾಪಿಂಗ್/ಉತ್ಪನ್ನ ಹೋಲಿಕೆ (Shopping/Product Comparison) ಮತ್ತು ಹುಲ್ಲಿನ ರಾಶಿಯಲ್ಲಿ ಸೂಜಿ (Needle in a Haystack) ಸೇರಿದಂತೆ 10 ಎಚ್ಚರಿಕೆಯಿಂದ ಸಂಗ್ರಹಿಸಲಾದ ಕಾರ್ಯಗಳನ್ನು ಒಳಗೊಂಡಿದೆ, ಪ್ರತಿಯೊಂದೂ ಸರಾಸರಿ ~40 ಮೌಲ್ಯಮಾಪನ ಮಾನದಂಡಗಳನ್ನು ಹೊಂದಿರುವ ತಜ್ಞರ ರಚಿತ ರೂಬ್ರಿಕ್‌ಗಳೊಂದಿಗೆ ಜೋಡಿಸಲ್ಪಟ್ಟಿದೆ. ಈ ಕಾರ್ಯಗಳು Perplexity ಆಳಗಿನ ಸಂಶೋಧನೆ ಮೇಲಿನ ನೈಜ ಬಳಕೆದಾರರ ವಿನಂತಿಗಳಿಂದ ಹುಟ್ಟಿಕೊಂಡಿವೆ, ಲಕ್ಷಾಂತರ ಪ್ರೊಡಕ್ಷನ್ ವಿನಂತಿಗಳಿಂದ ಮಾದರಿ ಮಾಡಲ್ಪಟ್ಟಿವೆ ಮತ್ತು ನಂತರ ವ್ಯವಸ್ಥಿತವಾಗಿ ಮರುರೂಪಿಸಲ್ಪಟ್ಟಿವೆ, ವರ್ಧಿಸಲ್ಪಟ್ಟಿವೆ ಮತ್ತು ಐದು ಹಂತದ ಪೈಪ್‌ಲೈನ್ ಮೂಲಕ ಫಿಲ್ಟರ್ ಮಾಡಲ್ಪಟ್ಟಿವೆ: ನಾವು ವೈಯಕ್ತಿಕವಾಗಿ ಗುರುತಿಸಬಹುದಾದ ಮಾಹಿತಿಯನ್ನು ತೆಗೆದುಹಾಕುತ್ತೇವೆ, ಸಂದರ್ಭ ಮತ್ತು ವ್ಯಾಪ್ತಿಯನ್ನು ಸೇರಿಸುತ್ತೇವೆ, ವಸ್ತುನಿಷ್ಠತೆ ಮತ್ತು ತೊಂದರೆಗಾಗಿ ಫಿಲ್ಟರ್ ಮಾಡುತ್ತೇವೆ ಮತ್ತು ಡೊಮೇನ್ ತಜ್ಞರಿಂದ ಅಂತಿಮ ಪರಿಶೀಲನೆಯನ್ನು ನಡೆಸುತ್ತೇವೆ. ಇದರ ಫಲಿತಾಂಶವು ಸಿಂಥೆಟಿಕ್ ವ್ಯಾಯಾಮಗಳು ಅಥವಾ ತಜ್ಞರ ಸಂಗ್ರಹಿಸಿದ ಕಾರ್ಯಗಳಿಗಿಂತ ಅಧಿಕೃತ ಬಳಕೆದಾರರ ಅಗತ್ಯಗಳನ್ನು ಪ್ರತಿಬಿಂಬಿಸುವ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಆಗಿದೆ.

DRACO ಬೆಂಚ್‌ಮಾರ್ಕ್ ಹೇಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ

ವಿಸ್ತರಿಸಿ

ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನಲ್ಲಿರುವ ಪ್ರತಿಯೊಂದು ಕಾರ್ಯವು ಕಟ್ಟುನಿಟ್ಟಾದ ರೂಬ್ರಿಕ್ ಅಭಿವೃದ್ಧಿ ಪ್ರಕ್ರಿಯೆಯ ಮೂಲಕ ಸಾಗಿದೆ. Perplexity ಡೇಟಾ ಉತ್ಪಾದನಾ ಪಾಲುದಾರರಾದ ದಿ ಎಲ್‌ಎಲ್‌ಎಂ ಡೇಟಾ ಕಂಪನಿಯೊಂದಿಗೆ (The LLM Data Company) ಕೆಲಸ ಮಾಡಿ, ಸೆಟ್‌ಗಾಗಿ ಮೌಲ್ಯಮಾಪನ ರೂಬ್ರಿಕ್‌ಗಳನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಿತು ಮತ್ತು ಪ್ರೆಶರ್-ಟೆಸ್ಟ್ ಮಾಡಿತು. ವಿಷಯ ತಜ್ಞರು LLM ಟೂಲಿಂಗ್‌ನ ಸಹಾಯದಿಂದ ಆರಂಭಿಕ ರೂಬ್ರಿಕ್‌ಗಳನ್ನು ಡ್ರಾಫ್ಟ್ ಮಾಡಿದರು, ನಂತರ ಪೀರ್ ರಿವ್ಯೂ ಮತ್ತು ಮಾಪನಾಂಕ ನಿರ್ಣಯದ ಮೂಲಕ ಪುನರಾವರ್ತನೆ ಮಾಡಿದರು. ಕಳಪೆಯಾಗಿ ನಿರ್ದಿಷ್ಟಪಡಿಸಿದ ಮತ್ತು ಅತಿಯಾಗಿ ಉದಾರವಾದ ರೂಬ್ರಿಕ್‌ಗಳನ್ನು ಪರಿಷ್ಕರಣೆಗಾಗಿ ಹಿಂದಿರುಗಿಸಲಾಯಿತು, ಈ ಪ್ರಕ್ರಿಯೆಯ ಮೂಲಕ ಸರಿಸುಮಾರು 45% ರೂಬ್ರಿಕ್‌ಗಳು অন্তত ಒಮ್ಮೆಯಾದರೂ ಪರಿಷ್ಕರಿಸಲ್ಪಟ್ಟವು. ಇದರ ಫಲಿತಾಂಶವು ಸಿಸ್ಟಮ್ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ನಿಜವಾಗಿಯೂ ಪ್ರತ್ಯೇಕಿಸುವ ಮೌಲ್ಯಮಾಪನ ಮಾನದಂಡಗಳಾಗಿವೆ.

ರೂಬ್ರಿಕ್‌ಗಳು ನಾಲ್ಕು ಆಯಾಮಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತವೆ: ವಾಸ್ತವಿಕ ನಿಖರತೆ (ಎಲ್ಲಾ ಮಾನದಂಡಗಳಲ್ಲಿನ ಸುಮಾರು ಅರ್ಧ), ವಿಶ್ಲೇಷಣೆಯ ವ್ಯಾಪ್ತಿ ಮತ್ತು ಆಳ, ಪ್ರಸ್ತುತಿಯ ಗುಣಮಟ್ಟ, ಮತ್ತು ಪ್ರಾಥಮಿಕ ಮೂಲಗಳ ಉಲ್ಲೇಖ. ಪ್ರತಿ ಮಾನದಂಡಕ್ಕೂ ಅದರ ಮಹತ್ವವನ್ನು ಪ್ರತಿಬಿಂಬಿಸುವ ತೂಕ ಇರುತ್ತದೆ, ಮತ್ತು ಕೆಲವು ಮಾನದಂಡಗಳು ಋಣಾತ್ಮಕವಾಗಿದ್ದು, ಹಲ್ಲುಸಿನೇಷನ್‌ಗಳು ಅಥವಾ ಬೆಂಬಲವಿಲ್ಲದ ಹೇಳಿಕೆಗಳಂತಹ ದೋಷಗಳನ್ನು ದಂಡಿಸುತ್ತವೆ.

ಪ್ರತಿ ಮಾನದಂಡವು ದ್ವಿಪಕ್ಷೀಯ ತೀರ್ಪನ್ನು ಸ್ವೀಕರಿಸುವ LLM-as-judge ಪ್ರೋಟೋಕಾಲ್ ಬಳಸಿ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಗ್ರೇಡ್ ಮಾಡಲಾಗುತ್ತದೆ. ಈ ವಿಧಾನವು ವಾಸ್ತವಿಕ ನಿಖರತೆಯ ಮೌಲ್ಯಮಾಪನಕ್ಕೆ ಸೂಕ್ತವಾಗಿದೆ ಏಕೆಂದರೆ ರೂಬ್ರಿಕ್‌ಗಳು ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳಿಂದ ಪಡೆದ ನೈಜ-ಪ್ರಪಂಚದ ಡೇಟಾದಲ್ಲಿ ನ್ಯಾಯಾಧೀಶರನ್ನು ನೆಲೆಗೊಳಿಸುತ್ತವೆ, ವ್ಯಕ್ತಿನಿಷ್ಠ ಮೌಲ್ಯಮಾಪನವನ್ನು ಪರಿಶೀಲಿಸಬಹುದಾದ ತಥ್ಯ-ಪರಿಶೀಲನೆಯಾಗಿ ಪರಿವರ್ತಿಸುತ್ತವೆ. ನಾವು ಮೂರು ನ್ಯಾಯಾಧೀಶ ಮಾದರಿಗಳಲ್ಲಿ ವಿಶ್ವಾಸಾರ್ಹತೆಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಿದ್ದೇವೆ ಮತ್ತು ಸಂಪೂರ್ಣ ಸ್ಕೋರುಗಳು ಬದಲಾಗುತ್ತಿದ್ದರೂ, ಸಾಪೇಕ್ಷ ಸಿಸ್ಟಮ್ ಶ್ರೇಣೀಕರಣಗಳು ಸ್ಥಿರವಾಗಿರುತ್ತವೆ ಎಂದು ಕಂಡುಕೊಂಡಿದ್ದೇವೆ.

ವಿಸ್ತರಿಸಿ

ಟೂಲ್‌ಸೆಟ್ ಮತ್ತು ಮೌಲ್ಯಮಾಪನ ಪರಿಸರ

ಕೋಡ್ ಎಕ್ಸಿಕ್ಯೂಷನ್ ಸ್ಯಾಂಡ್‌ಬಾಕ್ಸ್ ಮತ್ತು ಬ್ರೌಸರ್ ಸಾಮರ್ಥ್ಯಗಳು ಸೇರಿದಂತೆ ಸಂಪೂರ್ಣ ಸಂಶೋಧನಾ ಟೂಲ್‌ಸೆಟ್‌ಗೆ ಪ್ರವೇಶವನ್ನು ಹೊಂದಿರುವ ಏಜೆಂಟರನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಬೆಂಚ್‌ಮಾರ್ಕ್ ಅನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ.

ನಾವು ಏನು ಕಂಡುಕೊಂಡೆವು

ಡೊಮೇನ್ ಮೂಲಕ ಕಾರ್ಯಕ್ಷಮತೆ. ಪಾಸ್ ದರಗಳನ್ನು (ಭೇಟಿಯಾದ ಮೌಲ್ಯಮಾಪನ ಮಾನದಂಡಗಳ ಶೇಕಡಾವಾರು) ಅಳೆಯುವ ಮೂಲಕ ನಾವು 10 ಜ್ಞಾನ ಡೊಮೇನ್‌ಗಳಲ್ಲಿ ನಾಲ್ಕು ಆಳಗಿನ ಸಂಶೋಧನೆ ವ್ಯವಸ್ಥೆಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಿದ್ದೇವೆ. ಆಳಗಿನ ಸಂಶೋಧನೆ ಎಲ್ಲಾ ಡೊಮೇನ್‌ಗಳಲ್ಲಿ ಅತ್ಯಧಿಕ ಪಾಸ್ ದರಗಳನ್ನು ಸಾಧಿಸಿದೆ, ವಿಶೇಷವಾಗಿ ಕಾನೂನು (89.4%) ಮತ್ತು ಶೈಕ್ಷಣಿಕ (82.4%) ನಲ್ಲಿ ಬಲವಾದ ಕಾರ್ಯಕ್ಷಮತೆಯೊಂದಿಗೆ.

ವಿಸ್ತರಿಸಿ

ಬಳಕೆದಾರರಿಗೆ, ಇದರರ್ಥ ನೀವು ಕಾನೂನು ಸಂಕ್ಷಿಪ್ತತೆಯನ್ನು ಸಿದ್ಧಪಡಿಸುತ್ತಿರಲಿ, ಸಾಹಿತ್ಯ ವಿಮರ್ಶೆಯನ್ನು ನಡೆಸುತ್ತಿರಲಿ ಅಥವಾ ವೈದ್ಯಕೀಯ ಚಿಕಿತ್ಸೆಯ ಆಯ್ಕೆಗಳನ್ನು ಹೋಲಿಸುತ್ತಿರಲಿ ಹೆಚ್ಚು ವಿಶ್ವಾಸಾರ್ಹ ಉತ್ತರಗಳು ಸಿಗುತ್ತವೆ. ಸಂಕೀರ್ಣ ತಾರ್ಕಿಕ ಕಾರ್ಯಗಳಲ್ಲಿ ಕಾರ್ಯಕ್ಷಮತೆಯ ಅಂತರಗಳು ಗಣನೀಯವಾಗಿ ವಿಸ್ತರಿಸಲ್ಪಟ್ಟವು: ವೈಯಕ್ತೀಕರಿಸಿದ ಸಹಾಯಕ ಮತ್ತು ಹುಲ್ಲಿನ ರಾಶಿಯಲ್ಲಿ ಸೂಜಿ ದೃಶ್ಯಗಳಲ್ಲಿ, Perplexity ಕಡಿಮೆ ಸ್ಕೋರಿಂಗ್ ವ್ಯವಸ್ಥೆಯನ್ನು 20 ಕ್ಕಿಂತ ಹೆಚ್ಚು ಶೇಕಡಾವಾರು ಅಂಕಗಳಿಂದ ಮೀರಿಸಿದೆ. ಈ ಡೊಮೇನ್‌ಗಳು ವೈಯಕ್ತೀಕರಿಸಿದ ಶಿಫಾರಸುಗಳು ಮತ್ತು ದೊಡ್ಡ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳಲ್ಲಿ ಹೂತಿರುವ ನಿರ್ದಿಷ್ಟ ಸಂಗತಿಗಳನ್ನು ಹುಡುಕುವಂತಹ ನೈಜ ಬಳಕೆದಾರರ ಅಗತ್ಯಗಳನ್ನು ಪ್ರತಿಬಿಂಬಿಸುತ್ತವೆ.

ವಿಸ್ತರಿಸಿ

ಮೌಲ್ಯಮಾಪನ ಅಂಶದ ಮೂಲಕ ಕಾರ್ಯಕ್ಷಮತೆ. ನಾಲ್ಕು ಪ್ರಮುಖ ಮೌಲ್ಯಮಾಪನ ಆಯಾಮಗಳಲ್ಲಿ, ಆಳಗಿನ ಸಂಶೋಧನೆ ಮೂರರಲ್ಲಿ ಮುಂಚೂಣಿಯಲ್ಲಿದೆ: ವಾಸ್ತವಿಕ ನಿಖರತೆ, ವಿಶ್ಲೇಷಣೆಯ ವ್ಯಾಪ್ತಿ ಮತ್ತು ಆಳ, ಮತ್ತು ಉಲ್ಲೇಖದ ಗುಣಮಟ್ಟ. ನೀವು ಕ್ಲೈಂಟ್‌ಗೆ ಸಲಹೆ ನೀಡುತ್ತಿರಲಿ, ಹೂಡಿಕೆ ಮಾಡುತ್ತಿರಲಿ ಅಥವಾ ನಿಮ್ಮ ಹೆಸರನ್ನು ಹೊಂದಿರುವ ವರದಿಯನ್ನು ಬರೆಯುತ್ತಿರಲಿ, ನೈಜ ನಿರ್ಧಾರಗಳಿಗಾಗಿ ನಿಮ್ಮ ಸಂಶೋಧನೆಯನ್ನು ನೀವು ನಂಬಬೇಕಾದಾಗ ಇವು ಅತ್ಯಂತ ಮುಖ್ಯವಾದ ಆಯಾಮಗಳಾಗಿವೆ. ಪ್ರಸ್ತುತಿ ಗುಣಮಟ್ಟದ ಕುರಿತು Perplexity ಆಳಗಿನ ಸಂಶೋಧನೆ ಗೆ ಹೋಲಿಸಬಹುದಾದ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಕೇವಲ ಒಂದು ಇತರ ವ್ಯವಸ್ಥೆ ತೋರಿಸಿದೆ, ಇದು ಆಳಗಿನ ಸಂಶೋಧನೆ ನಲ್ಲಿನ ಕಠಿಣ ಸಮಸ್ಯೆಗಳು ಫಾರ್ಮ್ಯಾಟಿಂಗ್ ಬಗ್ಗೆ ಅಲ್ಲ ಆದರೆ ಸಂಗತಿಗಳನ್ನು ಸರಿಯಾಗಿ ಪಡೆಯುವುದು ಮತ್ತು ವಿಶ್ಲೇಷಣೆಯನ್ನು ಸಂಪೂರ್ಣಗೊಳಿಸುವುದು ಎಂಬುದನ್ನು ಸೂಚಿಸುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

ಗುಣಮಟ್ಟ ಮತ್ತು ದಕ್ಷತೆ. ಗಮನಾರ್ಹವಾಗಿ, ಉನ್ನತ ಕಾರ್ಯಕ್ಷಮತೆ ಹೊಂದಿರುವ ವ್ಯವಸ್ಥೆಯು ಕಡಿಮೆ ಸುಪ್ತತೆಯನ್ನು (latency) ಸಾಧಿಸಿದೆ (ಸ್ಪರ್ಧಾಕಿಗಳಿಗೆ 592 ರಿಂದ 1808 ಸೆಕೆಂಡುಗಳಿಗೆ ಹೋಲಿಸಿದರೆ 459.6 ಸೆಕೆಂಡುಗಳು). ಬಳಕೆದಾರರಿಗೆ, ಇದರರ್ಥ ನೀವು ಸಂಪೂರ್ಣ ಸಂಶೋಧನೆ ಮತ್ತು ತ್ವರಿತವಾಗಿ ಉತ್ತರಗಳನ್ನು ಪಡೆಯುವುದರ ನಡುವೆ ಆಯ್ಕೆ ಮಾಡಬೇಕಾಗಿಲ್ಲ. ಇದು ಲಂಬವಾಗಿ ಸಂಯೋಜಿತವಾದ, ಎಂಡ್ ಟು ಎಂಡ್ ಮೂಲಸೌಕರ್ಯದ ಅನುಕೂಲವನ್ನು ಪ್ರತಿಬಿಂಬಿಸುತ್ತದೆ: ಉತ್ತಮ ಹುಡುಕಾಟ¹ [ನಮ್ಮ ಹುಡುಕಾಟ api ಗೆ ಅಡಿಟಿಪ್ಪಣಿ ಲಿಂಕ್] ಮತ್ತು ಆಪ್ಟಿಮೈಸ್ಡ್ ಎಕ್ಸಿಕ್ಯೂಷನ್ ಪರಿಸರಗಳೊಂದಿಗೆ ಬ್ರೌಸರ್ ಏಕೀಕರಣವು ನೇರವಾಗಿ ವೇಗವಾದ, ಹೆಚ್ಚು ನಿಖರವಾದ ಸಂಶೋಧನೆಗೆ ಅನುವಾದಿಸುತ್ತದೆ.

ಮುಂದೇನು

Perplexity ನ ಆಳಗಿನ ಸಂಶೋಧನೆ ಹಾರ್ನೆಸ್ ಮಾದರಿ ಅಜ್ಞಾತವಾಗಿದೆ: ಬಲವಾದ ಏಜೆಂಟಿಕ್ LLM ಗಳು ಹೊರಹೊಮ್ಮುತ್ತಿದ್ದಂತೆ, ನಾವು ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ಮರುಪ್ರಾರಂಭಿಸುತ್ತೇವೆ ಮತ್ತು ನವೀಕರಿಸಿದ ಫಲಿತಾಂಶಗಳನ್ನು ಪ್ರಕಟಿಸುತ್ತೇವೆ. ಮತ್ತು ನಾವು Perplexity.ai ನಲ್ಲಿ ಆಳಗಿನ ಸಂಶೋಧನೆ ಗೆ ಸುಧಾರಣೆಗಳನ್ನು ಕಳುಹಿಸಿದಂತೆ, ಬಳಕೆದಾರರು ಆ ಲಾಭಗಳನ್ನು ಉತ್ಪನ್ನದ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಬೆಂಚ್‌ಮಾರ್ಕ್ ಸ್ಕೋರುಗಳೆರಡರಲ್ಲೂ ಪ್ರತಿಫಲಿಸುವುದನ್ನು ನೋಡುತ್ತಾರೆ.

ಬೆಂಚ್‌ಮಾರ್ಕ್ ಪ್ರಸ್ತುತ ಇಂಗ್ಲಿಷ್ ಅನ್ನು ಮಾತ್ರ ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತದೆ, ಹತ್ತು ಡೊಮೇನ್‌ಗಳಲ್ಲಿ ಏಕ ಟರ್ನ್ ಪರಸ್ಪರ ಕ್ರಿಯೆಗಳು. ಭವಿಷ್ಯದ ಪುನರಾವರ್ತನೆಗಳು ಭಾಷಾ ವೈವಿಧ್ಯತೆಯನ್ನು ವಿಸ್ತರಿಸುತ್ತವೆ, ಬಹು ಟರ್ನ್ ಮೌಲ್ಯಮಾಪನವನ್ನು ಸೇರಿಸುತ್ತವೆ ಮತ್ತು ಡೊಮೇನ್ ವ್ಯಾಪ್ತಿಯನ್ನು ವಿಶಾಲಗೊಳಿಸುತ್ತವೆ.

DRACO ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನೊಂದಿಗೆ ಉತ್ತಮ ಸಂಶೋಧನಾ ಏಜೆಂಟರನ್ನು ನಿರ್ಮಿಸಿ

DRACO ಬೆಂಚ್‌ಮಾರ್ಕ್ ಈಗ ಸಂಪೂರ್ಣವಾಗಿ ಮುಕ್ತ ಮೂಲವಾಗಿದೆ (open source). ಆಳಗಿನ ಸಂಶೋಧನೆ ವ್ಯವಸ್ಥೆಗಳನ್ನು ನಿರ್ಮಿಸುವ ಯಾವುದೇ ತಂಡವು ಸಿಂಥೆಟಿಕ್ ಶೈಕ್ಷಣಿಕ ಒಗಟುಗಳ ಬದಲಿಗೆ ನೈಜ ಜಗತ್ತಿನ ಸಂಶೋಧನಾ ಕಾರ್ಯಗಳ ವಿರುದ್ಧ ತಮ್ಮ ಮಾದರಿಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಬಹುದು. ನಾವು ಸಂಪೂರ್ಣ ಬೆಂಚ್‌ಮಾರ್ಕ್, ಎಲ್ಲಾ ರೂಬ್ರಿಕ್‌ಗಳು ಮತ್ತು ನ್ಯಾಯಾಧೀಶ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಬಿಡುಗಡೆ ಮಾಡುತ್ತಿದ್ದೇವೆ.

ಪದ್ಧತಿ ಮತ್ತು ವಿವರವಾದ ಫಲಿತಾಂಶಗಳ ಕುರಿತು ಇನ್ನಷ್ಟು ತಿಳಿದುಕೊಳ್ಳಲು, ಸಂಪೂರ್ಣ ತಾಂತ್ರಿಕ ವರದಿಯನ್ನು ಓದಿ: DRACO ಬೆಂಚ್‌ಮಾರ್ಕ್ ಮತ್ತು Hugging Face ನಲ್ಲಿ ಡಾಟಾಸೆಟ್ ಅನ್ನು ಅನ್ವೇಷಿಸಿ.

ಉಲ್ಲೇಖ

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}