AI-ಮೊದಲ ಹುಡುಕಾಟ API ಅನ್ನು ಆರ್ಕಿಟೆಕ್ಟಿಂಗ್ ಮತ್ತು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು

ಮಾಪಕವಾಗಿಸಬಹುದಾದ, AI-ಮೂಖಮುಖದ ಹುಡುಕಾಟ API ಅನ್ನು ನಿರ್ಮಿಸುವುದು ಮಾಹಿತಿ ಮರುಪಡೆಯುವಿಕೆ, AI ಮತ್ತು ಸಿಸ್ಟಮ್ ವಿನ್ಯಾಸದ ಛೇದಕದಲ್ಲಿ ಅನನ್ಯ ಸಂಶೋಧನಾ ಸವಾಲುಗಳನ್ನು ಒಡ್ಡುತ್ತದೆ. ಸೀಮಿತ ಡೇಟಾದ ಮೇಲೆ ಕಾರ್ಯನಿರ್ವಹಿಸುವ ಪರಂಪರೆಯ ಸೇವೆಗಳಿಗಿಂತ ಭಿನ್ನವಾಗಿ, ಹುಡುಕಾಟ API ಯು ಶತಕೋಟಿ ದಾಖಲೆಗಳನ್ನು ನಿರಂತರವಾಗಿ ಸೂಚಿಕೆ ಮಾಡಬೇಕು, ಭಾಷೆಗಳು ಮತ್ತು ಡೊಮೇನ್‌ಗಳಲ್ಲಿ ಪ್ರಶ್ನೆಯ ಉದ್ದೇಶವನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಬೇಕು ಮತ್ತು ಮಿಲಿಸೆಕೆಂಡ್‌ಗಳಲ್ಲಿ ಸಂಬಂಧಿತ ಫಲತಿಗಳನ್ನು ಮೇಲ್ಮೈಗೆ ತರಬೇಕು. AI ಏಜೆಂಟ್‌ಗಳ ಜಾಗದಲ್ಲಿ, AI ಮಾದರಿಗಳು ಅತ್ಯುತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವುದನ್ನು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ಮತ್ತು ಗರಿಷ್ಠ ನಿಖರವಾದ ಮಾಹಿತಿಯನ್ನು ಸಂಯೋಜಿಸಲು ಹುಡುಕಾಟ API ಯು ಡೆವಲಪರ್‌ಗಳ ಮಾದರಿಗಳಿಗೆ ಒದಗಿಸಲಾದ ಸಂದರ್ಭವನ್ನು ಎಚ್ಚರಿಕೆಯಿಂದ ಕ್ಯುರೇಟ್ ಮಾಡಬೇಕು. ಪರಿಣಾಮಕಾರಿ ಸಂದರ್ಭ ಎಂಜಿನಿಯರಿಂಗ್‌ಗೆ API ಯು ಡಾಕ್ಯುಮೆಂಟ್ ಮಟ್ಟದ ಪ್ರಸ್ತುತತೆಯನ್ನು ಸೆರೆಹಿಡಿಯುವುದು ಮಾತ್ರವಲ್ಲದೆ, ದಾಖಲೆಗಳ ವೈಯಕ್ತಿಕ ವಿಭಾಗಗಳು ಮತ್ತು ಸ್ಪ್ಯಾನ್‌ಗಳನ್ನು ಸ್ವತಃ ಪ್ರಥಮ ದರ್ಜೆ ಘಟಕಗಳಾಗಿ ಪರಿಗಣಿಸಬೇಕಾಗುತ್ತದೆ.

ಈ ಲೇಖನದಲ್ಲಿ, ನಾವು Perplexity ಹುಡುಕಾಟ API ನ ವಿನ್ಯಾಸ ಮತ್ತು ಮೌಲ್ಯಮಾಪನವನ್ನು ಪ್ರಸ್ತುತಪಡಿಸುತ್ತೇವೆ. ಪ್ರತಿದಿನ 200 ಮಿಲಿಯನ್ ಪ್ರಶ್ನೆಗಳನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುವ ನಮ್ಮ ಉತ್ಪಾದನಾ ಹುಡುಕಾಟ ಮೂಲಸೌಕರ್ಯದ ಹಿಂದಿನ ವಾಸ್ತುಶಿಲ್ಪ ಮತ್ತು ಪ್ರಮುಖ ತಾಂತ್ರಿಕ ನಿರ್ಧಾರಗಳನ್ನು ನಾವು ಮೊದಲು ಅನ್ವೇಷಿಸುತ್ತೇವೆ. ನಮ್ಮ ವಾಸ್ತುಶಿಲ್ಪವು ಹೈಬ್ರಿಡ್ ಮರುಪಡೆಯುವಿಕೆ ಕಾರ್ಯವಿಧಾನಗಳು, ಬಹು-ಹಂತದ ಶ್ರೇಯಾಂಕ ಪೈಪ್‌ಲೈನ್‌ಗಳು, ವಿತರಿಸಿದ ಸೂಚಿಕೆ ಮತ್ತು ಸ್ವಯಂ-ಸುಧಾರಿಸುವ ವಿಷಯ ತಿಳುವಳಿಕೆ ಮಾಡ್ಯೂಲ್ ಮೂಲಕ ಡೈನಾಮಿಕ್ ಪಾರ್ಸಿಂಗ್ ಅನ್ನು ಸಂಯೋಜಿಸುತ್ತದೆ.

ನಂತರ ನಾವು ಹೊಸದಾಗಿ ಓಪನ್-ಸೋರ್ಸ್ ಮಾಡಿದ ಮೌಲ್ಯಮಾಪನ ಫ್ರೇಮ್‌ವರ್ಕ್ ಮೂಲಕ ಹುಡುಕಾಟ API ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಅನುಭವದಿಂದ ಮೌಲ್ಯಮಾಪನ ಮಾಡುವ ನಮ್ಮ ವಿಧಾನವನ್ನು ವಿವರಿಸುತ್ತೇವೆ. ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ವಾಣಿಜ್ಯ API ಗಳ ಜೊತೆಗೆ ಸಮಗ್ರ ಬೆಂಚ್‌ಮಾರ್ಕಿಂಗ್ ಮೂಲಕ, ನಾವು ಗುಣಮಟ್ಟ ಮತ್ತು ಸುಪ್ತತೆ ಎರಡರಲ್ಲೂ ಅತ್ಯಾಧುನಿಕ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಪ್ರದರ್ಶಿಸುತ್ತೇವೆ. Perplexity ಹುಡುಕಾಟ API ಇಂದಿನಿಂದ ವಿಶ್ವಾದ್ಯಂತ ಡೆವಲಪರ್‌ಗಳಿಗೆ ಲಭ್ಯವಿದೆ.

[GitHub ನಲ್ಲಿ search_evals ಹುಡುಕಿ]

AI ಮಾದರಿಗಳಿಗಾಗಿ ಹೊಂದುವಂತೆ ಮಾಡಿದ ಹುಡುಕಾಟ ವ್ಯವಸ್ಥೆಯನ್ನು ನಿರ್ಮಿಸುವುದು

ನಮ್ಮ ಸ್ಥಾಪನೆಯಿಂದಲೂ, ನಾವು ಸಾಗಿಸಲು ಬಯಸಿದ ವರ್ಗ-ವ್ಯಾಖ್ಯಾನಿಸುವ AI ಉತ್ಪನ್ನಗಳನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಲು ದೃಢವಾದ ಹುಡುಕಾಟ ಸಾಮರ್ಥ್ಯಗಳು ನಿರ್ಣಾಯಕವಾಗಿವೆ ಎಂದು ನಮಗೆ ತಿಳಿದಿತ್ತು. ಮೂಲತಃ, ಈ ಸಾಮರ್ಥ್ಯಗಳು ಸಾರ್ವಜನಿಕವಾಗಿ ಲಭ್ಯವಿರುವ ರೂಪದಲ್ಲಿ ಈಗಾಗಲೇ ಅಸ್ತಿತ್ವದಲ್ಲಿವೆ ಎಂದು ನಾವು hoped ದ್ದೆವು. 2022 ರ ಕೊನೆಯಲ್ಲಿ ಲಭ್ಯವಿರುವ ಹುಡುಕಾಟ API ಗಳ ಪೋರ್ಟ್‌ಫೋಲಿಯೊದೊಂದಿಗೆ ನಾವು ಪ್ರಯೋಗ ನಡೆಸಿದ್ದೇವೆ ಮತ್ತು Perplexity ನ ಉತ್ತರ ಎಂಜಿನ್‌ನ ತುಂಬಾ ಮೊದಲ ಆವೃತ್ತಿಯು ವಾಸ್ತವವಾಗಿ ಈ ಕೆಲವು ಕೊಡುಗೆಗಳನ್ನು ಒಳಗೊಂಡಿದೆ. ನಿರ್ದಿಷ್ಟವಾಗಿ ಹೇಳುವುದಾದರೆ, ನಾವು ಬಳಕೆದಾರರ ಪ್ರಶ್ನೆಗಳನ್ನು ವಿಶ್ಲೇಷಿಸುತ್ತೇವೆ, ಈ API ಗಳಿಗೆ ವಿನಂತಿಗಳನ್ನು ರೂಪಿಸುತ್ತೇವೆ ಮತ್ತು ಕಳುಹಿಸುತ್ತೇವೆ ಮತ್ತು ನಮ್ಮ ಡೌನ್‌ಸ್ಟ್ರೀಮ್ ಜನರೇಷನ್ ಪೈಪ್‌ಲೈನ್‌ಗೆ ಸಂದರ್ಭವಾಗಿ ಫಲಿತಾಂಶಗಳನ್ನು ಸಂಗ್ರಹಿಸುತ್ತೇವೆ.

ಆದಾಗ್ಯೂ, ಬಳಕೆದಾರರು Perplexity ಕಡೆಗೆ ಹರಿದುಬಂದಂತೆ, ಈ API ಗಳು ನಮ್ಮ ಬೆಳವಣಿಗೆಯೊಂದಿಗೆ ಅಳೆಯುವುದಿಲ್ಲ ಎಂದು ನಮಗೆ ಶೀಘ್ರದಲ್ಲೇ ತಿಳಿದುಬಂದಿತು. ನಾವು ಎದುರಿಸಿದ ಬೆಲೆಗಳು ಅತಿ ಹೆಚ್ಚು, ಪ್ರಮುಖ API ಒದಗಿಸುವವರು ಪ್ರತಿ ಸಾವಿರ ಪ್ರಶ್ನೆಗಳಿಗೆ $200 ವಿಧಿಸುತ್ತಿದ್ದಾರೆ. ಆದರೆ ಹೆಚ್ಚು ಮಾರಕವಾಗಿ, ಈ ಪರಂಪರೆಯ API ಗಳನ್ನು ಗಡಿ AI ವ್ಯವಸ್ಥೆಗಳಿಂದ ಪರಿಚಯಿಸಲಾದ ಹೊಸ ಮರುಪಡೆಯುವಿಕೆ ಮಾದರಿಗಳಿಗಾಗಿ ಸರಳವಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿಲ್ಲ.

ವಿಸ್ತರಿಸಿ

ಆರಂಭಿಕರಿಗಾಗಿ, ಈ ಪರಂಪರೆಯ API ಗಳ ವಿನಂತಿ ಮತ್ತು ಪ್ರತಿಕ್ರಿಯೆ ಸ್ವರೂಪಗಳನ್ನು ಮಾನವರು ಮಾತ್ರ ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳ ವಿಶೇಷ ಗ್ರಾಹಕರಾಗಿರುವ ಜಗತ್ತಿಗಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ. ಪರಿಣಾಮವಾಗಿ, ಈ API ಗಳು ಉಪ-ಡಾಕ್ಯುಮೆಂಟ್ ಘಟಕಗಳಿಂದ ಬಹಿರಂಗಪಡಿಸಲಾದ ಹೆಚ್ಚು ಸೂಕ್ಷ್ಮ-ಧಾನ್ಯದ ಮಾಹಿತಿಯನ್ನು ಹೊರತುಪಡಿಸಿ, ಡಾಕ್ಯುಮೆಂಟ್ ಮಟ್ಟದ ಫಲಿತಾಂಶಗಳಿಗೆ ಆದ್ಯತೆ ನೀಡಿವೆ. AI ಮಾದರಿಯ ಯಶಸ್ಸು ಒದಗಿಸಿದ ಸಂದರ್ಭದ ಗುಣಮಟ್ಟ ಮತ್ತು ಸಾಂದ್ರತೆಯ ಮೇಲೆ ತಿರುಗುತ್ತದೆ, ಮತ್ತು ಮರುಪಡೆಯಲಾದ ದಾಖಲೆಗಳು ಒಟ್ಟಾರೆಯಾಗಿ ಪ್ರಸ್ತುತವೆಂದು ತೋರುತ್ತದೆಯಾದರೂ, ಅತಿ ವ್ಯಾಪಕವಾದ ಮರುಪಡೆಯುವಿಕೆ ಹೇಗೆ AI ಮಾದರಿಗಳನ್ನು ಹಳಿ ತಪ್ಪಿಸಬಹುದು ಎಂಬುದನ್ನು ನಾವು ನೇರವಾಗಿ ನೋಡಿದ್ದೇವೆ. ನಿಖರವಾದ ಫಲಿತಾಂಶಗಳ ಮೇಲೆ ನಿಖರತೆಯನ್ನು ಹೇರುವ ನಮ್ಮ ಪ್ರಯತ್ನಗಳು ಸೀಮಿತ ಯಶಸ್ಸನ್ನು ಕಂಡವು.

ಲೆಗಸಿ APIಗಳು ತುಂಬಾ ಹಳೆಯದಾಗಿದ್ದವು ಅಥವಾ ತುಂಬಾ ನಿಧಾನವಾಗಿದ್ದವು ಎಂಬುದನ್ನೂ ನಾವು ಗಮನಿಸಿದೆವು. ಸ್ವತಂತ್ರವಾಗಿ ಅಭಿವೃದ್ಧಿಪಡಿಸಲಾದ ಹುಡುಕಾಟ APIಗಳು ಅಪೂರ್ಣವಾಗಿದ್ದು ಮತ್ತು ಅತಿಯಾಗಿ ಕಡಿಮೆ ಅವಧಿಯಲ್ಲಿ ನವೀಕರಿಸಲಾದ ಇಂಡೆಕ್ಸ್‌ಗಳ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿದ್ದವು. Google Search‌ಗೆ ಸಂಬಂಧಿಸಿದ ವಿವಿಧ ಅನಧಿಕೃತ SERP APIಗಳಂತಹ ಸ್ಕ್ರೇಪಿಂಗ್-ಆಧಾರಿತ APIಗಳು, ಇನ್ನಷ್ಟು ಸಮಗ್ರ ಇಂಡೆಕ್ಸ್‌ನಿಂದ ಲಾಭ ಪಡೆದರೂ, ತೃತೀಯ ಪಕ್ಷದ ಹುಡುಕಾಟ ಎಂಜಿನ್ ಅನ್ನು ಪ್ರಶ್ನಿಸುವುದರಲ್ಲಿ ಅಂತರ್ನಿಹಿತವಾಗಿರುವ ಅಕಾರ್ಯಕ್ಷಮತೆಯಿಂದಾಗಿ ಸ್ವೀಕಾರಾರ್ಹವಲ್ಲದಷ್ಟು ಹೆಚ್ಚಿನ ವಿಳಂಬವನ್ನು ನೀಡುತ್ತಿದವು. ಹೆಚ್ಚಿನ ವಿಳಂಬವು APIಗಳನ್ನು ಬಳಕೆದಾರರಿಗೆ ಮುಖಾಮುಖಿಯಾಗಿರುವ ಅಪ್ಲಿಕೇಶನ್‌ಗಳಿಗೆ ಅನರ್ಹವಾಗಿಸಿತು, ಆದರೆ ಹಳೆಯದಾಗಿರುವುದು ಫಲಿತಾಂಶ ಸೆಟ್‌ಗಳನ್ನು ನಿಖರ ಮತ್ತು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿರಲು ಆಶಿಸುವ ಯಾವುದೇ AI ವ್ಯವಸ್ಥೆಗೆ ಬಳಕೆಗತಿಯಾಗದಂತೆ ಮಾಡಿತು.

ಅಂತಿಮವಾಗಿ, AI ಪರಿಸರ ವ್ಯವಸ್ಥೆಯು ಲೆಕ್ಸಿಕಲ್ ಹುಡುಕಾಟ ಮತ್ತು ಶಬ್ದಾರ್ಥದ ಹುಡುಕಾಟದ ನಡುವೆ ವಿಭಜನೆಯಾಗುವುದನ್ನು ನಾವು ಗಮನಿಸಿದ್ದೇವೆ, ಒಂದು ವಿಧಾನಕ್ಕೆ ಇನ್ನೊಂದಕ್ಕಿಂತ ಹೆಚ್ಚು ಹೊಂದುವಂತೆ ಮಾಡಲಾದ ವ್ಯವಸ್ಥೆಗಳು ಹೊರಹೊಮ್ಮುತ್ತಿವೆ. ಸರಳವಾದ ಬೂಲಿಯನ್ ಫಿಲ್ಟರ್‌ಗಳನ್ನು ಸಹ ಸಾಕಷ್ಟು ಬೆಂಬಲಿಸಲು ಸಾಧ್ಯವಾಗದ ವೆಕ್ಟರ್ ಡೇಟಾಬೇಸ್‌ಗಳ ಏರಿಕೆಯನ್ನು ನಾವು ನೋಡಿದ್ದೇವೆ. ಸಾಂಪ್ರದಾಯಿಕ ಹುಡುಕಾಟ ಬ್ಯಾಕೆಂಡ್‌ಗಳು ಸ್ವಲ್ಪ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ, AI ನಿಂದ ಅನ್‌ಲಾಕ್ ಮಾಡಲಾದ ಶಬ್ದಾರ್ಥದ ಶ್ರೇಯಾಂಕ ಮತ್ತು ಮರುಪಡೆಯುವಿಕೆ ಅವಕಾಶಗಳಿಗೆ ಆದಿಮ ಬೆಂಬಲವಿದೆ.

Perplexity ಅನ್ನು ಇನ್ನಷ್ಟು ಉತ್ತಮಗೊಳಿಸುವುದರಿಂದ ನಮ್ಮದೇ ಆದ ಸಮರ್ಪಿತ ಹುಡುಕಾಟ ಮೂಲಸೌಕರ್ಯವನ್ನು ನಿರ್ಮಿಸುವ ಅಗತ್ಯವಿದೆ ಎಂದು ನಾವು ಅರಿತುಕೊಂಡಂತೆ, ನಮ್ಮ ಅವಲೋಕನಗಳನ್ನು ಮೂರು ಪ್ರಮುಖ ಮಾನದಂಡಗಳಾಗಿ ನಾವು ಬ distill ಮಾಡಿದ್ದೇವೆ:

ಸಂಪೂರ್ಣತೆ, ತಾಜಾತನ ಮತ್ತು ವೇಗ: ಹುಡುಕಾಟ ಸೂಚಿಯು ಸಮಗ್ರವಾಗಿರಬೇಕು, ನಿರಂತರವಾಗಿ ನವೀಕರಿಸಲ್ಪಡಬೇಕು ಮತ್ತು ರಿಯಲ್‌ಟೈಮ್ ಸುಪ್ತತೆಗಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಬೇಕು.

ಸೂಕ್ಷ್ಮ-ಧಾನ್ಯದ ವಿಷಯ ತಿಳುವಳಿಕೆ: AI ಮಾದರಿಯ ಸುಲಭತೆ ಮತ್ತು ಸೀಮಿತ ಸಂದರ್ಭ ವಿಂಡೋಗಳು ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳನ್ನು ಸಾಧ್ಯವಾದಷ್ಟು ಹರಳಿನ ಮಟ್ಟದಲ್ಲಿ ಪ್ರಸ್ತುತಪಡಿಸಲು ಮತ್ತು ಶ್ರೇಯಾಂಕ ನೀಡಲು ಅಗತ್ಯವಿರುತ್ತದೆ.

ಹೈಬ್ರಿಡ್ ಮರುಪಡೆಯುವಿಕೆ ಮತ್ತು ಶ್ರೇಯಾಂಕ: ಫಲಿತಾಂಶಗಳು AI ಗೆ ಉಪಯುಕ್ತವಾಗಲು ಮರುಪಡೆಯುವಿಕೆ ಮತ್ತು ಶ್ರೇಯಾಂಕ ಪೈಪ್‌ಲೈನ್‌ಗಳು ಲೆಕ್ಸಿಕಲ್ ಮತ್ತು ಶಬ್ದಾರ್ಥದ ಸಂಕೇತಗಳನ್ನು ಒಳಗೊಂಡಿರಬೇಕು.

ವಿಸ್ತರಿಸಿ

ಕ್ರೌಲಿಂಗ್ ಮತ್ತು ಇಂಡೆಕ್ಸಿಂಗ್ ಮೂಲಸೌಕರ್ಯ

Perplexity ಪ್ರಮಾಣದಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸಲು ವೆಬ್ ಅನ್ನು ಸಮಗ್ರವಾಗಿ ಮ್ಯಾಪ್ ಮಾಡುವ ಮತ್ತು ಅದರ ನಿರಂತರ ವಿಕಾಸಕ್ಕೆ ಪ್ರತಿಕ್ರಿಯಿಸುವ ಮೂಲಸೌಕರ್ಯದ ಅಗತ್ಯವಿದೆ. ನಮ್ಮ ಹುಡುಕಾಟ ಸೂಚಿಯು 200 ಶತಕೋಟಿಗೂ ಹೆಚ್ಚು ಅನನ್ಯ URL ಗಳನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡುತ್ತದೆ, ಇನ್ನೂ ನೂರಾರು ಶತಕೋಟಿಗಳನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡುವ ಸಾಮರ್ಥ್ಯವನ್ನು ಹೊಂದಿದೆ.

ನಮ್ಮ ಇಂಡೆಕ್ಸ್ ಇಂಟರ್‌ನೆಟ್‌ನ ಸಾಕಷ್ಟು ಸಮಗ್ರ ಭಾಗವನ್ನು ಆವರಿಸಿಕೊಳ್ಳುವುದನ್ನೂ, ಪ್ರತಿ ಡಾಕ್ಯುಮೆಂಟ್ ಇತ್ತೀಚಿನ ಸ್ಥಿತಿಯನ್ನು ಪ್ರತಿಬಿಂಬಿಸುವುದನ್ನೂ ಖಚಿತಪಡಿಸಿಕೊಳ್ಳುವುದು ಕಷ್ಟದ ಸಾಧನೆ. ಸಂಪೂರ್ಣತೆ ಮತ್ತು ತಾಜಾತನ ನಡುವಿನ ಸಹಜ ಒತ್ತಡವಿದೆ: ನಿಗದಿತ ಇಂಡೆಕ್ಸಿಂಗ್ ಬಜೆಟ್‌ಗೆ, ಈಗಿರುವ ಪುಟಗಳ ರಿಫ್ರೆಶ್ ಕಾರ್ಯಗಳು ಹೊಸ, ಇನ್ನೂ ಭೇಟಿ ನೀಡದ ಪುಟಗಳ ಇಂಡೆಕ್ಸಿಂಗ್ ಕಾರ್ಯಗಳೊಂದಿಗೆ ಸ್ಪರ್ಧಿಸಬೇಕು. ನಾವು ಈ ಒತ್ತಡವನ್ನು ಸ್ಕೇಲಿಂಗ್‌ನ್ನು ವಿಸ್ತರಿಸುವ ಮೂಲಕ (ಇದು ಇಂಡೆಕ್ಸಿಂಗ್ ಬಜೆಟ್ ಅನ್ನು ಹೆಚ್ಚಿಸಿ ಆಪ್ಟಿಮೈಸೇಶನ್ ನಿರ್ಬಂಧವನ್ನು ಸಡಿಲಿಸುತ್ತದೆ) ಮತ್ತು ML-ಚಾಲಿತ ಆದ್ಯತೀಕರಣದ ಮೂಲಕ (ಇದು ಪ್ರತಿಯೊಂದು ಇಂಡೆಕ್ಸಿಂಗ್ ಕಾರ್ಯವೂ ಒಟ್ಟಾರೆ ಇಂಡೆಕ್ಸ್‌ಗೆ ಅತ್ಯಂತ ಮೌಲ್ಯಯುತವಾಗಿರುವುದನ್ನು ಖಚಿತಪಡಿಸುತ್ತದೆ) ಸಮತೋಲನಗೊಳಿಸುತ್ತೇವೆ.

ನಾವು ಎಕ್ಸಾಬೈಟ್-ಪ್ರಮಾಣದ ಸೂಚ್ಯಂಕ ಮತ್ತು ಕ್ರೌಲಿಂಗ್ ಉಪಕರಣವನ್ನು ನಿರ್ಮಿಸಿದ್ದೇವೆ ಅದು ಗಾತ್ರ ಮತ್ತು ಪ್ರಶ್ನೆ ಪರಿಮಾಣ ಎರಡರ ಜೊತೆಗೂಡಿ ಸಮವಾಗಿ ಅಳೆಯುತ್ತದೆ. Perplexity ನ ಕ್ರೌಲರ್ ಮತ್ತು ಇಂಡೆಕ್ಸಿಂಗ್ ಫ್ಲೀಟ್‌ಗಳು ಒಟ್ಟಾಗಿ ಹತ್ತಾರು ಸಾವಿರ CPU ಗಳು ಮತ್ತು ನೂರಾರು ಟೆರಾಬೈಟ್‌ಗಳ RAM ಅನ್ನು ಒಳಗೊಂಡಿವೆ, ಇದು ಹೆಚ್ಚಿನ ಸ್ಕೇಲಿಂಗ್‌ಗೆ ಗಣನೀಯ ಹೆಡ್‌ರೂಮ್ ಅನ್ನು ಹೊಂದಿದೆ. ನಾವು ಈ ಕಂಪ್ಯೂಟ್ ಮೂಲಸೌಕರ್ಯವನ್ನು ಶೀತ ಮತ್ತು ಬೆಚ್ಚಗಿನ ಸಂಗ್ರಹಣೆಯ ಸಮತೋಲನದೊಂದಿಗೆ ವಿವಾಹವಾಗುತ್ತೇವೆ. ಯಾವ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ಬಿಸಿಯಾಗಿಡಬೇಕು ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸಲು ನಾವು ಕಲಿತ ಮಾದರಿಗಳು ಮತ್ತು ಟ್ಯೂನ್ ಮಾಡಿದ ಹೆರಿಸ್ಟಿಕ್ಸ್ ಎರಡನ್ನೂ ಬಳಸುತ್ತೇವೆ, ಅಧಿಕೃತ ಡೊಮೇನ್‌ಗಳಿಂದ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳಿಗೆ ಆದ್ಯತೆ ನೀಡುತ್ತೇವೆ, ಮುಚ್ಚದ ವಿಷಯಗಳನ್ನು ಒಳಗೊಂಡಿರುವ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳು ಮತ್ತು ನಮ್ಮ ಸೂಚ್ಯಂಕವನ್ನು ಸಮೃದ್ಧಗೊಳಿಸಲು ಹೊರಗಿನ ಸಾಮರ್ಥ್ಯವನ್ನು ಹೊಂದಿರುವ ಇತರ ವರ್ಗಗಳನ್ನು ಆದ್ಯತೆ ನೀಡುತ್ತೇವೆ.

ಈ ಮೂಲಸೌಕರ್ಯವು Perplexityಗೆ ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ ಹತ್ತಾರು ಸಾವಿರ ಇಂಡೆಕ್ಸಿಂಗ್ ಕಾರ್ಯಗಳನ್ನು ಸಂಸ್ಕರಿಸಲು ಸಾಧ್ಯವಾಗಿಸುತ್ತದೆ. ಆದರೆ ಈ ತಕ್ಕಮಟ್ಟಿನ ಉದಾರ ಬಜೆಟ್‌ನಲ್ಲಿಯೂ, ಇಂಟರ್‌ನೆಟ್‌ನ ಪ್ರಮಾಣವು ಪ್ರತಿಯೊಂದು URL ಅನ್ನು ನಿಯಮಿತ ಮತ್ತು ಪುನರಾವರ್ತಿತ ಆಧಾರದ ಮೇಲೆ ಇಂಡೆಕ್ಸ್ ಮಾಡಲು ಬಹಳ ಅತಿವಿಶಾಲವಾಗಿದೆ. ಇಲ್ಲಿಯೇ ML ಪ್ರವೇಶಿಸುತ್ತದೆ. ಯಾವುದೇ ನೀಡಲಾದ ಅಭ್ಯರ್ಥಿ URL ಅನ್ನು ಇಂಡೆಕ್ಸ್ ಮಾಡಬೇಕೇ ಇಲ್ಲವೇ ಎಂಬುದನ್ನು ಊಹಿಸಲು ನಾವು ML ಮಾದರಿಯನ್ನು ತರಬೇತುಗೊಳಿಸುತ್ತೇವೆ. ನಿರ್ದಿಷ್ಟ URL‌ನ ಮಹತ್ವ ಮತ್ತು ಸಾಧ್ಯವಾಗುವ ನವೀಕರಣ ಆವರ್ತನೆ ಎರಡಕ್ಕೂ ನಮ್ಮ ಇಂಡೆಕ್ಸಿಂಗ್ ನಿರ್ಧಾರವನ್ನು ಸರಿಯಾಗಿ ಕ್ಯಾಲಿಬ್ರೇಟ್ ಮಾಡುವಂತೆ ತರಬೇತಿ ಉದ್ದೇಶವನ್ನು ರೂಪಿಸಲಾಗಿದೆ. ಇಂಡೆಕ್ಸಿಂಗ್ ಕಾರ್ಯವನ್ನು ನಿಖರವಾಗಿ ಯಾವ ಸಮಯಕ್ಕೆ ವೇಳಾಪಡಿಸಬೇಕು ಎಂಬುದನ್ನು ತಿಳಿಸಲು ಕೂಡ ನಾವು ML ಮೇಲೆ ಅವಲಂಬಿಸುತ್ತೇವೆ. ನಿಯಮಿತ ಪ್ರಕಟಣೆ ಮತ್ತು ರಿಫ್ರೆಶ್ ಚಕ್ರಗಳಿರುವ ಸೈಟ್‌ಗಳಿಗೆ, ಇದು ಕಾರ್ಯಗಳನ್ನು ಅವು ಅತ್ಯಂತ ಉಪಯುಕ್ತವಾಗುವ ಸಾಧ್ಯತೆ ಇರುವ ಸಮಯದವರೆಗೆ ಮುಂದೂಡಲು ನಮಗೆ ಅನುಮತಿಸುತ್ತದೆ. ಈ ML ಮಾದರಿಗಳ ನಿರಂತರ ಸುಧಾರಣೆಯ ಮೂಲಕ, ಸಂಪೂರ್ಣತೆ ಮತ್ತು ತಾಜಾತನ ಎರಡರಲ್ಲಿಯೂ ಮಾನದಂಡವನ್ನು ತಲುಪುವ ಇಂಡೆಕ್ಸ್ ಅನ್ನು ನಾವು ಕಾಯ್ದುಕೊಳ್ಳಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ.

ನಮ್ಮ ಕ್ರಾಲಿಂಗ್ ಮೂಲಸೌಕರ್ಯವು ಸುಲಭವಾಗಿ ಅಡ್ಡಲಾಗಿ ವಿಸ್ತರಿಸಬಹುದಾದರೂ, ವೆಬ್‌ಸೈಟ್ ನಿರ್ವಾಹಕರು ವಿಭಿನ್ನ ತಾಂತ್ರಿಕ ನಿರ್ಬಂಧಗಳನ್ನು ಎದುರಿಸುತ್ತಾರೆ ಎಂಬುದನ್ನು ನಾವು ಅರಿತಿದ್ದೇವೆ. ಯಾವುದೇ ನೀಡಲಾದ ಡೊಮೇನ್‌ಗೆ ವಿನಂತಿಗಳ ಊಹಿಸಬಹುದಾದ ಮತ್ತು ನಿರ್ವಹಿಸಬಹುದಾದ ದರವನ್ನು ಕಾಯ್ದುಕೊಳ್ಳಲು ನಾವು ಎಚ್ಚರಿಕೆಯಿಂದಿರುತ್ತೇವೆ. ನಮ್ಮ ಹುಡುಕಾಟ ಕ್ರಾಲರ್ ಆಗಿರುವ PerplexityBot, robots.txt ಫೈಲ್‌ಗಳಲ್ಲಿ ನಿರ್ದಿಷ್ಟವಾಗಿ ನಿಗದಿಪಡಿಸಲಾದ ಮಿತಿಗಳನ್ನು, ಅಥವಾ ಡೊಮೇನ್-ನಿರ್ದಿಷ್ಟ ಮಿತಿಗಳು ಇಲ್ಲದಿದ್ದರೆ, ವಿನಂತಿಗಳ ದರಗಳಿಗೆ ಸಂಬಂಧಿಸಿದ ಉದ್ಯಮ-ಮಾನದಂಡದ ರೂಢಿಗಳನ್ನು ಪಾಲಿಸುತ್ತದೆ. ಸೈಟ್ ಲಭ್ಯವಿಲ್ಲದಿರುವುದನ್ನು ನಾವು ಪತ್ತೆಹಚ್ಚಿದಾಗ ನಮ್ಮ ಕ್ರಾಲಿಂಗ್ ವರ್ತನೆಯನ್ನು ಕೂಡ ನಾವು ಹೊಂದಾಣಿಕೆ ಮಾಡುತ್ತೇವೆ. ಹತ್ತಾರು ಸಾವಿರ ಸಮಕಾಲೀನ ಕಾರ್ಯಾಚರಣೆಗಳನ್ನೂ ಮೀರಿದ ಸಂದರ್ಭದಲ್ಲಿಯೂ ಈ ಮಿತಿಗಳನ್ನು ಜಾರಿಗೆ ತರಲು ನಮ್ಮ ವಿತರಿತ ವ್ಯವಸ್ಥೆಯನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ.

ಇಂಟರ್ನೆಟ್ ಪ್ರಮಾಣದಲ್ಲಿ ಸ್ವಯಂ-ಸುಧಾರಿಸುವ ವಿಷಯ ತಿಳುವಳಿಕೆ

ಗ್ರಹದಲ್ಲಿ ಅತಿ ದೊಡ್ಡ ಮತ್ತು ತಾಜಾ ಹುಡುಕಾಟ ಸೂಚ್ಯಂಕಗಳಲ್ಲಿ ಒಂದಾಗಿದ್ದರೂ, ಪ್ರತಿ ಪ್ರಶ್ನೆಯ ಫಲಿತಾಂಶದ ಗುಣಮಟ್ಟವು ಪ್ರತಿ ಡಾಕ್ಯುಮೆಂಟ್‌ನ ವಿಷಯದ ನಮ್ಮ ವ್ಯವಸ್ಥೆಯ ತಿಳುವಳಿಕೆಯ ಮೇಲೆ hinges ಆಗಿದೆ. ಇಲ್ಲಿ, ನಾವು ಮೂಲಭೂತ ಸವಾಲನ್ನು ಎದುರಿಸುತ್ತೇವೆ: ವೆಬ್ ಒಂದು ಅಸ್ತವ್ಯಸ್ತವಾಗಿರುವ ಸ್ಥಳವಾಗಿದೆ. ಯಾವುದೇ ಸ್ಥಿರವಾದ ಪಾರ್ಸಿಂಗ್ ನಿಯಮಗಳು ಸಂಪೂರ್ಣ ಇಂಟರ್ನೆಟ್‌ನಲ್ಲಿ ಕಂಡುಬರುವ ವಿನ್ಯಾಸಗಳು, ರಚನೆಗಳು ಮತ್ತು ಶೈಲಿಗಳ ಅನಂತ ವೈವಿಧ್ಯತೆಯನ್ನು ನಿರ್ವಹಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ.

ವೆಬ್‌ಸೈಟ್‌ಗಳನ್ನು ಪಾರ್ಸ್ ಮಾಡುವ ಮತ್ತು ಡೈನಾಮಿಕ್ ನಿಯಮಗಳ ಬಳಸಿ ಶಬ್ದಾರ್ಥವಾಗಿ ಅರ್ಥಪೂರ್ಣವಾದ ವಿಷಯವನ್ನು ಹೊರತೆಗೆಯುವ ವಿಷಯ ತಿಳುವಳಿಕೆ ಮಾಡ್ಯೂಲ್ ಅನ್ನು ಅಭಿವೃದ್ಧಪಡಿಸುವ ಮೂಲಕ ನಾವು ಈ ಸವಾಲನ್ನು ಪರಿಹರಿಸಿದ್ದೇವೆ. ಪಟ್ಟಿ ಅಥವಾ ಕೋಷ್ಟಕ ರೂಪದಲ್ಲಿ ಉತ್ತಮವಾಗಿ ರಚನಾತ್ಮಕವಾದ ಡೇಟಾದಲ್ಲಿ ಭಾರವಾದ ವೆಬ್‌ಸೈಟ್ ಹೆಚ್ಚು ಸೂತ್ರೀಕೃತ ಪಾರ್ಸಿಂಗ್ ಮತ್ತು ಹೊರತೆಗೆಯುವ ನಿಯಮಗಳಿಂದ ಪ್ರಯೋಜನ ಪಡೆಯಬಹುದು, ಆದರೆ ಪ್ರಾಥಮಿಕವಾಗಿ ಉಚಿತ ರೂಪದ ಬಳಕೆದಾರ-ಉತ್ಪಾದಿತ ವಿಷಯವನ್ನು ಒಳಗೊಂಡಿರುವ ಮತ್ತೊಂದು ವೆಬ್‌ಸೈಟ್‌ಗೆ ಸಡಿಲವಾದ ನಿಯಮಗಳ ಅಗತ್ಯವಿರಬಹುದು. ವೆಬ್ ಸಣ್ಣ ಸಮಯದ ಚೌಕಟ್ಟುಗಳಲ್ಲಿ ಹೆಚ್ಚಾಗಿ ಸ್ಥಿರವಾಗಿರುವುದರಿಂದ, ನೀಡಲಾದ ನಿಯಮದ ಜೀವಿತಾವಧಿಯು ತುಲನಾತ್ಮಕವಾಗಿ ದೀರ್ಘವಾಗಿರುತ್ತದೆ ಎಂದು ನಾವು ಕಂಡುಕೊಳ್ಳುತ್ತೇವೆ. ಆದರೆ ಸೈಟ್‌ಗಳು ಕಾಲಾನಂತರದಲ್ಲಿ ವಿಕಸನಗೊಳ್ಳುತ್ತಿದ್ದಂತೆ ಮತ್ತು ಮಾಹಿತಿಯನ್ನು ಹೊರತೆಗೆಯುವ ಉತ್ತಮ ಮಾರ್ The ಗಳ ಬಗ್ಗೆ ನಾವು ಹೆಚ್ಚು ತಿಳಿದುಕೊಳ್ಳುತ್ತಿದ್ದಂತೆ, ನಮ್ಮ ನಿಯಮಗಳಿಗೆ ನಿರಂತರ ತೋಟಗಾರಿಕೆಯೂ ಬೇಕಾಗುತ್ತದೆ.

ಈ ಡೈನಾಮಿಕ್ ರೂಪಾಂತರವನ್ನು ಸುಲಭಗೊಳಿಸಲು, ನಾವು (ಖಂಡಿತವಾಗಿ) AI ಗೆ ತಿರುಗುತ್ತೇವೆ. Perplexity ನ ಪ್ರಮಾಣದಲ್ಲಿ, ಪ್ರತಿ ಗಂಟೆಗೆ ಲಕ್ಷಾಂತರ ಬಳಕೆದಾರರ ಪ್ರಶ್ನೆಗಳನ್ನು ಸೇವೆ ಮಾಡುವ ಕೋರ್ಸ್‌ನಲ್ಲಿ ನಾವು ವೆಬ್‌ನ ನಂಬಲಾಗದಷ್ಟು ಶ್ರೀಮಂತ ಅಡ್ಡ-ವಿಭಾಗವನ್ನು ಗಮನಿಸುತ್ತೇವೆ. ಇದು ಪುನರಾವರ್ತಿತ ಸ್ವಯಂ-ಸುಧಾರಣಾ ಲೂಪ್‌ಗೆ ಅಡಿಪಾಯವನ್ನು ರೂಪಿಸುತ್ತದೆ. ನಮ್ಮ ಪ್ರಶ್ನೆ ಬ್ರಹ್ಮಾಂಡದಾದ್ಯಂತ ನಮ್ಮ ಪ್ರಸ್ತುತ ನಿಯಮಗಳ ಪಾರ್ಸಿಂಗ್ ನಡವಳಿಕೆ ಮತ್ತು ಹೊರತೆಗೆದ ಔಟ್‌ಪುಟ್‌ಗಳನ್ನು ನಾವು ಗಮನಿಸುತ್ತೇವೆ. ನಂತರ ನಾವು ಎರಡು ಪ್ರಾಥಮಿಕ ಆಯಾಮಗಳಲ್ಲಿ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ನಿರ್ಣಯಿಸಲು ಗಡಿ LLM ಗಳನ್ನು ಬಳಸುತ್ತೇವೆ:

ಸಂಪೂರ್ಣತೆ: ನಮ್ಮ ಸೂಚಿಯು ಸಾಧ್ಯವಾದಷ್ಟು ಶಬ್ದಾರ್ಥವಾಗಿ ಅರ್ಥಪೂರ್ಣವಾದ ವಿಷಯವನ್ನು ಸ್ವೀಕರಿಸಬೇಕು, ಅದೇ ಸಮಯದಲ್ಲಿ ತಿಳಿವಳಿಕೆ ಇಲ್ಲದ ಅಥವಾ ಅರ್ಥಹೀನ ವಿಷಯದ ನಕಲಿ ಹೊರತೆಗೆಯುವಿಕೆಯನ್ನು ತಪ್ಪಿಸಬೇಕು.

ಗುಣಮಟ್ಟ: ನಮ್ಮ ಸೂಚಿಯು ವಸ್ತು ಮತ್ತು ರೂಪ ಎರಡರಲ್ಲೂ ಉತ್ತಮ ಗುಣಮಟ್ಟದ ವಿಷಯವನ್ನು ಅವಲಂಬಿಸಿದೆ. ಮೂಲ ವಿಷಯದ ರಚನೆ ಮತ್ತು ವಿನ್ಯಾಸವನ್ನು ಸಂರಕ್ಷಿಸುವ ರೀತಿಯಲ್ಲಿ ಮಾಹಿತಿಯನ್ನು ಸೆರೆಹಿಡಿಯಬೇಕು.

ಸಂಪೂರ್ಣತೆ ಮತ್ತು ಗುಣಮಟ್ಟವು ಮತ್ತೊಂದು ಅಂತರ್ಗತ ಉದ್ವಿಗ್ನತೆಯನ್ನು ಪ್ರಸ್ತುತಪಡಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ಗಮನಿಸಿ: ಗುಣಮಟ್ಟಕ್ಕಾಗಿ ಹಸ್ತಚಾಲಿತವಾಗಿ ಆಪ್ಟಿಮೈಸ್ ಮಾಡುವುದು ಸಾಧ್ಯ, ಆದರೆ ಫಲಿತಾಂಶದ ಪಾರ್ಸಿಂಗ್ ನಿಯಮಗಳು ನಿರ್ಣಾಯಕ ವಿಷಯವನ್ನು ಸೆರೆಹಿಡಿಯಲು ವಿಫಳವಾಗಬಹುದು. ಅದೇ ರೀತಿ, ನಾವು ಕಚ್ಚಾ ವಿಷಯದ ಮೇಲೆ ಕನಿಷ್ಠ ಫಿಲ್ಟರಿಂಗ್ ಅನ್ನು ಅನ್ವಯಿಸುವ ಅನುಮತಿಸುವ ನಿಯಮಗಳನ್ನು ಹ್ಯಾಂಡ್‌ಕೋಡ್ ಮಾಡಬಹುದು, ಇದು ಸಂಪೂರ್ಣತೆಯನ್ನು ಸುಧಾರಿಸಬಹುದು ಆದರೆ ಗುಣಮಟ್ಟದ ವೆಚ್ಚದಲ್ಲಿ. ಡೊಮೇನ್-ಅಡಾಪ್ಟಿವ್ ರೀತಿಯಲ್ಲಿ ಒಂದೇ ಬಾರಿಗೆ ಎರಡನ್ನೂ ಆಪ್ಟಿಮೈಸ್ ಮಾಡುವ ರೀತಿಯಲ್ಲಿ ನಮ್ಮ ನಿಯಮವನ್ನು ವಿಕಸನಗೊಳಿಸಲು ನಾವು AI-ಚಾಲಿತ ಸ್ವಯಂ-ಸುಧಾರಣೆಗೆ ಏಕೆ ತಿರುಗುತ್ತೇವೆ ಎಂಬುದು ಇಲ್ಲಿದೆ.

ನಿರ್ದಿಷ್ಟವಾಗಿ ಹೇಳುವುದಾದರೆ, ಪಾರ್ಸಿಂಗ್ ಕಾರ್ಯಕ್ಷಮತೆಯ ಪ್ರತಿಯೊಂದು LLM-ಚಾಲಿತ ಮೌಲ್ಯಮಾಪನದ ನಂತರ, ನಮ್ಮ ವ್ಯವಸ್ಥೆಯು ಅತ್ಯಂತ ಮಹತ್ವದ ದೋಷ ವರ್ಗಗಳನ್ನು ಪರಿಹರಿಸಲು ಪ್ರಸ್ತಾವಿತ ನಿಯಮ ಬದಲಾವಣೆಗಳ ಗುಂಪನ್ನು ರೂಪಿಸುತ್ತದೆ. ಈ ನಿಯಮಗಳು ಮತ್ತಷ್ಟು ಮೌಲ್ಯಮಾಪನಕ್ಕೆ ಒಳಗಾಗುತ್ತವೆ, ಅದರ ನಂತರ ನಾವು ಹೊಸ ಆವೃತ್ತಿಯನ್ನು ನಮ್ಮ ಇಂಡೆಕ್ಸರ್‌ಗೆ ನಿಯೋಜಿಸುತ್ತೇವೆ. ಪಾರ್ಸಿಂಗ್ ಮತ್ತು ಎಕ್ಸ್‌ಟ್ರಾಕ್ಷನ್ ಲಾಜಿಕ್‌ನಲ್ಲಿನ ಸುಧಾರಣೆಗಳು ಭವಿಷ್ಯದ ಇಂಡೆಕ್ಸಿಂಗ್ ಕಾರ್ಯಾಚರಣೆಗಳಿಗೆ ಮಾತ್ರ ಪ್ರಯೋಜನವನ್ನು ನೀಡಬಹುದು ಎಂಬಿಕೆಯನ್ನು ಗಮನಿಸಿದರೆ, ML-ಆಪ್ಟಿಮೈಸ್ಡ್ ಮರು-ಇಂಡೆಕ್ಸಿಂಗ್‌ನಲ್ಲಿ ನಮ್ಮ ಹೂಡಿಕೆಗಳು ವಿಶೇಷವಾಗಿ ಮುಖ್ಯವಾಗಿವೆ: ಈ ತರ್ಕದ ಇತ್ತೀಚಿನ ಆವೃತ್ತಿಯನ್ನು ಬಳಸಿ ಹೆಚ್ಚಿನ ಟ್ರಾಫಿಕ್ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ನಿರಂತರವಾಗಿ ರಿಫ್ರೆಶ್ ಮಾಡುವುದು ಬಿಗಿಯಾದ ಸ್ವಯಂ-ಸುಧಾರಣಾ ಲೂಪ್ ಅನ್ನು ಖಚಿತಪಡಿಸುತ್ತದೆ.

ಈ ನಿಯಮಗಳು ಮೂಲಭೂತ ಪಾರ್ಸಿಂಗ್ ಕಾರ್ಯಕ್ಷಮತೆಗೆ ಮಾತ್ರವಲ್ಲದೆ ಉಪ-ಡಾಕ್ಯುಮೆಂಟ್ ಘಟಕಗಳಾಗಿ ವಿಭಜನೆಗೂ ಮುಖ್ಯವಾಗಿವೆ. ಗಡಿ LLM ಗಳಿಗೆ ಬಂದಾಗ, ಸಂದರ್ಭದ ಪ್ರತಿ ಟೋಕನ್ ಅಮೂಲ್ಯವಾಗಿದೆ. ಸಂದರ್ಭದ ಗಾತ್ರದಲ್ಲಿ ಹೆಚ್ಚಳ ಮತ್ತು ಅಪ್ರಸ್ತುತ ಮಾಹಿತಿಯೊಂದಿಗೆ ಸಂದರ್ಭದ ಮಾಲಿನ್ಯದೊಂದಿಗೆ LLM ಕಾರ್ಯಕ್ಷಮತೆ ಹೇಗೆ ಕ್ಷೀಣಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ಪೂರ್ವಭಾವಿ ಕೆಲಸದ ದೊಡ್ಡ ದೇಹವು ದಾಖಲಿಸಿದೆ. ಉತ್ತಮವಾಗಿ ರಚನಾತ್ಮಕವಾದ, ಸಮಗ್ರವಾದ ಪಾರ್ಸಿಂಗ್ ಹೊಂದಲು ನಮಗೆ ದಾಖಲೆಗಳನ್ನು ಸ್ವಯಂ-ಒಳಗೊಂಡಿರುವ ಸ್ಪ್ಯಾನ್‌ಗಳಾಗಿ ವಿಭಜಿಸಲು ಅನುಮತಿಸುತ್ತದೆ, ಪ್ರತಿಯೊಂದನ್ನು ಪ್ರಶ್ನೆ ಸಮಯದಲ್ಲಿ ಪ್ರತ್ಯೇಕವಾಗಿ ಮರುಪಡೆಯಬಹುದು ಮತ್ತು ಶ್ರೇಯಾಂಕ ನೀಡಬಹುದು.

ಮರುಪಡೆಯುವಿಕೆ ಮತ್ತು ಶ್ರೇಯಾಂಕ ಪೈಪ್‌ಲೈನ್

ಆಧುನಿಕ ಹುಡುಕಾಟಕ್ಕೆ ಬಿಗಿಯಾದ ಸುಪ್ತತೆ ಬಜೆಟ್ ಅಡಿಯಲ್ಲಿ ಸಂಪೂರ್ಣತೆ ಮತ್ತು ಪ್ರಸ್ತುತತೆ ಎರಡನ್ನೂ ಖಚಿತಪಡಿಸಿಕೊಳ್ಳುವ ಅಗತ್ಯವಿದೆ. Perplexity ನ ಮರುಪಡೆಯುವಿಕೆ ಮತ್ತು ಶ್ರೇಯಾಂಕ ಪೈಪ್‌ಲೈನ್ ಹೆಚ್ಚು ಅತ್ಯಾಧುನಿಕ ಮಾಡ್ಯೂಲ್‌ಗಳ ಸರಣಿಯೊಂದಿಗೆ ಫಲಿತಾಂಶಗಳನ್ನು ಕ್ರಮೇಣ ಪರಿಷ್ಕರಿಸುವ ಬಹು-ಹಂತದ ವಾಸ್ತುಶಿಲ್ಪದ ಮೂಲಕ ಇದನ್ನು ಸಾಧಿಸುತ್ತದೆ. ಸಾಧ್ಯವಿರುವ ಯಾವುದೇ ಚೋಕ್‌ಪಾಯಿಂಟ್‌ಗಳನ್ನು ಸಾಧ್ಯವಾದಷ್ಟು ಮಟ್ಟಿಗೆ ಅಡ್ಡಲಾಗಿ ಅಳೆಯುವ ಮೂಲಕ ನಾವು ಸಂಭಾವ್ಯ ಅಡಚಣೆಗಳನ್ನು ಪರಿಹರಿಸುತ್ತೇವೆ.

ಪೈಪ್‌ಲೈನ್ ನಮ್ಮ ಸೂಚ್ಯಂಕದಿಂದ ಮರುಪಡೆಯುವಿಕೆಯೊಂದಿಗೆ ಪ್ರಾರಂಭವಾಗುತ್ತದೆ. ನಾವು ಲೆಕ್ಸಿಕಲ್ ಮತ್ತು ಶಬ್ದಾರ್ಥದ ಮರುಪಡೆಯುವಿಕೆಯ ನಡುವೆ ಆಯ್ಕೆಯನ್ನು ಒತ್ತಾಯಿಸುವುದಿಲ್ಲ. ಬದಲಿಗೆ, ನಾವು ಎರಡೂ ವಿಧಾನಗಳ ಮೂಲಕ ಹುಡುಕಾಟ ಸೂಚಿಯನ್ನು ಪ್ರಶ್ನಿಸುತ್ತೇವೆ ಮತ್ತು ಫಲಿತಾಂಶಗಳನ್ನು ಹೈಬ್ರಿಡ್ ಅಭ್ಯರ್ಥಿ ಸೆಟ್‌ಗೆ ವಿಲೀನಗೊಳಿಸುತ್ತೇವೆ. ಈ ಹಂತದಲ್ಲಿ, ಆದ್ಯತೆಯು ನಿಖರತೆಗಿಂತ ಸಮಗ್ರತೆಯಾಗಿದೆ - ಪೈಪ್‌ಲೈನ್‌ನ ನಂತರದ ಹಂತಗಳು ನಿಖರತೆಗಾಗಿ ಆಪ್ಟಿಮೈಸ್ ಮಾಡುತ್ತವೆ.

ಪೈಪ್‌ಲೈನ್ ಪ್ರಿಫಿಲ್ಟರಿಂಗ್ ಹಂತಗಳೊಂದಿಗೆ ಮುಂದುವರಿಯುತ್ತದೆ, ಇದರಲ್ಲಿ ನಾವು ಅಭ್ಯರ್ಥಿ ಸೆಟ್‌ನಿಂದ ಸ್ಪಷ್ಟವಾಗಿ ಸ್ಪಂದಿಸದ ಅಥವಾ ಹಳೆಯ ವಿಷಯವನ್ನು ತೆಗೆದುಹಾಕಲು ಮೂಲಭೂತ ಹೆರಿಸ್ಟಿಕ್ಸ್ ಮತ್ತು ಫರ್ಸ್ಟ್-ಕಟ್ ಫಿಲ್ಟರ್‌ಗಳನ್ನು ಅನ್ವಯಿಸುತ್ತೇವೆ.

ನಂತರ ನಾವು ಕ್ರಮೇಣ ಸುಧಾರಿತ ಶ್ರೇಯಾಂಕದ ಬಹು ಹಂತಗಳನ್ನು ಬಳಸಿಕೊಳ್ಳುತ್ತೇವೆ. ಹಿಂದಿನ ಹಂತಗಳು ವೇಗಕ್ಕಾಗಿ ಆಪ್ಟಿಮೈಸ್ ಮಾಡಲಾದ ಲೆಕ್ಸಿಕಲ್ ಮತ್ತು ಎಂಬೆಡಿಂಗ್-ಆಧಾರಿತ ಸ್ಕೋರರ್‌ಗಳನ್ನು ಅವಲಂಬಿಸಿವೆ. ಅಭ್ಯರ್ಥಿ ಸೆಟ್ ಅನ್ನು ಕ್ರಮೇಣ ವಿಂಗಡಿಸಿದಂತೆ, ಫಲಿತಾಂಶದ ಸೆಟ್‌ನ ಅಂತಿಮ ಶಿಲ್ಪಕಲೆಯನ್ನು ನಿರ್ವಹಿಸಲು ನಾವು ಹೆಚ್ಚು ಶಕ್ತಿಶಾಲಿ ಕ್ರಾಸ್-ಎನ್‌ಕೋಡರ್ ರಿರಾಂಕರ್ ಮಾದರಿಗಳನ್ನು ಬಳಸುತ್ತೇವೆ. ಇನ್ಫರೆನ್ಸ್ ಕಾರ್ಯಕ್ಷಮತೆಯಲ್ಲಿ ನಮ್ಮ ಹಲವಾರು ಹೂಡಿಕೆಗಳಿಗೆ ಧನ್ಯವಾದಗಳು, ಒಟ್ಟಾರೆ ಶ್ರೇಯಾಂಕ ಸುಪ್ತತೆಯನ್ನು 낮게 ಕಾಯ್ದುಕೊಳ್ಳುವಾಗ ಈ ನಂತರದ ಹಂತಗಳಿಗಾಗಿ ಅತ್ಯಾಧುನಿಕ ಮಾದರಿ ವಾಸ್ತುಶಿಲ್ಪಗಳನ್ನು ಬಳಸಿಕೊಳ್ಳಲು ನಮಗೆ ಸಾಧ್ಯವಾಗುತ್ತದೆ.

ಈ ಪೈಪ್‌ಲೈನ್‌ನಾದ್ಯಂತ, ನಾವು ಡಾಕ್ಯುಮೆಂಟ್ ಮತ್ತು ಉಪ-ಡಾಕ್ಯುಮೆಂಟ್ ಮಟ್ಟದಲ್ಲಿ ಫಲಿತಾಂಶಗಳನ್ನು ಮರುಪಡೆಯುತ್ತೇವೆ ಮತ್ತು ಸ್ಕೋರ್ ಮಾಡುತ್ತೇವೆ. மேலே ಚರ್ಚಿಸಿದಂತೆ, AI ಗೆ ಎಚ್ಚರಿಕೆಯ ಸಂದರ್ಭ ಎಂಜಿನಿಯರಿಂಗ್ ಅಗತ್ಯವಿದೆ. ನಮ್ಮ ಪೈಪ್‌ಲೈನ್ ಮಾದರಿಗೆ ಸಾಧ್ಯವಾದಷ್ಟು ಪರಮಾಣು ಘಟಕಗಳನ್ನು ಮೇಲ್ಮೈ ಮಾಡಲು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ, ಇದರಿಂದಾಗಿ ಡೌನ್‌ಸ್ಟ್ರೀಮ್ ಗ್ರಾಹಕರು ಮೂಲ ದಾಖಲೆಗಳ ಬೇರೆಡೆಯಿಂದ ಅಪ್ರಸ್ತುತ ಸಂದರ್ಭವನ್ನು ಎಳೆಯದೆ ಆ ನಿಖರವಾದ ಘಟಕಗಳನ್ನು ಸಂಯೋಜಿಸಬಹುದು.

ಈ ಪೈಪ್‌ಲೈನ್‌ನ ಪ್ರತಿಯೊಂದು ಹಂತದಲ್ಲೂ ಉತ್ತಮ ಗುಣಮಟ್ಟವನ್ನು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳುವುದು Perplexity ನ ಉತ್ಪನ್ನಗಳ ಪೋರ್ಟ್‌ಫೋಲಿಯೊದೊಂದಿಗೆ ಸಹ-ವಿನ್ಯಾಸದ ಮೂಲಕ ಮಾತ್ರ ಸಾಧ್ಯ. ದಿನದ ಪ್ರತಿ ಗಂಟೆಗೆ ನಾವು ಸೇವೆ ಮಾಡುವ ಲಕ್ಷಾಂತರ ಬಳಕೆದಾರರ ವಿನಂತಿಗಳಿಂದ ಉತ್ಪತ್ತಿಯಾಗುವ ಶ್ರೀಮಂತ ಸಂಕೇತವನ್ನು ಬಳಸಿಕೊಳ್ಳಲು ಶ್ರೇಯಾಂಕ ಸ್ಟ್ಯಾಕ್‌ನ ಪ್ರತಿಯೊಂದು ವಿವರವನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ. ಈ ಸಂಕೇತದ ಅಗಾಧ ಬಹುಪಾಲು ಸ್ವಯಂಚಾಲಿತವಾಗಿದೆ, ಉತ್ಪತ್ತಿಯಾದ ಪ್ರತಿ Perplexity ಉತ್ತರದೊಂದಿಗೆ ಲೈವ್ ಏಜೆಂಟ್ ಕಾರ್ಯಪ್ರವಾಹದಲ್ಲಿ ಬಳಸಿದಂತೆ ಹುಡುಕಾಟ ಗುಣಮಟ್ಟದ ಮೇಲಿನ ಪ್ರಾಯೋಗಿಕ ಡೇಟಾಪಾಯಿಂಟ್ ಅನ್ನು ಒದಗಿಸುತ್ತದೆ. ಯಾವುದೇ ಹಸ್ತಚಾಲಿತವಾಗಿ ನಿರ್ಮಿಸಲಾದ ಡಾಟಾಸೆಟ್ ನೀಡಬಹುದಾದ ಮೀರಿ ನಮ್ಮ ಎಂಬೆಡಿಂಗ್ ಮತ್ತು ಶ್ರೇಯಾಂಕ ಮಾದರಿಗಳಿಗೆ ತರಬೇತಿ ಡೇಟಾವನ್ನು ಸಮೃದ್ಧಗೊಳಿಸಲು ನಾವು ಲೈವ್ ಮಾನವ ಪ್ರತಿಕ್ರಿಯೆಯೊಂದಿಗೆ AI-ಚಾಲಿತ ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ಸಂಯೋಜಿಸುತ್ತೇವೆ.

ಹುಡುಕಾಟ ಮತ್ತು ಉತ್ಪನ್ನದ ನಡುವಿನ ಈ ಸಿನರ್ಜಿ Perplexity ಗೆ ಅನನ್ಯವಾಗಿದೆ. ಪರಂಪರೆಯ ಹುಡುಕಾಟ ಎಂಜಿನ್‌ಗಳು ನೀಲಿ-ಲಿಂಕ್ ಟೆಲಿಮೆಟ್ರಿಯಿಂದ ಒದಗಿಸಲಾದ ಒರಟಾದ ಸಂಕೇತಕ್ಕೆ ಸೀಮಿತವಾಗಿವೆ. ಹೊಸ ಹುಡುಕಾಟ ಕೊಡುಗೆಗಳು ಈ AI-ಮುಂದಿನ ಪರಿಕಲ್ಪನೆಗಳಲ್ಲಿ ಕೆಲವನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಲು ಪ್ರಯತ್ನಿಸಿವೆ, ಆದರೆ ಅವುಗಳು ಹುಡುಕಾಟ ಗುಣಮಟ್ಟವನ್ನು ಮೌಲ್ಯೀಕರಿಸುವ ಮತ್ತು ವೇಗದ ಸುಧಾರಣಾ ಲೂಪ್‌ಗಳಿಗೆ ಅಗತ್ಯವಿರುವ ಸಂಕೇತದ ಸಮೃದ್ಧಿಯನ್ನು ಒದಗಿಸುವ ನೈಜ ಜಾಗದ ಪರಿಸರಗಳನ್ನು ಹೊಂದಿಲ್ಲ. ಕಾಣೆಯಾದ ಪದಾರ್ಥವನ್ನು ಹೊಂದಲು ನಾವು ಅದೃಷ್ಟವಂತರು: ಹುಡುಕಾಟ ಗುಣಮಟ್ಟಕ್ಕಾಗಿ ಲೈವ್ ಪ್ರೂವಿಂಗ್ ಗ್ರೌಂಡ್, ಗಡಿ LLM ಗಳಿಂದ ನಡೆಸಲ್ಪಡುತ್ತದೆ ಮತ್ತು ವಿಶ್ವಾದ್ಯಂತ ಲಕ್ಷಾಂತರ ಕುತೂಹಲಕಾರಿ ಬಳಕೆದಾರರಿಂದ ನಿರಂತರವಾಗಿ ಯುದ್ಧ-ಪರೀಕ್ಷೆ ಮಾಡಲ್ಪಟ್ಟಿದೆ.

ಗುಣಮಟ್ಟ ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆಗಾಗಿ ಹೊಸ ಗಡಿಯನ್ನು ಸ್ಥಾಪಿಸುವುದು

Perplexity Search API ಮತ್ತು SDK ಅನ್ನು ನಮ್ಮ ಹುಡುಕಾಟ ಮೂಲಸೌಕರ್ಯವನ್ನು ವಿಶ್ವದಾದ್ಯಂತ ಡೆವಲಪರ್‌ಗಳಿಗೆ ಲಭ್ಯವಾಗುವಂತೆ ಮಾಡಲು ನಿರ್ಮಿಸಿದ ನಂತರ, ವಾಸ್ತವ-ಜಗತ್ತಿನ AI ಬಳಕೆ ಪ್ರಕರಣಗಳಲ್ಲಿ ವಿವಿಧ ವಾಣಿಜ್ಯ API ಆಫರ್‌ಗಳು ಹೇಗೆ ಸಮನಾಗಿವೆ ಎಂಬುದನ್ನು ತಿಳಿಯಲು ನಾವು ಬಯಸಿದೆವು. AI ಮಾದರಿಗಳನ್ನೇ ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು ಸಾಮಾನ್ಯವಾಗಿದೆ, ಆದರೆ ನಮಗೆ ಈ ಮಾದರಿಯ ಮೇಲೆ ಒಂದು ಟ್ವಿಸ್ಟ್ ಬೇಕಿತ್ತು: AI ಮಾದರಿಗಳು ಕರೆಯುವಾಗ ಹುಡುಕಾಟ APIಗಳ ಗುಣಮಟ್ಟವನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು.

ಪೂರ್ವ ಕರಕುಶಲತೆಯನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ನಾವು ಮೊದಲು ಓಪನ್-ಸೋರ್ಸ್ ಪರಿಸರ ವ್ಯವಸ್ಥೆಗೆ ನೋಡಿದ್ದೇವೆ. ಕಠಿಣ ಮೌಲ್ಯಮಾಪನಕ್ಕಾಗಿ ನಾವು ಅನೇಕ ಪ್ರಮುಖ ಪದಾರ್ಥಗಳನ್ನು ಕಂಡುಕೊಂಡಿದ್ದೇವೆ, ಆದರೆ ಈ ಪದಾರ್ಥಗಳನ್ನು ಪ್ಲಗ್-ಅಂಡ್-ಪ್ಲೇ ಬೆಂಚ್‌ಮಾರ್ಕಿಂಗ್ ಪರಿಹಾರವಾಗಿ ಸಂಯೋಜಿಸುವ ಯಾವುದೇ ಫ್ರೇಮ್‌ವರ್ಕ್ ಇಲ್ಲ. ಆದ್ದರಿಂದ ನಾವು Perplexity ಮಾತ್ರವಲ್ಲದೆ, ಹುಡುಕಾಟ API ಗಳನ್ನು ಬೆಂಚ್‌ಮಾರ್ಕ್ ಮಾಡಲು ಬಯಸುವ ಯಾವುದೇ ಸಂಶೋಧಕರು ಅಥವಾ ಡೆವಲಪರ್‌ಗಳು ಬಳಸಬಹುದಾದ ಮೌಲ್ಯಮಾಪನ ಫ್ರೇಮ್‌ವರ್ಕ್ ಅನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಲು ಹೊರಟೆವು.

ಈ ಮೌಲ್ಯಮಾಪನ ಫ್ರೇಮ್‌ವರ್ಕ್ ಅನ್ನು ಬಳಸಿ, ನಾವು ಇತರ ಕೊಡುಗೆಗಳ ಜೊತೆಗೆ Perplexity ಹುಡುಕಾಟ API ಅನ್ನು ಕಠಿಣವಾಗಿ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಮಾಡಿದ್ದೇವೆ. ಹುಡುಕಾಟ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಆಪ್ಟಿಮೈಸ್ ಮಾಡುವುದು ಸಂಕೀರ್ಣವಾಗಿದೆ, ಗುಣಮಟ್ಟ ಮತ್ತು ವೇಗದ ನಡುವೆ ಅನೇಕ ಸೂಕ್ಷ್ಮವಾದ ವ್ಯಾಪಾರ-ವ್ಯವಹಾರಗಳಿವೆ. ಡೆವಲಪರ್‌ಗಳಿಗೆ ಗೆಲುವಿನಲ್ಲಿ, Perplexity ಹುಡುಕಾಟ API ಗುಣಮಟ್ಟ ಮತ್ತು ಸುಪ್ತತೆ ಎರಡಕ್ಕೂ ಹೊಸ ಅತ್ಯಾಧುನಿಕತೆಯನ್ನು ಹೊಂದಿಸುತ್ತದೆ ಎಂದು ನಾವು ಕಂಡುಕೊಂಡಿದ್ದೇವೆ. ಡೆವಲಪರ್‌ಗಳು ಇನ್ನು ಮುಂದೆ ಬ್ಲೇಜಿಂಗ್-ವೇಗದ ಅಪ್ಲಿಕೇಶನ್‌ಗಳನ್ನು ನಿರ್ಮಿಸುವುದು ಮತ್ತು ಉತ್ತಮ ಗುಣಮಟ್ಟದ ಫಲಿತಾಂಶಗಳನ್ನು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳುವ ನಡುವೆ ಆಯ್ಕೆ ಮಾಡುವ ಅಗತ್ಯವಿಲ್ಲ: Perplexity ಜೊತೆಗೆ, ಅವರು ಎರಡನ್ನೂ ಹೊಂದಬಹುದು.

ವಿಸ್ತರಿಸಿ

ಏಜೆಂಟ್ ಹುಡುಕಾಟ ಕಾರ್ಯಪ್ರವಾಹಗಳಿಗಾಗಿ ವಿಶ್ವಾಸಾರ್ಹ ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸುವುದು

ನಮ್ಮ ಮೌಲ್ಯಮಾಪನ ಫ್ರೇಮ್‌ವರ್ಕ್‌ಗಾಗಿ ಮೂರು ಮಾರ್ಗದರ್ಶಿ ತತ್ವಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುವ ಮೂಲಕ ನಾವು ಪ್ರಾರಂಭಿಸಿದ್ದೇವೆ:

ಸಂಕೀರ್ಣತೆಯ ಸ್ಪೆಟ್ರಮ್: ಮೌಲ್ಯಮಾಪನ ಫ್ರೇಮ್‌ವರ್ಕ್ ನೇರ ಮತ್ತು ಸಂಕೀರ್ಣವಾದ ಏಜೆಂಟ್ AI ಬಳಕೆಯ ಪ್ರಕರಣಗಳಲ್ಲಿ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಅಳೆಯಬೇಕು.

ತಟಸ್ಥತೆ: ಮೌಲ್ಯಮಾಪನ ಫ್ರೇಮ್‌ವರ್ಕ್ ಸಮಾನ footing ನಲ್ಲಿ ಎಲ್ಲಾ API ಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಬೇಕು.

ಸರಳತೆ: ಕೆಲವು ಬಳಕೆಯ ಪ್ರಕರಣಗಳು ಸಂಕೀರ್ಣವಾಗಿದ್ದರೂ ಸಹ, ಇತರರು ಅದನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು, ಫಲಿತಾಂಶಗಳನ್ನು ಪುನರುತ್ಪಾದಿಸಲು ಮತ್ತು ಕನಿಷ್ಠ ಬೇಸರದೊಂದಿಗೆ ಫ್ರೇಮ್‌ವರ್ಕ್ ಅನ್ನು ವಿಸ್ತರಿಸಲು ಫ್ರೇಮ್‌ವರ್ಕ್ ಸ್ವತಃ ಸಾಧ್ಯವಾದಷ್ಟು ಸರಳವಾಗಿರಬೇಕು.

ನಮ್ಮ ಹಗುರವಾದ ಮೌಲ್ಯಮಾಪನ ಫ್ರೇಮ್‌ವರ್ಕ್, search_evals, ಸರಳವಾದ ಮಾಡ್ಯುಲರ್ ವಿನ್ಯಾಸದ ಮೂಲಕ ಈ ಗುರಿಗಳನ್ನು ಸಾಧಿಸುತ್ತದೆ. ಕ್ಲಾಸಿಕಲ್ ಸಿಂಗಲ್-ಶಾಟ್ ಹುಡುಕಾಟ ಬಳಕೆಯ ಪ್ರಕರಣಗಳು ಮತ್ತು ಸುಧಾರಿತ ಏಜೆಂಟ್ ಕಾರ್ಯಪ್ರವಾಹಗಳನ್ನು (ಗ್ರಾಹಕ ಮಾರುಕಟ್ಟೆಯಲ್ಲಿ ವ್ಯಾಪಕವಾಗಿ ಲಭ್ಯವಿರುವ ವಿವಿಧ "ಆಳಗಿನ ಸಂಶೋಧನೆ" ಉತ್ಪನ್ನಗಳಿಂದ ಉದಾಹರಣೆಯಾಗಿದೆ) ಸೆರೆಹಿಡಿಯಲು ನಾವು ಎರಡು AI ಏಜೆಂಟ್ ಹಾರ್ನೆಸ್‌ಗಳನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಿದ್ದೇವೆ. ಎರಡೂ ಹಾರ್ನೆಸ್‌ಗಳನ್ನು ಸರಳ ರೀತಿಯಲ್ಲಿ ಕಾರ್ಯಗತಗೊಳಿಸಲಾಗಿದೆ ಅದು ಗುಪ್ತ ಅನುಕೂಲಕ್ಕೆ ಸ್ವಲ್ಪ ಜಾಗವನ್ನು ಬಿಡುತ್ತದೆ.

ನಮ್ಮ ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ಚಾಲನೆ ಮಾಡಲು, ನಾವು ನಾಲ್ಕು ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳನ್ನು ಅಳವಡಿಸಿಕೊಂಡಿದ್ದೇವೆ: ಸಿಂಗಲ್-ಸ್ಟೆಪ್ ಹುಡುಕಾಟಕ್ಕಾಗಿ SimpleQA ಮತ್ತು FRAMES, ಜೊತೆಗೆ ಆಳಗಿನ ಸಂಶೋಧನೆಗಾಗಿ BrowseComp ಮತ್ತು HLE. ಒಟ್ಟಾರೆಯಾಗಿ, ಈ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳು ಜ್ಞಾನ ಏಜೆಂಟ್‌ಗಳಿಗೆ ಉತ್ತಮವಾಗಿ ಸ್ವೀಕರಿಸಲ್ಪಟ್ಟ ಯಾರ್ಡ್‌ಸ್ಟಿಕ್‌ಗಳನ್ನು ಒದಗಿಸುತ್ತವೆ. ಸ್ಥಾಪಿತ ಸಂಪ್ರದಾಯವನ್ನು ಅನುಸರಿಸಿ, ಮೂಲ ಕೆಲಸದಲ್ಲಿ ಬಳಸಿದ ಅದೇ ಪ್ರಾಂಪ್ಟ್ ಮಾಡಿದ ವರ್ಗೀಕರಣ ವಿಧಾನವನ್ನು ಬಳಸಿ ನಾವು ಎಲ್ಲಾ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳನ್ನು ಗ್ರೇಡ್ ಮಾಡುತ್ತೇವೆ. ನಿಖರವಾದ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಅನುಷ್ಠಾನಗಳನ್ನು (ಗ್ರೇಡರ್ ಲಾಜಿಕ್ ಸೇರಿದಂತೆ) ನಮ್ಮ GitHub ರೆಪೊದಲ್ಲಿ ವಿಮರ್ಶಿಸಬಹುದು.

ಪುನರುತ್ಪಾದನೆ ಮತ್ತು ವಿಸ್ತರಣೆಯನ್ನು ಗಮನದಲ್ಲಿಟ್ಟುಕೊಂಡು ನಾವು ಫ್ರೇಮ್‌ವರ್ಕ್ ಅನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಿದ್ದೇವೆ. ಕಾರ್ಯ-ಮಟ್ಟದ ಸ್ಕೋರ್‌ಗಳು ಮತ್ತು ಆಧಾರವಾಗಿರುವ ಏಜೆಂಟ್ ಔಟ್‌ಪುಟ್‌ಗಳು ಎರಡೂ ಪ್ರತಿ ರನ್‌ನೊಂದಿಗೆ ಸಂಗ್ರಹಿಸಲ್ಪಡುತ್ತವೆ. ಹೆಚ್ಚುವರಿ ಹಾರ್ನೆಸ್‌ಗಳು, ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳು ಮತ್ತು ಹುಡುಕಾಟ API ಕೊಡುಗೆಗಳನ್ನು ಸುಲಭವಾಗಿ ಸಂಯೋಜಿಸಬಹುದು. ನಿಮ್ಮ ನಿಖರವಾದ ಅಗತ್ಯಗಳನ್ನು ಪರಿಹರಿಸಲು ಫ್ರೇಮ್‌ವರ್ಕ್ ಅನ್ನು ವಿಸ್ತರಿಸುವ ಕುರಿತು ಹೆಚ್ಚಿನ ಮಾಹಿತಿಗಾಗಿ ಸಂಶೋಧಕರು ಮತ್ತು ಡೆವಲಪರ್‌ಗಳು ನಮ್ಮ GitHub ಡಾಕ್ಸ್‌ಗಳನ್ನು ಓದಬಹುದು.

ಮೌಲ್ಯಮಾಪನ ಫಲಿತಾಂಶಗಳು

ಈ ಮೌಲ್ಯಮಾಪನ ಫ್ರೇಮ್‌ವರ್ಕ್‌ನೊಂದಿಗೆ ಸಜ್ಜುಗೊಂಡ ನಾವು, ಇತರ API ಕೊಡುಗೆಗಳಿಗೆ ಹೋಲಿಸಿದರೆ ನಮ್ಮ ಹುಡುಕಾಟ API ಅನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಹೊರಟೆವು. ಎಲ್ಲಾ ಪರೀಕ್ಷಿತ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಲ್ಲಿ, Perplexity ಮಾರುಕಟ್ಟೆಯಲ್ಲಿ ವೇಗವಾದ ಮತ್ತು ಅತ್ಯಧಿಕ ಗುಣಮಟ್ಟದ API ಎರಡೂ ಆಗಿ ನಿಂತಿದೆ.

ವಿಸ್ತರಿಸಿ

ಸೂಚ್ಯಂಕ, ಮರುಪಡೆಯುವಿಕೆ ಮತ್ತು ಶ್ರೇಯಾಂಕ ದಕ್ಷತೆಯಲ್ಲಿ ನಮ್ಮ ಮೇಲಿನ ಹೂಡಿಕೆಗಳು ಚೆನ್ನಾಗಿ ಪಾವತಿಸಿವೆ ಎಂದು ನಾವು ಕಂಡುಕೊಂಡಿದ್ದೇವೆ. Perplexity ನ ಮಧ್ಯಸ್ಥ ಸುಪ್ತತೆಯು 358ms ನಲ್ಲಿ ಗಡಿಯಾರ ಮಾಡುತ್ತದೆ, ಎರಡನೇ ವೇಗವಾದ ಒದಗಿಸುವವರ ಮುಂದೆ 150ms ಗಿಂತ ಹೆಚ್ಚು. 95 ನೇ ಶತಮಾನದ ಸುಪ್ತತೆಯು 800ms ಗಿಂತ ಆರಾಮವಾಗಿ ಉಳಿಯುತ್ತದೆ. ಇಂದಿನ ಗಡಿ ಮಾದರಿಗಳ ದೀರ್ಘ TTFT (ಸಮಯ-ಮೊದಲ-ಟೋಕನ್) ಮೆಟ್ರಿಕ್‌ಗಳೊಂದಿಗೆ, ಆಹ್ಲಾದಕರವಾದ ಬಳಕೆದಾರ ಅನುಭವಗಳನ್ನು ಸೃಷ್ಟಿಸುವಲ್ಲಿ ಪ್ರತಿ ಮಿಲಿಸೆಕೆಂಡ್ ಮುಖ್ಯವಾಗಿದೆ. ನಮ್ಮ ಸ್ವಂತ ಬಳಕೆದಾರರಿಗೆ ಸುಪ್ತತೆಯನ್ನು ಆಪ್ಟಿಮೈಸ್ ಮಾಡಲು ನಾವು ಕಳೆದ ಎರಡು ವರ್ಷಗಳನ್ನು ಕಳೆದಿದ್ದೇವೆ ಮತ್ತು ಅದೇ ಹೂಡಿಕೆಗಳು ಈಗ ಡೆವಲಪರ್ ಸಮುದಾಯಕ್ಕೂ ಪ್ರಯೋಜನವನ್ನು ನೀಡುತ್ತವೆ ಎಂದು ನಮಗೆ ಸಂತೋಷವಾಗಿದೆ.

ಹುಡುಕಾಟ API ಸುಪ್ತತೆ

(AWS us-east-1 ನಿಂದ ಪ್ರಾರಂಭಿಸಲಾದ ವಿನಂತಿಗಳು)

AWS us-east-1 ನಿಂದ ಪ್ರಾರಂಭಿಸಲಾದ ವಿನಂತಿಗಳಿಗಾಗಿ Search API ವಿಳಂಬ ಶೇಕಡಾವಾರುಗಳು.

* ಅನೇಕ ಹುಡುಕಾಟ API ಮಾರಾಟಗಾರರು ತಮ್ಮ ಫಲಿತಾಂಶಗಳ ಆಧಾರವಾಗಿ SERP ಸ್ಕ್ರೇಪಿಂಗ್ ಅನ್ನು ಬಳಸುತ್ತಾರೆ. ಅಂತಹ ವಿಧಾನಗಳ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸೆರೆಹಿಡಿಯಲು, ನಾವು Tavily ಒದಗಿಸಿದ ಪ್ರತಿನಿಧಿ Google SERP-ಆಧಾರಿತ API ಅನ್ನು ಬಳಸುತ್ತೇವೆ.

ಈ ವೇಗದ ಅನುಕೂಲವು ಗುಣಮಟ್ಟದ ವೆಚ್ಚದಲ್ಲಿ ಬರುವುದಿಲ್ಲ. Perplexity ಹುಡುಕಾಟ API ಏಕ-ಹಂತದ ಹುಡುಕಾಟ ಮತ್ತು ಆಳಗಿನ ಸಂಶೋಧನಾ ಸೆಟ್ಟಿಂಗ್‌ಗಳಲ್ಲಿ ಅತ್ಯಾಧುನಿಕ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ನೀಡುತ್ತದೆ. ಪ್ರತಿಯೊಂದು ಪರೀಕ್ಷಿತ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನಲ್ಲಿ, ವಿವಿಧ ಸಂಕೀರ್ಣತೆಯ AI ಕಾರ್ಯಪ್ರವಾಹಗಳನ್ನು ಶಕ್ತಿ ತುಂಬಬಲ್ಲ ಉತ್ತಮ ಗುಣಮಟ್ಟದ ಫಲಿತಾಂಶಗಳನ್ನು ಒದಗಿಸುವಲ್ಲಿ Perplexity ಪ್ಯಾಕನ್ನು ಮುನ್ನಡೆಸುತ್ತದೆ. SimpleQA ಮತ್ತು HLE ನಲ್ಲಿ Perplexity ಮತ್ತು ಅತ್ಯುತ್ತಮ ಪರ್ಯಾಯದ ನಡುವಿನ ಅಂತರವು ವಿಶೇಷವಾಗಿ ಉಚ್ಚರಿಸಲಾಗುತ್ತದೆ, ಈ ಫಲಿತಾಂಶಗಳು ಕಾರ್ಯ ಸಂಕೀರ್ಣತೆಯ ಸ್ಪೆಟ್ರಮ್‌ನಾದ್ಯಂತ ದೃಢವಾಗಿವೆ ಎಂದು ಸೂಚಿಸುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

ವಿಳಂಬದ ವಿಷಯದಲ್ಲಿಯೂ ಹೀಗೆಯೇ, ಹುಡುಕಾಟ ಗುಣಮಟ್ಟದಲ್ಲಿನ ನಮ್ಮ ನಾಯಕತ್ವವು ಆನಂದಕರವಾದ, ಹೆಚ್ಚು ಟ್ರಾಫಿಕ್ ಹೊಂದಿರುವ AI ಉತ್ಪನ್ನಗಳನ್ನು ನಿರ್ಮಿಸುವಲ್ಲಿ ನಮ್ಮ ನಾಯಕತ್ವದಿಂದ ಮುಂದಕ್ಕೆ ಹರಿಯುತ್ತದೆ. ನಮ್ಮ ಲಕ್ಷಾಂತರ ಬಳಕೆದಾರರು ಕಲ್ಪಿಸಬಹುದಾದ ಪ್ರತಿಯೊಂದು ವಿಷಯದ ಕುರಿತೂ ತಮ್ಮ ಕುತೂಹಲವನ್ನು ತೃಪ್ತಿಪಡಿಸಲು Perplexity ಅನ್ನು ಬಳಸುತ್ತಾರೆ, ಮತ್ತು ಇದರ ಪರಿಣಾಮವಾಗಿ ಉತ್ಪನ್ನವಾಗುವ ಗುಣಮಟ್ಟ ಹಾಗೂ ಪ್ರಸ್ತುತತೆ ಸಂಕೇತಗಳು ನಮ್ಮ ಹುಡುಕಾಟ ಮಾದರಿಗಳನ್ನು ಪ್ರತಿ ಹರಿದೊಯ್ಯುವ ಗಂಟೆಯೊಂದಿಗೆ ಉತ್ತಮಗೊಳ್ಳಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತವೆ.

ಹುಡುಕಾಟ API ಗುಣಮಟ್ಟ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳು

SimpleQA, FRAMES, BrowseComp, ಮತ್ತು HLE ಮೇಲಿನ Search API ಗುಣಮಟ್ಟ ಅಂಕಗಳು.

ನಾವು ಇನ್ನೂ AI-ಸ್ಥಳೀಯ ಹುಡುಕಾಟ ಎಂಜಿನ್‌ಗಳ ಆರಂಭಿಕ ದಿನಗಳಲ್ಲಿದ್ದೇವೆ, ಮತ್ತು ಮಾಪನದ ಕಲೆ ಮತ್ತು ವಿಜ್ಞಾನವು ನಿಸ್ಸಂದೇಹವಾಗಿ ವಿಕಸನಗೊಳ್ಳುತ್ತದೆ. AI ಏಜೆಂಟ್‌ಗಳ ಯುಗದಲ್ಲಿ ಹುಡುಕಾಟ ಎಂಜಿನ್‌ಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಕಠಿಣ ಮತ್ತು ಸೃಜನಶೀಲ ವಿಧಾನಗಳನ್ನು ಅಭಿವೃದ್ಧಪಡಿಸುವ ಮೂಲಕ ಕೊಡುಗೆ ನೀಡಲು ನಾವು ಸಮುದಾಯವನ್ನು ಆಹ್ವಾನಿಸುತ್ತೇವೆ.

AI ನ ಮುಂದಿನ ಅಧ್ಯಾಯಕ್ಕಾಗಿ ಬಿಲ್ಡಿಂಗ್ ಬ್ಲಾಕ್

ಏಜೆಂಟ್ ವ್ಯವಸ್ಥೆಗಳು ಮತ್ತು ಬುದ್ಧಿವಂತ ಸಹಾಯಕರುಗಳ ಭವಿಷ್ಯವು ವಿಶ್ವದ ಸಾಮೂಹಿಕ ಜ್ಞಾನಕ್ಕೆ ಶ್ರೀಮಂತ ಪ್ರೋಗ್ರಾಮಟಿಕ್ ಇಂಟರ್‌ಫೇಸ್‌ಗಳ ಲಭ್ಯತೆಯ ಮೇಲೆ hinges ಆಗಿರುತ್ತದೆ. ಇಂದಿನ ಪರಂಪರೆಯ ಹುಡುಕಾಟ ಎಂಜಿನ್‌ಗಳು ಪ್ರತಿದಿನ ಸರಿಸುಮಾರು 10¹⁰ ಪ್ರಶ್ನೆಗಳಲ್ಲಿ ಬಳಕೆಯಲ್ಲಿ ಸ್ಯಾಚುರೇಟ್ ಆಗಿವೆ, ಇದು ಬಹುಶಃ ಗರಿಷ್ಠ ಮಟ್ಟವನ್ನು ತಲುಪಿದೆ. ಹುಡುಕಾಟ ಮತ್ತು ಮರುಪಡೆಯುವಿಕೆ ವ್ಯವಸ್ಥೆಗಳ ಮುಂದಿನ ಪೀಳಿಗೆಯು ಆದೇಶಗಳ ಪ್ರಮಾಣದ ಹೆಚ್ಚಿನ ವಿನಂತಿಗಳನ್ನು ಸೇವೆ ಮಾಡುತ್ತದೆ, ಏಕೆಂದರೆ AI ಏಜೆಂಟ್‌ಗಳ ಎಂದಿಗೂ ಬೆಳೆಯುತ್ತಿರುವ ಬ್ರಹ್ಮಾಂಡವು ನಿಖರವಾದ ರಿಯಲ್‌ಟೈಮ್ ಮಾಹಿತಿಗಾಗಿ ಅವುಗಳನ್ನು ಅವಲಂಬಿಸಿದೆ.

ಇಂದಿನವರೆಗಿನ ನಮ್ಮ ಪ್ರಯತ್ನಗಳು API ಮೂಲಕ ಪ್ರವೇಶಿಸಬಹುದಾದ ವೇಗವಾದ, ಹೆಚ್ಚು ಕಾರ್ಯಕ್ಷಮತೆಯ ಹುಡುಕಾಟ ಎಂಜಿನ್ ಆಗಿ ನಮ್ಮನ್ನು ಸ್ಥಾನ ಕಲ್ಪಿಸಿವೆ. ಆದರೆ AI ನ ಮುಂದಿನ ಅಧ್ಯಾಯಕ್ಕೆ ನಾವು ಇಂಧನ ತುಂಬಲು ಇನ್ನೂ ಹೆಚ್ಚು ಮಹತ್ವಾಕಾಂಕ್ಷೆಯ ನಾವೀನ್ಯತೆ ಅಗತ್ಯವಾಗಿರುತ್ತದೆ. ಎಂದಿಗೂ ಹೆಚ್ಚುತ್ತಿರುವ ಬೇಡಿಕೆಯ ಮುಖಾಂತರ ನಾವು ಈ ವ್ಯವಸ್ಥೆಗಳನ್ನು ಸಮರ್ಥವಾಗಿ ಹೇಗೆ ಅಳೆಯುವುದು? ಸಂದರ್ಭ ಎಂಜಿನಿಯರಿಂಗ್ ಮತ್ತು ಪೋಸ್ಟ್‌ಟ್ರೈನಿಂಗ್‌ಗೆ ನವೀನ ವಿಧಾನಗಳ ಬೆಳಕಿನಲ್ಲಿ ಈ ಹುಡುಕಾಟ ವ್ಯವಸ್ಥೆಗಳನ್ನು ಹೇಗೆ ಆಪ್ಟಿಮೈಸ್ ಮಾಡಬಹುದು? ಮತ್ತು ಸಮಗ್ರತೆ, ಇತ್ತೀಚಿನ ಮತ್ತು ಸುಪ್ತತೆ ನಡುವಿನ ಎಂದಿಗೂ ಪ್ರಸ್ತುತವಿರುವ ಉದ್ವಿಗ್ನತೆಯನ್ನು ನಾವು ಹೇಗೆ ನ್ಯಾವಿಗೇಟ್ ಮಾಡುವುದು? ಉತ್ಪನ್ನ ಹೆಜ್ಜೆಗುರುತು, ಪ್ರಮಾಣ ಮತ್ತು ತಾಂತ್ರಿಕ ಪ್ರತಿಭೆಯ ನಮ್ಮ ಸಂಯೋಜನೆಯೊಂದಿಗೆ Perplexity, tackle ಮಾಡಲು ಅನನ್ಯವಾಗಿ ಸ್ಥಾನ ಪಡೆದಿರುವ ಮುಕ್ತ ಪ್ರಶ್ನೆಗಳು ಇವು.

ಉಲ್ಲೇಖ

@online{perplexity2025ArchitectingAndEvaluatingAnAiFirstSearchApi,
  author = {{Perplexity} and Aleksandr Bogutskii and Aleksandr Nikolenko and Aleksei Bykov and Alexander Pecheny and Alexandr Yarats and Arsenii Shevchenko and Denis Bykov and Dmitry Pervukhin and Ismail Gadzhiev and James Liounis and Kevin Hu and Kirill Priemko and Maksim Gaiduk and Maksim Morozov and Marko Kevac and Michael Liang and Mikhail Galanin and Nandor Licker and Nataliya Pevgova and Nikita Kireev and Nikolai Tretiak and Paul Schofield and Saif Ali Raja and Saleh Alghusson and Sebastian Sepulveda and Sergei Miller and Svyatoslav Feldsherov and Vitalii Polshkov and Vladimir Zaytsev and Denis Yarats},
  title = {{Architecting and evaluating an AI-first Search API}},
  date = {2025-09-25},
  url = {https://www.perplexity.ai/hub/blog/architecting-and-evaluating-an-ai-first-search-api}
}