Perplexity Decider

ನಾವು Decider v1.3 ಮತ್ತು Decider Flash v1.3 ಅನ್ನು ಬಿಡುಗಡೆ ಮಾಡುತ್ತಿದ್ದೇವೆ; ಇವು ನಮ್ಮ ಹಿಂದಿನ ನಿರ್ಧಾರ ಮಾದರಿಗಳಾದ v1, v1.1, v1.2 ಮತ್ತು Flash v1.2 ಗಳ ಉತ್ತರಾಧಿಕಾರಿಗಳಾಗಿವೆ.

Decider Flash v1.3, Decider v1.3 ನಿಂದ ಡಿಸ್ಟಿಲ್ ಮಾಡಲಾದ ಚಿಕ್ಕ ಮಾದರಿಯಾಗಿದೆ. ಎರಡೂ ಮಾದರಿಗಳು Apache ಪರವಾನಗಿಯ ಅಡಿಯಲ್ಲಿ Hugging Face‌ನಲ್ಲಿ, OpenRouter ಮೂಲಕ ಮತ್ತು Perplexity Decisions API ಮೂಲಕ ಲಭ್ಯವಿವೆ.

Perplexity Decider, TypeSafe AI‌ನ System One Model ಆದ Jev ನಿಂದ ಪ್ರೇರಿತವಾಗಿದೆ. ಇದು ಕ್ರಮಬದ್ಧ ಅಥವಾ ಕ್ರಮರಹಿತ ಲೇಬಲ್‌ಗಳೊಂದಿಗೆ ಬೈನರಿ ಮತ್ತು ಬಹು-ವರ್ಗ ವರ್ಗೀಕರಣವನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ ಮತ್ತು ಇನ್‌ಪುಟ್‌ಗಳನ್ನು ವರ್ಗೀಕರಿಸಲು, ರೂಟ್ ಮಾಡಲು, ಶ್ರೇಣೀಕರಿಸಲು ಮತ್ತು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಅಪ್ಲಿಕೇಶನ್‌ಗಳು ಬಳಸಬಹುದಾದ ಸಂಭವನೀಯತೆಗಳನ್ನು ಹಿಂದಿರುಗಿಸುತ್ತದೆ.

ದ್ವಿಮುಖ ಅಟೆನ್ಶನ್, ಉತ್ತಮವಾಗಿ ಆಯ್ದುಕೊಂಡ ತರಬೇತಿ ಡೇಟಾ ಮತ್ತು ಪರಿಷ್ಕೃತ ತರಬೇತಿ ವಿಧಾನದ ಮೂಲಕ, ಎರಡೂ v1.3 ಮಾದರಿಗಳು ವ್ಯಾಪಕ ಶ್ರೇಣಿಯ ಪಠ್ಯ ಮತ್ತು ದೃಶ್ಯ ಕಾರ್ಯಗಳಲ್ಲಿ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ದೃಢತೆಯನ್ನು ಸುಧಾರಿಸುತ್ತವೆ. ಹೆಸರಿಸಲಾದ ಘಟಕ ಗುರುತಿಸುವಿಕೆ, ವೈಯಕ್ತಿಕ ಮಾಹಿತಿ ಗುರುತಿಸುವಿಕೆ ಮತ್ತು ಹೊರತೆಗೆಯುವ ಪ್ರಶ್ನೋತ್ತರ ಕಾರ್ಯಗಳಿಗಾಗಿ ಆಯ್ಕೆಮಾಡಿದ ವಿಷಯವನ್ನು ಹೈಲೈಟ್ ಮಾಡುವ ಹೊಸ ವೈಶಿಷ್ಟ್ಯವಾದ locate ಅನ್ನು ಸಹ ನಾವು ಪರಿಚಯಿಸುತ್ತಿದ್ದೇವೆ.

ಈ ಪೋಸ್ಟ್‌ನಲ್ಲಿ, ನಾವು Decider ಅನ್ನು ಹೇಗೆ ತರಬೇತಿಗೊಳಿಸುತ್ತೇವೆ ಮತ್ತು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ ಎಂಬುದನ್ನು ವಿವರಿಸುತ್ತೇವೆ ಹಾಗೂ Perplexity‌ನಲ್ಲಿ ಆಂತರಿಕವಾಗಿ ಅದನ್ನು ಹೇಗೆ ಬಳಸುತ್ತೇವೆ ಎಂಬುದನ್ನು ಹಂಚಿಕೊಳ್ಳುತ್ತೇವೆ.

ನಿರ್ಧಾರ ಮಾದರಿ ಎಂದರೇನು?

ನಿರ್ಧಾರ ಮಾದರಿಯು ಸಾಮಾನ್ಯ-ಉದ್ದೇಶದ ವರ್ಗೀಕರಣಕಾರಕವಾಗಿದೆ. ನೀವು ಅದಕ್ಕೆ ಒಂದು ಇನ್‌ಪುಟ್ ಮತ್ತು ಪ್ರತಿಯೊಂದಕ್ಕೂ ಸಂಭಾವ್ಯ ಉತ್ತರಗಳಿರುವ ಪ್ರಶ್ನೆಗಳ ಗುಂಪನ್ನು ನೀಡುತ್ತೀರಿ. ಪ್ರತಿ ಪ್ರಶ್ನೆಗೆ, ಅದು ಉತ್ತರಗಳ ಮೇಲಿನ ಸಂಭವನೀಯತೆ ವಿತರಣೆಯನ್ನು ಹಿಂದಿರುಗಿಸುತ್ತದೆ. ಇದು 3 ಪ್ರಶ್ನೆ ಪ್ರಕಾರಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ:

• ಹೌದು / ಇಲ್ಲ: ಬೈನರಿ ನಿರ್ಧಾರಗಳು.
• ಬಹು-ಆಯ್ಕೆ: ಕಸ್ಟಮ್ ಬಹು-ವರ್ಗ ಲೇಬಲ್‌ಗಳು.
• ಸ್ಕೋರ್: ಕ್ರಮಬದ್ಧ ಹಂತಗಳು.

ನಿರ್ಧಾರ ಮಾದರಿಗಳು ವ್ಯಾಪಕ ಶ್ರೇಣಿಯ ವರ್ಗೀಕರಣ ಮತ್ತು ಸ್ಕೋರಿಂಗ್ ಕಾರ್ಯಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತವೆ:

• ಔಟ್‌ಪುಟ್‌ಗಳ ನಿರ್ಣಯ: ನಿಷ್ಠೆ, ಗುಣಮಟ್ಟ ಮತ್ತು ಸುರಕ್ಷತೆಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು.
• ರೂಟಿಂಗ್: ಕಠಿಣತೆಯ ಆಧಾರದಲ್ಲಿ ವಿನಂತಿಗಳನ್ನು ಚಿಕ್ಕ ಅಥವಾ ದೊಡ್ಡ ಮಾದರಿಗಳಿಗೆ ನಿರ್ದೇಶಿಸುವುದು.
• ಮಾಡರೇಶನ್ ಮತ್ತು ಭದ್ರತೆ: ಟೂಲ್ ಔಟ್‌ಪುಟ್‌ಗಳಲ್ಲಿ ಹಾನಿಕಾರಕ ವಿಷಯ, ಫಿಶಿಂಗ್ ಮತ್ತು ಪ್ರಾಂಪ್ಟ್ ಇಂಜೆಕ್ಷನ್ ಅನ್ನು ಪತ್ತೆಹಚ್ಚುವುದು.
• ಫಿಲ್ಟರಿಂಗ್ ಮತ್ತು ಟ್ಯಾಗಿಂಗ್: ದೊಡ್ಡ ವಿಷಯ ಸಂಗ್ರಹಗಳನ್ನು ಸಂಘಟಿಸುವುದು.
• ಮರುಪಡೆಯುವಿಕೆ ಮತ್ತು ಮರುಶ್ರೇಣೀಕರಣ: ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳನ್ನು ಪ್ರಸ್ತುತತೆಯ ಆಧಾರದಲ್ಲಿ ಸ್ಕೋರ್ ಮಾಡುವುದು.

ಈ ಅನೇಕ ಕಾರ್ಯಗಳಿಗೆ ಮುಕ್ತ-ರೂಪದ ಪಠ್ಯ ರಚನೆಯ ಅಗತ್ಯವಿಲ್ಲದಿದ್ದರೂ, ಹಿಂದೆ ಅವುಗಳನ್ನು LLM ಗಳಂತಹ ಜನರೇಟಿವ್ ಮಾದರಿಗಳು ನಿರ್ವಹಿಸುತ್ತಿದ್ದವು. ನಿರ್ಧಾರ ಮಾದರಿಗಳು LLM ಗಳು ಮತ್ತು ಕಾರ್ಯ-ನಿರ್ದಿಷ್ಟ ಕ್ಲಾಸಿಫೈಯರ್‌ಗಳ ನಡುವೆ ಸ್ಥಾನ ಪಡೆದಿವೆ. ಅವು ಒಂದೇ ಇನ್‌ಪುಟ್ ಕುರಿತ ಅನೇಕ ಪ್ರಶ್ನೆಗಳಿಗೆ ಒಂದೇ ಫಾರ್ವರ್ಡ್ ಪಾಸ್‌ನಲ್ಲಿ ಸಂಭವನೀಯತೆಗಳನ್ನು ಹಿಂತಿರುಗಿಸುತ್ತವೆ; ಇದರಿಂದ ಟೋಕನ್-ಬೈ-ಟೋಕನ್ ಉತ್ತರ ರಚನೆಯನ್ನು ತಪ್ಪಿಸಿ, ಪ್ರಶ್ನೆಗಳಾದ್ಯಂತ ಗಣನೆಯನ್ನು ಹಂಚಿಕೊಳ್ಳುತ್ತವೆ. ಕಾರ್ಯ-ನಿರ್ದಿಷ್ಟ ಕ್ಲಾಸಿಫೈಯರ್‌ಗಳಿಗಿಂತ ಭಿನ್ನವಾಗಿ, ಅವು ನೈಸರ್ಗಿಕ ಭಾಷೆಯ ಪ್ರಾಂಪ್ಟ್‌ಗಳ ಮೂಲಕ ಹೊಸ ಕಾರ್ಯಗಳನ್ನು ನಿರ್ವಹಿಸಬಲ್ಲವು; ಹಂಚಿಕೆಯ ಪ್ರಶ್ನೋತ್ತರ ಸ್ವರೂಪದಲ್ಲಿ ವೈವಿಧ್ಯಮಯ ಕಾರ್ಯಗಳಾದ್ಯಂತ ಪಡೆದ ತರಬೇತಿಯಿಂದ ಈ ನಮ್ಯತೆಯನ್ನು ಕಲಿತಿವೆ.

ತರಬೇತಿ

ಜನರೇಟಿವ್ LLM ಅನ್ನು ನಿರ್ಧಾರ ಮಾದರಿಯಾಗಿ ಪರಿವರ್ತಿಸುವುದು

ಬಲಿಷ್ಠ ಜನರೇಟಿವ್ LLM ಬ್ಯಾಕ್‌ಬೋನ್‌ಗಳನ್ನು ಅಳವಡಿಸಿಕೊಳ್ಳುವ ಮೂಲಕ ನಾವು Decider ಅನ್ನು ನಿರ್ಮಿಸುತ್ತೇವೆ. ಈ ಅಳವಡಿಕೆಯನ್ನು ವಿವರಿಸಲು, ವಿನಂತಿಯನ್ನು ಹೇಗೆ ಪ್ರತಿನಿಧಿಸಲಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ನಾವು ಮೊದಲು ವಿವರಿಸುತ್ತೇವೆ. ಕೆಳಗೆ ತೋರಿಸಿರುವಂತೆ, ಒಂದು ವಿನಂತಿಯು ಹಂಚಿಕೊಂಡ ಸಂದರ್ಭ (ಸ್ಟೇಟ್) ಮತ್ತು ಹಲವಾರು ಪ್ರಶ್ನೆಗಳನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ. ಸ್ಟೇಟ್ ಅನ್ನು ಎಲ್ಲಾ ಪ್ರಶ್ನೆಗಳು ಮರುಬಳಕೆ ಮಾಡುತ್ತವೆ.

ಉದಾಹರಣೆಗೆ, ಒಂದು ದಾಖಲೆ ಮತ್ತು ಅದರ ಸಾರಾಂಶ ನೀಡಿದಾಗ, ಸಾರಾಂಶವು ದಾಖಲೆಯನ್ನು ನಿಷ್ಠೆಯಿಂದ ಪ್ರತಿನಿಧಿಸುತ್ತದೆಯೇ ಮತ್ತು ಅದು ತಜ್ಞರಿಗಾಗಿಯೇ ಅಥವಾ ಸಾಮಾನ್ಯ ಓದುಗರಿಗಾಗಿಯೇ ಎಂದು ಒಂದೇ ವಿನಂತಿಯು ಕೇಳಬಹುದು. ಸ್ಥಿತಿಯ ನಂತರ, ಪ್ರತಿ ಪ್ರಶ್ನೆ ಬ್ಲಾಕ್ ಒಂದು ಪ್ರಶ್ನೆ ಮತ್ತು ಅದರ ಸಂಭಾವ್ಯ ಉತ್ತರಗಳನ್ನು ಹೊಂದಿರುತ್ತದೆ; ಪ್ರತಿ ಉತ್ತರಕ್ಕೆ A, B, ಅಥವಾ C ನಂತಹ ಪೂರ್ವನಿರ್ಧರಿತ ಲೇಬಲ್ ಟೋಕನ್ ಅನ್ನು ನಿಯೋಜಿಸಲಾಗಿರುತ್ತದೆ. ಮಾದರಿಯ ಮುನ್ಸೂಚನೆಯನ್ನು ಎಲ್ಲಿ ಓದಬೇಕು ಎಂಬುದನ್ನು ವಿಶೇಷ <|marker|> ಟೋಕನ್ ಸೂಚಿಸುತ್ತದೆ. ಈ ಸ್ಥಾನದಲ್ಲಿ, ಕಲಿತ ರೇಖೀಯ ಔಟ್‌ಪುಟ್ ಲೇಯರ್ (ನಿರ್ಧಾರ ಹೆಡ್) ಹಿಡನ್ ಸ್ಟೇಟ್ ಅನ್ನು ಪ್ರಶ್ನೆಯ ಉತ್ತರ ಆಯ್ಕೆಗಳ ಸ್ಕೋರ್‌ಗಳಿಗೆ ಮ್ಯಾಪ್ ಮಾಡುತ್ತದೆ; ನಂತರ ಅವುಗಳನ್ನು ಸಂಭವನೀಯತೆಗಳಾಗಿ ಪರಿವರ್ತಿಸಲಾಗುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

ಸಾಮಾನ್ಯವಾಗಿ ಸಂಪೂರ್ಣ ಶಬ್ದಕೋಶದಿಂದ ಮುಂದಿನ ಟೋಕನ್ ಅನ್ನು ಸ್ಕೋರ್ ಮಾಡುವ ಮೂಲ ಮಾದರಿಯಿಂದ ನಾವು ಔಟ್‌ಪುಟ್ ಲೇಯರ್ ಅನ್ನು ಆರಂಭಿಕಗೊಳಿಸುತ್ತೇವೆ ಮತ್ತು A, B, ಅಥವಾ C ನಂತಹ ಪೂರ್ವನಿರ್ಧರಿತ ಆಯ್ಕೆ ಟೋಕನ್‌ಗಳಿಗೆ ಅನುಗುಣವಾದ ಸಾಲುಗಳನ್ನು ಮಾತ್ರ ಉಳಿಸಿಕೊಳ್ಳುತ್ತೇವೆ. ನಂತರ ಈ ಕತ್ತರಿಸಿದ ಲೇಯರ್‌ಗೆ <|marker|> ಟೋಕನ್‌ನ ಹಿಡನ್ ಸ್ಟೇಟ್ ಅನ್ನು ಉತ್ತರ ಸ್ಕೋರ್‌ಗಳಾಗಿ ಪರಿವರ್ತಿಸಲು ತರಬೇತಿ ನೀಡಲಾಗುತ್ತದೆ. ಎಲ್ಲಾ ವರ್ಗೀಕರಣ ಪ್ರಶ್ನೆಗಳನ್ನು ಬಹು-ಆಯ್ಕೆಯಾಗಿ ರೂಪಿಸಬಹುದಾದ್ದರಿಂದ, ಈ ವಿಧಾನವು ಅವೆಲ್ಲವನ್ನೂ ಒಳಗೊಳ್ಳುತ್ತದೆ.

ತರಬೇತಿಗಾಗಿ, ನಾವು ವೈವಿಧ್ಯಮಯ ಕಾರ್ಯಗಳನ್ನು (ಭಾವನೆ, ನೈಸರ್ಗಿಕ ಭಾಷಾ ಅನುಮಿತಿ, ಉದ್ದೇಶ ಪತ್ತೆ, ಘಟಕ ಹೊಂದಾಣಿಕೆ, ಮಾಡರೇಶನ್, ಸತ್ಯ ಪರಿಶೀಲನೆ, ರೇಟಿಂಗ್‌ಗಳು ಇತ್ಯಾದಿ) ಒಳಗೊಂಡ ನೂರಾರು ಸಾರ್ವಜನಿಕ ಡೇಟಾಸೆಟ್‌ಗಳನ್ನು ತೆಗೆದುಕೊಂಡು, ಪ್ರತಿ ಉದಾಹರಣೆಯನ್ನು ಮೇಲೆ ವಿವರಿಸಿದ ಏಕೀಕೃತ ಸ್ವರೂಪಕ್ಕೆ ಪರಿವರ್ತಿಸುತ್ತೇವೆ: ಒಂದು ಸ್ಥಿತಿ, ಒಂದು ಅಥವಾ ಹೆಚ್ಚಿನ ಪ್ರಶ್ನೆಗಳು, ಅವುಗಳ ಆಯ್ಕೆಗಳು ಮತ್ತು ಒಂದು ಗುರಿ. ನಮ್ಮಲ್ಲಿ ಗೋಲ್ಡ್ ಲೇಬಲ್‌ಗಳಿದ್ದರೆ ಗುರಿಯು ಏಕೈಕ ಸರಿಯಾದ ಆಯ್ಕೆಯಾಗಿರಬಹುದು, ಇಲ್ಲವೇ ಆಯ್ಕೆಗಳ ಮೇಲಿನ ಸಂಭವನೀಯತೆ ವಿತರಣೆಯಾಗಿರಬಹುದು.

v1.3 ರಲ್ಲಿ, ನಾವು locate ಅನ್ನು ಪರಿಚಯಿಸುತ್ತಿದ್ದೇವೆ; ಇದು ಪೂರ್ವನಿರ್ಧರಿತ ಆಯ್ಕೆಗಳಿಂದ ಆರಿಸುವ ಬದಲು ಸ್ಥಿತಿಯಿಂದ ಪಠ್ಯವನ್ನು ಹೊರತೆಗೆಯುತ್ತದೆ. locate ಪ್ರಶ್ನೆಯು ಏನನ್ನು ಹುಡುಕಬೇಕು ಎಂಬುದನ್ನು ವಿವರಿಸುತ್ತದೆ; ಇದಕ್ಕಾಗಿ “ಸ್ಥಳ” ನಂತಹ ಸಣ್ಣ ಲೇಬಲ್ ಅಥವಾ “ಉದ್ಯೋಗವಿರುವ ನಗರದ ಹೆಸರನ್ನು ಹೊರತೆಗೆಯಿರಿ.” ನಂತಹ ಸೂಚನೆಯನ್ನು ಬಳಸಬಹುದು. ಮಾದರಿಯು ಸ್ಥಿತಿಯಿಂದ ನಿಖರವಾಗಿ ಹೊಂದಿಕೆಯಾಗುವ ಪಠ್ಯವನ್ನು, ಅದರ ಆರಂಭ ಮತ್ತು ಅಂತ್ಯದ ಅಕ್ಷರ ಸ್ಥಾನಗಳೊಂದಿಗೆ ಹಿಂದಿರುಗಿಸುತ್ತದೆ. ಯಾವುದೇ ಹೊಂದಾಣಿಕೆ ಕಂಡುಬರದಿದ್ದರೆ, ಅದು ಖಾಲಿ ಪಟ್ಟಿಯನ್ನು ಹಿಂದಿರುಗಿಸುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

ಹಂಚಿಕೆಯ ಸ್ಥಿತಿಯಿಂದಾಗಿ, ಒಂದೇ ವಿನಂತಿಯು ಒಂದೇ ಇನ್‌ಪುಟ್ ಕುರಿತ locate, ವರ್ಗೀಕರಣ ಮತ್ತು ಸ್ಕೋರಿಂಗ್ ಪ್ರಶ್ನೆಗಳನ್ನು ಸಂಯೋಜಿಸಬಹುದು. ಉದಾಹರಣೆಗೆ, ಒಂದು ಉದ್ಯೋಗಕ್ಕೆ ಹಿರಿಯ ಮಟ್ಟದ ಅನುಭವ ಅಗತ್ಯವಿದೆಯೇ ಎಂದು ಕೇಳಬಹುದು ಮತ್ತು ಅಗತ್ಯವಿರುವ ಕೌಶಲ್ಯಗಳನ್ನು ಹೊರತೆಗೆಯಬಹುದು.

ದ್ವಿಮುಖ ಅಟೆನ್ಶನ್: ಮಾದರಿಯು ಎರಡೂ ದಿಕ್ಕುಗಳಲ್ಲಿ ಓದಲು ಅವಕಾಶ ನೀಡುವುದು

ನಮ್ಮ ಮಾದರಿಗಳು ಪ್ರಬಲವಾದ ಪೂರ್ವ-ತರಬೇತಿ ಪಡೆದ ಜನರೇಟಿವ್ ಬ್ಯಾಕ್‌ಬೋನ್‌ಗಳಿಂದ ಪ್ರಾರಂಭವಾಗುತ್ತವೆ; ಅವುಗಳ ಕಾಸಲ್ ಅಟೆನ್ಶನ್ ಪ್ರತಿ ಟೋಕನ್‌ಗೆ ತನ್ನನ್ನು ಮತ್ತು ಹಿಂದಿನ ಟೋಕನ್‌ಗಳನ್ನು ಮಾತ್ರ ಗಮನಿಸಲು ಅವಕಾಶ ನೀಡುತ್ತದೆ. ಬ್ಯಾಕ್‌ಬೋನ್‌ನ ಪೂರ್ಣ-ಅಟೆನ್ಶನ್ ಲೇಯರ್‌ಗಳನ್ನು ದ್ವಿಮುಖವಾಗಿಸುವುದರಿಂದ ಕಾರ್ಯಕ್ಷಮತೆ ಸುಧಾರಿಸುತ್ತದೆ ಎಂದು ನಮ್ಮ ಅಬ್ಲೇಶನ್ ಅಧ್ಯಯನಗಳು ತೋರಿಸಿವೆ; ಆದ್ದರಿಂದ ಪ್ರತಿ ಟೋಕನ್ ಸಂಪೂರ್ಣ ಇನ್‌ಪುಟ್‌ನಿಂದ ಸಂದರ್ಭವನ್ನು ಒಳಗೊಳ್ಳುವಂತೆ ನಾವು ಈ ವಿನ್ಯಾಸವನ್ನು ಅಳವಡಿಸಿಕೊಂಡಿದ್ದೇವೆ.

ದ್ವಿಮುಖ ಅಟೆನ್ಶನ್ ಇನ್ನೊಂದು ವಿನ್ಯಾಸ ಆಯ್ಕೆಯನ್ನು ಮುಂದಿಡುತ್ತದೆ: ಸ್ಥಿತಿ ಮತ್ತು ಪ್ರಶ್ನೆಗಳು ಪರಸ್ಪರ ಹೇಗೆ ಸಂವಹಿಸಬೇಕು? ಕಾರ್ಯಕ್ಷಮತೆ, ಉತ್ತರದ ಸ್ಥಿರತೆ ಮತ್ತು ಕ್ಯಾಶ್ ಮರುಬಳಕೆಯ ಮೇಲೆ ವಿಭಿನ್ನ ಪರಿಣಾಮಗಳನ್ನು ಹೊಂದಿರುವ ಮೂರು ಅಟೆನ್ಶನ್ ಪ್ಯಾಟರ್ನ್‌ಗಳನ್ನು ನಾವು ಪರಿಗಣಿಸಿದೆವು:

• ಎಲ್ಲವೂ ಎಲ್ಲವನ್ನೂ ನೋಡುತ್ತದೆ (v1.2): ಸ್ಥಿತಿ ಮತ್ತು ಎಲ್ಲಾ ಪ್ರಶ್ನೆಗಳನ್ನು ಪೂರ್ಣ ದ್ವಿಮುಖ ಅಟೆನ್ಶನ್‌ನೊಂದಿಗೆ ಒಟ್ಟಿಗೆ ಸಂಸ್ಕರಿಸಲಾಗುತ್ತದೆ. ಸ್ಥಿತಿಯ ಮೇಲಿನ ಗಣನೆಯನ್ನು ಹಂಚಿಕೊಳ್ಳಲಾಗುತ್ತದೆ, ಆದರೆ ಒಂದು ಪ್ರಶ್ನೆಯ ಉತ್ತರವು ಇನ್ನೇನು ಕೇಳಲಾಗಿದೆ ಎಂಬುದನ್ನು ಅವಲಂಬಿಸಿ ಬದಲಾಗಬಹುದು.
• ಪ್ರತ್ಯೇಕ ಪ್ರಶ್ನೆಗಳು (v1.3): ಸ್ಥಿತಿಯು ಎಲ್ಲಾ ಪ್ರಶ್ನೆಗಳನ್ನು ಗಮನಿಸುತ್ತದೆ, ಆದರೆ ಪ್ರತಿ ಪ್ರಶ್ನೆಯು ಸ್ಥಿತಿ ಮತ್ತು ತನ್ನದೇ ಟೋಕನ್‌ಗಳನ್ನು ಮಾತ್ರ ಗಮನಿಸುತ್ತದೆ. ಹಂಚಿಕೆಯ ಸ್ಥಿತಿಯ ಮೂಲಕ ಪ್ರಶ್ನೆಗಳು ಈಗಲೂ ಪರೋಕ್ಷವಾಗಿ ಪರಸ್ಪರ ಪ್ರಭಾವ ಬೀರಬಹುದು, ಆದರೆ ಫಲಿತಾಂಶಗಳು ಹೆಚ್ಚು ಸ್ಥಿರವಾಗಿರುತ್ತವೆ.
• ಸಂಪೂರ್ಣವಾಗಿ ಕ್ಯಾಶ್ ಮಾಡಬಹುದಾದದ್ದು: ಸ್ಟೇಟ್ ತನ್ನ ಮೇಲೆ ಮಾತ್ರ ಗಮನ ಹರಿಸುತ್ತದೆ, ಆದರೆ ಪ್ರತಿಯೊಂದು ಪ್ರಶ್ನೆಯು ಸ್ಟೇಟ್ ಮತ್ತು ತನ್ನದೇ ಟೋಕನ್‌ಗಳ ಮೇಲೆ ಗಮನ ಹರಿಸುತ್ತದೆ. ಸ್ಟೇಟ್ ಪ್ರಶ್ನೆಗಳಿಂದ ಸ್ವತಂತ್ರವಾಗಿದ್ದು, ಪ್ರಾಂಪ್ಟ್ ಕ್ಯಾಶಿಂಗ್‌ನ ಪ್ರಯೋಜನ ಪಡೆಯಲು ವಿನಂತಿಗಳಾದ್ಯಂತ ಮರುಬಳಕೆ ಮಾಡಬಹುದು. ಹಲವಾರು ಕಾರ್ಯಗಳಿಗೆ ಸ್ಟೇಟ್ ಪ್ರಶ್ನೆಗಳನ್ನು ನೋಡಲು ಅವಕಾಶ ನೀಡುವುದು ಬಹಳ ಮುಖ್ಯವಾದ್ದರಿಂದ ನಾವು ಇದನ್ನು ಡೀಫಾಲ್ಟ್ ಆಗಿ ಬಳಸುವುದಿಲ್ಲ, ಆದರೆ ಸಣ್ಣ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಮೂಲಕ ಮಾದರಿಯನ್ನು ಇದಕ್ಕೆ ಬದಲಾಯಿಸಬಹುದು.

ಬಲವಾದ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಸ್ಥಿರತೆಯ ಕಾರಣದಿಂದ ನಾವು ಅಂತಿಮವಾಗಿ ಪ್ರತ್ಯೇಕ ಪ್ರಶ್ನೆಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡಿದೆವು.

ವಿಸ್ತರಿಸಿ

ತರಬೇತಿ ವಿಧಾನ

ಎರಡೂ ಗಾತ್ರದ ಮಾದರಿಗಳಿಗೆ ತರಬೇತಿಯು ಮೂರು ಹಂತಗಳಲ್ಲಿ ನಡೆಯುತ್ತದೆ. ನಾವು ಮೊದಲು Qwen3.8-27B ಆಧಾರಿತ ದೊಡ್ಡ ಮಾದರಿಗೆ ದೊಡ್ಡ ಡೇಟಾಸೆಟ್‌ಗಳ ಮೇಲೆ ಕ್ರಾಸ್-ಎಂಟ್ರೋಪಿ ಬಳಸಿ ತರಬೇತಿ ನೀಡುತ್ತೇವೆ, ನಂತರ ಅದನ್ನು ಚಿಕ್ಕದಾದ Qwen3.5-4B ಮಾದರಿಗೆ ಡಿಸ್ಟಿಲ್ ಮಾಡುತ್ತೇವೆ.

ಮೊದಲ ಹಂತವು ಜನರಲಿಸ್ಟ್ ತರಬೇತಿ; ಇದರಲ್ಲಿ ನಾವು ದೊಡ್ಡ ಪ್ರಮಾಣದ ಕಾರ್ಪೊರಾಗಳ ಮೇಲೆ ಮಾದರಿಯನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡುತ್ತೇವೆ. ಈ ಹಂತದಲ್ಲಿ, ಎಲ್ಲಾ ಆಯಾಮಗಳಲ್ಲಿ ಮಾದರಿಗೆ ಸಹಾಯ ಮಾಡುವ ಮತ್ತು ಯಾವುದೇ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗೆ ನಿರ್ದಿಷ್ಟವಲ್ಲದ ಡೇಟಾವನ್ನು ಮಾತ್ರ ನಾವು ಸ್ವೀಕರಿಸುತ್ತೇವೆ; ಹೀಗಾಗಿ ನಾವು ಯಾವುದೇ ಬೆಂಚ್‌ಮಾರ್ಕ್ ತರಬೇತಿ ವಿಭಾಗಗಳನ್ನು ಹೊರಗಿಡುತ್ತೇವೆ.

ಈ ಜನರಲಿಸ್ಟ್ ಮಾದರಿಗೆ ತರಬೇತಿ ನೀಡಿದ ನಂತರ, ನಾವು LoRA ಬಳಸಿ ಎರಡನೇ, ಹೆಚ್ಚು ಸೂಕ್ಷ್ಮ ಹಂತವನ್ನು ನಡೆಸುತ್ತೇವೆ. ಈ ಹಂತದಲ್ಲಿ ಬಳಸುವ ಡೇಟಾ ನಿರ್ದಿಷ್ಟ ಡೊಮೇನ್‌ಗಳು ಮತ್ತು ಕಾರ್ಯಗಳನ್ನು ಗುರಿಯಾಗಿಸಿಕೊಂಡಿರುತ್ತದೆ. ಸೀಮಿತ ಲಾಭಗಳನ್ನು ಗಮನಿಸಿದರೆ ಅಥವಾ ಇತರ ಕಾರ್ಯಗಳಲ್ಲಿ ಕೆಲವು ಹಿನ್ನಡೆಗಳನ್ನು ಗಮನಿಸಿದರೆ, ನಾವು ಡೇಟಾವನ್ನು ಮೊದಲ ಹಂತದ ಬದಲಿಗೆ ಎರಡನೇ ಹಂತದಲ್ಲಿ ಸೇರಿಸುತ್ತೇವೆ. ಜನರಲಿಸ್ಟ್ ಮಾದರಿಯಿಂದ ಹೆಚ್ಚು ದೂರ ಸರಿಯುವುದನ್ನು ಮತ್ತು ಆ ನಿರ್ದಿಷ್ಟ ಡೊಮೇನ್‌ಗಳಿಗೆ ಹೊಂದಿಕೊಳ್ಳುವಾಗ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಕಳೆದುಕೊಳ್ಳುವ ಅಪಾಯವನ್ನು ತಪ್ಪಿಸಲು ನಾವು LoRA ಬಳಸುತ್ತೇವೆ. ಬ್ಯಾಕ್‌ಬೋನ್‌ನ ಸಾಮಾನ್ಯ ಜ್ಞಾನವನ್ನು ಉಳಿಸಿಕೊಂಡು ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸುಧಾರಿಸುವುದೇ ಗುರಿ. ಡ್ರಿಫ್ಟ್ ಅನ್ನು ಹೆಚ್ಚು ನಿಖರವಾಗಿ ನಿಯಂತ್ರಿಸಲು ಮತ್ತು ಯಾವುದೇ ಇನ್-ಡೊಮೇನ್ ಲಾಭಗಳಿಗಿಂತ ಹೆಲ್ಡ್-ಔಟ್ ಮೆಟ್ರಿಕ್‌ಗಳಿಗೆ ಆದ್ಯತೆ ನೀಡಲು, LoRA ಅನ್ನು ಮೂಲ ಮಾದರಿಗೆ ಮರಳಿ ವಿಲೀನಗೊಳಿಸುವಾಗ ನಾವು ಒಂದು ವೇಟ್ ಅನ್ನು ಸಹ ಬಳಸುತ್ತೇವೆ.

ಅಂತಿಮವಾಗಿ, ನಾವು ದೃಶ್ಯ-ನಿರ್ದಿಷ್ಟ ಹಂತವನ್ನು ಸೇರಿಸುತ್ತೇವೆ. ಎರಡನೇ ಹಂತದಂತೆಯೇ, ದೃಶ್ಯ ಹಂತವನ್ನು ಮತ್ತೊಂದು ಸೂಕ್ಷ್ಮ ವಿಶೇಷೀಕರಣ ಹಂತವಾಗಿ ಪರಿಗಣಿಸಲಾಗುತ್ತದೆ; ಇದು ಒಂದು ತೂಕದೊಂದಿಗೆ ಮೂಲ ಮಾದರಿಗೆ ಮರಳಿ ವಿಲೀನಗೊಳ್ಳುವ LoRA ಅಡಾಪ್ಟರ್ ಅನ್ನು ಬಳಸುತ್ತದೆ. ಕೆಲವು ದೃಶ್ಯ ಸಾಮರ್ಥ್ಯಗಳು ಪಠ್ಯ ಕಾರ್ಯಕ್ಷಮತೆಯ ಬೆಲೆಯಲ್ಲಿ ಬರಬಹುದು. ಮಾದರಿಗಳನ್ನು ಪಠ್ಯಕ್ಕಾಗಿ ಹೆಚ್ಚು ಬಳಸಲಾಗುತ್ತಿರುವುದನ್ನು ನಾವು ಗಮನಿಸಿರುವುದರಿಂದ, ದೃಶ್ಯ ಮೆಟ್ರಿಕ್‌ಗಳಿಗಿಂತ ಪಠ್ಯ ಮೆಟ್ರಿಕ್‌ಗಳಿಗೆ ಆದ್ಯತೆ ನೀಡುತ್ತೇವೆ.

ಎರಡೂ ಪಠ್ಯ ಹಂತಗಳಿಗೆ, ನಾವು ಮೂರು ರನ್‌ಗಳ ಸರಾಸರಿ ತೂಕಗಳನ್ನು ಬಳಸುತ್ತೇವೆ; ಪ್ರತಿಯೊಂದು ರನ್ ವಿಭಿನ್ನ ಯಾದೃಚ್ಛಿಕ ಸೀಡ್ ಅನ್ನು ಬಳಸುತ್ತದೆ. ಇದು ಒಟ್ಟುಗೂಡಿಸಿದ ಮಾದರಿಯ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ದೃಢತೆಯನ್ನು ಸುಧಾರಿಸುತ್ತದೆ ಎಂದು ನಾವು ಕಂಡುಕೊಂಡಿದ್ದೇವೆ.

ಅಂತಿಮ ದೊಡ್ಡ ಮಾದರಿ ಸಿದ್ಧವಾದ ನಂತರ, ನಾವು ಅದೇ ಮೂರು-ಹಂತದ ತರಬೇತಿ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಚಿಕ್ಕ ಮಾದರಿಗೆ ಅನ್ವಯಿಸುತ್ತೇವೆ. ಇಲ್ಲಿ, ದೊಡ್ಡ ಮಾದರಿಯು ಶಿಕ್ಷಕನಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ: ಅದರ ಊಹಿತ ಔಟ್‌ಪುಟ್ ವಿತರಣೆಯು ಗೋಲ್ಡ್ ಲೇಬಲ್‌ಗಳ ಸ್ಥಾನವನ್ನು ಪಡೆಯುತ್ತದೆ, ಮತ್ತು ಚಿಕ್ಕ ಮಾದರಿಯು ತನ್ನ ಊಹೆಗಳು ಹಾಗೂ ಶಿಕ್ಷಕನ ಊಹೆಗಳ ನಡುವಿನ KL ಡೈವರ್ಜೆನ್ಸ್ ಅನ್ನು ಕನಿಷ್ಠಗೊಳಿಸಲು ತರಬೇತಿ ಪಡೆಯುತ್ತದೆ. ಅದೇ ತರಬೇತಿ ಡೇಟಾದಲ್ಲಿ ಈ ಡಿಸ್ಟಿಲೇಶನ್ ಉದ್ದೇಶವು ಕ್ರಾಸ್-ಎಂಟ್ರೋಪಿಗಿಂತ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಮೀಸಲಾದ ತರಬೇತಿ ಡೇಟಾವಿರುವ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಲ್ಲಿ ಕ್ರಾಸ್-ಎಂಟ್ರೋಪಿ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸಿದರೂ, ಹೆಲ್ಡ್-ಔಟ್ ಡೇಟಾಗೆ ಅದು ಅಷ್ಟು ಚೆನ್ನಾಗಿ ಸಾಮಾನ್ಯೀಕರಿಸುವುದಿಲ್ಲ. ಡಿಸ್ಟಿಲೇಶನ್ ಶಿಕ್ಷಕನ ಔಟ್‌ಪುಟ್ ವಿತರಣೆಯನ್ನು, ಗೋಲ್ಡ್ ಅಲ್ಲದ ಪರ್ಯಾಯಗಳ ಮೇಲಿನ ಅದರ ವಿಶ್ವಾಸವನ್ನೂ ಒಳಗೊಂಡಂತೆ, ಉತ್ತಮವಾಗಿ ವರ್ಗಾಯಿಸುತ್ತದೆ, ಆದರೆ ಕ್ರಾಸ್-ಎಂಟ್ರೋಪಿಯು ಬೆಂಚ್‌ಮಾರ್ಕ್-ನಿರ್ದಿಷ್ಟ ತರಬೇತಿ ವಿತರಣೆಗೆ ಓವರ್‌ಫಿಟ್ ಆಗುವುದನ್ನು ಪ್ರೋತ್ಸಾಹಿಸುತ್ತದೆ ಎಂಬುದು ನಮ್ಮ ಊಹೆ. ಆದ್ದರಿಂದ ನಾವು KL-ಆಧಾರಿತ ಡಿಸ್ಟಿಲೇಶನ್ ಉದ್ದೇಶವನ್ನು ಅಳವಡಿಸಿಕೊಳ್ಳುತ್ತೇವೆ.

ತರಬೇತಿ-ಪರೀಕ್ಷಾ ಮಾಲಿನ್ಯವನ್ನು ತಗ್ಗಿಸಲು, ನಾವು ಬಳಸುವ ಯಾವುದೇ ಮೌಲ್ಯಮಾಪನದೊಂದಿಗೆ ಅತಿಕ್ರಮಿಸಬಹುದಾದ ಯಾವುದೇ ತರಬೇತಿ ಸ್ಯಾಂಪಲ್‌ಗಳನ್ನು ತೆಗೆದುಹಾಕುತ್ತೇವೆ. ಕೆಲವು ಸಾರ್ವಜನಿಕ ತರಬೇತಿ ಡೇಟಾಸೆಟ್‌ಗಳು ಕೆಲವು ಮೌಲ್ಯಮಾಪನ ಡೇಟಾಸೆಟ್‌ಗಳ ದೊಡ್ಡ ಭಾಗಗಳನ್ನು ಒಳಗೊಂಡಿರುವುದರಿಂದ ಇದು ಮುಖ್ಯವಾಗಿದೆ. ನಮ್ಮ ಲಾಭಗಳು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿವೆ ಮತ್ತು ಕೇವಲ ಕಲಿತ ಪಕ್ಷಪಾತಗಳಿಂದ ಉಂಟಾದವುಗಳಲ್ಲ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ನಾವು ವ್ಯಾಪಕ ಪಕ್ಷಪಾತ ಪರಿಶೋಧನೆಗಳನ್ನು ನಡೆಸುತ್ತೇವೆ ಮತ್ತು ಪಕ್ಷಪಾತಗಳನ್ನು ತೆಗೆದುಹಾಕುತ್ತೇವೆ.

ಮಾಹಿತಿಯನ್ನು ಹೊರತೆಗೆಯುವ ಸಾಮರ್ಥ್ಯವನ್ನು ಸೇರಿಸುವುದು

locate ವೈಶಿಷ್ಟ್ಯವು ಸಾಮಾನ್ಯ ವಿನಂತಿಗಳಿಗೆ ಉತ್ತರಿಸುವ ವಿಧಾನವನ್ನು ಬದಲಾಯಿಸದೆ, ಪಠ್ಯದಿಂದ ಹೆಸರಿಸಲಾದ ಘಟಕಗಳಂತಹ ಮಾಹಿತಿಯನ್ನು ಹೊರತೆಗೆಯುತ್ತದೆ. ಇದಕ್ಕಾಗಿ, ನಾವು ಹೆಚ್ಚುವರಿ ತರಬೇತಿ ಹಂತವನ್ನು ಪರಿಚಯಿಸುತ್ತೇವೆ: Decider‌ಗೆ ಹೊಸ ವಿಶೇಷ ಟೋಕನ್ <|locate|>, ಒಂದು ಸ್ಪ್ಯಾನ್ ಹೆಡ್ ಮತ್ತು LoRA ಅಡಾಪ್ಟರ್ ಅನ್ನು ಸೇರಿಸುತ್ತೇವೆ.

<|locate|> ಟೋಕನ್‌ನ ಎಂಬೆಡಿಂಗ್ ಅನ್ನು, ಹಿಂದಿನ ತರಬೇತಿ ಹಂತಗಳಲ್ಲಿ ಕಲಿತ <|marker|> ಟೋಕನ್‌ನಿಂದ ನಾವು ಆರಂಭಿಕಗೊಳಿಸುತ್ತೇವೆ. ಮೂಲ ಬ್ಯಾಕ್‌ಬೋನ್ ತೂಕಗಳು ಮತ್ತು ನಿರ್ಧಾರ ಹೆಡ್ ಅನ್ನು ಫ್ರೀಜ್ ಮಾಡಿಟ್ಟು, ಈ ಹೊಸ ಎಂಬೆಡಿಂಗ್, ಸ್ಪ್ಯಾನ್ ಹೆಡ್ ಮತ್ತು LoRA ಅಡಾಪ್ಟರ್‌ಗಳನ್ನು ಮಾತ್ರ ನಾವು ತರಬೇತಿಗೊಳಿಸುತ್ತೇವೆ. ವಿನಂತಿಸಿದ ಪ್ರತಿಯೊಂದು ಫೀಲ್ಡ್‌ಗೂ ತನ್ನದೇ ಆದ <|locate|> ಟೋಕನ್ ಸಿಗುತ್ತದೆ.

ಹೊಂದಿಕೆಯಾಗುವ ಸ್ಪ್ಯಾನ್‌ಗಳು ಎಲ್ಲಿ ಪ್ರಾರಂಭವಾಗುತ್ತವೆ ಮತ್ತು ಎಲ್ಲಿ ಕೊನೆಗೊಳ್ಳುತ್ತವೆ, ಹಾಗೂ ಯಾವ ಆರಂಭ-ಅಂತ್ಯ ಜೋಡಿಗಳು ಒಟ್ಟಿಗೆ ಸೇರುತ್ತವೆ ಎಂಬುದನ್ನು ಸ್ಕೋರ್ ಮಾಡಲು ಸ್ಪ್ಯಾನ್ ಹೆಡ್ ಸ್ಟೇಟ್-ಟೋಕನ್ ಪ್ರಾತಿನಿಧ್ಯಗಳ ಜೊತೆಗೆ <|locate|> ನ ಪ್ರಾತಿನಿಧ್ಯವನ್ನು ಬಳಸುತ್ತದೆ. ಈ ಸ್ಕೋರ್‌ಗಳಿಗೆ ಫೀಲ್ಡ್-ನಿರ್ದಿಷ್ಟ ಥ್ರೆಶೋಲ್ಡ್‌ಗಳನ್ನು ಊಹಿಸಲು ಇದು <|locate|> ಟೋಕನ್‌ನ ಪ್ರಾತಿನಿಧ್ಯವನ್ನೂ ಬಳಸುತ್ತದೆ. ಆಯ್ಕೆಯಾದ ಸ್ಪ್ಯಾನ್‌ಗಳನ್ನು ಮೂಲ ಪಠ್ಯದಲ್ಲಿನ ಅಕ್ಷರ ಸ್ಥಾನಗಳಾಗಿ ಹಿಂತಿರುಗಿಸಲಾಗುತ್ತದೆ.

ನಾವು ಸ್ಪ್ಯಾನ್ ಹೆಡ್‌ಗೆ ಅಳವಡಿಸಿದ InfoNCE ಲಾಸ್ ಬಳಸಿ ತರಬೇತಿ ನೀಡುತ್ತೇವೆ; ಇದು ಪ್ರತಿಯೊಂದು ಗೋಲ್ಡ್ ಸ್ಪ್ಯಾನ್ ಅನ್ನು ಥ್ರೆಶೋಲ್ಡ್‌ಗಿಂತ ಮೇಲಕ್ಕೆ, ಮತ್ತು ಥ್ರೆಶೋಲ್ಡ್ ಅನ್ನು ಇತರ ಪ್ರತಿಯೊಂದು ಸ್ಪ್ಯಾನ್‌ಗಿಂತ ಮೇಲಕ್ಕೆ ತಳ್ಳುತ್ತದೆ. ಲಾಸ್ ಎರಡು ಪದಗಳನ್ನು ಹೊಂದಿದೆ: ಮೊದಲನೆಯದು ಸರಿಯಾದ ಸ್ಪ್ಯಾನ್‌ಗಳ ಸ್ಕೋರ್‌ಗಳನ್ನು ಥ್ರೆಶೋಲ್ಡ್ ಮತ್ತು ತಪ್ಪು ಸ್ಪ್ಯಾನ್‌ಗಳಿಗಿಂತ ಮೇಲಕ್ಕೆ ತಳ್ಳುತ್ತದೆ. ಎರಡನೇ ಪದವು ಥ್ರೆಶೋಲ್ಡ್ ಅನ್ನು ತಪ್ಪು ಸ್ಪ್ಯಾನ್‌ಗಳ ಸ್ಕೋರ್‌ಗಳಿಗಿಂತ ಮೇಲಕ್ಕೆ ತಳ್ಳುತ್ತದೆ. ಉತ್ತರವಿಲ್ಲದ ಫೀಲ್ಡ್‌ಗಳು ಎರಡನೇ ಪದವನ್ನು ಮಾತ್ರ ಪಡೆಯುತ್ತವೆ, ಇದು ಖಾಲಿ ಪಟ್ಟಿಯನ್ನು ಹಿಂತಿರುಗಿಸಲು ಮಾದರಿಗೆ ಕಲಿಸುತ್ತದೆ.

ಹೆಸರಿಸಲಾದ ಘಟಕ ಗುರುತಿಸುವಿಕೆ, PII ಪತ್ತೆ ಮತ್ತು ಹೊರತೆಗೆಯುವ ಪ್ರಶ್ನೋತ್ತರ ಸೇರಿದಂತೆ ಸ್ಪ್ಯಾನ್ ಹೊರತೆಗೆಯುವ ಕಾರ್ಯಗಳ ಮಿಶ್ರಣದ ಮೇಲೆ ನಾವು ತರಬೇತಿ ನೀಡುತ್ತೇವೆ. ಮಾದರಿಯು ಸ್ಥಿರ ಲೇಬಲ್ ಸೆಟ್ ಅನ್ನು ಕಂಠಪಾಠ ಮಾಡುವ ಬದಲು ವಿನಂತಿಯನ್ನು ಅನುಸರಿಸಲು ಕಲಿಯುವಂತೆ, ನಾವು ಫೀಲ್ಡ್ ವಿವರಣೆಗಳನ್ನು ಸಣ್ಣ ಲೇಬಲ್‌ಗಳಿಂದ ವಿವರವಾದ ಸೂಚನೆಗಳವರೆಗೆ ಬದಲಾಯಿಸುತ್ತೇವೆ.

Locate ಮಾದರಿಗೆ ರಚನಾತ್ಮಕವಾಗಿ ವಿಭಿನ್ನವಾದ ಕಾರ್ಯವನ್ನು ಕಲಿಸುತ್ತದೆ, ಮತ್ತು ಮಾದರಿಯು ಈಗಾಗಲೇ ಚೆನ್ನಾಗಿ ಮಾಡುವುದನ್ನು ಕಳೆದುಕೊಳ್ಳದೆ ಅದನ್ನು ಸೇರಿಸಲು ನಾವು ಬಯಸುತ್ತೇವೆ. locate ಅಡಾಪ್ಟರ್‌ಗಳನ್ನು ಬ್ಯಾಕ್‌ಬೋನ್‌ಗೆ ವಿಲೀನಗೊಳಿಸುವುದರಿಂದ ನಿರ್ಧಾರ ವಿನಂತಿಗಳಲ್ಲಿ ಸ್ವಲ್ಪ ಹಿನ್ನಡೆ ಉಂಟಾಗುತ್ತದೆ. ಇದನ್ನು ಮಿತಿಗೊಳಿಸಲು, ಹಿಂದಿನ ಹಂತಗಳಿಂದ ಹೆಚ್ಚಿನ ರಿಪ್ಲೇ ಡೇಟಾ ಮತ್ತು ನಿರ್ಧಾರ ವಿನಂತಿಗಳಲ್ಲಿ ಮಾದರಿಯ ಔಟ್‌ಪುಟ್‌ಗಳನ್ನು ಮೂಲ ಮಾದರಿಯ ಔಟ್‌ಪುಟ್‌ಗಳಿಗೆ ಹತ್ತಿರವಿರಿಸುವ ಸಹಾಯಕ ಉದ್ದೇಶಗಳಂತಹ ತನಿಖೆಗಳನ್ನು ನಾವು ನಡೆಸುತ್ತಿದ್ದೇವೆ. ಆದಾಗ್ಯೂ, ವಿಲೀನಗೊಳಿಸುವಿಕೆ ಪ್ರಸ್ತುತ ಇನ್ನೂ ನಷ್ಟರಹಿತವಾಗಿಲ್ಲ ಎಂದು ನಾವು ಕಂಡುಕೊಂಡಿದ್ದೇವೆ, ಆದ್ದರಿಂದ ನಾವು ಅಡಾಪ್ಟರ್‌ಗಳನ್ನು ವಿಲೀನಗೊಳಿಸದೆ ಇರಿಸುತ್ತೇವೆ ಮತ್ತು ಅವುಗಳನ್ನು locate ವಿನಂತಿಗಳಿಗೆ ಮಾತ್ರ ಸಕ್ರಿಯಗೊಳಿಸುತ್ತೇವೆ.

ಮೌಲ್ಯಮಾಪನ

ನಾವು Decider v1.3 ಮತ್ತು Decider Flash v1.3 ಅನ್ನು Hugging Face Decision Index, Vals AI ನ ClaimBench ಮತ್ತು Artificial Analysis Decision Index ನ ಬಾಹ್ಯ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಲ್ಲಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ.

ಈ ಮೌಲ್ಯಮಾಪನಗಳಾದ್ಯಂತ, ನಮ್ಮ ಮಾದರಿಗಳು ಬಲವಾದ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಪ್ರದರ್ಶಿಸುತ್ತವೆ. ಈ ಲೀಡರ್‌ಬೋರ್ಡ್‌ಗಳು ಖಾಸಗಿಯಾಗಿ ಇರಿಸಲಾದ ಕಾರ್ಯಗಳನ್ನು ಒಳಗೊಂಡಿದ್ದರೂ, ಪುನರಾವರ್ತಿತ ಸಲ್ಲಿಕೆ ಮತ್ತು ಲೀಡರ್‌ಬೋರ್ಡ್ ಪ್ರತಿಕ್ರಿಯೆಯ ಆಧಾರದ ಮೇಲಿನ ಪುನರಾವರ್ತಿತ ಟ್ಯೂನಿಂಗ್ ಮೂಲಕ ಅವುಗಳ ಫಲಿತಾಂಶಗಳನ್ನು ಈಗಲೂ ಕೃತಕವಾಗಿ ಹೆಚ್ಚಿಸಬಹುದು. ಈ ಲೀಡರ್‌ಬೋರ್ಡ್‌ಗಳಿಗೆ ಪೂರಕವಾಗಿ, ಖಾಸಗಿ ಪ್ರೊಡಕ್ಷನ್ ಕಾರ್ಯಗಳನ್ನು ಸಾರ್ವಜನಿಕ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಅಲ್ಲದ ಡೇಟಾಸೆಟ್‌ಗಳಿಂದ ಪಡೆದ ಹೆಲ್ಡ್-ಔಟ್ ಮೌಲ್ಯಮಾಪನಗಳೊಂದಿಗೆ ಸಂಯೋಜಿಸುವ ಆಂತರಿಕ ಸೂಟ್‌ನಲ್ಲಿ ನಾವು ಮಾದರಿಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ. ಈ ಮೌಲ್ಯಮಾಪನಗಳು ಸಾರ್ವಜನಿಕ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳನ್ನು ಮೀರಿದ ಸಾಮಾನ್ಯೀಕರಣದ ಹೆಚ್ಚುವರಿ ಪರಿಶೀಲನೆಯನ್ನು ಒದಗಿಸುತ್ತವೆ ಮತ್ತು ಪರಿಚಿತ ಮೌಲ್ಯಮಾಪನ ಸೂಟ್‌ಗಳಿಗೆ ನಿರ್ದಿಷ್ಟವಾದ ಲಾಭಗಳಿಂದ ವಿಶಾಲವಾದ ಸುಧಾರಣೆಗಳನ್ನು ಪ್ರತ್ಯೇಕಿಸಲು ನಮಗೆ ಸಹಾಯ ಮಾಡುತ್ತವೆ.

ವರ್ಗೀಕರಣ, ಸ್ಕೋರಿಂಗ್, ಮರುಶ್ರೇಣೀಕರಣ ಮತ್ತು ಘಟಕ ಹೊರತೆಗೆಯುವಿಕೆಯಂತಹ ವಿವಿಧ ಡೊಮೇನ್‌ಗಳು ಮತ್ತು ಕಾರ್ಯಗಳನ್ನು ಒಳಗೊಂಡ 200ಕ್ಕೂ ಹೆಚ್ಚು ಕಾರ್ಯಗಳ ಸೂಟ್ ಅನ್ನು ನಾವು ಆಂತರಿಕವಾಗಿ ನಿರ್ಮಿಸಿದ್ದೇವೆ. Decider‌ನ ನೈಜ-ಜಗತ್ತಿನ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಪ್ರಾಮಾಣಿಕವಾಗಿ ಅಳೆಯಲು, ಎಲ್ಲಾ ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ಕಾರ್ಯ-ನಿರ್ದಿಷ್ಟ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಇಲ್ಲದೆ ಝೀರೋ-ಶಾಟ್ ರೀತಿಯಲ್ಲಿ ನಡೆಸಲಾಗುತ್ತದೆ; ಇದು ಮಾದರಿಯನ್ನು ಎಲ್ಲಿ ಸುಧಾರಿಸಬೇಕು ಎಂಬುದರ ಸ್ಪಷ್ಟ ಸಂಕೇತವನ್ನು ನಮಗೆ ನೀಡುತ್ತದೆ.

ಕ್ವೆರಿ ವರ್ಗೀಕರಣ

Perplexity‌ನಲ್ಲಿ, ಪ್ರತಿ ಬಳಕೆದಾರ ಕ್ವೆರಿಯನ್ನು ಸಂಸ್ಕರಿಸಲು ನಾವು ಮಲ್ಟಿ-ಹೆಡ್ ವರ್ಗೀಕರಣ ವ್ಯವಸ್ಥೆಯನ್ನು ಬಳಸುತ್ತೇವೆ. ಪ್ರತಿ ಕ್ವೆರಿಯನ್ನು ಮೊದಲು ಫೀಚರ್ ಎಕ್ಸ್‌ಟ್ರಾಕ್ಟರ್ ಆಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವ ಎಂಬೆಡಿಂಗ್ ಮಾದರಿಯ ಮೂಲಕ ಹಾಯಿಸಲಾಗುತ್ತದೆ. ನಂತರ ಫಲಿತಾಂಶದ ಎಂಬೆಡಿಂಗ್ ಅನ್ನು ಬೈನರಿ ಮತ್ತು ಮಲ್ಟಿ-ಲೇಬಲ್ ವರ್ಗೀಕರಣಕಾರಕಗಳೆರಡನ್ನೂ ಒಳಗೊಂಡ ಹಲವು ಪ್ರತ್ಯೇಕ ವರ್ಗೀಕರಣ ಹೆಡ್‌ಗಳಿಗೆ ನೀಡಲಾಗುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, ಬಳಕೆದಾರರ ಕ್ವೆರಿಯು ವೆಬ್ ಹುಡುಕಾಟವನ್ನು ಪ್ರಚೋದಿಸಬೇಕೇ ಎಂಬುದನ್ನು ಒಂದು ಹೆಡ್ ನಿರ್ಧರಿಸುತ್ತದೆ.

ಫ್ರಾಂಟಿಯರ್ LLM ಮೂಲಕ ಸ್ವತಂತ್ರವಾಗಿ ಮರು-ಲೇಬಲ್ ಮಾಡಲಾದ ಉಲ್ಲೇಖಗಳನ್ನು ಹೊಂದಿರುವ 63 ವರ್ಗೀಕರಣ ಕಾರ್ಯಗಳಲ್ಲಿ, Decider v1.3 91.6% ಸರಾಸರಿ ನಿಖರತೆಯನ್ನು ಸಾಧಿಸುತ್ತದೆ; ಇದು ನಮ್ಮ ಪ್ರೊಡಕ್ಷನ್ ವರ್ಗೀಕರಣಕಾರಕಗಳಿಗಿಂತ 6.54 ಶೇಕಡಾ ಅಂಕಗಳು ಹೆಚ್ಚು. Decider Flash v1.3 ಸಹ ಪ್ರೊಡಕ್ಷನ್ ಬೇಸ್‌ಲೈನ್ ಅನ್ನು ಮೀರಿಸುತ್ತದೆ, ಹಾಗೆಯೇ Decider v1.3, Jev 1.14 ಅನ್ನು ಮೀರಿಸುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

ಡೊಮೇನ್-ನಿರ್ದಿಷ್ಟ ವರ್ಗೀಕರಣ

ಏಳು ಡೊಮೇನ್‌ಗಳಲ್ಲಿ ನಿರ್ಧಾರ ಮಾದರಿಗಳ ವರ್ಗೀಕರಣ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಅಳೆಯಲು ನಾವು ಸಾರ್ವಜನಿಕ ಡೇಟಾಸೆಟ್‌ಗಳಿಂದ ಡೊಮೇನ್-ನಿರ್ದಿಷ್ಟ ಮೌಲ್ಯಮಾಪನ ಸೂಟ್ ಅನ್ನು ಸಿದ್ಧಪಡಿಸಿದ್ದೇವೆ: ಹೇಳಿಕೆ ಪರಿಶೀಲನೆ (6 ಕಾರ್ಯಗಳು), ಆರೋಗ್ಯ ರಕ್ಷಣೆ (7), ಸೈಬರ್ ಭದ್ರತೆ (8), ಪ್ರೋಗ್ರಾಮಿಂಗ್ (16), ಸರ್ಕಾರ (7), ಕಾನೂನು (9) ಮತ್ತು ಹಣಕಾಸು (9).

ಉದಾಹರಣೆಗೆ, “Python ಪ್ರೋಗ್ರಾಂನ ಸಮಯ ಸಂಕೀರ್ಣತೆಯನ್ನು ನಿರ್ಣಯಿಸಿ” ಅಥವಾ “ಮುಂದಿನ ಹನ್ನೆರಡು ತಿಂಗಳೊಳಗೆ ಪಾವತಿಸಬೇಕಾದ ಸಾಲದ ಅಸಲನ್ನು ಕಂಪನಿಯ ನಿರ್ಬಂಧರಹಿತ ನಗದು ಭರಿಸುತ್ತದೆಯೇ ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸಲು ವಾರ್ಷಿಕ ಹಣಕಾಸು ವರದಿಯನ್ನು ಬಳಸಿ”. Decider v1.3 ಎಲ್ಲಾ ಏಳು ಡೊಮೇನ್‌ಗಳಲ್ಲಿ ಮುನ್ನಡೆ ಸಾಧಿಸುತ್ತದೆ; ಹಣಕಾಸಿನಲ್ಲಿ 12.9 ಶೇಕಡಾ ಅಂಕಗಳವರೆಗೆ ಮತ್ತು ಕಾನೂನಿನಲ್ಲಿ 9.3 ಅಂಕಗಳವರೆಗೆ Jev 1.14 ಅನ್ನು ಮೀರಿಸುತ್ತದೆ. Decider Flash v1.3 ಹಣಕಾಸು, ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಮತ್ತು ಕಾನೂನಿನಲ್ಲಿ Jev 1.14 ಗಿಂತ ಹಿಂದುಳಿದಿದೆ ಮತ್ತು ಇತರ ಡೊಮೇನ್‌ಗಳಲ್ಲಿ ಸಮಾನವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

ಮರುಪಡೆಯುವಿಕೆ ಮತ್ತು ಮರುಶ್ರೇಣೀಕರಣ

ಹುಡುಕಾಟವು Perplexity‌ನ ಮೂಲತಿರುಳು. ನಮ್ಮ ಮಾದರಿಗಳ ಮರುಶ್ರೇಣೀಕರಣ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ನಾವು ಮರುಪಡೆಯುವಿಕೆ ಕಾರ್ಯಗಳ ವ್ಯಾಪಕ ಸೂಟ್ ಅನ್ನು ನಿರ್ವಹಿಸುತ್ತೇವೆ. ಪ್ರತಿ ಕಾರ್ಯಕ್ಕಾಗಿ, ಪ್ರತಿ ಕಾರ್ಪಸ್‌ನಿಂದ ಅಗ್ರ 50 ಅಭ್ಯರ್ಥಿ ದಾಖಲೆಗಳನ್ನು ಮರುಪಡೆಯಲು ನಾವು ಮೊದಲು ಎಂಬೆಡಿಂಗ್ ಮಾದರಿಗಳ ಸಮೂಹವನ್ನು ಬಳಸುತ್ತೇವೆ. ನಂತರ Decider ಬಳಸಿ ಈ ಅಭ್ಯರ್ಥಿಗಳನ್ನು ಮರುಶ್ರೇಣೀಕರಿಸುತ್ತೇವೆ ಮತ್ತು ಅದರ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಪ್ರಬಲ ರಿರ್ಯಾಂಕರ್ ಬೇಸ್‌ಲೈನ್ ಆದ Qwen3-Reranker-8B ಯೊಂದಿಗೆ ಹೋಲಿಸುತ್ತೇವೆ.

ನಾವು Decider ಅನ್ನು ಝೀರೋ-ಶಾಟ್, ಪಾಯಿಂಟ್‌ವೈಸ್ ಸೆಟ್ಟಿಂಗ್‌ನಲ್ಲಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ; ಪ್ರತಿಯೊಂದು ಕ್ವೆರಿ–ದಾಖಲೆ ಜೋಡಿಯನ್ನು ಸ್ವತಂತ್ರವಾಗಿ ನೇರವಾಗಿ ಸ್ಕೋರ್ ಮಾಡಲು ಮತ್ತು ದಾಖಲೆಗಳನ್ನು ಪ್ರಸ್ತುತತೆಯ ಆಧಾರದಲ್ಲಿ ಶ್ರೇಣೀಕರಿಸಲು ಮಾದರಿಯನ್ನು ಬಳಸುತ್ತೇವೆ. 72 ಮರುಪಡೆಯುವಿಕೆ ಕಾರ್ಯಗಳಲ್ಲಿ, Decider v1.3 ಸರಾಸರಿ 83.99 nDCG@10 ಸಾಧಿಸುತ್ತದೆ; ಇದು Qwen3-Reranker-8B ಗಿಂತ 1.81 ಅಂಕಗಳು ಮತ್ತು Jev 1.14 ಗಿಂತ 2.24 ಅಂಕಗಳು ಹೆಚ್ಚು.

BEIR ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನಲ್ಲಿ, ಎರಡೂ ಮಾದರಿಗಳು Qwen3-Reranker-8B ಅನ್ನು ಕ್ರಮವಾಗಿ 8.78 ಮತ್ತು 7.05 nDCG@10 ಅಂಕಗಳಿಂದ ಮೀರಿಸುತ್ತವೆ. Jev 1.14 ಗೆ ಹೋಲಿಸಿದರೆ, Decider v1.3 1.33 ಅಂಕಗಳು ಹೆಚ್ಚು ಗಳಿಸಿದರೆ, Flash ಆವೃತ್ತಿ 0.4 ಕಡಿಮೆ ಗಳಿಸುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

ಬಹುಭಾಷಾ ವರ್ಗೀಕರಣ

ಇಂಗ್ಲಿಷ್‌ನ ಆಚೆಗೂ ನಿರ್ಧಾರ ಮಾದರಿಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು, ನಾವು 8 ಸಾರ್ವಜನಿಕ ಡೇಟಾಸೆಟ್‌ಗಳಿಂದ 19 ಭಾಷಾ-ನಿರ್ದಿಷ್ಟ ಕಾರ್ಯಗಳನ್ನು ಒಳಗೊಂಡ ಬಹುಭಾಷಾ ವರ್ಗೀಕರಣ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಅನ್ನು ಸಿದ್ಧಪಡಿಸಿದ್ದೇವೆ; ಇದರಲ್ಲಿ ಎಂಟು ಭಾಷೆಗಳಲ್ಲಿ 46,484 ಉದಾಹರಣೆಗಳಿವೆ: ಜರ್ಮನ್, ಸ್ಪ್ಯಾನಿಷ್, ಫ್ರೆಂಚ್, ಇಟಾಲಿಯನ್, ರಷ್ಯನ್, ಜಪಾನೀಸ್, ಕೊರಿಯನ್ ಮತ್ತು ಚೈನೀಸ್. ಈ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಉದ್ದೇಶ ಪತ್ತೆ, ವಿಷಯ ವರ್ಗೀಕರಣ, ಭಾವನೆ ವಿಶ್ಲೇಷಣೆ, ನೈಸರ್ಗಿಕ ಭಾಷಾ ಅನುಮಿತಿ, ಪ್ಯಾರಾಫ್ರೇಸ್ ಪತ್ತೆ, ಆಕ್ಷೇಪಾರ್ಹ ಭಾಷೆ ಪತ್ತೆ ಮತ್ತು ವ್ಯಾಕರಣಾತ್ಮಕ ಸ್ವೀಕಾರಾರ್ಹತೆಯನ್ನು ಒಳಗೊಂಡಿದೆ.

ಪ್ರತಿ ಕಾರ್ಯಕ್ಕೂ ಸಮಾನ ತೂಕ ನೀಡಿ, ಪ್ರತಿ ಭಾಷೆಯೊಳಗಿನ ಕಾರ್ಯಗಳಾದ್ಯಂತ ಸರಾಸರಿ ನಿಖರತೆಯನ್ನು ನಾವು ವರದಿ ಮಾಡುತ್ತೇವೆ. Decider v1.3 ಎಲ್ಲಾ ಎಂಟು ಭಾಷೆಗಳಲ್ಲಿ ಮತ್ತು Decider Flash v1.3 ಆರು ಭಾಷೆಗಳಲ್ಲಿ Jev 1.14 ಅನ್ನು ಮೀರಿಸುತ್ತವೆ; ಸರಾಸರಿ ಕಾರ್ಯ ನಿಖರತೆ Decider v1.3 ಗೆ 88.16% ಮತ್ತು Decider Flash v1.3 ಗೆ 86.50% ಆಗಿದ್ದರೆ, Jev 1.14 ಗೆ ಇದು 85.41% ಆಗಿದೆ.

ವಿಸ್ತರಿಸಿ

NER, PII ಮತ್ತು ಹೊರತೆಗೆಯುವ QA

ವಿವಿಧ ಡೊಮೇನ್‌ಗಳು, ಇನ್‌ಪುಟ್ ಸ್ವರೂಪಗಳು (ಪಠ್ಯ, ಕೋಷ್ಟಕಗಳು, ರಚನಾತ್ಮಕ ದಾಖಲೆಗಳು) ಮತ್ತು ಸೂಚನೆಗಳಲ್ಲಿ (ಸಣ್ಣ ಲೇಬಲ್‌ಗಳು, ಪ್ರಶ್ನೆಗಳು ಮತ್ತು ವಿವರವಾದ ವಿವರಣೆಗಳು) ಅದರ ಹೊರತೆಗೆಯುವಿಕೆಯನ್ನು ಪರೀಕ್ಷಿಸುವ 17 ಡೊಮೇನ್-ಹೊರಗಿನ ಕಾರ್ಯಗಳ ಮೇಲೆ ನಾವು locate ವೈಶಿಷ್ಟ್ಯವನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ. ಡೊಮೇನ್‌ಗಳು Wikipedia‌ದಿಂದ ಹಿಡಿದು ವೈಜ್ಞಾನಿಕ ಪ್ರಬಂಧಗಳು, ಸೈಬರ್-ಬೆದರಿಕೆ ವರದಿಗಳು, ತಾಂತ್ರಿಕ ಬೆಂಬಲ, ಗೌಪ್ಯತಾ ನೀತಿಗಳು, ರೆಸ್ಯೂಮ್‌ಗಳು ಮತ್ತು ಕಾನೂನು ಒಪ್ಪಂದಗಳವರೆಗೆ ವ್ಯಾಪಿಸಿವೆ. ವಿನಂತಿಗಳು “ವ್ಯಕ್ತಿ” ಅಥವಾ “ಇಮೇಲ್ ವಿಳಾಸ” ನಂತಹ ಸಣ್ಣ ಲೇಬಲ್ ಹೆಸರುಗಳಿಂದ, ಕೋಷ್ಟಕ ಅಥವಾ ಬೆಂಬಲ ಟಿಕೆಟ್ ಕುರಿತ ಪ್ರಶ್ನೆಗಳ ಮೂಲಕ, NDA ಯ ಪಕ್ಷಗಳು ಅಥವಾ ಇನ್‌ವಾಯ್ಸ್‌ನ ಒಟ್ಟು ಮೊತ್ತದಂತಹ ರಚನಾತ್ಮಕ ಹೊರತೆಗೆಯುವಿಕೆಗಾಗಿ ವಿವರವಾದ ಫೀಲ್ಡ್ ವಿವರಣೆಗಳವರೆಗೆ ಇವೆ.

ನಾವು NER ಮತ್ತು PII ಅನ್ನು ನಿಖರ-ಸ್ಪ್ಯಾನ್ F1 ಬಳಸಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ, ಇದಕ್ಕಾಗಿ ಊಹಿಸಲಾದ ಸ್ಪ್ಯಾನ್‌ಗಳು ಉಲ್ಲೇಖದ ಗಡಿಗಳಿಗೆ ನಿಖರವಾಗಿ ಹೊಂದಿಕೆಯಾಗಬೇಕು. ಎಕ್ಸ್‌ಟ್ರಾಕ್ಟಿವ್ QA ಅಕ್ಷರ-ಮಟ್ಟದ F1 ಅನ್ನು ಬಳಸುತ್ತದೆ, ಇದು ಅತಿಕ್ರಮಿಸುವ ಉತ್ತರ ಪಠ್ಯಕ್ಕೆ ಭಾಗಶಃ ಅಂಕ ನೀಡುತ್ತದೆ, ಆದರೆ ರಚನಾತ್ಮಕ ಹೊರತೆಗೆಯುವಿಕೆಯು ಫೀಲ್ಡ್ ನಿಖರತೆಯನ್ನು, ಅಂದರೆ ಸರಿಯಾಗಿ ಹೊರತೆಗೆಯಲಾದ ಫೀಲ್ಡ್‌ಗಳ ಪ್ರಮಾಣವನ್ನು ಬಳಸುತ್ತದೆ. CV ಪಾರ್ಸಿಂಗ್‌ಗಾಗಿ, ನಾವು NER ಮತ್ತು PII ನಿಖರ-ಸ್ಪ್ಯಾನ್ F1 ಸ್ಕೋರ್‌ಗಳ ಸರಾಸರಿಯನ್ನು ತೆಗೆದುಕೊಳ್ಳುತ್ತೇವೆ.

ನಾವು ನಮ್ಮ ಮಾದರಿಗಳನ್ನು ವಿಭಿನ್ನ ಗಾತ್ರಗಳ ಸಾಮಾನ್ಯ-ಉದ್ದೇಶದ ಹೊರತೆಗೆಯುವ ಮಾದರಿಗಳೊಂದಿಗೆ ಹೋಲಿಸುತ್ತೇವೆ: GLiNER large v2.5 (0.5B), Liquid d1 (2B) ಮತ್ತು Cloudflare‌ನ Clairic (ಬಹಿರಂಗಪಡಿಸಿಲ್ಲ). Decider v1.3 69.0 ಸರಾಸರಿ ಸ್ಕೋರ್ (ಪ್ರತಿ ಕಾರ್ಯದ ಪ್ರಾಥಮಿಕ ಮೆಟ್ರಿಕ್ ಬಳಸಿ) ತಲುಪುತ್ತದೆ ಮತ್ತು Decider Flash v1.3 63.6 ತಲುಪುತ್ತದೆ; ಇದಕ್ಕೆ ಹೋಲಿಸಿದರೆ Liquid d1 43.3, Clairic 41.5 ಮತ್ತು GLiNER large v2.5 33.6 ಗಳಿಸುತ್ತವೆ. ಎರಡೂ Decider ಮಾದರಿಗಳು ಪ್ರತಿಯೊಂದು ವರ್ಗದಲ್ಲೂ ಮುನ್ನಡೆ ಸಾಧಿಸುತ್ತವೆ.

ವಿಸ್ತರಿಸಿ

ಚಿತ್ರ ವರ್ಗೀಕರಣ

Decider v1 ರಿಂದಲೇ ದೃಶ್ಯ ಕಾರ್ಯಗಳನ್ನು ಸ್ಥಳೀಯವಾಗಿ ಬೆಂಬಲಿಸುತ್ತಿದೆ. ಪಠ್ಯದ ಆಚೆಗಿನ ಅದರ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು, ಇನ್‌ವಾಯ್ಸ್‌ಗಳು, ಪತ್ರಗಳು ಮತ್ತು ರೆಸ್ಯೂಮ್‌ಗಳು ಸೇರಿದಂತೆ ದಾಖಲೆ ವರ್ಗೀಕರಣದ ಮೇಲೆ ವಿಶೇಷ ಗಮನ ಹರಿಸುವ ಐದು-ಕಾರ್ಯಗಳ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಸೂಟ್ ಅನ್ನು ನಾವು ಸಿದ್ಧಪಡಿಸಿದ್ದೇವೆ. ಈ ಸೂಟ್ ಉಪಗ್ರಹ ಚಿತ್ರ ವರ್ಗೀಕರಣ, ಟೆಕ್ಸ್ಚರ್ ವರ್ಗೀಕರಣ, ಸಾಕುಪ್ರಾಣಿ ತಳಿ ವರ್ಗೀಕರಣ ಮತ್ತು ಪ್ರಾಣಿಗಳ ಎಣಿಕೆಯನ್ನೂ ಒಳಗೊಂಡಿದೆ.

ಐದು ದೃಶ್ಯ ಕಾರ್ಯಗಳಲ್ಲಿ Decider v1.3 76.99% ಸರಾಸರಿ ನಿಖರತೆಯನ್ನು ಸಾಧಿಸುತ್ತದೆ; ಇದು Jev 1.14 ಗಿಂತ 1.47 ಶೇಕಡಾ ಅಂಕಗಳು ಹೆಚ್ಚು. Decider Flash v1.3 72.77% ಸಾಧಿಸುತ್ತದೆ; ಇದು ಚಿಕ್ಕ ಮಾದರಿಯಲ್ಲೂ ದೃಶ್ಯ ವರ್ಗೀಕರಣ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಪ್ರದರ್ಶಿಸುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

ನೈಜ-ಜಗತ್ತಿನ ನಿರ್ಧಾರ ವಿನಂತಿಗಳು

Perplexity Decision API ಲಭ್ಯವಾದ ಮೊದಲ 18 ದಿನಗಳಲ್ಲಿ ಅದಕ್ಕೆ ಸಲ್ಲಿಸಲಾದ, ನಕಲು ತೆಗೆದುಹಾಕಿದ ಮತ್ತು PII ಮರೆಮಾಡಿದ 10 ಲಕ್ಷ ವಿನಂತಿಗಳನ್ನು ನಾವು ಸ್ಯಾಂಪಲ್ ಮಾಡಿದೆವು. ಪ್ರತಿ ವಿನಂತಿಯು ಒಂದೇ ಸ್ಥಿತಿಯ ಕುರಿತು ಹಲವು ಪ್ರಶ್ನೆಗಳನ್ನು ಹೊಂದಿರಬಹುದಾದ್ದರಿಂದ, ಈ ಸ್ಯಾಂಪಲ್ 23,18,887 ಪ್ರತ್ಯೇಕ ಪ್ರಶ್ನೆಗಳನ್ನು ಒಳಗೊಂಡಿದೆ. ಎಲ್ಲಾ ವಿನಂತಿಗಳನ್ನು ಸಂಶೋಧನೆಗಾಗಿ ಬಳಕೆದಾರರ ಸ್ಪಷ್ಟ ಅನುಮತಿಯೊಂದಿಗೆ ಸೇರಿಸಲಾಗಿದೆ.

ಪ್ರೊಡಕ್ಷನ್ ವಿನಂತಿಗಳೊಂದಿಗೆ ಗ್ರೌಂಡ್-ಟ್ರೂತ್ ಲೇಬಲ್‌ಗಳು ಬರುವುದಿಲ್ಲ; ಆದ್ದರಿಂದ ಉಲ್ಲೇಖ ಉತ್ತರಗಳನ್ನು ರಚಿಸಲು ನಾವು ಫ್ರಾಂಟಿಯರ್ LLM ತೀರ್ಪುಗಾರರನ್ನು ಬಳಸುತ್ತೇವೆ ಮತ್ತು ಅವುಗಳೊಂದಿಗೆ ಪ್ರತಿ ಮಾದರಿಯ ಸಹಮತವನ್ನು ಅಳೆಯುತ್ತೇವೆ. ನಾವು ವಿನಂತಿಗಳನ್ನು 10 ಕಾರ್ಯ ವರ್ಗಗಳಾಗಿಯೂ ಗುಂಪು ಮಾಡುತ್ತೇವೆ; ಅವುಗಳಲ್ಲಿ ಮಾಹಿತಿ ಹೊರತೆಗೆಯುವಿಕೆ, ಡೊಮೇನ್ ವರ್ಗೀಕರಣ, ಭಾವನೆ ವಿಶ್ಲೇಷಣೆ, ಉದ್ದೇಶ ಮತ್ತು ರೂಟಿಂಗ್, ಪ್ರಸ್ತುತತೆ ಶ್ರೇಣೀಕರಣ, ವಿಷಯ ಮಾಡರೇಶನ್, ಗುಣಮಟ್ಟ ಮತ್ತು ಅನುಸರಣೆ ಪರಿಶೀಲನೆ, ಘಟಕ ಹೊಂದಾಣಿಕೆ, ವ್ಯಾಪಾರ ವಿಶ್ಲೇಷಣೆ ಮತ್ತು “ಇತರೆ” ವರ್ಗ ಸೇರಿವೆ. ನೈಜ-ಜಗತ್ತಿನ ಬಳಕೆಯ ಸಂದರ್ಭಗಳಲ್ಲಿ ಕಾರ್ಯಕ್ಷಮತೆ ಹೇಗೆ ಬದಲಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ಈ ವಿಭಜನೆ ತೋರಿಸುತ್ತದೆ.

ಕಾರ್ಯಗಳ ಮಿಶ್ರಣ ಅಸಮವಾಗಿದೆ: ಮಾಹಿತಿ ಹೊರತೆಗೆಯುವಿಕೆ 4,25,402 ಪ್ರಶ್ನೆಗಳನ್ನು, ಡೊಮೇನ್ ವರ್ಗೀಕರಣ 4,09,564 ಮತ್ತು ಭಾವನೆ ವಿಶ್ಲೇಷಣೆ 3,44,158 ಪ್ರಶ್ನೆಗಳನ್ನು ಹೊಂದಿವೆ. ಈ ಮೂರು ವರ್ಗಗಳು ಒಟ್ಟಾಗಿ ಸ್ಯಾಂಪಲ್ ಮಾಡಿದ ಪ್ರಶ್ನೆಗಳ 50.8% ರಷ್ಟಿವೆ.

Decider v1.3 ತೀರ್ಪುಗಾರರೊಂದಿಗೆ 93.98% ರಷ್ಟು ಅತ್ಯಧಿಕ ಸಹಮತವನ್ನು ಸಾಧಿಸುತ್ತದೆ; Decider v1.2 ಗೆ ಇದು 93.68% ಮತ್ತು Jev 1.14 ಗೆ 93.35% ಆಗಿದೆ. ಡೊಮೇನ್ ವರ್ಗೀಕರಣ ಮತ್ತು ಭಾವನೆ ವಿಶ್ಲೇಷಣೆಯಲ್ಲಿ Decider v1.3 ಮತ್ತು Jev 1.14 ಬಹುತೇಕ ಸಮಾನವಾಗಿವೆ; ಅವುಗಳ ನಡುವಿನ ಅಂತರ ಕ್ರಮವಾಗಿ 0.34 ಮತ್ತು 0.07 ಶೇಕಡಾ ಅಂಕಗಳು. ಪ್ರಸ್ತುತತೆ ಶ್ರೇಣೀಕರಣದಲ್ಲಿ Jev 0.69 ಅಂಕಗಳಿಂದ ಮುಂದಿದ್ದರೆ, ಮಾಹಿತಿ ಹೊರತೆಗೆಯುವಿಕೆಯಲ್ಲಿ (ಸ್ಯಾಂಪಲ್‌ನಲ್ಲಿನ ಅತ್ಯಂತ ಸಾಮಾನ್ಯ ಕಾರ್ಯ) Decider v1.3 0.93 ಅಂಕಗಳಿಂದ ಮತ್ತು ಉದ್ದೇಶ ಹಾಗೂ ರೂಟಿಂಗ್‌ನಲ್ಲಿ 1.21 ಅಂಕಗಳಿಂದ ಮುಂದಿದೆ.

ವಿಸ್ತರಿಸಿ

ಅದೇ 10 ಲಕ್ಷ ಪ್ರೊಡಕ್ಷನ್ ವಿನಂತಿಗಳನ್ನು ಚಲಾಯಿಸಲು ವರದಿಯಾದ ವೆಚ್ಚವನ್ನು ಕೆಳಗಿನ ಚಾರ್ಟ್ ಹೋಲಿಸುತ್ತದೆ. ಪ್ರತಿ ವಿನಂತಿಯು ಹಲವು ಪ್ರಶ್ನೆಗಳನ್ನು ಹೊಂದಿರಬಹುದು, ಆದ್ದರಿಂದ ಇಲ್ಲಿ ಘಟಕವು ವಿನಂತಿಗಳು, ಪ್ರತ್ಯೇಕ ಪ್ರಶ್ನೆಗಳಲ್ಲ.

ವಿಸ್ತರಿಸಿ

ದೃಢತೆ

ನಾವು 372 ಬಹು-ಆಯ್ಕೆ ಪ್ರಶ್ನೆಗಳ ಮೇಲೆ ಲೇಬಲ್ ಸೂಕ್ಷ್ಮತೆಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಿದೆವು ಮತ್ತು ಪ್ರತಿ ಮಾದರಿಗೆ 4,788 ವಿನಂತಿಗಳನ್ನು ಕಳುಹಿಸಿದೆವು. ಪ್ರತಿ ಪ್ರಶ್ನೆಯ ಅರ್ಥವನ್ನು ಉಳಿಸಿಕೊಂಡು, ನಾವು ಆಯ್ಕೆಗಳ ಕ್ರಮವನ್ನು ಬದಲಾಯಿಸಿದೆವು, ಉತ್ತರ ಪಠ್ಯಗಳಿಗೆ ಲೇಬಲ್‌ಗಳನ್ನು ಮರುನಿಯೋಜಿಸಿದೆವು ಮತ್ತು ಲೇಬಲ್‌ಗಳನ್ನು ಮರುಹೆಸರಿಸಿದೆವು; ನಂತರ ಮಾದರಿಯ ಅರ್ಥಾತ್ಮಕ ಉತ್ತರ ಬದಲಾಗಿದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿದೆವು. ಕಡಿಮೆ ಫ್ಲಿಪ್ ದರಗಳು ಹೆಚ್ಚಿನ ಸ್ಥಿರತೆಯನ್ನು ಸೂಚಿಸುತ್ತವೆ.

ಪ್ರತಿ ರೂಪಾಂತರದಲ್ಲಿ Decider v1.3 ಕೇವಲ 0.27% ಪ್ರಶ್ನೆಗಳಲ್ಲಿ ತನ್ನ ಉತ್ತರವನ್ನು ಬದಲಾಯಿಸಿತು; Jev 1.14 ಗೆ ಇದು 2.69–4.84% ಆಗಿತ್ತು. ಸರ್ವಿಂಗ್ ವ್ಯತ್ಯಾಸವನ್ನು ಅಳೆಯಲು ನಾವು ಒಂದೇ ರೀತಿಯ ಇನ್‌ಪುಟ್‌ಗಳನ್ನು ಪುನರಾವರ್ತಿಸಿದೆವು: Decider v1.3 ಯಾವುದೇ ಬದಲಾವಣೆಯನ್ನು ತೋರಿಸಲಿಲ್ಲ, ಆದರೆ Jev 1.14 1.88% ಪ್ರಶ್ನೆಗಳಲ್ಲಿ ಬದಲಾಯಿತು.

ವಿಸ್ತರಿಸಿ

ನಾವು Decider ಅನ್ನು ಹೇಗೆ ಬಳಸುತ್ತೇವೆ

ವೇಗದ ಮತ್ತು ರಚನಾತ್ಮಕ ನಿರ್ಧಾರಗಳ ಅಗತ್ಯವಿರುವ ಕಾರ್ಯಪ್ರವಾಹಗಳಿಗಾಗಿ Decider ಅನ್ನು ನಿರ್ಮಿಸಲಾಗಿದೆ. ನಾವು ಕೆಲಸ ಮಾಡುವ ರೀತಿಯ ಮೇಲೆ ಅರ್ಥಪೂರ್ಣ ಪರಿಣಾಮ ಬೀರಲು ಅವುಗಳನ್ನು ಹೇಗೆ ಬಳಸಿಕೊಳ್ಳಬಹುದು ಎಂಬುದನ್ನು ಈ ವಿಭಾಗದಲ್ಲಿ ಅನ್ವೇಷಿಸುತ್ತೇವೆ. ಗಮನ ಸೆಳೆದ ಕೆಲವು ಇಲ್ಲಿವೆ.

ಸ್ವಯಂ-ಸುಧಾರಿಸುವ ಭದ್ರತಾ ನಿಯಮಗಳು

ನಮ್ಮ ಭದ್ರತಾ ನೀತಿಗಳನ್ನು ಸುಧಾರಿಸಲು ನಾವು ಆಂತರಿಕವಾಗಿ ಈಗಾಗಲೇ Decider ಅನ್ನು ಬಳಸುತ್ತಿದ್ದೇವೆ.

ನಮ್ಮ ಏಜೆಂಟ್‌ಗಳ ಚಟುವಟಿಕೆಯನ್ನು ದಾಖಲಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ಯಾವುದೇ ಸಮಸ್ಯಾತ್ಮಕ ವರ್ತನೆಯನ್ನು ಗುರುತಿಸಲು ನಿಯಮ-ಆಧಾರಿತ ಪರಿಶೀಲನೆಗಳ ಸರಣಿಯನ್ನು ನಡೆಸಲಾಗುತ್ತದೆ. ನಿಯಮ-ಆಧಾರಿತ ವಿಧಾನದಿಂದಾಗಿ, ಅತ್ಯಲ್ಪ ಹೆಚ್ಚುವರಿ ವಿಳಂಬದೊಂದಿಗೆ ನಮ್ಮ ಏಜೆಂಟ್‌ಗಳನ್ನು ನೈಜ ಸಮಯದಲ್ಲಿ ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಲು ನಮಗೆ ಸಾಧ್ಯವಾಗುತ್ತದೆ. ಆಫ್‌ಲೈನ್‌ನಲ್ಲಿ, ದಾಖಲಾದ ಈ ಏಜೆಂಟ್ ಲಾಗ್‌ಗಳ ಸ್ಯಾಂಪಲ್‌ಗಳನ್ನು ಪರಿಶೀಲಿಸಲು ನಾವು Decider ಅನ್ನು ಬಳಸುತ್ತೇವೆ. ಯಾವುದೇ ಸಮಸ್ಯಾತ್ಮಕ ವರ್ತನೆ ಗುರುತಿಸಲ್ಪಡದಿದ್ದರೆ, ನಮ್ಮ ನಿಯಮಗಳು ತಪ್ಪಿಸಿಕೊಂಡ ಏನಾದರೂ ಇದೆಯೇ ಎಂದು Decider ಪರಿಶೀಲಿಸುತ್ತದೆ; ಎಚ್ಚರಿಕೆ ಹೊರಡಿಸಲ್ಪಟ್ಟಿದ್ದರೆ, ಅದು ಸುಳ್ಳು ಎಚ್ಚರಿಕೆಯೇ ಎಂದು Decider ಪರಿಶೀಲಿಸುತ್ತದೆ. ಈ ಎರಡರಲ್ಲಿ ಯಾವುದೇ ಸಂದರ್ಭದಲ್ಲಿ ನಮ್ಮ ನಿಯಮಾವಳಿ ವಿಫಲವಾದ ದಾಖಲೆಗಳನ್ನು ಟ್ರಯಾಜ್‌ಗಾಗಿ ಏಜೆಂಟ್‌ಗೆ ಕಳುಹಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ನಿಯಮಗಳಿಗೆ ಒಂದು ತಿದ್ದುಪಡಿಯನ್ನು ಪ್ರಸ್ತಾಪಿಸಲಾಗುತ್ತದೆ, ಅದನ್ನು ನಮ್ಮ ಭದ್ರತಾ ತಂಡದ ಸದಸ್ಯರೊಬ್ಬರು ಅನುಮೋದಿಸಬೇಕು.

ಒಂದೇ ದಿನದಲ್ಲಿ, Decider 7,000 ಏಜೆಂಟ್ ಸೆಷನ್‌ಗಳಾದ್ಯಂತ 100 ಕೋಟಿ ಟೋಕನ್‌ಗಳನ್ನು ಓದಿ, 14 ನಿಯಮ ತಿದ್ದುಪಡಿಗಳಿಗೆ ಕಾರಣವಾದ ದೋಷಗಳನ್ನು ಗುರುತಿಸಿತು; ಅವುಗಳಲ್ಲಿ 6 ಅನ್ನು ಎರಡು ದಿನಗಳೊಳಗೆ ಅನುಮೋದಿಸಿ ಜಾರಿಗೊಳಿಸಲಾಯಿತು. ಒಂದು ವಾರದ ಲಾಗ್‌ಗಳ ಮೇಲೆ ಮರುಚಾಲನೆ ಮಾಡಿದಾಗ, ಈ ತಿದ್ದುಪಡಿಗಳು ನಮ್ಮ ಅತ್ಯಂತ ಕಾರ್ಯನಿರತ ನಿಯಮದ ಪ್ರಮಾಣವನ್ನು 52% ರಷ್ಟು ಕಡಿಮೆ ಮಾಡಿದವು ಮತ್ತು ವಿಸ್ತರಿಸಿದ ನಿಯಮಗಳು ತನಿಖೆಗೆ ಅರ್ಹವಾದ ಸುಮಾರು 40% ಹೆಚ್ಚು ಕ್ರಿಯೆಗಳನ್ನು ಪತ್ತೆಹಚ್ಚಿದವು.

ವಿಸ್ತರಿಸಿ

RL ರೋಲ್‌ಔಟ್‌ಗಳ ಮೇಲ್ವಿಚಾರಣೆ

ನಾವು ರೀಇನ್‌ಫೋರ್ಸ್‌ಮೆಂಟ್ ಲರ್ನಿಂಗ್ ಬಳಸಿ ಮಾದರಿಗಳನ್ನು ಪೋಸ್ಟ್-ಟ್ರೈನ್ ಮಾಡುವಾಗ, ಅಂತಿಮ ರಿವಾರ್ಡ್‌ನಂತಹ ಒಟ್ಟು ಮೆಟ್ರಿಕ್‌ಗಳು ಒಂದು ರೋಲ್‌ಔಟ್ (ಕಾರ್ಯವೊಂದರ ಪ್ರತ್ಯೇಕ ಪ್ರಯತ್ನ) ಏಕೆ ಯಶಸ್ವಿಯಾಯಿತು ಅಥವಾ ವಿಫಲವಾಯಿತು ಎಂಬುದನ್ನು ವಿವರಿಸುವುದಿಲ್ಲ. ಟೂಲ್ ಸೇವೆ ಅಥವಾ ಸ್ಯಾಂಡ್‌ಬಾಕ್ಸ್ ವಿಫಲವಾದ ಕಾರಣ ಅದು ಅನ್ಯಾಯವಾಗಿ ರಿವಾರ್ಡ್ ಕಳೆದುಕೊಳ್ಳಬಹುದು, ಅಥವಾ ಯಾವುದೇ ಟೂಲ್ ಹಿಂದಿರುಗಿಸದ ಕಲ್ಪಿತ ಮೌಲ್ಯದಂತಹ ಆಧಾರರಹಿತ ಹೇಳಿಕೆಯನ್ನು ಮೌಲ್ಯಮಾಪಕವು ಕಡೆಗಣಿಸಿದರೆ ಅನರ್ಹ ರಿವಾರ್ಡ್ ಪಡೆಯಬಹುದು.

ಈ ಸಂದರ್ಭಗಳಿಗಾಗಿ ರೋಲ್‌ಔಟ್‌ಗಳನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಲು ನಾವು Decider ಅನ್ನು ಬಳಸುತ್ತೇವೆ. ಮೊದಲಿಗೆ ಕೋಡ್, ರೋಲ್‌ಔಟ್‌ನಲ್ಲಿ ಹತ್ತಿರದಿಂದ ಪರಿಶೀಲಿಸಬೇಕಾದ ಭಾಗಗಳನ್ನು ಗುರುತಿಸುತ್ತದೆ: ವಿಫಲವಾದ ಟೂಲ್ ಕರೆ ಮತ್ತು ಅದರ ಸುತ್ತಲಿನ ರೀಜನಿಂಗ್, ದೋಷಗಳಿಲ್ಲದೆ ಚಲಿಸಿದ ಕೋಡ್, ಅಥವಾ ಅಂತಿಮ ಉತ್ತರ. ನಂತರ Decider ಪ್ರತಿ ಭಾಗದ ಕುರಿತ ಬಹು-ಆಯ್ಕೆ ಪ್ರಶ್ನೆಗಳಿಗೆ ಉತ್ತರಿಸುತ್ತದೆ; ಉದಾಹರಣೆಗೆ, ಒಂದು ಹಂತದಲ್ಲಿ ಏನು ವಿಫಲವಾಯಿತು (ಟೂಲ್ ಸೇವೆ, ಬಾಹ್ಯ ಸೈಟ್, ಸ್ಯಾಂಡ್‌ಬಾಕ್ಸ್, harness, ಅಥವಾ ಏಜೆಂಟ್‌ನ ಸ್ವಂತ ಕೋಡ್) ಮತ್ತು ಏಜೆಂಟ್ ಫಲಿತಾಂಶವನ್ನು ಸರಿಯಾಗಿ ಅರ್ಥೈಸಿಕೊಂಡಿದೆಯೇ ಎಂಬುದು. ನಿರ್ದಿಷ್ಟ ಭಾಗದ ಕುರಿತ ಎಲ್ಲಾ ಪ್ರಶ್ನೆಗಳನ್ನು ನಾವು ಒಂದೇ ವಿನಂತಿಯಲ್ಲಿ ಒಟ್ಟುಗೂಡಿಸುತ್ತೇವೆ ಮತ್ತು ತೀರ್ಪಿನ ಬದಲು ಸಂಭವನೀಯತೆಗಳನ್ನು ಸಂಗ್ರಹಿಸುತ್ತೇವೆ; ಇದರಿಂದ Decider ಅನ್ನು ಮತ್ತೆ ಕ್ವೆರಿ ಮಾಡದೆಯೇ ನಂತರ ಥ್ರೆಶೋಲ್ಡ್‌ಗಳನ್ನು ಹೊಂದಿಸಬಹುದು. ಮಾನಿಟರ್ ಕೇವಲ ಗಮನಿಸುತ್ತದೆ ಮತ್ತು ಸಮಸ್ಯೆಯನ್ನು ನಿರ್ಣಯಿಸುತ್ತದೆ: ಅದು ಎಂದಿಗೂ ರಿವಾರ್ಡ್ ಅನ್ನು ಬದಲಾಯಿಸುವುದಿಲ್ಲ ಅಥವಾ ರನ್ ಅನ್ನು ನಿಲ್ಲಿಸುವುದಿಲ್ಲ.

ವಿಸ್ತರಿಸಿ

ಪುಟ ಗುಣಮಟ್ಟದ ಫಿಲ್ಟರಿಂಗ್

ಬಳಕೆದಾರರಿಗೆ ಇಂಡೆಕ್ಸ್ ಮಾಡಲು ಮತ್ತು ಒದಗಿಸಲು ವೆಬ್ ಪುಟಗಳನ್ನು ಕ್ರಾಲ್ ಮಾಡುವಾಗ, ಹಲವು ಪುಟಗಳು ಯಾವುದೇ ಉಪಯೋಗಕ್ಕೆ ಬಾರದಷ್ಟು ಕಡಿಮೆ ಗುಣಮಟ್ಟದ್ದಾಗಿರುತ್ತವೆ. ಇವುಗಳಲ್ಲಿ ಆಂಟಿ-ಬಾಟ್ ಗೋಡೆಗಳು, CAPTCHAಗಳು ಮತ್ತು ದೋಷ ಪುಟಗಳು, ಜೊತೆಗೆ ಸರಿಯಾಗಿ ಲೋಡ್ ಆದರೂ ಸ್ಪ್ಯಾಮ್, SEO ಫಿಲ್ಲರ್ ಅಥವಾ ನ್ಯಾವಿಗೇಶನ್-ಮಾತ್ರ ಪುಟಗಳಂತಹ ಯಾವುದೇ ಉಪಯುಕ್ತ ಮಾಹಿತಿ ಇಲ್ಲದ ವೆಬ್ ಪುಟಗಳೂ ಸೇರಿವೆ. ಈ ಕಡಿಮೆ-ಗುಣಮಟ್ಟದ ಪುಟಗಳನ್ನು ಗುರುತಿಸಿ ನಮ್ಮ ಇಂಡೆಕ್ಸ್‌ನಿಂದ ಫಿಲ್ಟರ್ ಮಾಡಬೇಕಾಗುತ್ತದೆ.

Decider ಬಳಸಿ, ನಾವು ಪುಟಗಳನ್ನು ಕ್ರಾಲ್ ಮಾಡುವಾಗಲೇ ಅವುಗಳ ಗುಣಮಟ್ಟವನ್ನು ನಿರ್ಣಯಿಸಬಹುದು. ಅದೇ ಫಾರ್ವರ್ಡ್ ಪಾಸ್‌ನಲ್ಲಿ, ವಿಷಯದ ಡೊಮೇನ್ ಮತ್ತು ಉದ್ದೇಶಿತ ಪ್ರೇಕ್ಷಕರನ್ನು ಗುರುತಿಸುವುದು ಹಾಗೂ ಅದು ಹಾನಿಕಾರಕ, ಕಾನೂನುಬಾಹಿರ ಅಥವಾ ವೈಯಕ್ತಿಕವಾಗಿ ಗುರುತಿಸಬಹುದಾದ ಮಾಹಿತಿಯನ್ನು ಒಳಗೊಂಡಿದೆಯೇ ಎಂಬುದನ್ನು ಪತ್ತೆಹಚ್ಚುವಂತಹ ಇತರ ವರ್ಗೀಕರಣ ಕಾರ್ಯಗಳ ಸರಣಿಯನ್ನು ನಾವು ನಿರ್ವಹಿಸುತ್ತೇವೆ. LLM ಜಡ್ಜ್ ಬಳಸುವುದಕ್ಕೆ ಹೋಲಿಸಿದರೆ, Decider ಗಣನೀಯವಾಗಿ ವೇಗವಾಗಿದೆ ಮತ್ತು ಅಗ್ಗವಾಗಿದೆ.

ವಿಸ್ತರಿಸಿ

ಈ ಆಂತರಿಕ ಬಳಕೆಗಳ ಜೊತೆಗೆ, Decider ಈ ಕೆಳಗಿನಂತಹ ಕಾರ್ಯಪ್ರವಾಹಗಳಿಗೂ ಸೂಕ್ತವಾಗಿದೆ.

ದೃಶ್ಯ QA

Decider ಚಿತ್ರಗಳನ್ನು ಓದಬಲ್ಲದ್ದರಿಂದ, ಇದು ದೃಶ್ಯ ಪರಿಶೀಲಕವಾಗಿಯೂ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ; ವೆಬ್ ಪುಟಗಳು ಅಥವಾ ಆ್ಯಪ್‌ಗಳ ಶೈಲಿ ಬದಲಾವಣೆಗಳನ್ನು ಪರಿಶೀಲಿಸಿ ದೋಷಗಳನ್ನು ಗುರುತಿಸುತ್ತದೆ. ಬದಲಾವಣೆಯನ್ನು ಬಿಡುಗಡೆ ಮಾಡುವ ಮೊದಲು ಕತ್ತರಿಸಿದ ಪಠ್ಯ, ಒಂದರ ಮೇಲೊಂದು ಬರುವ ಅಂಶಗಳು ಮತ್ತು ಮುರಿದ ಲೇಔಟ್‌ಗಳಿಗಾಗಿ ಇದು ಪುಟದ ಸ್ಕ್ರೀನ್‌ಶಾಟ್‌ಗಳನ್ನು ಪರಿಶೀಲಿಸಬಹುದು, ಅಥವಾ ಓದುಗರನ್ನು ದಾರಿತಪ್ಪಿಸಬಹುದಾದ ಅಥವಾ ಬ್ರ್ಯಾಂಡ್ ಮಾರ್ಗಸೂಚಿಯನ್ನು ಉಲ್ಲಂಘಿಸಬಹುದಾದ ವಿನ್ಯಾಸದ ಚಾರ್ಟ್‌ಗಳನ್ನು ಗುರುತಿಸಬಹುದು.

ವಿಸ್ತರಿಸಿ

ಬ್ರೌಸರ್ ನ್ಯಾವಿಗೇಷನ್

ದೊಡ್ಡ ಕಾರ್ಯಗಳೊಳಗಿನ ಸಣ್ಣ ನಿರ್ಧಾರಗಳಿಗಾಗಿ ಏಜೆಂಟ್‌ಗಳು Decider ಅನ್ನು ಬಳಸಬಹುದು. ಬ್ರೌಸರ್ ಏಜೆಂಟ್ ಪ್ರತಿ ಹಂತದಲ್ಲಿ ಸ್ಕ್ರೀನ್‌ಶಾಟ್ ಕಳುಹಿಸಿ, ಪುಟದ ಸ್ಥಿತಿ ಮತ್ತು ಪ್ರತಿಯೊಂದು ಸಂಭಾವ್ಯ ಕ್ರಿಯೆಯ ನಿರೀಕ್ಷಿತ ಫಲಿತಾಂಶದ ಕುರಿತು ವಿವರವಾದ ಮಾಹಿತಿಯನ್ನು ಪಡೆಯಬಹುದು.

ವಿಸ್ತರಿಸಿ

ಸಂಶೋಧನಾ ಕಾರ್ಯಗಳ ಯೋಜನೆ

ಬಳಕೆದಾರರ ಪ್ರಶ್ನೆಗಳು ಅವುಗಳ ಸಂಕೀರ್ಣತೆಯಲ್ಲಿ ಬಹಳಷ್ಟು ಭಿನ್ನವಾಗಿರಬಹುದು, ಉತ್ತರವನ್ನು ಕಂಡುಹಿಡಿಯಲು ಮಾಡಬೇಕಾದ ಹುಡುಕಾಟದ ಆಳವೂ ಹಾಗೆಯೇ. ಹುಡುಕಾಟ ಪ್ರಾರಂಭವಾಗುವ ಮೊದಲೇ Decider ಇದನ್ನು ಅಂದಾಜು ಮಾಡಬಲ್ಲದು, ಇದರಿಂದ ಸರಳ ಪ್ರಶ್ನೆಗಳಿಗೆ ಕಡಿಮೆ ಸಂಪನ್ಮೂಲಗಳನ್ನು ವ್ಯಯಿಸಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

ಪ್ರಾರಂಭಿಸುವುದು

Decider ಸಂಭವನೀಯತೆಗಳನ್ನು ಹಿಂದಿರುಗಿಸುತ್ತದೆ. ಸೂಕ್ತವಾದ ನಿರ್ಧಾರ ಥ್ರೆಶೋಲ್ಡ್ ಅಪ್ಲಿಕೇಶನ್ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿರುತ್ತದೆ. ಲೇಬಲ್ ಆವರ್ತನಗಳು ಮತ್ತು ತಪ್ಪು ಧನಾತ್ಮಕ ಹಾಗೂ ತಪ್ಪು ಋಣಾತ್ಮಕಗಳ ಸಾಪೇಕ್ಷ ವೆಚ್ಚಗಳು ಬಳಕೆಯ ಸಂದರ್ಭಗಳಿಗೆ ಅನುಗುಣವಾಗಿ ಬದಲಾಗುತ್ತವೆ. ಆದ್ದರಿಂದ, ಸ್ಥಿರ ಕಟ್‌ಆಫ್ ಎಲ್ಲಾ ಕಾರ್ಯಗಳಲ್ಲಿ ಸಮಾನವಾಗಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ ಎಂದು ಭಾವಿಸುವ ಬದಲು, ಸಣ್ಣ, ಪ್ರಾತಿನಿಧಿಕ, ಲೇಬಲ್ ಮಾಡಿದ ಡೆವಲಪ್‌ಮೆಂಟ್ ಸೆಟ್‌ನಲ್ಲಿ ಥ್ರೆಶೋಲ್ಡ್‌ಗಳನ್ನು ಟ್ಯೂನ್ ಮಾಡಲು ನಾವು ಬಳಕೆದಾರರನ್ನು ಪ್ರೋತ್ಸಾಹಿಸುತ್ತೇವೆ.

ಸೂಕ್ಷ್ಮ ತೀರ್ಮಾನಗಳು, ವಿವರವಾದ ರೂಬ್ರಿಕ್‌ಗಳು ಮತ್ತು ದೋಷಗಳು ದುಬಾರಿಯಾಗುವ ಕಾರ್ಯಪ್ರವಾಹಗಳಿಗೆ Decider v1.3 ಬಳಸಲು ನಾವು ಶಿಫಾರಸು ಮಾಡುತ್ತೇವೆ. ಲೇಟೆನ್ಸಿ ಮತ್ತು ವೆಚ್ಚವೇ ಪ್ರಮುಖ ನಿರ್ಬಂಧಗಳಾಗಿರುವ ಹೆಚ್ಚಿನ ಪ್ರಮಾಣದ ರೂಟಿಂಗ್, ಲೇಬಲಿಂಗ್ ಮತ್ತು ಫಿಲ್ಟರಿಂಗ್‌ಗಾಗಿ Decider Flash v1.3 ಆಯ್ಕೆಮಾಡಿ. ನಿಮ್ಮ ಕೆಲಸದ ಹೊರೆಯ ಪ್ರಾತಿನಿಧಿಕ ಉದಾಹರಣೆಗಳ ಮೇಲೆ ಎರಡೂ ಮಾದರಿಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಿ, ನಂತರ ನಿಮ್ಮ ಗುಣಮಟ್ಟ, ಲೇಟೆನ್ಸಿ ಮತ್ತು ಬಜೆಟ್ ಅವಶ್ಯಕತೆಗಳನ್ನು ಪೂರೈಸುವ ಮಾದರಿಯನ್ನು ಆಯ್ಕೆಮಾಡಿ.

ಎರಡೂ ಮಾದರಿಗಳು Apache ಪರವಾನಗಿಯ ಅಡಿಯಲ್ಲಿ Hugging Face‌ನಲ್ಲಿ ಡೌನ್‌ಲೋಡ್ ಮಾಡಬಹುದಾದ ತೂಕಗಳಾಗಿ, OpenRouter ಮೂಲಕ ಮತ್ತು Perplexity Decisions API ಮೂಲಕ ಲಭ್ಯವಿವೆ.

ಉಲ್ಲೇಖ

@online{perplexity2026PerplexityDecider,
  author = {{Perplexity} and Antoine Chaffin and Jonas Golde and Louis Milliken and Sarah Eslami and Markus Krimmel and Nandor Licker and Aleksandr Nikolenko and Ron Heichman and Bo Wang and Jarrod Bryan and Jeremy Yang and Denis Yarats},
  title = {{Perplexity Decider}},
  date = {2026-11-12},
  url = {https://www.perplexity.ai/hub/blog/perplexity-decider}
}