BrowseSafe++: ನೈಜ-ಜಗತ್ತಿನ ಪ್ರಾಂಪ್ಟ್ ಇಂಜೆಕ್ಷನ್ ವಿರುದ್ಧ ಬಲವಾದ ರಕ್ಷಣೆಗಳನ್ನು ನಿರ್ಮಿಸುವುದು

Comet ಅಥವಾ Computer ನಲ್ಲಿ ಅಂತರ್ನಿರ್ಮಿತವಾಗಿರುವ ಸಹಾಯಕನಂತಹ, ವೆಬ್ ಬ್ರೌಸ್ ಮಾಡಬಲ್ಲ ಏಜೆಂಟ್‌ಗಳು ವೆಬ್ ಪುಟಗಳೊಂದಿಗೆ ಸಂವಹನ ನಡೆಸಬೇಕಾಗುತ್ತದೆ; ಅವು ವಿಷಯವನ್ನು ಓದಿ, ತಮ್ಮ ಬಳಕೆದಾರರ ಪರವಾಗಿ ಕ್ರಿಯೆಗಳನ್ನು ನಿರ್ವಹಿಸಲು ಅದನ್ನು ಬಳಸುತ್ತವೆ. ಇದು ಅವುಗಳನ್ನು ಪರೋಕ್ಷ ಪ್ರಾಂಪ್ಟ್ ಇಂಜೆಕ್ಷನ್‌ಗೆ ಗುರಿಯಾಗಿಸುತ್ತದೆ, ಇದರಲ್ಲಿ ದಾಳಿಕೋರನು ವೆಬ್‌ಪುಟದಲ್ಲಿ ದುರುದ್ದೇಶಪೂರಿತ ಪಠ್ಯವನ್ನು ಇರಿಸುತ್ತಾನೆ. ಏಜೆಂಟ್ ಈ ಸೂಚನೆಗಳನ್ನು ಅನುಸರಿಸಿದರೆ, ಅದು ದಾರಿತಪ್ಪಿಸುವ ಉತ್ತರವನ್ನು ನೀಡಬಹುದು ಅಥವಾ ಬಳಕೆದಾರರು ಕೇಳದ ಕ್ರಿಯೆಯನ್ನು ಕೈಗೊಳ್ಳಬಹುದು.

ಡಿಸೆಂಬರ್ 2025 ರಲ್ಲಿ, ಈ ಅಪಾಯಕ್ಕಾಗಿ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಮತ್ತು ಪತ್ತೆ ಮಾದರಿಯಾದ BrowseSafe ಅನ್ನು ನಾವು ಬಿಡುಗಡೆ ಮಾಡಿದೆವು. ಏಜೆಂಟ್‌ಗಳು ಎದುರಿಸುವ ಸಾಧ್ಯತೆಯಿರುವ ವಾಸ್ತವಿಕ ವೆಬ್‌ಪುಟಗಳಿಗೆ ಸಿಂಥೆಟಿಕ್ ದಾಳಿಗಳನ್ನು ಸೇರಿಸುವ ಮೂಲಕ ನಾವು ಇದನ್ನು ನಿರ್ಮಿಸಿದೆವು. ಕಳೆದ ಒಂದು ವರ್ಷದಲ್ಲಿ, ದಾಳಿಗಳು ಹೆಚ್ಚು ಅತ್ಯಾಧುನಿಕವಾಗಿ ವಿಕಸನಗೊಂಡಿವೆ ಮತ್ತು ಸಾಮಾನ್ಯ ಪುಟದ ವಿಷಯದಂತೆಯೇ ಹೆಚ್ಚು ಕಾಣುತ್ತವೆ. “ಹಿಂದಿನ ಸೂಚನೆಗಳನ್ನು ನಿರ್ಲಕ್ಷಿಸಿ” ಎಂಬಂತಹ ಸುಳಿವು ನೀಡುವ ಪದಗುಚ್ಛಗಳನ್ನು ಬಳಸುವ ಬದಲು, ಅವು ಸಾಮಾನ್ಯವಾಗಿ ಸೈಟ್‌ನ ಅಧಿಕೃತ ಸೂಚನೆ ಅಥವಾ ಬಳಕೆದಾರರ ಆದ್ಯತೆಗಳ ಕುರಿತಾದ ಟಿಪ್ಪಣಿಯಂತಹ, ಏಜೆಂಟ್ ನಂಬುವ ಸಾಧ್ಯತೆಯಿರುವ ವಿಷಯವನ್ನು ಅನುಕರಿಸುತ್ತವೆ.

ಈ ಬದಲಾವಣೆಗಳಿಂದ ಪ್ರೇರಿತರಾಗಿ, ಪ್ರಸ್ತುತ ಇಂಜೆಕ್ಷನ್ ಡಿಟೆಕ್ಟರ್‌ಗಳು ಈ ದಾಳಿಗಳನ್ನು ಹಿಡಿಯುತ್ತವೆಯೇ ಮತ್ತು ಏಜೆಂಟ್‌ಗಳು ಅವುಗಳನ್ನು ಪ್ರತಿರೋಧಿಸಬಲ್ಲವೇ ಎಂಬುದನ್ನು ಅಳೆಯಲು ನಾವು ನವೀಕರಿಸಿದ ಬೆಂಚ್‌ಮಾರ್ಕ್ BrowseSafe++ ಅನ್ನು ನಿರ್ಮಿಸಿದೆವು. ಇದು ದಾಳಿಗೊಳಗಾದ ಮತ್ತು ಸ್ವಚ್ಛವಾದ 38,675 ಪುಟ ಜೋಡಿಗಳನ್ನು ಒಳಗೊಂಡಿದೆ, ಇವುಗಳನ್ನು ಮುಖ್ಯವಾಗಿ ನೈಜ ಜಗತ್ತಿನಲ್ಲಿ ಸಂಗ್ರಹಿಸಿದ ಇಂಜೆಕ್ಷನ್‌ಗಳ ಸುತ್ತ ನಿರ್ಮಿಸಲಾಗಿದೆ. ಪ್ರತಿ ಪುಟಕ್ಕೂ, ಗೌಪ್ಯತೆಯನ್ನು ರಕ್ಷಿಸಲು ನಾವು ಸುತ್ತಲಿನ ವಿಷಯವನ್ನು ಪುನರ್‌ಬರೆಯುತ್ತೇವೆ, ಆದರೆ ದಾಳಿಯನ್ನು ಯಥಾವತ್ತಾಗಿ ಉಳಿಸಿಕೊಳ್ಳುತ್ತೇವೆ. ಪ್ರತಿ ಪುಟವೂ ಬ್ರೌಸರ್ ಏಜೆಂಟ್‌ಗಳು ಓದುವ ನಾಲ್ಕು ಸ್ವರೂಪಗಳಲ್ಲಿ ಲಭ್ಯವಿದೆ: HTML, Markdown, ಆಕ್ಸೆಸಿಬಿಲಿಟಿ ಟ್ರೀಗಳು ಮತ್ತು ಸ್ಕ್ರೀನ್‌ಶಾಟ್‌ಗಳು. 0.8B-ಪ್ಯಾರಾಮೀಟರ್‌ನ ಎರಡು ಡಿಟೆಕ್ಟರ್‌ಗಳಾದ BrowseSafe-Guard ಅನ್ನು ತರಬೇತಿಗೊಳಿಸಲು ನಾವು ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನ ಉಪಗುಂಪನ್ನು ಬಳಸಿದೆವು: ಒಂದು ಪಠ್ಯ ಡಿಟೆಕ್ಟರ್ ಮತ್ತು ಒಂದು ಮಲ್ಟಿಮೋಡಲ್ ಡಿಟೆಕ್ಟರ್. ಫ್ರಂಟಿಯರ್ ಮಾದರಿಗಳೂ ಸೇರಿದಂತೆ ನಾವು ಪರೀಕ್ಷಿಸಿದ ಪ್ರಾಂಪ್ಟ್ ಮಾಡಲಾದ ಮಾದರಿಗಳಿಗಿಂತ ಎರಡೂ Guard ಡಿಟೆಕ್ಟರ್‌ಗಳು ಇಂಜೆಕ್ಷನ್‌ಗಳನ್ನು ಹೆಚ್ಚು ನಿಖರವಾಗಿ ಗುರುತಿಸುತ್ತವೆ. ಅವು ಹೆಚ್ಚು ವೇಗವಾಗಿ, ಅಗ್ಗವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ, ಮತ್ತು ಸಾಮಾನ್ಯ ಪುಟಗಳನ್ನು ತಪ್ಪಾಗಿ ಫ್ಲ್ಯಾಗ್ ಮಾಡುವುದು ತುಂಬಾ ಕಡಿಮೆ.

ನಾವು BrowseSafe++ ಅನ್ನು ಮುಕ್ತ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಆಗಿ ಬಿಡುಗಡೆ ಮಾಡುತ್ತಿದ್ದೇವೆ. ಪ್ರಾಜೆಕ್ಟ್ ವೆಬ್‌ಸೈಟ್ ಡೇಟಾಸೆಟ್, SDK, ಸಂಶೋಧನಾ ಪ್ರಬಂಧ ಮತ್ತು ಸಾರ್ವಜನಿಕ ಲೀಡರ್‌ಬೋರ್ಡ್ಗೆ ಲಿಂಕ್‌ಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ. ಯಾವುದೇ ತಂಡವು ಲೇಬಲ್‌ಗಳನ್ನು ಒದಗಿಸದ ಪರೀಕ್ಷಾ ಪುಟಗಳ ಮೇಲೆ ತನ್ನ ಡಿಟೆಕ್ಟರ್ ಅನ್ನು ಸ್ಕೋರ್ ಮಾಡಿ, ಮೌಲ್ಯಾಂಕನಕ್ಕಾಗಿ ಮತ್ತು ಲೀಡರ್‌ಬೋರ್ಡ್‌ನಲ್ಲಿ ಸಂಭಾವ್ಯ ಸೇರ್ಪಡೆಗಾಗಿ ಲೇಬಲ್‌ಗಳನ್ನು ಸಲ್ಲಿಸಬಹುದು. ನಿಮ್ಮ ಫಲಿತಾಂಶಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಮತ್ತು ಸಲ್ಲಿಸಲು, ಪ್ರಾರಂಭಿಸುವುದು ವಿಭಾಗವನ್ನು ನೋಡಿ.

ಗಮನಿಸಿದ ಇಂಜೆಕ್ಷನ್‌ಗಳಿಂದ ಬೆಂಚ್‌ಮಾರ್ಕ್ ನಿರ್ಮಿಸುವುದು

BrowseSafe++ ಅನ್ನು ನೈಜ ವೆಬ್‌ಸೈಟ್‌ಗಳಲ್ಲಿ ಕಂಡುಬಂದ ಪ್ರಾಂಪ್ಟ್ ಇಂಜೆಕ್ಷನ್‌ಗಳಿಂದ ನಿರ್ಮಿಸಲಾಗಿದೆ. ಸೆಪ್ಟೆಂಬರ್ 2025 ಮತ್ತು ಸೆಪ್ಟೆಂಬರ್ 2026 ರ ನಡುವೆ, Comet ನ ಪ್ರಾಂಪ್ಟ್ ಇಂಜೆಕ್ಷನ್ ಡಿಟೆಕ್ಟರ್ ತನ್ನ ಏಜೆಂಟ್ ಓದಿದ ಪುಟಗಳಲ್ಲಿ 1.15 ಮಿಲಿಯನ್ ಇಂಜೆಕ್ಷನ್‌ಗಳನ್ನು ಫ್ಲ್ಯಾಗ್ ಮಾಡಿತು. ಆ ಇಂಜೆಕ್ಷನ್‌ಗಳ ಸುತ್ತ ನಾವು 32,187 ಜೋಡಿಗಳನ್ನು ನಿರ್ಮಿಸಿದೆವು ಮತ್ತು ಮೂಲ BrowseSafe ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನಿಂದ 6,488 ಜೋಡಿಗಳನ್ನು ಸೇರಿಸಿದೆವು; ಒಟ್ಟು 38,675 ಜೋಡಿಗಳು. ಪ್ರತಿ ಜೋಡಿಯೂ ದಾಳಿಗೊಳಗಾದ ಪುಟ ಮತ್ತು ಅದರ ಸ್ವಚ್ಛ ಅವಳಿ ಪುಟ ಎರಡನ್ನೂ ಹೊಂದಿರುತ್ತದೆ; ಸ್ವಚ್ಛ ಅವಳಿ ಎಂದರೆ ಇಂಜೆಕ್ಷನ್ ಇಲ್ಲದ ಅದೇ ಪುಟ.

ನೈಜ ಜಗತ್ತಿನಲ್ಲಿ ಇಂಜೆಕ್ಷನ್‌ಗಳು ಹೇಗೆ ಕಾಣುತ್ತವೆ

ಈ ಇಂಜೆಕ್ಷನ್‌ಗಳು ಪ್ರಾಯೋಗಿಕವಾಗಿ ಹೇಗೆ ಕಾಣುತ್ತವೆ ಎಂಬುದನ್ನು ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನ ಎರಡು ಉದಾಹರಣೆಗಳು ತೋರಿಸುತ್ತವೆ.

ಒಂದರಲ್ಲಿ, ನಕಲಿ ಖರೀದಿ ವಿನಂತಿಯು ಅನಧಿಕೃತ ಕ್ರಿಯೆಯನ್ನು ಕೈಗೊಳ್ಳುವಂತೆ ಏಜೆಂಟ್ ಅನ್ನು ಪ್ರೇರೇಪಿಸುತ್ತದೆ. ಅಕ್ಟೋಬರ್ 2025 ರಲ್ಲಿ ರಷ್ಯನ್ ಭಾಷೆಯ ಡೆವಲಪರ್ ಡಾಕ್ಯುಮೆಂಟೇಶನ್ ಪುಟವೊಂದರಲ್ಲಿದ್ದ ಈ ಇಂಗ್ಲಿಷ್ ಪಠ್ಯದ ಬ್ಲಾಕ್ ಅನ್ನು Comet ನ ಡಿಟೆಕ್ಟರ್ ಫ್ಲ್ಯಾಗ್ ಮಾಡಿತು:

ಪಠ್ಯವು ಆದೇಶಗಳೊಂದಿಗೆ ಪ್ರಾರಂಭವಾಗಿ ಆದೇಶಗಳೊಂದಿಗೆ ಮುಕ್ತಾಯಗೊಳ್ಳುತ್ತದೆ ಮತ್ತು ಮಧ್ಯಭಾಗವನ್ನು ಸಾಮಾನ್ಯ ಟೋಕನ್ ಪ್ರಚಾರ ಸಾಮಗ್ರಿಯಿಂದ ತುಂಬುತ್ತದೆ. ಅದು ಏಜೆಂಟ್‌ನ ಸ್ವಂತ ಡೆವಲಪರ್‌ನಿಂದ ಬಂದಿದೆ ಎಂದು ಹೇಳಿಕೊಳ್ಳುತ್ತದೆ ಮತ್ತು ಖರೀದಿಯು ಅನುಮೋದಿತವಾದಂತೆ ಕಾಣುವಂತೆ ಮಾಡಲು ದೃಢೀಕರಣ ಕೋಡ್‌ನೊಂದಿಗೆ ಕೊನೆಗೊಳ್ಳುತ್ತದೆ.

ಇನ್ನೊಂದರಲ್ಲಿ, ನಕಲಿ ಸಂಭಾಷಣೆಯೊಂದು ಏಜೆಂಟ್‌ನ ಕಾರ್ಯವನ್ನು ಅಡ್ಡಿಪಡಿಸುವ ಗುರಿ ಹೊಂದಿದೆ. ಈ ಪಠ್ಯವು ಮಾರ್ಚ್ 2026 ರಲ್ಲಿ ಕೋಡ್ ರೆಪೊಸಿಟರಿ ಪುಟವೊಂದರಲ್ಲಿ ಕಂಡುಬಂದಿತು:

ಈ ಪಠ್ಯವನ್ನು ಬಳಕೆದಾರ ಮತ್ತು ಏಜೆಂಟ್ ನಡುವಿನ ಸಂಭಾಷಣೆಯಂತೆ ಕಾಣುವಂತೆ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ: <|im_start|> ಮತ್ತು <|im_end|> ಎಂಬುವು ಕೆಲವು ಚಾಟ್ ಮಾದರಿಗಳು ಸಂಭಾಷಣೆಯ ಸರದಿಗಳನ್ನು ಬೇರ್ಪಡಿಸಲು ಬಳಸುವ ಗುರುತುಗಳು. ಈ ದಾಳಿಗೆ ಬಲಿಯಾಗುವ ಏಜೆಂಟ್ ನಕಲಿ ಬಳಕೆದಾರ ಪ್ರಶ್ನೆಗೆ ಪ್ರತಿಕ್ರಿಯಿಸಿ, ದಾಳಿಕೋರನ ವಾಕ್ಯದೊಂದಿಗೆ ಉತ್ತರಿಸುತ್ತದೆ.

ಫ್ಲ್ಯಾಗ್ ಮಾಡಲಾದ ಇಂಜೆಕ್ಷನ್‌ಗಳಾದ್ಯಂತ ನಾವು ಇದೇ ರೀತಿಯ ಪ್ರವೃತ್ತಿಗಳನ್ನು ಗಮನಿಸುತ್ತೇವೆ:

• ಅವು ನಂಬಲರ್ಹ ಮೂಲಗಳನ್ನು ಅನುಕರಿಸುತ್ತವೆ. ಎರಡೂ ಉದಾಹರಣೆಗಳು ಪುಟದ ಪಠ್ಯವನ್ನು ಏಜೆಂಟ್ ನಂಬುವ ಮೂಲದಂತೆ ತೋರುವಂತೆ ಮಾಡುತ್ತವೆ: ಮೊದಲನೆಯದರಲ್ಲಿ ಅದರ ಡೆವಲಪರ್, ಎರಡನೆಯದರಲ್ಲಿ ಅದರ ಸ್ವಂತ ಸಂಭಾಷಣೆ. ಇಂಜೆಕ್ಷನ್‌ಗಳು ಭದ್ರತಾ ತಪಾಸಣೆಗಳು ಮತ್ತು ನೀತಿ ಸೂಚನೆಗಳನ್ನು ಅನುಕರಿಸುತ್ತಾ ಸೈಟ್‌ನಂತೆಯೇ, ಅಥವಾ ನಕಲಿ ಆದ್ಯತೆಗಳನ್ನು ಮುಂದಿಡುತ್ತಾ ಬಳಕೆದಾರರಂತೆಯೂ ನಟಿಸಬಹುದು. ಸುಮಾರು ಮೂರರಲ್ಲಿ ಎರಡು ಇಂಜೆಕ್ಷನ್‌ಗಳು ಔಪಚಾರಿಕ ಭಾಷೆಯಲ್ಲಿ ಬರೆಯಲ್ಪಟ್ಟಿವೆ.
• ಹಲವು ಬೇರೆ ಬೇರೆ ಭಾಷೆಗಳಲ್ಲಿ ಬರೆಯಲ್ಪಟ್ಟಿವೆ. 24.4% ಜೋಡಿಗಳಲ್ಲಿ, ಇಂಜೆಕ್ಷನ್ ತನ್ನ ಪುಟದ ಉಳಿದ ಭಾಗಕ್ಕಿಂತ ಭಿನ್ನವಾದ ಭಾಷೆಯನ್ನು ಬಳಸುತ್ತದೆ. ಇದು ಸಾಮಾನ್ಯವಾಗಿ ಮೊದಲ ಉದಾಹರಣೆಯಲ್ಲಿರುವಂತೆ, ಇಂಗ್ಲಿಷ್ ಅಲ್ಲದ ಪುಟದಲ್ಲಿನ ಇಂಗ್ಲಿಷ್ ಸೂಚನೆಯ ರೂಪದಲ್ಲಿರುತ್ತದೆ. ಇಂತಹ ದಾಳಿಗಳು ಸ್ಪಷ್ಟವಾಗಿ ಪ್ರತಿ ಭಾಷೆಯನ್ನೂ ಓದುವ ಮತ್ತು ಸಾಮಾನ್ಯವಾಗಿ ಇಂಗ್ಲಿಷ್ ಅನ್ನು ಮಾತೃಭಾಷೆಯಂತೆ ಬಳಸುವ ಏಜೆಂಟ್ ಅನ್ನು ಉದ್ದೇಶಿಸಿವೆ. ಭಾಷಾ ಬದಲಾವಣೆಗಳು ಪತ್ತೆಹಚ್ಚುವಿಕೆಯನ್ನೂ ಕಠಿಣಗೊಳಿಸುತ್ತವೆ: ನಮ್ಮ ಮೂಲ BrowseSafe ಮೌಲ್ಯಮಾಪನದಲ್ಲಿ, ಬಹುಭಾಷಾ ದಾಳಿಗಳು ಹಿಡಿಯಲು ಅತ್ಯಂತ ಕಷ್ಟಕರವಾದವುಗಳಲ್ಲಿ ಸೇರಿದ್ದವು.
• ಹೆಚ್ಚಿನವು ಪದಗಳನ್ನಲ್ಲ, ಕ್ರಿಯೆಗಳನ್ನು ಬಯಸುತ್ತವೆ. ಹತ್ತರಲ್ಲಿ ನಾಲ್ಕಕ್ಕಿಂತ ಹೆಚ್ಚು ಇಂಜೆಕ್ಷನ್‌ಗಳು, ಮೊದಲ ಉದಾಹರಣೆಯಲ್ಲಿನ ಟೋಕನ್ ಖರೀದಿಯಂತೆ, ಬಳಕೆದಾರರು ಎಂದಿಗೂ ಕೇಳದ ಕ್ರಿಯೆಯತ್ತ ಏಜೆಂಟ್ ಅನ್ನು ತಳ್ಳುತ್ತವೆ, ಮತ್ತು ಸುಮಾರು ಮೂರನೇ ಒಂದು ಭಾಗದಷ್ಟು, ಎರಡನೇ ಉದಾಹರಣೆಯಲ್ಲಿರುವಂತೆ, ಬಳಕೆದಾರರ ಕಾರ್ಯವನ್ನು ಏಜೆಂಟ್ ಕೈಬಿಡುವಂತೆ ಮಾಡಲು ಯತ್ನಿಸುತ್ತವೆ. ಕೇವಲ ಸುಮಾರು 3% ಮಾತ್ರ ಉತ್ತರದಲ್ಲಿ ಸುಳ್ಳು ಮಾಹಿತಿಯನ್ನು ಸೇರಿಸಲು ಯತ್ನಿಸುತ್ತವೆ.
• ಅವು ಸಾಮಾನ್ಯವಾಗಿ ಯಾರು ಬೇಕಾದರೂ ಪೋಸ್ಟ್ ಮಾಡಬಹುದಾದ ವಿಷಯದ ಮೂಲಕ ಬರುತ್ತವೆ. ದಾಳಿಕೋರನು ಸೈಟ್ ಅನ್ನು ನಿಯಂತ್ರಿಸುವ ಅಗತ್ಯವಿಲ್ಲ. ಸಾಮಾನ್ಯ ಸೈಟ್‌ಗಳಲ್ಲಿನ ಫೋರಮ್ ಪೋಸ್ಟ್ ಅಥವಾ ಹಂಚಿಕೊಂಡ ಡಾಕ್ಯುಮೆಂಟ್ ಸಾಕು, ಮತ್ತು BrowseSafe++ ನಲ್ಲಿನ 23,000 ಕ್ಕೂ ಹೆಚ್ಚು ಇಂಜೆಕ್ಷನ್‌ಗಳು ಈ ರೀತಿಯಲ್ಲಿ ಬಂದಿವೆ. ಡೊಮೇನ್ ನಂಬಲರ್ಹವಾಗಿದ್ದರೂ ಸಹ, ಅದನ್ನು ದಾಳಿಕೋರನ ಪಠ್ಯವನ್ನು ಇಂಜೆಕ್ಟ್ ಮಾಡಲು ಬಳಸಬಹುದು.

ಅಂತಿಮ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನಲ್ಲಿರುವ ಇಂಜೆಕ್ಷನ್‌ಗಳು 12 ಬಗೆಯ ವೆಬ್‌ಸೈಟ್‌ಗಳು, 24 ದಾಳಿ ಪ್ರಕಾರಗಳು, 6 ದಾಳಿಕೋರರ ಗುರಿಗಳು ಮತ್ತು ಪುಟದಲ್ಲಿನ 18 ಸ್ಥಾನಗಳನ್ನು ವ್ಯಾಪಿಸಿವೆ.

ವಿಸ್ತರಿಸಿ

ಫ್ಲ್ಯಾಗ್ ಮಾಡಲಾದ ಪುಟದಿಂದ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಜೋಡಿಯವರೆಗೆ

ಫ್ಲ್ಯಾಗ್ ಮಾಡಲಾದ ಪುಟಗಳನ್ನು ನಾವು ಇದ್ದಂತೆಯೇ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನಲ್ಲಿ ಬಳಸಲು ಸಾಧ್ಯವಿಲ್ಲ, ಏಕೆಂದರೆ ಅವುಗಳಲ್ಲಿ ಏಜೆಂಟ್ ಯಾರಿಗಾಗಿ ಕೆಲಸ ಮಾಡುತ್ತಿತ್ತೋ ಆ ಬಳಕೆದಾರರ ವೈಯಕ್ತಿಕ ಮಾಹಿತಿ ಇರಬಹುದು. ಪುಟವನ್ನು ಹಂಚಿಕೊಳ್ಳಬಹುದಾದ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಜೋಡಿಯಾಗಿ ಪರಿವರ್ತಿಸಲು ಮೂರು ಪ್ರಮುಖ ಹಂತಗಳು ಬೇಕಾಗುತ್ತವೆ:

1. ಇಂಜೆಕ್ಷನ್ ಅನ್ನು ಸಂಗ್ರಹಿಸುವುದು: ನಾವು ಫ್ಲ್ಯಾಗ್ ಮಾಡಲಾದ ಪುಟಗಳನ್ನು ಸಂಗ್ರಹಿಸಿ, ನಕಲುಗಳನ್ನು ತೆಗೆದುಹಾಕಿ, PII-Tracer ಬಳಸಿ ವೈಯಕ್ತಿಕ ಮಾಹಿತಿಯನ್ನು ಮರೆಮಾಡುತ್ತೇವೆ. ನಂತರ, ಪುಟದಲ್ಲಿ ಇಂಜೆಕ್ಷನ್ ಇದೆ ಎಂದು ನಾವು ದೃಢೀಕರಿಸುತ್ತೇವೆ; ನಿರ್ದಿಷ್ಟವಾಗಿ, ಬಳಕೆದಾರರು ಉದ್ದೇಶಿಸಿದ ಕಾರ್ಯದಿಂದ ಏಜೆಂಟ್ ಅನ್ನು ಬೇರೆಡೆಗೆ ತಿರುಗಿಸಲು ಯತ್ನಿಸುವ ಸೂಚನೆ ಅದರಲ್ಲಿದೆ ಎಂದು ಮಾದರಿಗಳ ತಂಡವೊಂದು ಒಪ್ಪುವುದನ್ನು ನಾವು ಕಡ್ಡಾಯಗೊಳಿಸುತ್ತೇವೆ.
2. ಜೋಡಿಯನ್ನು ನಿರ್ಮಿಸುವುದು: ಒಂದು ಏಜೆಂಟ್ ಪ್ರತಿ ಪುಟದಿಂದ ಇಂಜೆಕ್ಷನ್ ಪಠ್ಯವನ್ನು ತೆಗೆದುಹಾಕಿ, ಹೆಸರುಗಳು ಮತ್ತು ಬ್ರ್ಯಾಂಡ್‌ಗಳಂತಹ ವಿವರಗಳನ್ನು ಕಾಲ್ಪನಿಕವಾದವುಗಳೊಂದಿಗೆ ಬದಲಾಯಿಸಿ, ಸುತ್ತಲಿನ ಪುಟದ ವಿಷಯವನ್ನು ಪುನರ್‌ಬರೆಯುತ್ತದೆ. ಎರಡನೇ ಏಜೆಂಟ್ ಪುನರ್‌ಬರೆದ ಪುಟದಲ್ಲಿ ನೈಜ-ಜಗತ್ತಿನ ವಿಷಯ ಉಳಿದಿದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ, ವಿಫಲವಾದವುಗಳನ್ನು ಪ್ರತಿಕ್ರಿಯೆಯೊಂದಿಗೆ ಹಿಂದಕ್ಕೆ ಕಳುಹಿಸುತ್ತದೆ. ಮಾನವ ವಿಮರ್ಶಕರು ಯಾದೃಚ್ಛಿಕವಾಗಿ ಆಯ್ಕೆ ಮಾಡಿದ 10% ಪುಟಗಳನ್ನು ಪರಿಶೀಲಿಸುತ್ತಾರೆ; ಅವರು ಕಂಡುಕೊಳ್ಳುವ ಸಮಸ್ಯೆಗಳನ್ನು ಪೈಪ್‌ಲೈನ್‌ನಲ್ಲಿ ಸರಿಪಡಿಸಲಾಗುತ್ತದೆ, ಮತ್ತು ಆ ಸರಿಪಡಿಸುವಿಕೆಗಳನ್ನು ಸಂಪೂರ್ಣ ಕಾರ್ಪಸ್‌ಗೆ ಅನ್ವಯಿಸಲಾಗುತ್ತದೆ. ದಾಳಿಗೊಳಗಾದ ಪ್ರತಿಯನ್ನು ರಚಿಸಲು ಇಂಜೆಕ್ಷನ್ ಅನ್ನು ಪುನರ್‌ಬರೆದ ಪುಟದಲ್ಲಿ ಮರುಸೇರಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ಸ್ವಚ್ಛ ಪ್ರತಿಯಿಂದ ಹೊರಗಿಡಲಾಗುತ್ತದೆ. ಎರಡೂ ಪುಟಗಳು ಒಂದೇ ಕಾರ್ಯ, ನಿರೀಕ್ಷಿತ ಫಲಿತಾಂಶ ಮತ್ತು ಸಾಮಾನ್ಯ ಸೂಚನೆಗಳನ್ನು ಹಂಚಿಕೊಳ್ಳುತ್ತವೆ.
3. ಪರಿಶೀಲನೆ: ಏಜೆಂಟ್‌ಗಳು ಪುಟಗಳನ್ನು ವಿಭಿನ್ನ ರೂಪಗಳಲ್ಲಿ ಓದುತ್ತವೆ, ಆದ್ದರಿಂದ ನಾವು ಪ್ರತಿ ಪುಟದ HTML ಅನ್ನು Markdown, ಆಕ್ಸೆಸಿಬಿಲಿಟಿ ಟ್ರೀ (ಪುಟದ ಇಂಟರ್ಫೇಸ್ ಅಂಶಗಳು ಮತ್ತು ಅವುಗಳ ಲೇಬಲ್‌ಗಳ ರಚನಾತ್ಮಕ ಪಟ್ಟಿ) ಮತ್ತು ಸ್ಕ್ರೀನ್‌ಶಾಟ್ ಆಗಿ ರೆಂಡರ್ ಮಾಡುತ್ತೇವೆ. ದಾಳಿಗೊಳಗಾದ ಪುಟದ ಎಲ್ಲಾ ನಾಲ್ಕು ವೀಕ್ಷಣೆಗಳಲ್ಲೂ ಇಂಜೆಕ್ಷನ್ ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತದೆಯೇ ಮತ್ತು ಸ್ವಚ್ಛ ಪುಟವು ಪ್ರತಿ ವೀಕ್ಷಣೆಯಲ್ಲೂ ನಿರುಪದ್ರವಿ ಎಂದು ನಿರ್ಣಯಿಸಲ್ಪಡುತ್ತದೆಯೇ ಎಂಬುದನ್ನು ಮತ್ತೊಂದು ಏಜೆಂಟ್ ಪರಿಶೀಲಿಸುತ್ತದೆ. ಯಾವುದಾದರೂ ಒಂದು ವೀಕ್ಷಣೆಯಲ್ಲಿ ಇಂಜೆಕ್ಷನ್ ಕಾಣೆಯಾಗಿದ್ದರೆ, ನಾವು ಅದನ್ನು ಪುಟದಲ್ಲಿ ಬೇರೆ ಸ್ಥಳಕ್ಕೆ ಸರಿಸಿ ಮತ್ತೆ ರೆಂಡರ್ ಮಾಡುತ್ತೇವೆ, ಇದರಿಂದ ಅಂತಿಮ ದಾಳಿಗೊಳಗಾದ ಪುಟದ ಎಲ್ಲಾ ವೀಕ್ಷಣೆಗಳಲ್ಲೂ ಇಂಜೆಕ್ಷನ್ ಇರುವುದನ್ನು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳುತ್ತೇವೆ. ಸ್ವಯಂಚಾಲಿತ ತಪಾಸಣೆಗಳ ಅಂತಿಮ ಸರಣಿಯು ನೈಜ ಹೋಸ್ಟ್‌ನೇಮ್‌ಗಳು ಅಥವಾ ಬ್ರ್ಯಾಂಡ್ ಹೆಸರುಗಳಂತಹ ತಮ್ಮ ಮೂಲದ ಕುರುಹುಗಳನ್ನು ಇನ್ನೂ ಹೊಂದಿರುವ ಯಾವುದೇ ಜೋಡಿಗಳನ್ನು ಸರಿಪಡಿಸುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

BrowseSafe-Guard: ಪ್ರತಿ ವೀಕ್ಷಣೆಗೂ ವೇಗದ ಮತ್ತು ನಿಖರವಾದ ಡಿಟೆಕ್ಟರ್‌ಗಳು

ಉಪಯುಕ್ತ ಡಿಟೆಕ್ಟರ್ ಪ್ರತಿ ಪುಟವನ್ನು ವೇಗವಾಗಿ ಮತ್ತು ಕಡಿಮೆ ವೆಚ್ಚದಲ್ಲಿ ಪರಿಶೀಲಿಸಬೇಕು. ಅದು ದಾಳಿಗೊಳಗಾದ ಮತ್ತು ಸ್ವಚ್ಛ ಪುಟಗಳೆರಡರಲ್ಲೂ ನಿಖರವಾಗಿರಬೇಕು. ಹೆಚ್ಚಿನ ಪುಟಗಳು ಸುರಕ್ಷಿತವಾಗಿರುವುದರಿಂದ ಹೆಚ್ಚಿನ ಪ್ರಿಸಿಷನ್ ವಿಶೇಷವಾಗಿ ಮುಖ್ಯ; ತುಲನಾತ್ಮಕವಾಗಿ ಕಡಿಮೆ ಫಾಲ್ಸ್-ಪಾಸಿಟಿವ್ ದರವೂ ಹೆಚ್ಚಿನ ಎಚ್ಚರಿಕೆಗಳನ್ನು ತಪ್ಪು ಎಚ್ಚರಿಕೆಗಳಾಗಿಸುತ್ತದೆ. ಪ್ರಾಂಪ್ಟ್ ಮಾಡಲಾದ ಸಾಮಾನ್ಯ-ಉದ್ದೇಶದ ಮಾದರಿಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಪ್ರಿಸಿಷನ್‌ನಲ್ಲಿ ಹಿಂದುಳಿಯುತ್ತವೆ ಮತ್ತು ಪ್ರತಿ ಪುಟದಲ್ಲೂ ಚಲಾಯಿಸಲು ತುಂಬಾ ನಿಧಾನ ಮತ್ತು ದುಬಾರಿಯಾಗಿವೆ.

ಪ್ರತ್ಯೇಕವಾಗಿ ಸಂಗ್ರಹಿಸಿದ ದಾಳಿಗೊಳಗಾದ ಮತ್ತು ಸ್ವಚ್ಛ ಪುಟಗಳ ಮೇಲೆ ತರಬೇತಿ ಪಡೆದ ಡಿಟೆಕ್ಟರ್, ಪುಟದ ವಿಷಯ ಅಥವಾ ವಿನ್ಯಾಸದಂತಹ, ಆಕಸ್ಮಿಕವಾಗಿ ಎರಡು ಸೆಟ್‌ಗಳನ್ನು ಬೇರ್ಪಡಿಸುವ ಶಾರ್ಟ್‌ಕಟ್‌ಗಳನ್ನು ಕಲಿಯಬಹುದು. ಆದರೆ, ಅಂತಹ ಡಿಟೆಕ್ಟರ್ ಚೆನ್ನಾಗಿ ಸಾಮಾನ್ಯೀಕರಿಸುವುದಿಲ್ಲ. ಬದಲಾಗಿ, Guard ಇಂಜೆಕ್ಷನ್ ಮಾತ್ರ ಏಕೈಕ ವ್ಯತ್ಯಾಸವಾಗಿರುವ ಜೋಡಿಗಳ ಮೇಲೆ ತರಬೇತಿ ಪಡೆಯುತ್ತದೆ, ಇದು ಡಿಟೆಕ್ಟರ್‌ನ ಪ್ರಿಸಿಶನ್ ಅನ್ನು ಸುಧಾರಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ. ಪ್ರತಿ ಜೋಡಿಗೆ, Guard ದಾಳಿಗೊಳಗಾದ ಪುಟ ಮತ್ತು ಅದರ ಸ್ವಚ್ಛ ಅವಳಿ ಪುಟವನ್ನು ಪ್ರತ್ಯೇಕವಾಗಿ ಓದುತ್ತದೆ ಮತ್ತು ಪ್ರತಿಯೊಂದರಲ್ಲೂ ಇಂಜೆಕ್ಷನ್ ಇರುವ ಸಾಧ್ಯತೆ ಎಷ್ಟು ಎಂಬುದಕ್ಕೆ ಸ್ಕೋರ್ ನೀಡುತ್ತದೆ. ಮಾದರಿಯನ್ನು ಅಪ್‌ಡೇಟ್ ಮಾಡಲು ಎರಡು ತರಬೇತಿ ಉದ್ದೇಶಗಳನ್ನು ಬಳಸಲಾಗುತ್ತದೆ: ಪ್ರಮಾಣಿತ ವರ್ಗೀಕರಣ ಉದ್ದೇಶ, ಮತ್ತು ದಾಳಿಗೊಳಗಾದ ಪುಟವು ತನ್ನ ಅವಳಿಗಿಂತ ಕನಿಷ್ಠ ಒಂದು ನಿಗದಿತ ಅಂತರದಿಂದ ಹೆಚ್ಚು ಸ್ಕೋರ್ ಪಡೆಯದಿದ್ದರೆ Guard ಗೆ ದಂಡ ವಿಧಿಸುವ ಶ್ರೇಣೀಕರಣ ಉದ್ದೇಶ. ಸರಳವಾಗಿ ಹೇಳುವುದಾದರೆ, ವರ್ಗೀಕರಣ ಉದ್ದೇಶವು Guard ಗೆ ಯಾವ ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳಬೇಕೆಂದು ಕಲಿಸುತ್ತದೆ, ಮತ್ತು ಶ್ರೇಣೀಕರಣ ಉದ್ದೇಶವು ಆ ನಿರ್ಧಾರವನ್ನು ಇಂಜೆಕ್ಷನ್‌ಗೇ ಜೋಡಿಸುತ್ತದೆ ಹಾಗೂ ಹಾನಿಕರವಲ್ಲದ, ಗಮನ ಬೇರೆಡೆಗೆ ಸೆಳೆಯುವ ಅಂಶಗಳನ್ನು ನಿರ್ಲಕ್ಷಿಸುತ್ತದೆ. ಇದು ಸುತ್ತಮುತ್ತಲಿನ ಪುಟದ ವಿಷಯಕ್ಕಿಂತ ಹೆಚ್ಚಾಗಿ ಇಂಜೆಕ್ಷನ್‌ಗೇ ಪ್ರತಿಕ್ರಿಯಿಸುವಂತೆ Guard ಗೆ ತರಬೇತಿ ನೀಡುತ್ತದೆ.

Guard ಎರಡು ಡಿಟೆಕ್ಟರ್‌ಗಳನ್ನು ಒಳಗೊಂಡಿದೆ, ಪ್ರತಿಯೊಂದನ್ನೂ Qwen3.5-0.8B ಯಿಂದ ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಲಾಗಿದೆ. ಪಠ್ಯ ಡಿಟೆಕ್ಟರ್ ಪುಟದ ಒಂದು ಪಠ್ಯ ವೀಕ್ಷಣೆಯನ್ನು ಓದುತ್ತದೆ: HTML, Markdown ಅಥವಾ ಆಕ್ಸೆಸಿಬಿಲಿಟಿ ಟ್ರೀ. ಮಲ್ಟಿಮೋಡಲ್ ಡಿಟೆಕ್ಟರ್ ಪೂರ್ಣ-ಪುಟದ ಸ್ಕ್ರೀನ್‌ಶಾಟ್ ಅನ್ನು ಓದುತ್ತದೆ. ನಿಯೋಜನೆಯಲ್ಲಿ, Guard ಒಂದೇ ಫಾರ್ವರ್ಡ್ ಪಾಸ್‌ನಲ್ಲಿ ಪುಟವನ್ನು ಓದಿ ಇಂಜೆಕ್ಷನ್ ಸ್ಕೋರ್ ಅನ್ನು ನೀಡುತ್ತದೆ, ಮತ್ತು ಸ್ಕೋರ್ ಮಿತಿಯನ್ನು ದಾಟಿದರೆ ಪುಟವನ್ನು ಫ್ಲ್ಯಾಗ್ ಮಾಡಲಾಗುತ್ತದೆ. Guard ಕೇವಲ 0.8B ಪ್ಯಾರಾಮೀಟರ್‌ಗಳನ್ನು ಹೊಂದಿರುವುದರಿಂದ ಮತ್ತು ಒಂದೇ ಸ್ಕೋರ್ ಅನ್ನು ನೀಡುವುದರಿಂದ, ಅದು ಪ್ರತಿ ಪುಟದಲ್ಲೂ ಚಲಾಯಿಸುವಷ್ಟು ವೇಗ ಮತ್ತು ಅಗ್ಗವಾಗಿದೆ.

ಕಾರ್ಯಕ್ಷಮತೆಯ ಬೆಂಚ್‌ಮಾರ್ಕಿಂಗ್

ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನ ಪ್ರತ್ಯೇಕವಾಗಿ ಇರಿಸಲಾದ (held-out) ಉಪಗುಂಪಿನಲ್ಲಿ ಇಂಜೆಕ್ಷನ್‌ಗಳನ್ನು ಪತ್ತೆಹಚ್ಚಲು ಪ್ರಾಂಪ್ಟ್ ಮಾಡಲಾದ 18 ಮಾದರಿಗಳೊಂದಿಗೆ ನಾವು Guard ಅನ್ನು ಹೋಲಿಸಿದೆವು. BrowseSafe++ ನಲ್ಲಿ ಅಳೆಯಲಾದ ನಾಲ್ಕು ಮಾಪನಗಳನ್ನು ನಾವು ವರದಿ ಮಾಡುತ್ತೇವೆ:

• ರಿಕಾಲ್ ಎಂದರೆ ಇಂಜೆಕ್ಷನ್ ಇರುವ ಪುಟಗಳಲ್ಲಿ ಡಿಟೆಕ್ಟರ್ ಫ್ಲ್ಯಾಗ್ ಮಾಡುವ ಪುಟಗಳ ಪಾಲು; ಅದು ಎಷ್ಟು ದಾಳಿಗಳನ್ನು ಹಿಡಿಯುತ್ತದೆ ಎಂಬುದನ್ನು ಇದು ಅಳೆಯುತ್ತದೆ, ಆದ್ದರಿಂದ ಹೆಚ್ಚಿದ್ದಷ್ಟೂ ಉತ್ತಮ.
• ಫಾಲ್ಸ್-ಪಾಸಿಟಿವ್ ದರ (FPR) ಎಂದರೆ ಡಿಟೆಕ್ಟರ್ ತಪ್ಪಾಗಿ ಫ್ಲ್ಯಾಗ್ ಮಾಡುವ ಸ್ವಚ್ಛ ಪುಟಗಳ ಪಾಲು; ಅದು ಎಷ್ಟು ಬಾರಿ ತಪ್ಪು ಎಚ್ಚರಿಕೆಗಳನ್ನು ನೀಡುತ್ತದೆ ಎಂಬುದನ್ನು ಇದು ಅಳೆಯುತ್ತದೆ, ಆದ್ದರಿಂದ ಕಡಿಮೆಯಿದ್ದಷ್ಟೂ ಉತ್ತಮ.
• ಪ್ರಿಸಿಷನ್ ಎಂದರೆ ಫ್ಲ್ಯಾಗ್ ಮಾಡಲಾದ ಪುಟಗಳಲ್ಲಿ ನಿಜವಾಗಿಯೂ ಇಂಜೆಕ್ಷನ್ ಹೊಂದಿರುವ ಪುಟಗಳ ಪಾಲು; ಎಚ್ಚರಿಕೆಯೊಂದು ಎಷ್ಟು ಬಾರಿ ಸರಿಯಾಗಿರುತ್ತದೆ ಎಂಬುದನ್ನು ಇದು ಅಳೆಯುತ್ತದೆ, ಆದ್ದರಿಂದ ಹೆಚ್ಚಿದ್ದಷ್ಟೂ ಉತ್ತಮ.
• F1 ಎಂಬುದು ರಿಕಾಲ್ ಮತ್ತು ಪ್ರಿಸಿಷನ್‌ನ ಹಾರ್ಮೋನಿಕ್ ಸರಾಸರಿ; ಡಿಟೆಕ್ಟರ್ ಹೆಚ್ಚಿನ ದಾಳಿಗಳನ್ನು ಹಿಡಿದಾಗ ಮತ್ತು ಅದರ ಫ್ಲ್ಯಾಗ್‌ಗಳಲ್ಲಿ ಕೆಲವೇ ತಪ್ಪು ಎಚ್ಚರಿಕೆಗಳಾಗಿದ್ದಾಗ ಮಾತ್ರ ಇದು ಹೆಚ್ಚಾಗಿರುತ್ತದೆ.

ಉತ್ತಮ ಡಿಟೆಕ್ಟರ್ ಹೆಚ್ಚಿನ ಪ್ರಿಸಿಷನ್ ಮತ್ತು ರಿಕಾಲ್ ಹೊಂದಿರಬೇಕಾದ್ದರಿಂದ, ನಾವು F1 ಅನ್ನು ಪ್ರಾಥಮಿಕ ಮಾಪನವಾಗಿ ಬಳಸುತ್ತೇವೆ. ಎಲ್ಲಾ ನಾಲ್ಕು ಮಾಪನಗಳನ್ನು ಮೂರು ಪಠ್ಯ ವೀಕ್ಷಣೆಗಳಾದ್ಯಂತ ಸರಾಸರಿ ಮಾಡಲಾಗಿದೆ.

ವಿಸ್ತರಿಸಿ

ವಿಸ್ತರಿಸಿ

ಮಾದರಿಗಳ ಹೋಲಿಕೆ

ನಾವು ಪರೀಕ್ಷಿಸಿದ ಸಣ್ಣ ಓಪನ್-ವೇಟ್ ಮಾದರಿಗಳು ಕೆಳಸ್ಥಾನದಲ್ಲಿವೆ. Mistral NeMo ಮತ್ತು Qwen3 30B-A3B ಪ್ರತಿಯೊಂದೂ ಸುಮಾರು ಅರ್ಧದಷ್ಟು ಸ್ವಚ್ಛ ಪುಟಗಳನ್ನು ಫ್ಲ್ಯಾಗ್ ಮಾಡುತ್ತವೆ, ಆದರೆ Llama 3.1 8B ಅಪರೂಪವಾಗಿ ಮಾತ್ರ ಏನನ್ನಾದರೂ ಫ್ಲ್ಯಾಗ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ಹೆಚ್ಚಿನ ದಾಳಿಗಳನ್ನು ತಪ್ಪಿಸಿಕೊಳ್ಳುತ್ತದೆ. ಈ ಗುಂಪಿನ ಅತ್ಯಂತ ಬಲಿಷ್ಠ ಮಾದರಿಯಾದ GPT-OSS 20B ಕೂಡ ಕೇವಲ 70.97% F1 ತಲುಪುತ್ತದೆ. ಹೆಚ್ಚು ದೊಡ್ಡ ಓಪನ್-ವೇಟ್ ಮಾದರಿಯಾದ DeepSeek V3.1 75.23% F1 ನೊಂದಿಗೆ ಸ್ವಲ್ಪ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ.

GPT-5.4 nano, Gemini 3.1 Flash-Lite ಮತ್ತು Claude Haiku 4.5 ಸೇರಿದಂತೆ ಹಗುರವಾದ API ಮಾದರಿಗಳು 85% ಮತ್ತು 97% ರ ನಡುವಿನ ರಿಕಾಲ್‌ನೊಂದಿಗೆ ಹೆಚ್ಚು ದಾಳಿಗಳನ್ನು ಪತ್ತೆಹಚ್ಚುತ್ತವೆ. ಆದರೆ, ಇದಕ್ಕೆ ತೆರಬೇಕಾದ ಬೆಲೆ ಹೆಚ್ಚಿನ ಪ್ರಮಾಣದ ತಪ್ಪು ಎಚ್ಚರಿಕೆಗಳು; ಈ ಗುಂಪಿನಲ್ಲಿ Gemini 3.1 Flash-Lite 35.2% ರೊಂದಿಗೆ ಅತ್ಯಂತ ಕಡಿಮೆ FPR ಅನ್ನು ಹೊಂದಿದೆ, ಮತ್ತು Haiku ನ FPR ಸುಮಾರು 69% ಆಗಿದೆ. ಪರಿಣಾಮವಾಗಿ, ಈ ಗುಂಪಿನ ಗರಿಷ್ಠ F1 ಸ್ಕೋರ್ 80.9% ಆಗಿದ್ದು, ಅದನ್ನು Gemini 3.1 Flash-Lite ಸಾಧಿಸಿದೆ.

ಉಳಿದ ಮಾದರಿಗಳು ಹೆಚ್ಚು ಬಲಿಷ್ಠವಾದ ಸಾಮಾನ್ಯ-ಉದ್ದೇಶದ ಮಾದರಿಗಳಾಗಿದ್ದು, 85% ಮತ್ತು 92% ನಡುವಿನ F1 ಸ್ಕೋರ್‌ಗಳನ್ನು ತಲುಪುತ್ತವೆ. ಆದರೂ, ಅವು ರಿಕಾಲ್ ಮತ್ತು FPR ನಡುವಿನ ರಾಜಿಗಳನ್ನು ಎದುರಿಸುತ್ತವೆ; ಹೆಚ್ಚು ಜಾಗರೂಕತೆಯತ್ತ ವಾಲುವ ಮಾದರಿಗಳು ನ್ಯಾಯಸಮ್ಮತ ಪುಟಗಳನ್ನು ತಡೆಯುತ್ತವೆ, ಮತ್ತು ಕಡಿಮೆ ಬಾರಿ ಫ್ಲ್ಯಾಗ್ ಮಾಡುವ ಮಾದರಿಗಳು ದಾಳಿಗಳನ್ನು ತಪ್ಪಿಸಿಕೊಳ್ಳುತ್ತವೆ. Claude Sonnet 5 ಯಾವುದೇ ಡಿಟೆಕ್ಟರ್‌ಗಿಂತ ಅತಿ ಹೆಚ್ಚು, ಅಂದರೆ 98.73% ರಿಕಾಲ್ ಹೊಂದಿದೆ, ಆದರೆ ಅದರ FPR 24.65%. Gemini 3.1 Pro ಮತ್ತು GPT-5.5 ಕ್ರಮವಾಗಿ 97.78% ಮತ್ತು 97.19% ರಿಕಾಲ್ ಹಾಗೂ 19.80% ಮತ್ತು 20.44% FPR ತಲುಪುತ್ತವೆ. GPT-6 Astra 96.42% ರಿಕಾಲ್ ಮತ್ತು 14.41% FPR ನೊಂದಿಗೆ ಒಟ್ಟಾರೆ ಅತಿ ಹೆಚ್ಚು ನಿಖರತೆಯನ್ನು ಹೊಂದಿದೆ. 96.02% ರಿಕಾಲ್ ಮತ್ತು 17.44% FPR ನೊಂದಿಗೆ Decider ಎರಡನೇ ಸ್ಥಾನದಲ್ಲಿದೆ. Claude Opus 5.5 ಕೇವಲ 4.21% ನೊಂದಿಗೆ ಅತಿ ಕಡಿಮೆ FPR ಹೊಂದಿದೆ, ಆದರೆ ಅದರ 77.71% ರಿಕಾಲ್ ಎಂದರೆ ಅದು ಐದರಲ್ಲಿ ಒಂದಕ್ಕಿಂತ ಹೆಚ್ಚು ದಾಳಿಗಳನ್ನು ತಪ್ಪಿಸಿಕೊಳ್ಳುತ್ತದೆ. Claude Fable 5.1 ತಾನು ಉತ್ತರಿಸುವ ಪುಟಗಳಲ್ಲಿ 89.31% ರಿಕಾಲ್ ಮತ್ತು 7.92% FPR ನೊಂದಿಗೆ ಬಲಿಷ್ಠವಾಗಿ ಕಾಣುತ್ತದೆ, ಆದರೆ ಅದು ಸುಮಾರು 30% ಪುಟಗಳಲ್ಲಿ ಉತ್ತರಿಸಲು ನಿರಾಕರಿಸುತ್ತದೆ; “(all)” ಸಾಲು ಇವುಗಳನ್ನು ಫ್ಲ್ಯಾಗ್‌ಗಳಾಗಿ ಎಣಿಸುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

Guard ಪ್ಯಾರೆಟೊ ಫ್ರಂಟಿಯರ್ ಅನ್ನು ಮುಂದಕ್ಕೆ ಒಯ್ಯುತ್ತದೆ, ತಪ್ಪಿಹೋದ ದಾಳಿಗಳು ಮತ್ತು ತಪ್ಪು ಎಚ್ಚರಿಕೆಗಳ ನಡುವೆ ಉತ್ತಮ ಸಮತೋಲನವನ್ನು ಸಾಧಿಸುತ್ತದೆ. ಇದು ಸುಮಾರು 95% F1 ತಲುಪುತ್ತದೆ ಮತ್ತು ಪ್ರತಿ ಪಠ್ಯ ವೀಕ್ಷಣೆಯಲ್ಲೂ ಮೊದಲ ಸ್ಥಾನದಲ್ಲಿದೆ. ಇದು 20 ಸ್ವಚ್ಛ ಪುಟಗಳಲ್ಲಿ ಸುಮಾರು ಒಂದನ್ನು ಮಾತ್ರ ಫ್ಲ್ಯಾಗ್ ಮಾಡುತ್ತದೆ, ಇದು ಅತ್ಯಂತ ನಿಖರವಾದ ಪ್ರಾಂಪ್ಟ್ ಮಾಡಲಾದ ಮಾದರಿಯಾದ Astra ದ ದರದ ಸುಮಾರು ಮೂರನೇ ಒಂದು ಭಾಗ. ಈ ವ್ಯತ್ಯಾಸವು ನಮ್ಮ ತರಬೇತಿಯಿಂದ ಬರುತ್ತದೆ; Guard ಅನ್ನು ನಿರ್ಮಿಸಲು ಆಧಾರವಾಗಿ ಬಳಸಿದ ಮೂಲ Qwen3.5-0.8B ಅನ್ನು ಇತರ ಮಾದರಿಗಳಂತೆಯೇ ಪ್ರಾಂಪ್ಟ್ ಮಾಡಿದಾಗ, ಅದು ಕೇವಲ 64% F1 ತಲುಪುತ್ತದೆ ಮತ್ತು ನಾಲ್ಕರಲ್ಲಿ ಸುಮಾರು ಮೂರು ಸ್ವಚ್ಛ ಪುಟಗಳನ್ನು ಫ್ಲ್ಯಾಗ್ ಮಾಡುತ್ತದೆ. ಸ್ಕ್ರೀನ್‌ಶಾಟ್ ವೀಕ್ಷಣೆಯ ಸನ್ನಿವೇಶದಲ್ಲಿ, ನಾವು Guard ನ ಮಲ್ಟಿಮೋಡಲ್ ಡಿಟೆಕ್ಟರ್ ಅನ್ನು ಚಿತ್ರಗಳನ್ನು ನಿರ್ವಹಿಸಬಲ್ಲ ನಾಲ್ಕು ಮಾದರಿಗಳೊಂದಿಗೆ ಹೋಲಿಸುತ್ತೇವೆ. ಪೂರ್ಣ-ಪುಟದ ಸ್ಕ್ರೀನ್‌ಶಾಟ್‌ಗಳನ್ನು ನೀಡಿದಾಗ, Guard ಸುಮಾರು 93% F1 ಗಳಿಸುತ್ತದೆ, ಆದರೆ ನಾವು ಮೌಲ್ಯಮಾಪನ ಮಾಡಿದ ಇತರ ಮಾದರಿಗಳಲ್ಲಿ ಅತ್ಯುತ್ತಮವಾದದ್ದು ಸುಮಾರು 79% ಗಳಿಸುತ್ತದೆ.

ದಾಳಿಯನ್ನು ಗುರುತಿಸುವುದು ಅದನ್ನು ಪ್ರತಿರೋಧಿಸುವುದಕ್ಕೆ ಸಮನಲ್ಲ

ಸಹಜವಾಗಿ ಯೋಚಿಸಿದರೆ, ಇಂಜೆಕ್ಷನ್ ಅನ್ನು ಸರಿಯಾಗಿ ಗುರುತಿಸಬಲ್ಲ ಮಾದರಿಯು ಬಳಕೆದಾರರ ಕಾರ್ಯಗಳನ್ನು ಪೂರ್ಣಗೊಳಿಸುವಾಗ ಆ ಪುಟವನ್ನು ಎದುರಿಸಿದಾಗಲೂ ಆ ಇಂಜೆಕ್ಷನ್ ಅನ್ನು ನಿರ್ಲಕ್ಷಿಸಬೇಕು. ಆದರೆ, ಬಲವಾದ ಪತ್ತೆ ಸ್ಕೋರ್‌ಗಳು ಮಾದರಿಯು ದಾಳಿಯನ್ನು ಪ್ರತಿರೋಧಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ಖಾತರಿಪಡಿಸುವುದಿಲ್ಲ ಎಂದು ನಮ್ಮ ಪ್ರಯೋಗಗಳು ತೋರಿಸುತ್ತವೆ. ನಾವು ಪ್ರತಿ ಮಾದರಿಗೆ ಒಂದೇ ದಾಳಿಗೊಳಗಾದ ಪುಟವನ್ನು ಎರಡು ಬಾರಿ ನೀಡಿದೆವು: ಒಮ್ಮೆ ಅದರಲ್ಲಿ ಇಂಜೆಕ್ಷನ್ ಇದೆಯೇ ಎಂದು ನಿರ್ಣಯಿಸಲು, ಮತ್ತು ಇನ್ನೊಮ್ಮೆ ಹಿಂದಿನ ತೀರ್ಪನ್ನು ನೋಡದೆ ಬಳಕೆದಾರರ ಕಾರ್ಯವನ್ನು ನಿರ್ವಹಿಸಲು. ಅದು ಇಂಜೆಕ್ಷನ್ ಅನ್ನು ಅನುಸರಿಸಿತೇ ಎಂಬುದನ್ನು ಪ್ರತ್ಯೇಕ ತೀರ್ಪುಗಾರ ಮಾದರಿಯು ಪರಿಶೀಲಿಸಿತು. ಪರೀಕ್ಷಿಸಿದ ಪ್ರತಿ ಮಾದರಿಯೂ ತಾನು ಫ್ಲ್ಯಾಗ್ ಮಾಡಿದ್ದ ಕೆಲವು ಇಂಜೆಕ್ಷನ್‌ಗಳನ್ನು ಇನ್ನೂ ಅನುಸರಿಸಿತು: GPT-6 Astra ಗೆ ಫ್ಲ್ಯಾಗ್ ಮಾಡಲಾದ ಪುಟಗಳ 1.64% ನಿಂದ Llama 3.1 8B ಗೆ 24.73% ವರೆಗೆ.

ವಿಸ್ತರಿಸಿ

ಪತ್ತೆ ಸ್ಕೋರ್‌ಗಳು ಮಾದರಿಗಳ ನಡುವಿನ ವ್ಯತ್ಯಾಸಗಳನ್ನು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ಊಹಿಸುವುದಿಲ್ಲ. Claude Sonnet 5 ಮತ್ತು GPT-5.5 ಕ್ರಮವಾಗಿ ಸುಮಾರು 88% ಮತ್ತು 89% F1 ಸ್ಕೋರ್‌ಗಳೊಂದಿಗೆ ಇಂಜೆಕ್ಷನ್‌ಗಳನ್ನು ಬಹುತೇಕ ಸಮಾನವಾಗಿ ಪತ್ತೆಹಚ್ಚುತ್ತವೆ. ಆದರೆ, Sonnet 5 ತಾನು ಫ್ಲ್ಯಾಗ್ ಮಾಡಿದ್ದ ಇಂಜೆಕ್ಷನ್ ಅನ್ನು 19.74% ಪುಟಗಳಲ್ಲಿ ಅನುಸರಿಸಿತು, ಇದು 1.97% ಇರುವ GPT-5.5 ಗಿಂತ ಹತ್ತು ಪಟ್ಟು ಹೆಚ್ಚು.

ಇಂಜೆಕ್ಷನ್ ರಕ್ಷಣೆಗಾಗಿ ನಿಯೋಜಿಸಬಹುದಾದ ವ್ಯವಸ್ಥೆ

ಬಳಕೆದಾರರ ಕಾರ್ಯವನ್ನು ನಿರ್ವಹಿಸುತ್ತಿರುವ ಮಾದರಿಯನ್ನು ಅವಲಂಬಿಸುವ ಬದಲು, ಪುಟವನ್ನು ತಡೆಯುವ ನಿರ್ಧಾರವನ್ನು ವಿಶೇಷ-ಉದ್ದೇಶದ ಮಾದರಿಗೆ ವಹಿಸುವುದರಲ್ಲಿ ಮೌಲ್ಯವಿದೆ ಎಂದು ಈ ಫಲಿತಾಂಶಗಳು ಸೂಚಿಸುತ್ತವೆ. ಏಜೆಂಟ್ ಕ್ರಿಯೆ ಕೈಗೊಳ್ಳುವ ಮೊದಲು ಪ್ರತಿ ಪುಟವನ್ನು ಪರೀಕ್ಷಿಸುವ ಪ್ರತ್ಯೇಕ ಡಿಟೆಕ್ಟರ್ ರಕ್ಷಣೆಯ ಹೆಚ್ಚುವರಿ ಪದರವನ್ನು ಒದಗಿಸುತ್ತದೆ; ಅದಕ್ಕೆ ಅಪಹರಿಸಬಹುದಾದ ಯಾವುದೇ ಕಾರ್ಯವಾಗಲಿ ದುರುಪಯೋಗಪಡಿಸಿಕೊಳ್ಳಬಹುದಾದ ಉಪಕರಣಗಳಾಗಲಿ ಇರುವುದಿಲ್ಲ.

Guard ಅನ್ನು ಅಂತಹ ಡಿಟೆಕ್ಟರ್ ಆಗಿಯೇ ನಿರ್ಮಿಸಲಾಗಿದೆ. ನಾವು ಪರೀಕ್ಷಿಸಿದ ಎಲ್ಲಾ ಮಾದರಿಗಳಲ್ಲಿ ಅತ್ಯಧಿಕ F1 ಮತ್ತು ನಿಖರತೆಯನ್ನು ಹೊಂದಿರುವುದರ ಜೊತೆಗೆ, ಅದರ ಸಣ್ಣ ಗಾತ್ರವು ಅದನ್ನು ಪ್ರತಿ ಪುಟದಲ್ಲೂ ಚಲಾಯಿಸುವಷ್ಟು ಅಗ್ಗವಾಗಿಸುತ್ತದೆ. ಸರಾಸರಿಯಾಗಿ, Guard ಪ್ರತಿ ಪಠ್ಯ ಪುಟಕ್ಕೆ ಸುಮಾರು 0.15 ಸೆಕೆಂಡುಗಳ GPU ಸಮಯವನ್ನು ಬಳಸಿತು. ಬಾಡಿಗೆಗೆ ಪಡೆದ H200 ನಲ್ಲಿ, ಪ್ರತಿ 1,000 ಪುಟಗಳಿಗೆ $0.18 ವೆಚ್ಚವಾಗುತ್ತದೆ ಎಂದು ನಾವು ಅಂದಾಜಿಸುತ್ತೇವೆ; ಇದಕ್ಕೆ ಹೋಲಿಸಿದರೆ, ಪಟ್ಟಿ ಬೆಲೆಗಳಲ್ಲಿ ಫ್ರಂಟಿಯರ್ API ಮಾದರಿಗಳಿಗೆ $18.95–180.61 ವೆಚ್ಚವಾಗುತ್ತದೆ. ಇದು ಹೆಚ್ಚಿನ ಪತ್ತೆ ಸ್ಕೋರ್‌ಗಳನ್ನು ಉಳಿಸಿಕೊಳ್ಳುತ್ತಲೇ, ನಮ್ಮ ಹೋಲಿಕೆಯಲ್ಲಿ ಆಗಾಗ್ಗೆ ತಪಾಸಣೆ ಮಾಡುವುದನ್ನು ಹೆಚ್ಚು ಅಗ್ಗವಾಗಿಸುತ್ತದೆ.

ಕೆಳಗಿನ ಚಿತ್ರವು ಪ್ರತಿ ಡಿಟೆಕ್ಟರ್‌ನ ನಿಖರತೆಯನ್ನು ಅದರ ಪ್ರತಿ ಪುಟದ ಸಮಯ ಮತ್ತು ಪ್ರತಿ 1,000 ಪುಟಗಳ ವೆಚ್ಚದೊಂದಿಗೆ, ಎರಡನ್ನೂ ಲಾಗ್ ಸ್ಕೇಲ್‌ಗಳಲ್ಲಿ, ಚಿತ್ರಿಸುತ್ತದೆ. ಎರಡೂ ಪ್ಯಾನೆಲ್‌ಗಳ ಮೇಲಿನ-ಎಡ ಮೂಲೆಯಲ್ಲಿ Guard ಏಕಾಂಗಿಯಾಗಿದೆ: ಅದು ನಿಖರತೆ, ವೇಗ ಮತ್ತು ವೆಚ್ಚ ಮೂರರಲ್ಲೂ ಮುಂಚೂಣಿಯಲ್ಲಿದೆ. ಪ್ರಾಂಪ್ಟ್ ಮಾಡಲಾದ ಪ್ರತಿ ಮಾದರಿಯೂ ಪ್ರತಿ ಪುಟಕ್ಕೆ ಸುಮಾರು ಒಂದು ಸೆಕೆಂಡ್ ಅಥವಾ ಅದಕ್ಕಿಂತ ಹೆಚ್ಚು ಸಮಯ ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ, ಮತ್ತು ಅತ್ಯಂತ ನಿಖರವಾದ ಎರಡು ಮಾದರಿಗಳಾದ GPT-6 Astra ಮತ್ತು Claude Fable 5.1 ಗೆ ಪ್ರತಿ 1,000 ಪುಟಗಳಿಗೆ $100 ಕ್ಕಿಂತ ಹೆಚ್ಚು ವೆಚ್ಚವಾಗುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

ಹೊಂದಿಕೊಳ್ಳುವ ದಾಳಿಗಳ ವಿರುದ್ಧ ರಕ್ಷಣೆಗಳನ್ನು ಪರೀಕ್ಷಿಸುವುದು

BrowseSafe++ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಸೀಮಿತ ಇಂಜೆಕ್ಷನ್‌ಗಳ ಗುಂಪನ್ನು ಹೊಂದಿದೆ. ಆದರೆ, ನಿಜವಾದ ದಾಳಿಕೋರನು ಹೊಂದಿಕೊಳ್ಳುವ ದಾಳಿಯನ್ನು ನಡೆಸಬಹುದು; ಇಂಜೆಕ್ಷನ್ ವಿಫಲವಾದಾಗ, ದಾಳಿಕೋರನು ಅದನ್ನು ಪುನರ್‌ಬರೆದು ಮತ್ತೆ ಪ್ರಯತ್ನಿಸಬಹುದು. ಪರಿಣಾಮವಾಗಿ, ಮೂಲ ಇಂಜೆಕ್ಷನ್ ಅನ್ನು ಪ್ರತಿರೋಧಿಸುವ ಏಜೆಂಟ್ ಭವಿಷ್ಯದ ದಾಳಿಗಳಿಗೆ ಇನ್ನೂ ಗುರಿಯಾಗಬಹುದು. ಮೇಲಾಗಿ, ಮಾದರಿಗಳಿಗೆ ಇಂಟರ್ನೆಟ್‌ನಿಂದ ಸಂಗ್ರಹಿಸಿದ ಡೇಟಾದ ಮೇಲೆ ತರಬೇತಿ ನೀಡಲಾಗುತ್ತದೆ, ಆದ್ದರಿಂದ ಅವು ಅದರಲ್ಲಿನ ಹೆಚ್ಚಿನ ಇಂಜೆಕ್ಷನ್‌ಗಳನ್ನು ಪ್ರತಿರೋಧಿಸಲು ಕಲಿಯಬಹುದು; ನಾವು ನಮ್ಮ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಅನ್ನು ಸಾರ್ವಜನಿಕವಾಗಿ ಬಿಡುಗಡೆ ಮಾಡುತ್ತಿರುವುದರಿಂದ, ಅದು ಬಹುಶಃ ಸ್ಯಾಚುರೇಟ್ ಆಗಿ ಮಾದರಿಗಳನ್ನು ಸರಿಯಾಗಿ ಪ್ರತ್ಯೇಕಿಸಲು ವಿಫಲವಾಗುತ್ತದೆ. ಈ ಎರಡೂ ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸಲು, ದಾಳಿಕೋರ ಮಾದರಿಯು ಇಂಜೆಕ್ಷನ್‌ಗಳನ್ನು ಪುನರ್‌ಬರೆಯಬಲ್ಲ ಪರೀಕ್ಷಾ ಪರಿಸರವಾದ BrowseSafe-Adapt ಅನ್ನು ನಾವು ನಿರ್ಮಿಸಿದೆವು. ಪ್ರತಿ ಪರೀಕ್ಷೆಯೂ ಮೂರು ಹಂತಗಳನ್ನು ಹೊಂದಿದೆ:

1. ಪ್ರಕರಣವನ್ನು ಸಿದ್ಧಪಡಿಸಿ. ಒಂದು ಪ್ರಕರಣವು BrowseSafe++ ನಮೂದನ್ನು ಗುರಿ ಏಜೆಂಟ್‌ನೊಂದಿಗೆ ಜೋಡಿಸುತ್ತದೆ. BrowseSafe++ ನಮೂದು ಬಳಕೆದಾರರ ಪ್ರಶ್ನೆ ಮತ್ತು ಕಾರ್ಯವನ್ನು ಒಳಗೊಂಡ ಸನ್ನಿವೇಶ, ದಾಳಿಗೊಳಗಾದ ಪುಟ ಮತ್ತು ದಾಳಿಕೋರನ ಅಪೇಕ್ಷಿತ ಫಲಿತಾಂಶವನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ. ಕಾರ್ಯವನ್ನು ನಿರ್ವಹಿಸಲು ಅಗತ್ಯವಿರುವ ಪರಿಕರಗಳು ಮತ್ತು ಸಿಂಥೆಟಿಕ್ ಡೇಟಾವನ್ನು ಒದಗಿಸುವ ಸ್ಯಾಂಡ್‌ಬಾಕ್ಸ್‌ನಲ್ಲಿ ಏಜೆಂಟ್ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ದಾಳಿಯು ತನ್ನ ಗುರಿಯನ್ನು ಸಾಧಿಸಿದೆಯೇ ಎಂಬುದನ್ನು ಪ್ರತ್ಯೇಕ ಪರಿಶೀಲಕ ಮಾದರಿಯು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತದೆ.
2. ಪ್ರಯತ್ನವನ್ನು ನಡೆಸುವುದು: ನಾವು ಪ್ರಸ್ತುತ ಇಂಜೆಕ್ಷನ್ ಅನ್ನು ಪುಟದಲ್ಲಿ ಸೇರಿಸಿ, ಏಜೆಂಟ್ ಕಾರ್ಯವನ್ನು ನಿರ್ವಹಿಸಲು ಬಿಡುತ್ತೇವೆ. ದಾಳಿ ಯಶಸ್ವಿಯಾಯಿತೇ ಎಂದು ನಿರ್ಧರಿಸಲು ಪರಿಶೀಲಕವು ಏಜೆಂಟ್‌ನ ಉತ್ತರವನ್ನು ಮತ್ತು ಅದು ಸ್ಯಾಂಡ್‌ಬಾಕ್ಸ್‌ಗೆ ಮಾಡಿದ ಯಾವುದೇ ಬದಲಾವಣೆಗಳನ್ನು ಪರಿಶೀಲಿಸುತ್ತದೆ. ಮೊದಲ ಪ್ರಯತ್ನವು ಮೂಲ BrowseSafe++ ನಮೂದಿನ ಇಂಜೆಕ್ಷನ್ ಅನ್ನು ಬಳಸುತ್ತದೆ.
3. ಪರಿಷ್ಕರಣೆ ಮತ್ತು ಪುನರಾವರ್ತನೆ: ದಾಳಿ ವಿಫಲವಾದರೆ, ನಾವು ಆ ಪ್ರಯತ್ನವನ್ನು ಆರ್ಕೈವ್ ಮಾಡುತ್ತೇವೆ, ಮತ್ತು ವಿಮರ್ಶಕ ಮಾದರಿಯು ಏನು ತಪ್ಪಾಯಿತು ಎಂಬುದನ್ನು ಪರಿಶೀಲಿಸುತ್ತದೆ. ದಾಳಿಕೋರ ಮಾದರಿಯು ಆ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಬಳಸಿ ಇಂಜೆಕ್ಷನ್ ಅನ್ನು ಪುನರ್‌ಬರೆಯುತ್ತದೆ; ಅದು ದಾಳಿಯ ಪದರಚನೆ, ಫಾರ್ಮ್ಯಾಟಿಂಗ್ ಅಥವಾ ಪುಟದಲ್ಲಿನ ಸ್ಥಾನವನ್ನು ಬದಲಾಯಿಸಬಹುದು. ದಾಳಿಯ ಗುರಿ, ಯಶಸ್ಸಿನ ಮಾನದಂಡಗಳು ಮತ್ತು ಸುತ್ತಲಿನ ಪುಟದ ವಿಷಯ ಹಾಗೆಯೇ ಇರುತ್ತವೆ. ಮುಂದಿನ ಪ್ರಯತ್ನವು ನವೀಕರಿಸಿದ ದಾಳಿಯನ್ನು ಬಳಸುತ್ತದೆ. ದಾಳಿ ಯಶಸ್ವಿಯಾಗುವವರೆಗೆ ಅಥವಾ ದಾಳಿಕೋರನು ನಿಗದಿತ ಪ್ರಯತ್ನ ಮಿತಿಯನ್ನು ತಲುಪುವವರೆಗೆ ಈ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಪುನರಾವರ್ತಿಸಲಾಗುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

ನಾವು ಏಳು ಏಜೆಂಟ್‌ಗಳನ್ನು ಪರೀಕ್ಷಿಸಿದೆವು, ಪ್ರತಿಯೊಂದೂ ಬೇರೆ ಬೇರೆ ಮಾದರಿಯ ಮೇಲೆ ನಿರ್ಮಿತವಾಗಿದೆ: Claude Sonnet 5, Claude Haiku 4.5, GPT-5.5, Gemini 3.1 Pro, Gemini 3.5 Flash-Lite, ಮತ್ತು ಓಪನ್-ವೇಟ್ ಮಾದರಿಗಳಾದ DeepSeek V3.1 ಮತ್ತು Kimi K2. ಪ್ರತಿ ಏಜೆಂಟ್ ಒಂದೇ 1,024 ಕಾರ್ಯಗಳನ್ನು ಎದುರಿಸಿತು, ಪ್ರತಿ ಕಾರ್ಯಕ್ಕೆ ಗರಿಷ್ಠ 64 ಪ್ರಯತ್ನಗಳೊಂದಿಗೆ. ಮೊದಲ ಪ್ರಯತ್ನದಲ್ಲಿ, ಎಲ್ಲಾ ಏಳು ಏಜೆಂಟ್‌ಗಳ ವಿರುದ್ಧ ದಾಳಿಯ ಯಶಸ್ಸು ಕಡಿಮೆಯಿತ್ತು. ಯಾವುದೇ ಏಜೆಂಟ್ ವಿರುದ್ಧ, ಮೂಲ ಇಂಜೆಕ್ಷನ್‌ಗಳು ಮೌಲ್ಯಮಾಪನ ಮಾಡಿದ ಕಾರ್ಯಗಳಲ್ಲಿ ಗರಿಷ್ಠ 4% ರಲ್ಲಿ ಮಾತ್ರ ಯಶಸ್ವಿಯಾದವು. ಹೊಂದಿಕೊಳ್ಳುವ ಫ್ರೇಮ್‌ವರ್ಕ್ ಅಡಿಯಲ್ಲಿ, ದಾಳಿಯ ಯಶಸ್ಸು ನಾಟಕೀಯವಾಗಿ ಏರಿತು. ಏಳು ಏಜೆಂಟ್‌ಗಳಲ್ಲಿ ಐದರ ವಿರುದ್ಧ ದಾಳಿಕೋರನು ಕನಿಷ್ಠ 79% ಕಾರ್ಯಗಳಲ್ಲಿ ಯಶಸ್ವಿಯಾದನು. ಅತ್ಯಂತ ಬಲಿಷ್ಠ ಏಜೆಂಟ್‌ಗಳೂ ದುರ್ಬಲವಾಗಿದ್ದವು: GPT-5.5 ವಿರುದ್ಧ ಸುಮಾರು ಮೂರರಲ್ಲಿ ಎರಡು ಕಾರ್ಯಗಳಲ್ಲಿ ಮತ್ತು Claude Sonnet 5 ವಿರುದ್ಧ ಸುಮಾರು ಮೂರರಲ್ಲಿ ಒಂದು ಕಾರ್ಯದಲ್ಲಿ ದಾಳಿಗಳು ಇನ್ನೂ ಯಶಸ್ವಿಯಾದವು.

ಏಜೆಂಟ್ ನಿರ್ದಿಷ್ಟ ಟೂಲ್ ಕಾಲ್ ಮಾಡುವಂತೆ ಮಾಡುವುದೇ ದಾಳಿಕೋರನ ಉದ್ದೇಶವಾದಾಗ ಏಜೆಂಟ್‌ಗಳ ನಡುವಿನ ವ್ಯತ್ಯಾಸ ಅತ್ಯಂತ ದೊಡ್ಡದಾಗಿರುತ್ತದೆ. ಈ ರೀತಿಯ ಉದ್ದೇಶವಿರುವ ಕಾರ್ಯಗಳಲ್ಲಿ, Sonnet 5 ಸುಮಾರು 8% ಕಾರ್ಯಗಳಲ್ಲಿ ಮತ್ತು GPT-5.5 ಸುಮಾರು 29% ಕಾರ್ಯಗಳಲ್ಲಿ ಮಣಿಯಿತು. ಉಳಿದ ಐದು ಏಜೆಂಟ್‌ಗಳು ತಮ್ಮ ಅರ್ಧಕ್ಕಿಂತ ಹೆಚ್ಚು ಕಾರ್ಯಗಳಲ್ಲಿ ದಾಳಿಕೋರನ ಉದ್ದೇಶವನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಿದವು.

Gemini 3.5 Flash-Lite ಏಜೆಂಟ್ ವಿರುದ್ಧವೂ ನಾವು BrowseSafe-Adapt ಅನ್ನು ಚಲಾಯಿಸಿದೆವು, ಇದರಲ್ಲಿ Guard ಪ್ರತಿ ಪುಟವನ್ನು ಮೊದಲೇ ಪರೀಕ್ಷಿಸುತ್ತಿತ್ತು. Guard ಮೂಲ ಇಂಜೆಕ್ಷನ್‌ಗಳಲ್ಲಿ 94.5% ಅನ್ನು ತಡೆಹಿಡಿಯಿತು ಮತ್ತು ದಾಳಿಕೋರರಿಗೆ ಬೇಕಾದ ಸರಾಸರಿ ಪ್ರಯತ್ನಗಳ ಸಂಖ್ಯೆಯನ್ನು 9.7 ರಿಂದ 17.0 ಕ್ಕೆ, ಅಂದರೆ ಸುಮಾರು ದ್ವಿಗುಣಗೊಳಿಸಿತು. ಆದರೂ, ಎಲ್ಲಾ 64 ಪ್ರಯತ್ನಗಳನ್ನು ನೀಡಿದಾಗ, ದಾಳಿಕೋರನು 84.2% ಕಾರ್ಯಗಳಲ್ಲಿ ಯಶಸ್ವಿಯಾದನು (Guard ಇಲ್ಲದೆ 93.6%), ಬಹುತೇಕ ಯಾವಾಗಲೂ Guard ಫ್ಲ್ಯಾಗ್ ಮಾಡದ ಇಂಜೆಕ್ಷನ್ ಮೂಲಕ. ನಾವು BrowseSafe ಅನ್ನು ಬಿಡುಗಡೆ ಮಾಡಿದಾಗ ಮಂಡಿಸಿದ ದೃಷ್ಟಿಕೋನಕ್ಕೆ ಇದು ಹೊಂದಿಕೆಯಾಗುತ್ತದೆ: ಯಾವುದೇ ಪತ್ತೆ ಮಾದರಿಯು ಸರ್ವರೋಗ ನಿವಾರಕವಲ್ಲ, ಆದ್ದರಿಂದ ಡಿಟೆಕ್ಟರ್ ಬಹುಸ್ತರದ ರಕ್ಷಣೆಯ ಒಳಗೆ ಇರಬೇಕು.

ವಿಸ್ತರಿಸಿ

ತೀರ್ಮಾನ

ಬ್ರೌಸರ್ ಏಜೆಂಟ್‌ಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಪರೋಕ್ಷ ಪ್ರಾಂಪ್ಟ್ ಇಂಜೆಕ್ಷನ್‌ಗೆ ಗುರಿಯಾಗುತ್ತವೆ, ಇದರಲ್ಲಿ ಸಾಮಾನ್ಯ ಪುಟಗಳಲ್ಲಿ ಅಡಗಿಸಿಟ್ಟ ದಾಳಿಗಳು ಬಳಕೆದಾರರ ಕಾರ್ಯಗಳನ್ನು ನಿರ್ವಹಿಸುವ ಏಜೆಂಟ್‌ಗಳ ಸಾಮರ್ಥ್ಯಕ್ಕೆ ಅಡ್ಡಿಪಡಿಸಲು ಯತ್ನಿಸುತ್ತವೆ. ಏಜೆಂಟ್‌ಗಳು ಹೆಚ್ಚು ಡೇಟಾ ಮತ್ತು ಉಪಕರಣಗಳಿಗೆ ಪ್ರವೇಶ ಪಡೆದಂತೆ ದಾಳಿಗಳ ಸಂಭಾವ್ಯ ಪರಿಣಾಮ ಹೆಚ್ಚುತ್ತದೆ, ಮತ್ತು ದಾಳಿಕೋರರು ತಮ್ಮ ಇಂಜೆಕ್ಷನ್‌ಗಳನ್ನು ಇನ್ನಷ್ಟು ಪರಿಣಾಮಕಾರಿಯಾಗಿಸಲು ಪರಿಷ್ಕರಿಸಬಲ್ಲರು; ಹೀಗಾಗಿ ಅಪಾಯಗಳು ಕಾಲಕ್ರಮೇಣ ಹೆಚ್ಚುತ್ತಲೇ ಹೋಗುತ್ತವೆ.

ನಮ್ಮ BrowseSafe ಸೂಟ್ ಈ ಅಪಾಯಗಳನ್ನು ಎದುರಿಸುತ್ತದೆ. BrowseSafe++ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಮುಖ್ಯವಾಗಿ ನೈಜ ಇಂಜೆಕ್ಷನ್‌ಗಳಿಂದ ನಿರ್ಮಿಸಲಾದ 38,675 ವೆಬ್‌ಪುಟ ಜೋಡಿಗಳನ್ನು ಒಳಗೊಂಡಿದ್ದು, ಡಿಟೆಕ್ಟರ್‌ಗಳಿಗೆ ಹೆಚ್ಚು ವಿಶ್ವಾಸಾರ್ಹ ತರಬೇತಿ ಮತ್ತು ಮೌಲ್ಯಮಾಪನವನ್ನು ಸಾಧ್ಯವಾಗಿಸುತ್ತದೆ. ಈ ಜೋಡಿಗಳ ಮೇಲೆ ತರಬೇತಿ ಪಡೆದ BrowseSafe-Guard ಡಿಟೆಕ್ಟರ್‌ಗಳು ಅತ್ಯಂತ ನಿಖರ, ವೇಗದ ಮತ್ತು ಅಗ್ಗದ ಪತ್ತೆಯನ್ನು ಸಾಧ್ಯವಾಗಿಸುತ್ತವೆ, ಇದರಿಂದ ಏಜೆಂಟ್ ಪುಟಗಳ ಮೇಲೆ ಕ್ರಿಯೆ ಕೈಗೊಳ್ಳುವ ಮೊದಲು ಅವುಗಳನ್ನು ಸ್ಕ್ಯಾನ್ ಮಾಡಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ. BrowseSafe-Adapt ಫ್ರೇಮ್‌ವರ್ಕ್ ಪರಿಷ್ಕೃತ ಇಂಜೆಕ್ಷನ್‌ಗಳ ವಿರುದ್ಧ ಮಾದರಿಗಳನ್ನು ಪರೀಕ್ಷಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ, ಸ್ಥಿರ ಇಂಜೆಕ್ಷನ್‌ಗಳನ್ನು ಬಳಸುವ ಏಕೈಕ ಪ್ರಯತ್ನಗಳಿಂದ ಕಾಣಿಸದಿರಬಹುದಾದ ದುರ್ಬಲತೆಗಳನ್ನು ಎತ್ತಿ ತೋರಿಸುತ್ತದೆ.

ಒಟ್ಟಾರೆಯಾಗಿ, ಈ ಉಪಕರಣಗಳು ಸಂಶೋಧಕರು ಮತ್ತು ಎಂಜಿನಿಯರ್‌ಗಳಿಗೆ ವೈಫಲ್ಯಗಳನ್ನು ಕಂಡುಹಿಡಿಯಲು ಮತ್ತು ವೆಬ್ ಆಧಾರಿತ ಪ್ರಾಂಪ್ಟ್ ಇಂಜೆಕ್ಷನ್ ದಾಳಿಗಳ ವಿರುದ್ಧ ರಕ್ಷಣೆಯನ್ನು ಸುಧಾರಿಸಲು ಸುಲಭವಾಗಿಸುತ್ತವೆ ಎಂದು ನಾವು ಆಶಿಸುತ್ತೇವೆ. ನಮ್ಮ ಬಳಕೆದಾರರನ್ನು ಸುರಕ್ಷಿತವಾಗಿರಿಸಲು ನಾವು Comet ಮತ್ತು Computer ನ ಅಂತರ್ನಿರ್ಮಿತ ರಕ್ಷಣೆಗಳನ್ನು ನಿರಂತರವಾಗಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತಿದ್ದೇವೆ ಮತ್ತು ಸುಧಾರಿಸುತ್ತಿದ್ದೇವೆ.

ಪ್ರಾರಂಭಿಸುವುದು

1. SDK ಅನ್ನು ಇನ್‌ಸ್ಟಾಲ್ ಮಾಡಿ ಮತ್ತು ಡೇಟಾಗೆ ಪ್ರವೇಶ ಪಡೆಯಿರಿ. SDK GitHub ನಿಂದ ಇನ್‌ಸ್ಟಾಲ್ ಆಗುತ್ತದೆ:

ಡೇಟಾಸೆಟ್‌ಗೆ ಪ್ರವೇಶ ನಿರ್ಬಂಧಿತವಾಗಿದೆ. ಅದರ Hugging Face ಪುಟದಲ್ಲಿ ಒಮ್ಮೆ ಪ್ರವೇಶಕ್ಕಾಗಿ ವಿನಂತಿಸಿ, ನಂತರ hf auth login ಬಳಸಿ ಲಾಗ್ ಇನ್ ಮಾಡಿ.

2. ಲೀಡರ್‌ಬೋರ್ಡ್‌ಗೆ ಸಲ್ಲಿಸಿ. BrowseSafe++ ನ ಟೆಸ್ಟ್ ಸ್ಪ್ಲಿಟ್‌ನಲ್ಲಿ ನಿಮ್ಮ ಸ್ವಂತ ಡಿಟೆಕ್ಟರ್ ಅನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಿ:

ಇದು ನೀವು ಪಟ್ಟಿ ಮಾಡುವ ಪ್ರತಿ ವೀಕ್ಷಣೆಗೆ ಪ್ರತಿ ಪುಟಕ್ಕೆ ಒಂದು ನಿರ್ಧಾರವನ್ನು ಬರೆಯುತ್ತದೆ; ಪಠ್ಯ ಲೀಡರ್‌ಬೋರ್ಡ್‌ನಲ್ಲಿ ಸರಾಸರಿಯನ್ನು ಪಡೆಯಲು ಎಲ್ಲಾ ಮೂರು ಪಠ್ಯ ವೀಕ್ಷಣೆಗಳನ್ನು ಪಟ್ಟಿ ಮಾಡಿ. ನಿಮ್ಮ Hugging Face ಖಾತೆಯೊಂದಿಗೆ ಲೀಡರ್‌ಬೋರ್ಡ್ ಸ್ಪೇಸ್‌ಗೆ ಸೈನ್ ಇನ್ ಮಾಡಿ ಮತ್ತು predictions.jsonl ಅನ್ನು ಅಪ್‌ಲೋಡ್ ಮಾಡಿ. ಸ್ಪೇಸ್ ಪ್ರತಿ ವೀಕ್ಷಣೆಗೆ F1, ನಿಖರತೆ, ತಪ್ಪು-ಧನಾತ್ಮಕ ದರ ಮತ್ತು ಇತರ ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ಹಿಂತಿರುಗಿಸುತ್ತದೆ ಮತ್ತು, ನೀವು ಆರಿಸಿದರೆ, ಫಲಿತಾಂಶವನ್ನು ಲೀಡರ್‌ಬೋರ್ಡ್‌ನಲ್ಲಿ ಪ್ರಕಟಿಸುತ್ತದೆ. ಪ್ರತಿ ಖಾತೆಗೆ (ಕನಿಷ್ಠ 60 ದಿನಗಳಷ್ಟು ಹಳೆಯದು) ಪ್ರತಿ UTC ವಾರಕ್ಕೆ ಒಂದು ಸ್ಕೋರ್ ಮಾಡಲಾದ ಸಲ್ಲಿಕೆಯ ಅವಕಾಶ ಸಿಗುತ್ತದೆ. ಪರೀಕ್ಷಾ ಪುಟಗಳು ಮೌಲ್ಯಮಾಪನಕ್ಕೆ ಮಾತ್ರ: ಅವುಗಳ ಮೇಲೆ ತರಬೇತಿ ನೀಡಬೇಡಿ ಅಥವಾ ಅವುಗಳನ್ನು ಮರುವಿತರಣೆ ಮಾಡಬೇಡಿ. ಸಲ್ಲಿಕೆ ಮಾರ್ಗದರ್ಶಿಯು ಫೈಲ್ ಫಾರ್ಮ್ಯಾಟ್ ಮತ್ತು ಪ್ರಕಟಣೆಯ ನಿಯಮಗಳನ್ನು ವಿವರಿಸುತ್ತದೆ.

ಉಲ್ಲೇಖ

@online{perplexity2026BrowseSafePlusPlus,
  author = {{Perplexity} and Yuetian Chen and Kaiyuan Zhang and Yuntao Du and Thomas Li and Mark Tenenholtz and Kyle Polley and Jerry Ma and Denis Yarats and Ninghui Li and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{BrowseSafe++: Building stronger defenses against real-world prompt injection}},
  date = {2026-10-28},
  url = {https://www.perplexity.ai/hub/blog/browsesafe-plus-plus}
}