ಸುರಕ್ಷಿತ ಏಜೆಂಟ್ಗಳನ್ನು ನಾವು ಹೇಗೆ ಎಂಜಿನಿಯರ್ ಮಾಡುತ್ತೇವೆ
Perplexity ನ ಕ್ಲೌಡ್, ಬ್ರೌಸರ್, ಸ್ಥಳೀಯ ಮತ್ತು ಎಂಡ್ಪಾಯಿಂಟ್ ಏಜೆಂಟ್ಗಳಲ್ಲಿ ಬಹುಪದರದ ರಕ್ಷಣೆಗಳು, ಸ್ವತಂತ್ರ ಮೇಲ್ವಿಚಾರಣೆ ಮತ್ತು ಮಾನವ ಮೇಲ್ವಿಚಾರಣೆ.

ಸುರಕ್ಷಿತ AI ಏಜೆಂಟ್ಗಳನ್ನು ನಿರ್ಮಿಸಲು, ನಾವು ಅವುಗಳ ಸಾಮರ್ಥ್ಯಗಳು ಮತ್ತು ಅವುಗಳ ವೈಫಲ್ಯಗಳು ಎರಡಕ್ಕೂ ವಿನ್ಯಾಸಗೊಳಿಸಬೇಕು. ಕಾನೂನುಬದ್ಧ ಕಾರ್ಯಗಳನ್ನು ನಿರ್ವಹಿಸುವಾಗಲೂ ಮತ್ತು ಯಾವುದೇ ದುರುಪದೇಶದ ಸೂಚನೆಗಳಿಲ್ಲದೆಯೂ, ಅಡೆತಡೆಗಳನ್ನು ನಿವಾರಿಸಲು ಪ್ರಯತ್ನಿಸುತ್ತಿರುವಾಗ ಏಜೆಂಟ್ಗಳು ಭದ್ರತಾ ಗಡಿಗಳನ್ನು ದಾಟಬಹುದು.
ಇದು ಭದ್ರತಾ ಎಂಜಿನಿಯರಿಂಗ್ ಸಮಸ್ಯೆಯಾಗಿದೆ ಎಂದು ನಾವು ನಂಬುತ್ತೇವೆ ಮತ್ತು 2000 ರ ದಶಕದ ಆರಂಭದ ಇಂಟರ್ನೆಟ್ ವರ್ಮ್ಗಳನ್ನು ಉದ್ಯಮವು ಹೇಗೆ ಎದುರಿಸಿತೋ ಹಾಗೆಯೇ ಉದ್ಯಮವು ಇದನ್ನು ಎದುರಿಸಬೇಕು. ಏಜೆಂಟ್ಗಳನ್ನು ಸುತ್ತುವರೆದಿರುವ ವ್ಯವಸ್ಥೆಗಳು ಏಜೆಂಟ್ಗಳು ಪ್ರವೇಶಿಸಬಹುದಾದ್ದನ್ನು ಸೀಮಿತಗೊಳಿಸಬೇಕು, unwanted ನಡವಳಿಕೆಯನ್ನು ಪತ್ತೆಹಚ್ಚಬೇಕು ಮತ್ತು ವೈಫಲ್ಯಗಳು ಸಂಭವಿಸಿದಾಗ ಅವುಗಳನ್ನು ಒಳಗೊಂಡಿರಬೇಕು.
Perplexity ನಲ್ಲಿ, AI ಏಜೆಂಟ್ಗಳಿಗಾಗಿ ಭದ್ರತಾ ಎಂಜಿನಿಯರಿಂಗ್ ಅನ್ನು ಮುನ್ನಡೆಸಲು ನಾವು ಸಂಶೋಧಕರು ಮತ್ತು ಅಭ್ಯಾಸಕಾರರೊಂದಿಗೆ ಸಕ್ರಿಯವಾಗಿ ಸಹಕರಿಸುತ್ತಿದ್ದೇವೆ, ಮತ್ತು ಭದ್ರತೆಯು ಯಾವುದೇ ಏಕೈಕ ಸುರಕ್ಷತೆಯ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿರದಂತೆ ನಮ್ಮ ಮಾದರಿಗಳು, ಏಜೆಂಟ್ ಹಾರ್ನೆಸ್ಗಳು ಮತ್ತು ಮೂಲಸೌಕರ್ಯಗಳಲ್ಲಿ ನಾವು ಬಹು ರಕ್ಷಣಾ ಪದರಗಳನ್ನು ಅನ್ವಯಿಸುತ್ತೇವೆ.
AI ಏಜೆಂಟ್ಗಳ ಮೆಲ್ಟ್ಡೌನ್ ನಡವಳಿಕೆ
ಜುಲೈನಲ್ಲಿ, AI ಏಜೆಂಟ್ಗಳು ಮುಕ್ತ ಮೂಲ AI ಪ್ಲಾಟ್ಫಾರ್ಮ್ Hugging Face ನ ಉತ್ಪಾದನಾ ಮೂಲಸೌಕರ್ಯವನ್ನು ಒಡೆದರು. ಆಂತರಿಕ ಸೈಬರ್ ಭದ್ರತಾ ಮೌಲ್ಯಮಾಪನ ಮತ್ತು ತರಬೇತಿ ರನ್ಗಳ ಸಮಯದಲ್ಲಿ, OpenAI ಮಾದರಿಗಳು ಪರಸ್ಪರ ಸಂವಹನ ನಡೆಸಲು ಬುಲೆಟಿನ್ ಬೋರ್ಡ್ ಅನ್ನು ಸ್ಥಾಪಿಸಲು ಆರ್ಟಿಫ್ಯಾಕ್ಟರಿ ರೆಪೊಸಿಟರಿ ಮ್ಯಾನೇಜರ್ ಅನ್ನು ಶೋಷಿಸುವ ಮಾರ್ಗವನ್ನು ಕಂಡುಹಿಡಿದವು, ಇದರಿಂದ ಅವುಗಳು ಸ್ವಾರ್ಮ್ಗಳಾಗಿ ಸಂಘಟಿಸಲು ಸಾಧ್ಯವಾಯಿತು. ನಂತರ, ಸೈಬರ್ ಭದ್ರತಾ ಬೆಂಚ್ಮಾರ್ಕ್ನಲ್ಲಿ ಕಾರ್ಯಗಳಲ್ಲಿ ಪ್ರಗತಿ ಸಾಧಿಸಲು ಸಾಧ್ಯವಾಗದ ಏಜೆಂಟ್ಗಳು ಸಹಾಯ ಮಾಡಲು ಇತರ ಏಜೆಂಟ್ಗಳನ್ನು ನೇಮಿಸಿಕೊಂಡರು. ಈ ಏಜೆಂಟ್ಗಳು ತಮ್ಮ ಮೌಲ್ಯಮಾಪನ ಪರಿಸರದಿಂದ ಹೊರಬಂದು ಇಂಟರ್ನೆಟ್ ತಲುಪಿದವು. ಬೆಂಚ್ಮಾರ್ಕ್ ಕಾರ್ಯಗಳಿಗೆ ಉತ್ತರಗಳನ್ನು ರಿವರ್ಸ್-ಇಂಜಿನಿಯರಿಂಗ್ ಮಾಡುವ ಮೂಲಕ ಮೋಸ ಮಾಡುವ ಮಾರ್ಗಗಳನ್ನು ಸಹ ಅವರು ಕಂಡುಹಿಡಿದರು, ಆದರೆ ಗ್ರೇಡಿಂಗ್ ಸಿಸ್ಟಮ್ ಮೋಸವನ್ನು ಪತ್ತೆ ಮಾಡುತ್ತದೆ ಎಂದು ಭಾವಿಸಿದರು. ಮೋಸ ಮಾಡುವುದಾಗಿ ಪತ್ತೆಹಚ್ಚುವುದನ್ನು ತಪ್ಪಿಸುವ ಮಾರ್ಗಗಳನ್ನು ಹುಡುಕಲು ಬೆಂಚ್ಮಾರ್ಕ್ ಮೌಲ್ಯಮಾಪನವು ಹೇಗೆ ಕೆಲಸ ಮಾಡಿದೆ ಎಂಬುದನ್ನು ಚೆನ್ನಾಗಿ ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು, ಅವರು ಅಂತಿಮವಾಗಿ Hugging Face ವ್ಯವಸ್ಥೆಗಳನ್ನು ರಾಜಿ ಮಾಡಿಕೊಂಡರು (Hugging Face; OpenAI).
ಜುಲೈನಲ್ಲಿ ನಾವು Numbat ಅನ್ನು ಮುಕ್ತ ಮೂಲವಾಗಿಸಿದಾಗ ನಾವು ವಿವರಿಸಿದ ವೈಫಲ್ಯದ ಮೋಡ್ಗೆ ಈ ಘಟನೆಯು ಸ್ಪಷ್ಟ ಉದಾಹರಣೆಯಾಗಿದೆ: ಆಕಸ್ಮಿಕ ಮೆಲ್ಟ್ಡೌನ್ಗಳು, ಕಾರ್ನೆಲ್ ಟೆಕ್ನ ಭದ್ರತಾ ಸಂಶೋಧಕರು ರೂಪಿಸಿದ ಪದ (arXiv). ಕಾನೂನುಬದ್ಧ ಗುರಿಯನ್ನು ಮುಂದುವರಿಸುವ ಏಜೆಂಟ್ ಕಾಣೆಯಾದ ಫೈಲ್, ವಿಫಲವಾದ API ಕರೆ, ಅವಧಿ ಮುಗಿದ ರುಜುವಾತು ಅಥವಾ ಅನುಮತಿ ನಿರಾಕರಣೆಯಂತಹ ಘರ್ಷಣೆಯನ್ನು ಎದುರಿಸುತ್ತದೆ ಮತ್ತು ಪರಿಹಾರವನ್ನು ಹುಡುಕುತ್ತದೆ. ಹಾಗೆ ಮಾಡುವಾಗ, ಇದು ಒಳನುಗ್ಗುವಿಕೆ, ಸವಲತ್ತು ಏರಿಕೆ, ರಹಸ್ಯ ಅನ್ವೇಷಣೆ ಅಥವಾ ಡೇಟಾ ಸೋರಿಕೆಯ ಮೂಲಕ ಭದ್ರತಾ ಗಡಿಗಳನ್ನು ದಾಟಬಹುದು. ಯಾವುದೇ ದುರುದ್ದೇಶಪೂರಿತ ಪ್ರಾಂಪ್ಟ್ ಅಥವಾ ಬಾಹ್ಯ ದಾಳಿಕೋರರುinvolved ಇಲ್ಲದಿದ್ದರೂ ಸಹ ಏಜೆಂಟ್ ಸ್ವತಃ ಪರಿಣಾಮಕಾರಿಯಾಗಿ ವಿರೋಧಿಯಾಗುತ್ತದ.
Hugging Face ಮಾತ್ರ ಅಪವಾದವಾಗಿರಲಿಲ್ಲ. ಇತ್ತೀಚಿನ ವಾರಗಳಲ್ಲಿ ಹೆಚ್ಚಿನ ಏಜೆಂಟ್ ಮೆಲ್ಟ್ಡೌನ್ ನಡವಳಿಕೆಗಳು ಕಂಡುಬಂದಿವೆ ಮತ್ತು ವರದಿಯಾಗಿವೆ. ಮೇ 27-28 ರಂದು, US ಸರ್ಕಾರದ ಡೇಟಾಗೆ ಮುಕ್ತ ಪ್ರವೇಶವನ್ನು ನೀಡುವ ಪ್ಲಾಟ್ಫಾರ್ಮ್ ಆದ Data USA ನಿಂದ ಅಯೋವಾ ವಿಶ್ವವಿದ್ಯಾಲಯದ ಡೇಟಾವನ್ನು ಸಂಗ್ರಹಿಸಲು ಪ್ರಯತ್ನಿಸುತ್ತಿರುವ ಏಜೆಂಟ್ಗಳು, ತಪ್ಪಾದ ಪ್ರಶ್ನೆಯಿಂದ ಉಂಟಾದ ದೋಷಗಳನ್ನು ಎದುರಿಸಿದವು. ಅವು SQL ಇಂಜೆಕ್ಷನ್, ಕ್ರಾಸ್-ಸೈಟ್ ಸ್ಕ್ರಿಪ್ಟಿಂಗ್, ಟೆಂಪ್ಲೇಟ್ ಇಂಜೆಕ್ಷನ್, ಪಾತ್ ಟ್ರಾವರ್ಸಲ್ ಮತ್ತು ಕಮಾಂಡ್ ಇಂಜೆಕ್ಷನ್ ಸೇರಿದಂತೆ ಪ್ರೋಬ್ಗಳೊಂದಿಗೆ ಪ್ರತಿಕ್ರಿಯಿಸಿದವು. ಈ ಚಟುವಟಿಕೆಯು ನಂತರ OpenAI (SecurityWeek) ಗೆ ಲಿಂಕ್ ಆಗಿತ್ತು. ಜೂನ್ 20-21 ರಂದು, ಆಸ್ಟ್ರೇಲಿಯನ್ ಇನ್ಸ್ಟಿಟ್ಯೂಟ್ ಆಫ್ ಹೆಲ್ತ್ ಅಂಡ್ ವೆಲ್ಫೇರ್ (AIHW) ನಿಂದ ವಿಕ್ಟೋರಿಯಾದ ಸ್ಥಳೀಯ ಪ್ರದೇಶಗಳಲ್ಲಿ ಔಷಧಿಗಳ ವರ್ಗಕ್ಕಾಗಿ ಪ್ರತಿ ವ್ಯಕ್ತಿಯ ಸರ್ಕಾರದ ವೆಚ್ಚವನ್ನು ಪಡೆಯಲು ಪ್ರಯತ್ನಿಸುತ್ತಿರುವ OpenAI ಏಜೆಂಟ್ಗಳನ್ನು ಫೈಲ್ ಡೌನ್ಲೋಡ್ ಮಾಡುವುದರಿಂದ ನಿರ್ಬಂಧಿಸಲಾಯಿತು. ಇದಕ್ಕೆ ಪ್ರತಿಕ್ರಿಯೆಯಾಗಿ, ಏಜೆಂಟ್ಗಳು ಪ್ರಕ್ರಿಯೆಯಲ್ಲಿ ಸೈಟ್ನ ಆಂಟಿ-ಬಾಟ್ ರಕ್ಷಣೆಗಳನ್ನು ಬೈಪಾಸ್ ಮಾಡುವ ಮೂಲಕ, AIHW ಪ್ರೀ-ಪ್ರೊಡಕ್ಷನ್ ಸರ್ವರ್ನಿಂದ ಈಗಾಗಲೇ ಸಾರ್ವಜನಿಕವಾಗಿದ್ದ ಫೈಲ್ ಅನ್ನು ಡೌನ್ಲೋಡ್ ಮಾಡಿಕೊಂಡರು (SecurityWeek).
ಈ ಮಾದರಿಯು ಕೇವಲ ಒಂದು ಪ್ರಯೋಗಾಲಯಕ್ಕೆ ಸೀಮಿತವಾಗಿಲ್ಲ. ಸೈಬರ್ ಭದ್ರತಾ ಪರೀಕ್ಷೆಗಳ ಸಮಯದಲ್ಲಿ, Anthropic ಮಾದರಿಗಳು ಮುಕ್ತ ಇಂಟರ್ನೆಟ್ ಪ್ರವೇಶವನ್ನು ನೀಡಿದ ತಪ್ಪಿನ ನಂತರ ಮೂರು ಕಂಪನಿಗಳನ್ನು ಉಲ್ಲಂಘಿಸಿದವು, Google ನ Gemini ಮೂರು ವೆಬ್ಸೈಟ್ಗಳಿಗೆ ಊಹಿಸಿದ ರುಜುವಾತುಗಳನ್ನು ನೀಡಿತು ಮತ್ತು Meta ಮಾದರಿಯು ಮೂರನೇ ವ್ಯಕ್ತಿಯ ಸೇವೆಯನ್ನು ಬಳಸಿಕೊಂಡಿತು (Reuters).
ಇತಿಹಾಸದಿಂದ ಕಲಿಯುವುದು: ಇಂಟರ್ನೆಟ್ ವಾರ್ಮ್ಗಳ ಯುಗ
ಈ ಘಟನೆಗಳು ಸುಮಾರು ಕಾಲು ಶತಮಾನದ ಹಿಂದಿನ ಇಂಟರ್ನೆಟ್ ವಾರ್ಮ್ಗಳ ಯುಗವನ್ನು ನೆನಪಿಸುತ್ತವೆ. 2000 ರ ದಶಕದ ಆರಂಭದಲ್ಲಿ, ಇಂಟರ್ನೆಟ್ ಅದರ ಸುತ್ತಲಿನ ಭದ್ರತಾ ಅಭ್ಯಾಸಗಳಿಗಿಂತ ಹೆಚ್ಚು ವೇಗವಾಗಿ ಬೆಳೆಯಿತು. AI ಏಜೆಂಟ್ಗಳ ಮೆಲ್ಟ್ಡೌನ್ನೊಂದಿಗೆ ನಾವು ಈಗ ನೋಡುತ್ತಿರುವುದಕ್ಕಿಂತ ಹೆಚ್ಚು ಗಂಭೀರವಾದ ಪರಿಣಾಮಗಳೊಂದಿಗೆ ವೈರಸ್ಗಳು ಮತ್ತು ವಾರ್ಮ್ಗಳ ಅಲೆಯನ್ನು ನಾವು ಕಂಡಿದ್ದೇವೆ.
ಮೇ 4, 2000 ರಂದು, ಜನರು "ILOVEYOU" ವಿಷಯದ ಸಾಲಿನೊಂದಿಗೆ ಪರಿಚಿತ ಕಳುಹಿಸುವವರಿಂದ ಇಮೇಲ್ಗಳನ್ನು ಸ್ವೀಕರಿಸಲು ಪ್ರಾರಂಭಿಸಿದರು. ಇಮೇಲ್ನಲ್ಲಿರುವ ಲಗತ್ತನ್ನು ತೆರೆಯುವುದರಿಂದ ಬಲಿಪಶುವಿನ Outlook ವಿಳಾಸ ಪುಸ್ತಕದಲ್ಲಿರುವ ಪ್ರತಿಯೊಬ್ಬರಿಗೂ ತನ್ನದೇ ಆದ ನಕಲನ್ನು ಮೇಲ್ ಮಾಡಿದ ಸ್ಕ್ರಿಪ್ಟ್ ಅನ್ನು ರನ್ ಮಾಡಲಾಯಿತು. ಆ ದಿನ ಸಂಜೆ 6 ರ ವೇಳೆಗೆ, CERT ಸಮನ್ವಯ ಕೇಂದ್ರವು 420,000 ಕ್ಕಿಂತ ಹೆಚ್ಚು ಇಂಟರ್ನೆಟ್ ಹೋಸ್ಟ್ಗಳನ್ನು ಒಳಗೊಂಡ ವರದಿಗಳನ್ನು ಸ್ವೀಕರಿಸಿತ್ತು (US GAO Report). ರಕ್ಷಣಾ ಇಲಾಖೆ, ಸಿಐಎ, ನಾಸಾ, ಮತ್ತು ಹೌಸ್ ಮತ್ತು ಸೆನೆಟ್ ಸೇರಿದಂತೆ ಕನಿಷ್ಠ 14 ಫೆಡರಲ್ ಏಜೆನ್ಸಿಗಳನ್ನು ವೈರಸ್ ತೂರಿಕೊಂಡಿದೆ ಎಂದು ವರದಿಯಾಗಿದೆ (US GAO Report). ಇದು ಪೆಂಟಾಗನ್ ಮತ್ತು ಬ್ರಿಟಿಷ್ ಸಂಸತ್ತಿನಲ್ಲಿ ಇಮೇಲ್ ಸರ್ವರ್ಗಳನ್ನು ಸಹ ಮುಚ್ಚಿತು (Wired). ವಿಮಾ ದೈತ್ಯ ಲಾಯ್ಡ್ಸ್ ಆಫ್ ಲಂಡನ್ ವೈರಸ್ ಹಾನಿ ಮತ್ತು ಕಳೆದುಹೋದ ಉತ್ಪಾದಕತೆಯಲ್ಲಿ $15 ಶತಕೋಟಿಗಿಂತ ಹೆಚ್ಚು ವೆಚ್ಚವಾಗಲಿದೆ ಎಂದು ಆರಂಭಿಕ ಅಂದಾಜು ಮಾಡಿದೆ (US House Committee Hearing). ಕಂಪ್ಯೂಟರ್ ಎಕನಾಮಿಕ್ಸ್ ನಂತರ ವಿಶ್ವಾದ್ಯಂತ $8.75 ಶತಕೋಟಿ ಹಾನಿಯನ್ನು ಅಂದI ಮಾಡಿದೆ (Information Week).
ಮಾನವ ಕ್ಲಿಕ್ ಅಗತ್ಯವಿಲ್ಲದ ವಾರ್ಮ್ಗಳು ಮುಂದೆ ಬಂದವು. ಜುಲೈ 19, 2001 ರಂದು, ಕೋಡ್-ರೆಡ್ ವಾರ್ಮ್ 14 ಗಂಟೆಗಳಿಂತ ಕಡಿಮೆ ಅವಧಿಯಲ್ಲಿ 359,000 ಕ್ಕಿಂತ ಹೆಚ್ಚು ಕಂಪ್ಯೂಟರ್ಗಳಿಗೆ ಸೋಂಕು ತಗುಲಿಸಿತು (CAIDA). ಜನವರಿ 25, 2003 ರಂದು, SQL ಸ್ಲಾಮ್ಮರ್ ಪ್ರತಿ 8.5 ಸೆಕೆಂಡುಗಳಿಗೆ ಗಾತ್ರದಲ್ಲಿ ದ್ವಿಗುಣಗೊಂಡಿತು ಮತ್ತು 10 ನಿಮಿಷಗಳಲ್ಲಿ ಅದಕ್ಕೆ ದುರ್ಬಲವಾಗಿರುವ 90% ಕ್ಕಿಂತ ಹೆಚ್ಚು ಇಂಟರ್ನೆಟ್ ಹೋಸ್ಟ್ಗಳಿಗೆ ಸೋಂಕು ತಗುಲಿಸಿತು (CAIDA), ಮೈಕ್ರೋಸಾಫ್ಟ್ ಆರು ತಿಂಗಳ ಹಿಂದೆ ಪ್ಯಾಚ್ ಬಿಡುಗಡೆ ಮಾಡಿದ್ದ ರಂಧ್ರವನ್ನು ಶೋಷಿಸಿತು (CNET). ಆಗಸ್ಟ್ 2003 ರಲ್ಲಿ, ಬ್ಲಾಸ್ಟರ್ ವಾರ್ಮ್ ಮತ್ತು ಸೊಬಿಗ್ ಇಮೇಲ್ ವಾರ್ಮ್ ಸುಮಾರು ಒಂದು ವಾರದ ವ್ಯತ್ಯಾಸದಲ್ಲಿ ಕಾಣಿಸಿಕೊಂಡವು (Microsoft, F-Secure).
ಆ ಸಮಯದಲ್ಲಿ, ನೆಟ್ವರ್ಕ್ ಮಾಡಲಾದ ಕಂಪ್ಯೂಟರ್ಗಳನ್ನು ಸುರಕ್ಷಿತಗೊಳಿಸಬಹುದೇ ಎಂದು ಕೇಳುವುದು ಸಮಂಜಸವಾಗಿತ್ತು. ILOVEYOU ವೈರಸ್ ನಂತರ ಆರು ದಿನಗಳ ನಂತರ, US ಹೌಸ್ ಉಪಸಮಿತಿಯು ಅದರ ಬಗ್ಗೆ ವಿಚಾರಣೆ ನಡೆಸಿತು. ಅನೇಕ ಭದ್ರತಾ ತಜ್ಞರು ತಮ್ಮ ಉತ್ಪನ್ನಗಳಲ್ಲಿನ ದೋಷಗಳಿಂದ ಉಂಟಾಗುವ ಹಾನಿಗೆ ಸಾಫ್ಟ್ವೇರ್ ಕಂಪನಿಗಳನ್ನು ಜವಾಬ್ದಾರರನ್ನಾಗಿ ಮಾಡುವ ಶಾಸನಕ್ಕಾಗಿ ಕರೆ ನೀಡಿದರು. ವಾಷಿಂಗ್ಟನ್ ವಿಭಿನ್ನ ಮಾರ್ಗವನ್ನು ತೆಗೆದುಕೊಂಡಿತು. ಸೈಬರ್ ಸ್ಪೇಸ್ ಅನ್ನು ಸುರಕ್ಷಿತಗೊಳಿಸುವ ರಾಷ್ಟ್ರೀಯ ಕಾರ್ಯತಂತ್ರವು “ಫೆಡರಲ್ ನಿಯಂತ್ರಣವು ಸೈಬರ್ ಸ್ಪೇಸ್ ಅನ್ನು ಸುರಕ್ಷಿತಗೊಳಿಸುವ ಪ್ರಾಥಮಿಕ ಸಾಧನವಾಗುವುದಿಲ್ಲ” ಎಂದು ಹೇಳಿದೆ. ವಿಶಾಲವಾದ ಆದೇಶಗಳು “ಸೈಬರ್ ಭದ್ರತೆಗೆ ಕಡಿಮೆ-ಸಾಮಾನ್ಯ-denominator ವಿಧಾನವನ್ನು” ಸೃಷ್ಟಿಸಬಹುದು ಎಂದು ಅದು ಎಚ್ಚರಿಸಿದೆ (CISA).
ಉದ್ಯಮವು ಎಂಜಿನಿಯರಿಂಗ್ ಮೂಲಕ ಉತ್ತರಿಸಿತು. ILOVEYOU ನಂತರ ಹನ್ನೊಂದನೇ ದಿನದಲ್ಲಿ, ಮೈಕ್ರೋಸಾಫ್ಟ್ ಕಾರ್ಯಗತಗೊಳಿಸಬಹುದಾದ ಲಗತ್ತುಗಳನ್ನು ನಿರ್ಬಂಧಿಸುವ Outlook ನವೀಕರಣವನ್ನು ಘೋಷಿಸಿತು. ಜನವರಿ 2002 ರಲ್ಲಿ, ಕಂಪನಿಯು ಭದ್ರತೆಗೆ ಉನ್ನತ ಪ್ರಾಮುಖ್ಯತೆ ನೀಡಿತು (Seattle Times). ಸ್ವಯಂಚಾಲಿತ ಪ್ಯಾಚಿಂಗ್, ಸುರಕ್ಷಿತ ಡೀಫಾಲ್ಟ್ಗಳು, ಬಗ್ ಬೌಂಟಿ ಪ್ರೋಗ್ರಾಂಗಳು ಮತ್ತು ಸಮನ್ವಯಗೊಳಿಸಿದ ಬಹಿರಂಗಪಡಿಸುವಿಕೆಯು ಪ್ರಮಾಣಿತ ಅಭ್ಯಾಸವಾಯಿತು. 2008 ರಲ್ಲಿ, ಕ್ರೋಮ್ ವೆಬ್ ವಿಷಯವನ್ನು "ಬಗ್ ಅನ್ನು ಶೋಷಿಸಿದ ನಂತರ ದಾಳಿಕೋರನು ಏನು ಮಾಡಬಹುದು ಎಂಬುದನ್ನು ಮಿತಿಗೊಳಿಸುವ" ಸ್ಯಾಂಡ್ಬಾಕ್ಸ್ನಲ್ಲಿ ರನ್ ಮಾಡಲು ಪ್ರಾರಂಭಿಸಿತು (Chromium Blog). ಎನ್ಕ್ರಿಪ್ಶನ್, ಒಮ್ಮೆ ಅಪವಾದವಾಗಿದ್ದು, ಡೀಫಾಲ್ಟ್ ಆಯಿತು. ಬಹು-ಕಾರಕ ದೃಢೀಕರಣ, ಫೈರ್ವಾಲ್ಗಳು, ಶೂನ್ಯ ನಂಬಿಕೆ ಮತ್ತು ಭದ್ರತಾ ಮಾಹಿತಿ ಮತ್ತು ಘಟನೆ ನಿರ್ವಹಣೆ (SIEM) ಸೇರಿದಂತೆ ಭದ್ರತಾ ತಂತ್ರಜ್ಞಾನಗಳು ವ್ಯಾಪಕವಾಗಿ ಬಳಕೆಗೆ ಬಂದವು. ಮಾಹಿತಿ ಭದ್ರತೆಯ ಮೇಲೆ 2026 ರಲ್ಲಿ ಸುಮಾರು $240 ಶತಕೋಟಿ ಖರ್ಚು ಮಾಡಲು ವಿಶ್ವಾದ್ಯಂತ ಸಂಸ್ಥೆಗಳಿಗೆ ಮುನ್ಸೂಚನೆ ನೀಡಲಾಗಿದೆ (Gartner). ವಾರ್ಮ್ಗಳು ಸಂಪೂರ್ಣವಾಗಿ ಕಣ್ಮರೆಯಾಗಲಿಲ್ಲ, ಆದರೆ ವಾಡಿಕೆಯ ಇಂಟರ್ನೆಟ್-ವ್ಯಾಪಕ ಏಕಾಏಕಿಗಳ ಯುಗವು ಮಸುಕಾಯಿತು. ಅದೇ ಸಮಯದಲ್ಲಿ, ನಿಯಂತ್ರಣದಿಂದ ಮುಕ್ತವಾದ ಇಂಟರ್ನೆಟ್, ಮುಂದಿನ ಎರಡು ದಶಕಗಳಲ್ಲಿ ನಾವೀನ್ಯತೆ ಮತ್ತು ಆರ್ಥಿಕ ಬೆಳವಣಿಗೆಯ ಪ್ರಬಲ ಎಂಜಿನ್ ಆಯಿತು.
ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆ ಏಜೆಂಟ್ಗಳಿಗಾಗಿ ಭದ್ರತಾ ಎಂಜಿನಿಯರಿಂಗ್
ಇತ್ತೀಚಿನ ಘಟನೆಗಳು ಏಜೆಂಟ್ ಆಡಳಿತದ ಬಗ್ಗೆ ನ್ಯಾಯಸಮ್ಮತವಾದ ಪ್ರಶ್ನೆಗಳನ್ನು ಹುಟ್ಟುಹಾಕಿವೆ. ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಭದ್ರತಾ ಕಾರ್ಯವಿಧಾನಗಳನ್ನು ಕಿರಿದಾದ ವ್ಯಾಪ್ತಿಯ ಮತ್ತು ಹೆಚ್ಚು ನಿರ್ಣಾಯಕ ಸಾಫ್ವೇರ್ ನಡವಳಿಕೆಯಿಂದ ನಿರೂಪಿಸಲ್ಪಟ್ಟ ಪ್ರಿ-ಏಜೆಂಟ್ ಕಂಪ್ಯೂಟಿಂಗ್ ಪರಿಸರಗಳಿಗಾಗಿ ಅಭಿವೃದ್ಧಿಪಡಿಸಲಾಗಿದೆ. ಪ್ರವೇಶ ನಿಯಂತ್ರಣ ಕಾರ್ಯವಿಧಾನಗಳು, ನಿರ್ದಿಷ್ಟವಾಗಿ, ಮಾನವ ಬಳಕೆದಾರರ ಸುತ್ತಲೂ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ ಮತ್ತು ಸಾಮಾನ್ಯವಾಗಿ ತತ್ವದಲ್ಲಿ, ಗಮನಾರ್ಹ ಹಾನಿಯನ್ನುಂಟುಮಾಡಲು ಸಾಕಷ್ಟು ವಿಶಾಲವಾದ ಸವಲತ್ತುಗಳನ್ನು ನೀಡುತ್ತವೆ.
ಈ ವಿನ್ಯಾಸವು ಹಲವಾರು ಅನಿಸಿಕೆಗಳನ್ನು ಆಧರಿಸಿದೆ: ಹೆಚ್ಚಿನ ಬಳಕೆದಾರರು ಉತ್ತಮ ನಂಬಿಕೆಯಿಂದ ವರ್ತಿಸುತ್ತಾರೆ; ದುರುದ್ದೇಶಪೂರಿತ ನಟರನ್ನು ಆಡಿಟಿಂಗ್ ಮತ್ತು ನೈಜ-ಪ್ರಪಂಚದ ಪರಿಣಾಮಗಳ ಮೂಲಕ ತಡೆಯಬಹುದು; ಮತ್ತು ಮಾನವರು ತುಲನಾತ್ಮಕವಾಗಿ ಸೀಮಿತ ದರದಲ್ಲಿ ಸರಿಯಾದ ಅಥವಾ ತಪ್ಪಾದ ಕ್ರಮಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳುತ್ತಾರೆ. ಈ ಭದ್ರತಾ ಕಾರ್ಯವಿಧಾನಗಳನ್ನು ಏಜೆಂಟ್ಗಳಿಗೆ ಅನ್ವಯಿಸಲು ಮಾನವ ಮತ್ತು ಏಜೆಂಟ್ ನಡವಳಿಕೆಯ ನಡುವಿನ ವ್ಯತ್ಯಾಸಗಳ ಲೆಕ್ಕಪತ್ರ ಅಗತ್ಯವಿರುತ್ತದೆ. AI ಏಜೆಂಟ್ ಭದ್ರತೆಗಾಗಿ NIST ನ ಮಾಹಿತಿಯ ವಿನಂತಿಗೆ ನಮ್ಮ ಪ್ರತಿಕ್ರಿಯೆಯಲ್ಲಿ ನಾವು ಬರೆದಂತೆ, AI ಏಜೆಂಟ್ಗಳು ಈ ಅನಿಸಿಕೆಗಳಿಗೆ ಸವಾಲು ಹಾಕುತ್ತವೆ. ಅವು ಯಂತ್ರ ವೇಗದಲ್ಲಿ ಸವಲತ್ತುಗಳನ್ನು ಚಲಾಯಿಸಬಹುದು ಮತ್ತು ಕ್ರಮಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳಬಹುದು, ನೈಜ-ಪ್ರಪಂಚದ ಪರಿಣಾಮಗಳಿಂದ ಸ್ವತಃ ತಡೆಯಲ್ಪಡುವುದಿಲ್ಲ, ಮತ್ತು ತಾಂತ್ರಿಕವಾಗಿ ಅನುಮತಿ ಪಡೆದ ಆದರೆ ವಿಶಿಷ್ಟ ಮಾನವ ಬಳಕೆದಾರರು ವಿರಳವಾಗಿ ತೆಗೆದುಕೊಳ್ಳುವ ಕ್ರಮಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳಬಹುದು.
ಆ ಪ್ರಶ್ನೆಗಳಿಗೆ ಉತ್ತರಿಸಲು ಭದ್ರತಾ ಎಂಜಿನಿಯರಿಂಗ್ ಅಗತ್ಯವಿದೆ. ಪ್ರತ್ಯೇಕ ಘಟಕಗಳು ತಪ್ಪಾಗಿ ವರ್ತಿಸಿದಾಗ ಅಪಾಯಗಳನ್ನು ನಿಯಂತ್ರಣದಲ್ಲಿಡುವ ವ್ಯವಸ್ಥೆಗಳನ್ನು ನಿರ್ಮಿಸಲು ನಮಗೆ ಭದ್ರತಾ ತತ್ವಗಳು ತಿಳಿದಿವೆ. ಆದರೆ AI ಏಜೆಂಟ್ಗಳಿಗೆ ತರಬೇತಿ ನೀಡಲು, ಪರೀಕ್ಷಿಸಲು ಮತ್ತು ಬಳಸಲು ಪರಿಸರವನ್ನು ಎಂಜಿನಿಯರಿಂಗ್ ಮಾಡುವಾಗ ಈ ತತ್ವಗಳನ್ನು ಅನ್ವಯಿಸಲಾಗಿದೆಯೆ ಎಂದು ನಾವು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಬೇಕು.
ಆಳವಾದ ರಕ್ಷಣೆಯ ಭದ್ರತಾ ತತ್ವ
AI ಏಜೆಂಟ್ಗಳನ್ನು ಸುರಕ್ಷಿತಗೊಳಿಸಲು ಅನ್ವಯಿಸಬೇಕಾದ ಪ್ರಮುಖ ಭದ್ರತಾ ತತ್ವವೆಂದರೆ ಆಳವಾದ ರಕ್ಷಣೆ (defense-in-depth), ಇದು ಶ್ರೇೃತ ಭದ್ರತಾ ಆರ್ಕಿಟೆಕ್ಟ್ ಅನ್ನು ಪ್ರತಿಪಾದಿಸುತ್ತದೆ, ಇಲ್ಲಿ ಸಿಸ್ಟಮ್ ಸಂಪನ್ಮೂಲಗಳನ್ನು ರಕ್ಷಿಸಲು ಬಹು, ವೈವಿಧ್ಯಮಯ ಮತ್ತು ಪುನರಾವರ್ತಿತ ರಕ್ಷಣಾತ್ಮಕ ಕ್ರಮಗಳನ್ನು ಬಳಸಿಕೊಳ್ಳಲಾಗುತ್ತದೆ. ಯಾವುದೇ ಏಕೈಕ ಸುರಕ್ಷತೆಯು ಪರಿಪೂರ್ಣವಾಗಿಲ್ಲ. ಜನರು ಸಾಮಾಜಿಕ-ಎಂಜಿನಿಯರಿಂಗ್ ದಾಳಿಗಳಿಗೆ ಬಲಿಯಾಗಬಹುದು ಮತ್ತು ತಮ್ಮ ಲಾಗಿನ್ ರುಜುವಾತುಗಳನ್ನು ಬಹಿರಂಗಪಡಿಸಬಹುದು, ಸರೋವರ ಸಾಫ್ಟ್ವೇರ್ ದೋಷಗಳು ಕಂಡುಬರುತ್ತವೆ ಮತ್ತು ದುರುಪಯೋಗಪಡಿಸಿಕೊಳ್ಳಲ್ಪಡುತ್ತವೆ, ಮತ್ತು ನುಸುಳುವಿಕೆ ಪತ್ತೆಯು ಹೊಸ ದಾಳಿ ರೂಪಾಂತರಗಳನ್ನು ಕಳೆದುಕೊಳ್ಳುತ್ತದೆ. ಆಳವಾದ ರಕ್ಷಣೆಯು ಅದನ್ನು ಒಪ್ಪಿಕೊಳ್ಳುತ್ತದೆ ಮತ್ತು ರಕ್ಷಣೆಯ ಹಲವಾರು ಸ್ವತಂತ್ರ ಪದರಗಳನ್ನು ಸ್ಟ್ಯಾಕ್ ಮಾಡುತ್ತದೆ. ಒಂದು ರಕ್ಷಣಾತ್ಮಕ ಪದರವನ್ನು ಬೈಪಾಸ್ ಮಾಡಿದರೆ, ನುಸುಳುವಿಕೆಯನ್ನು ಎದುರಿಸಲು ಅಥವಾ ಪತ್ತೆಹಚ್ಚಲು ಇತರ ಪದರಗಳು ಸ್ಥಳದಲ್ಲಿರುತ್ತವೆ.
Hugging Face ಘಟನೆಯು ಆಳವಾದ ರಕ್ಷಣೆಯು (defense-in-depth) ಏಕೆ ಮುಖ್ಯ ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತದೆ. ಇದರ ಉತ್ಪಾದನಾ ವ್ಯವಸ್ಥೆಗಳಲ್ಲಿ ಬಳಸಲಾದ ಸ್ವಯಂಚಾಲಿತ ಸುರಕ್ಷತೆಗಳು, ಹಾರ್ನೆಸ್ಗಳು (harnesses), ಸ್ವಯಂ-ವಿಮರ್ಶೆ ಮಾದರಿಗಳು ಮತ್ತು ಸುರಕ್ಷತಾ ವರ್ಗೀಕರಣಗಳು ಮೌಲ್ಯಮಾಪನ ಪರಿಸರದಲ್ಲಿ ಇರಲಿಲ್ಲ ಎಂದು OpenAI ನ ಹಿಂದಿನ ವರದಿ ತಿಳಿಸುತ್ತದೆ. ಪ್ರಸ್ತುತ ನಿಯೋಜಿಸಲಾದ ಚೈನ್-ಆಫ್-ಥಾಟ್ ಮಾನಿಟರಿಂಗ್ ಆ ಮೌಲ್ಯಮಾಪನಗಳಲ್ಲಿ ಚಾಲನೆಯಲ್ಲಿದ್ದರೆ, ಅದು ಆರಂಭಿಕ ಚಟುವಟಿಕೆಯನ್ನು ಸೆರೆಹಿಡಿಯುತ್ತಿತ್ತು ಮತ್ತು ಉಲ್ಲಂಘನೆಗಿಂತ ಒಂದು ದಿನಕ್ಕೂ ಹೆಚ್ಚು ಮುಂಚಿತವಾಗಿ ಭದ್ರತಾ ತಂಡಕ್ಕೆ ಪೇಜ್ ಮಾಡುತ್ತಿತ್ತು (OpenAI). ಸಮಸ್ಯೆಯನ್ನು ಸೆರೆಹಿಡಿಯಬಹುದಾದ ಪದರಗಳು ಅಸ್ತಿತ್ವದಲ್ಲಿದ್ದವು. ಅವು ಸರಳವಾಗಿ ಒಂದೇ ಸಮಯದಲ್ಲಿ ಸ್ಥಳದಲ್ಲಿರಲಿಲ್ಲ.
AI ಏಜೆಂಟ್ಗಳನ್ನು ಸುರಕ್ಷಿತಗೊಳಿಸಲು AI ಮಾದರಿಗಳ ಸುರಕ್ಷತೆ ಮತ್ತು ಭದ್ರತೆ ಎರಡನ್ನೂ ಮತ್ತು ಅವುಗಳನ್ನು ಸುತ್ತುವರೆದಿರುವ ವ್ಯವಸ್ಥೆಗಳನ್ನು ಸುಧಾರಿಸುವ ಅಗತ್ಯವಿದೆ. ಮಾದರಿ ಪದರದಲ್ಲಿನ ಕೆಲಸವು ಮುಖ್ಯವಾಗಿದೆ ಮತ್ತು ಇದು ಫಲ ನೀಡುತ್ತಿದೆ. ಆರಂಭಿಕ LLM ಗಳು ಇಂಜೆಕ್ಟ್ ಮಾಡಿದ ಸೂಚನೆಗಳಿಂದ ಸುಲಭವಾಗಿ ಕುಶಲತೆಯಿಂದ ಕೂಡಿರುತ್ತಿದ್ದವು, ಆದರೆ ಇಂದಿನ ಮಾದರಿಗಳು ಅವುಗಳನ್ನು ಗುರುತಿಸುವಲ್ಲಿ ಮತ್ತು ತಿರಸ್ಕರಿಸುವಲ್ಲಿ ಗಣನೀಯವಾಗಿ ಉತ್ತಮವಾಗಿವೆ. ಮಾದರಿ ಡೆವಲಪರ್ಗಳು ಸುರಕ್ಷಿತ ನಡವಳಿಕೆಗಾಗಿ ಮಾದರಿಗಳಿಗೆ ತರಬೇತಿ ನೀಡುತ್ತಾರೆ ಮತ್ತು OpenAI ನ ಹಿಂದಿನ ನೋಟವು ವಿವರಿಸುವಂತೆ, ಸಮಸ್ಯಾತ್ಮಕ ನಡವಳಿಕೆಯ ಚಿಹ್ನೆಗಳಿಗಾಗಿ ರೀಜನಿಂಗ್ ಟ್ರೇಸ್ಗಳನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುತ್ತಾರೆ. ಆದರೆ ಮಾದರಿ-ಹಂತದ ರಕ್ಷಣೆಗಳು ಪರಿಹಾರದ ಒಂದು ಭಾಗ ಮಾತ್ರ. ಏಜೆಂಟ್ಗಳಿಗೆ ತರಬೇತಿ ನೀಡುವ, ಪರೀಕ್ಷಿಸುವ ಮತ್ತು ನಿಯೋಜಿಸುವ ವ್ಯವಸ್ಥೆಗಳನ್ನು ಭದ್ರತೆ ಮತ್ತು ನಿಯಂತ್ರಣಕ್ಕಾಗಿ ಎಂಜಿನಿಯರ್ ಮಾಡಬೇಕು. ಮಾದರಿ-ಹಂತದ ಸುರಕ್ಷತೆಯು ಏಜೆಂಟ್ ತಪ್ಪುದಾರಿಗೆಳೆಯುವ ಸಾಧ್ಯತೆಯನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ; ಸಿಸ್ಟಮ್-ಹಂತದ ಭದ್ರತೆಯು ಅದು ಸಂಭವಿಸಿದಾಗ ಹಾನಿಯನ್ನು ಸೀಮಿತಗೊಳಿಸುತ್ತದೆ.
冗 redundant ಸುರಕ್ಷತೆಗಳಿಗಾಗಿ ವಿನ್ಯಾಸ ನಿಯಮಗಳು
ಆಳವಾದ ರಕ್ಷಣೆ (defense-in-depth) ಗೆ ಪುನರಾವರ್ತಿತ ಸುರಕ್ಷತೆಗಳು ಬೇಕಾಗುತ್ತವೆ. ಏಜೆಂಟ್ಗಳಿಗಾಗಿ, ನಾವು ಇದನ್ನು ಮೂರು ವಿನ್ಯಾಸ ನಿಯಮಗಳೊಂದಿಗೆ ಅನ್ವಯಿಸಲು ಸಲಹೆ ನೀಡುತ್ತೇವೆ:
- ಸ್ವಾತಂತ್ರ್ಯ. ಪ್ರತಿಯೊಂದು ಪದರವು ಸ್ವತಂತ್ರ ಕಾರಣಗಳಿಗಾಗಿ ವಿಫಲಗೊಳ್ಳಬೇಕು. ಒಂದೇ ಅನಿಸಿಕೆಯನ್ನು ಹಂಚಿಕೊಳ್ಳುವ ಎರಡು ನಿಯಂತ್ರಣಗಳನ್ನು ಒಂದೇ ದಾಳಿಯಿಂದ ಸೋಲಿಸಬಹುದು. ಮಾನಿಟರ್ಗಳು ಮತ್ತು ಜಾರಿಗೊಳಿಸುವ ಬಿಂದುಗಳು ಏಜೆಂಟ್ನ ವ್ಯಾಪ್ತಿಯ ಹೊರಗೆ ಇರಬೇಕು.
- ಏಜೆಂಟ್ ಕೆಳಗೆ ಜಾರಿಗೊಳಿಸುವಿಕೆ. ಕನಿಷ್ಠ ಒಂದು ಪದರವು ನಿರ್ಣಾಯಕವಾಗಿರಬೇಕು: ಸಾಂಪ್ರದಾಯಿಕ, ಪರಿಶೀಲಿಸಬಹುದಾದ ಕೋಡ್ ಇದು ಮಾದರಿಯು ಏನೇ ಉತ್ಪಾದಿಸಿದರೂ ನಿಷೇಧಿತ ಕ್ರಮಗಳನ್ನು ನಿರ್ಬಂಧಿಸುತ್ತದೆ. ಏಜೆಂಟ್ ಆಹ್ವಾನಿಸುವುದನ್ನು ನಿರಾಕರಿಸಬಹುದಾದ ಅಥವಾ ಮರುಸಂರಚಿಸಬಹುದಾದ ಸುರಕ್ಷತೆಯು ಸುರಕ್ಷತೆಯಲ್ಲ.
- ಸಿಗ್ನಲ್ಗಳು ಅಧಿಕಾರವನ್ನು ಮಾತ್ರ ಕಡಿಮೆ ಮಾಡಬಹುದು. ಪತ್ತೆಹಚ್ಚುವಿಕೆಯು ವಿರಾಮಗೊಳಿಸುವುದು, ಡೆನ್ಷಿಯಲ್ಗಳನ್ನು ರದ್ದುಗೊಳಿಸುವುದು, ನೆಟ್ವರ್ಕ್ ಪ್ರವೇಶವನ್ನು ಕಡಿತಗೊಳಿಸುವುದು ಅಥವಾ ಸೆಷನ್ ಅನ್ನು ಕೊನೆಗೊಳಿಸುವುದರಂತಹ ಏಜೆಂಟ್ ಏನು ಮಾಡಬಹುದು ಎಂಬುದನ್ನು σುರಕುಗೊಳಿಸುವ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಪ್ರಚೋದಿಸಬೇಕು. ಯಾವುದೇ ಅಪಾಯದ ಸಿಗ್ನಲ್ ಎಂದಿಗೂ ಹೆಚ್ಚುವರಿ ಪ್ರವೇಶವನ್ನು ನೀಡಬಾರದು.
NVIDIA ಸೇರಿದಂತೆ Open Secure AI Alliance ನಲ್ಲಿರುವ ನಮ್ಮ ಪಾಲುದಾರರೊಂದಿಗೆ ನಾವು ಈ ತತ್ವಗಳನ್ನು ಹಂಚಿಕೊಳ್ಳುತ್ತೇವೆ, ಇದು ಹಾರ್ನೆಸ್ ಏಜೆಂಟ್ ಏನು ಪ್ರಯತ್ನಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ಮಾರ್ಗದರ್ಶನ ಮಾಡುತ್ತದೆ ಆದರೆ ಮೂಲಸೌಕರ್ಯವು ಅದು ಏನು ಮಾಡಬಹುದು ಎಂಬುದನ್ನು ನಿಯಂತ್ರಿಸುತ್ತದೆ ಎಂದು ವಾದಿಸಿದೆ (NVIDIA).
Perplexity ನ ಉತ್ಪನ್ನಗಳಲ್ಲಿ ಬಹುಪದರದ ರಕ್ಷಣೆ
Perplexity ನಾಲ್ಕು ರೀತಿಯ ಪರಿಸರಗಳಲ್ಲಿ ಏಜೆಂಟ್ಗಳನ್ನು ರನ್ ಮಾಡುತ್ತದೆ: ನಮ್ಮ ಏಜೆಂಟ್ ಪ್ಲಾಟ್ಫಾರ್ಮ್ Computer ಮೂಲಕ ಕ್ಲೌಡ್ನಲ್ಲಿ, Comet ಮೂಲಕ ಬ್ರೌಸರ್ನಲ್ಲಿ, Portable Computer ಮೂಲಕ ಬಳಕೆದಾರರ ಸಾಧನಗಳಲ್ಲಿ, ಮತ್ತು ಉದ್ಯೋಗಿ ಲ್ಯಾಪ್ಟಾಪ್ಗಳಲ್ಲಿ, ಅಲ್ಲಿ ನಮ್ಮ ಎಂಜಿನಿಯರ್ಗಳು ಮೂರನೇ ವ್ಯಕ್ತಿಯ ಕೋಡಿಂಗ್ ಏಜೆಂಟ್ಗಳನ್ನು ಬಳಸುತ್ತಾರೆ. ಪ್ರತಿಯೊಂದು ಪರಿಸರವು ತನ್ನದೇ ಆದ ಅಪಾಯಗಳನ್ನು ಹೊಂದಿದೆ, ಮತ್ತು ಪ್ರತಿಯೊಂದೂ ಹಲವಾರು ರಕ್ಷಣಾ ಪದರಗಳನ್ನು ಪಡೆಯುತ್ತದೆ.
ಪದರ | ಇದು ಏನು ಮಾಡುತ್ತದೆ | Perplexity ಉತ್ಪನ್ನಗಳಲ್ಲಿ ಇದು ಎಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತದೆ | ಸ್ಥಿತಿ |
ಮಾರ್ಗದರ್ಶನ | ಬಳಕೆದಾರರ ಉದ್ದೇಶಕ್ಕೆ ಏಜೆಂಟ್ ಅನ್ನು ಲಂಗರು ಹಾಕುತ್ತದೆ | ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ಗಳಲ್ಲಿ ಟೂಲ್-ಮಟ್ಟದ ಗಾರ್ಡ್ರೈಲ್ಗಳು, ಅಂತಹಂತೆ ಗುರುತಿಸಲಾದ ವಿಶ್ವಾಸಾರ್ಹವಲ್ಲದ ವಿಷಯ, ಮತ್ತು Computer ಮತ್ತು Comet ನಲ್ಲಿ ಮೂಲ ಬಳಕೆದಾರರ ವಿನಂತಿಗೆ ನಿರಂತರ ಉಲ್ಲೇಖ | ನಿಯೋಜಿಸಲಾಗಿದೆ |
ಇನ್ಪುಟ್ ಸ್ಕ್ರೀನಿಂಗ್ | ಏಜೆಂಟ್ ಅದರ ಮೇಲೆ ಕಾರ್ಯನಿರ್ವಹಿಸುವ ಮೊದಲು ಹ hostile ವಿಷಯವನ್ನು ಸೆರೆಹಿಡಿಯುತ್ತದೆ | BrowseSafe ಮತ್ತು ಸಂಬಂಧಿತ ವರ್ಗೀಕರಣಗಳು ಏಜೆಂಟ್ ರೀಜನಿಂಗ್ ಜೊತೆಗೆ ಮರುಪಡೆಯಲಾದ ವಿಷಯವನ್ನು ಸಮಾನಾಂತರವಾಗಿ ಸ್ಕ್ಯಾನ್ ಮಾಡುತ್ತವೆ ಮತ್ತು ಸುರಕ್ಷಿತ ನಿಲುಗಡೆಯನ್ನು ಪ್ರಚೋದಿಸುತ್ತವೆ | ನಿಯೋಜಿಸಲಾಗಿದೆ; ಮಾದರಿ ಮತ್ತು ಬೆಂಚ್ಮಾರ್ಕ್ ಮುಕ್ತ ಮೂಲವಾಗಿದೆ |
ನಿಯಂತ್ರಣ | ತಪ್ಪಾಗಿ ವರ್ತಿಸುವ ಏಜೆಂಟ್ ತಲುಪಬಹುದಾದ ಮಿತಿಗಳು | SPACE: ಪ್ರತಿ ಕಾರ್ಯಕ್ಕೆ ಒಂದು ಎಫೆಮೆರಲ್ ಫೈರ್ಕ್ರಾಕರ್ ಮೈಕ್ರೋವಿಎಂ, ಸ್ಯಾಂಡ್ಬಾಕ್ಸ್ನ ಹೊರಗೆ ಇರಿಸಲಾದ ರುಜುವಾತುಗಳು, ನೋಡ್ ಮಟ್ಟದಲ್ಲಿ ನಿಯಂತ್ರಿಸಲ್ಪಡುವ ಔಟ್ಬೌಂಡ್ ಟ್ರಾಫಿಕ್; Portable Computer ನ ಯಾವಾಗಲೂ ಆನ್ ಇರುವ, ಫೇಲ್-ಕ್ಲೋಸ್ಡ್ OS-ಮಟ್ಟದ ಸ್ಯಾಂಡ್ಬಾಕ್ಸ್ | ಎಲ್ಲಾ Computer ಮತ್ತು Portable Computer ಬಳಕೆದಾರರಿಗಾಗಿ ನಿಯೋಜಿಸಲಾಗಿದೆ |
ಸ್ವತಂತ್ರ ಮೇಲ್ವಿಚಾರಣೆ ಮತ್ತು ಪ್ರತಿಕ್ರಿಯೆ | ಏಜೆಂಟ್ಗಳು ವಾಸ್ತವವಾಗಿ ಏನು ಮಾಡುತ್ತವೆ ಎಂಬುದನ್ನು ಗಮನಿಸುತ್ತದೆ ಮತ್ತು ಅಪಾಯಕಾರಿ ಕ್ರಮಗಳನ್ನು ನಿರ್ಬಂಧಿಸುತ್ತದೆ | ಕ್ಲೈಂಟ್ ಎಂಡ್ಪಾಯಿಂಟ್ಗಳಲ್ಲಿ ನಂಬಟ್ (Numbat); Computer ಮತ್ತು Comet ಏಜೆಂಟ್ಗಳಿಗಾಗಿ ರಿಯಲ್-ಟೈಮ್ ಆಡಿಟ್ ಲಾಗ್ಗಳು | ನಿಯೋಜಿಸಲಾಗಿದೆ; ನಂಬಟ್ (Numbat) ಮುಕ್ತ ಮೂಲವಾಗಿದೆ |
ಸುಧಾರಣಾ ಲೂಪ್ | ಅನಿಸಿಕೆಗಳನ್ನು ಉತ್ತಮ ನಿಯಂತ್ರಣಗಳಾಗಿ ಪರಿವರ್ತಿಸುತ್ತದೆ | Computer ಯು ನಂಬಟ್ (Numbat) ಮತ್ತು ಬಂಬಲ್ಬೀ (Bumblebee) ಆವಿಷ್ಕಾರಗಳನ್ನು ಪರಿಶೀಲಿಸುತ್ತದೆ ಮತ್ತು ಸಾಗಿಸುವ ಮೊದಲು ಮಾನವರು ಪರಿಶೀಲಿಸುವ ನಿಯಮ ನವೀಕರಣಗಳನ್ನು ಪ್ರಸ್ತಾಪಿಸುತ್ತದೆ | ಆಂತರಿಕವಾಗಿ ನಿಯೋಜಿಸಲಾಗಿದೆ |
ವಿರೋಧಿ ಪರೀಕ್ಷೆ | ಏಜೆಂಟ್ ಸಕ್ರಿಯವಾಗಿ ಅವುಗಳನ್ನು ಮುರಿಯಲು ಪ್ರಯತ್ನಿಸಿದಾಗ ಇತರ ಪದರಗಳು ಇವೆಯೆ ಎಂದು ಪರಿಶೀಲಿಸುತ್ತದೆ | ಒಂಬತ್ತು ಪ್ರಮುಖ ಮಾದರಿಗಳೊಂದಿಗೆ SPACE ನ ರೆಡ್-ಟೀಮ್ ಮೌಲ್ಯಮಾಪನ; ಪ್ರಾಂಪ್ಟ್-ಇಂಜೆಕ್ಷನ್ ರಕ್ಷಣೆಗಳ ಟ್ರೈಲ್ ಆಫ್ ಬಿಟ್ಸ್ ಆಡಿಟ್ಗಳು; ಬಗ್ ಬೌಂಟಿ ಪ್ರೋಗ್ರಾಂ | ಕಂಡುಕೊಳ್ಳುವಿಕೆಗಳನ್ನು ಸರಿಪಡಿಸಲಾಗಿದೆ, ಮರು-ಪರೀಕ್ಷಿಸಲಾಗಿದೆ ಮತ್ತು ಪ್ರಕಟಿಸಲಾಗಿದೆ |
ಕ್ಲೌಡ್ನಲ್ಲಿ: Computer ಮತ್ತು SPACE
ಪ್ರತಿ Computer ಕಾರ್ಯವು ನಮ್ಮ ಸ್ಯಾಂಡ್ಬಾಕ್ಸ್ ಪ್ಲಾಟ್ಫಾರ್ಮ್ ಆದ SPACE ನಲ್ಲಿ ರನ್ ಆಗುತ್ತದೆ, ಇದು ಡೀಫಾಲ್ಟ್ ಆಗಿ ಏಜೆಂಟ್ ಅನ್ನು ವಿಶ್ವಾಸಾರ್ಹವಲ್ಲ ಎಂದು ಪರಿಗಣಿಸುತ್ತದೆ. ಪ್ರತಿ ಕಾರ್ಯವು ತನ್ನದೇ ಆದ ಮೈಕ್ರೋವಿಎಂ ಅನ್ನು ಪಡೆಯುತ್ತದೆ, ರುಜುವಾತುಗಳು ಸ್ಯಾಂಡ್ಬಾಕ್ಸ್ನ ಹೊರಗೆ ಇರುತ್ತವೆ ಮತ್ತು ಅಗತ್ಯವಿದ್ದಾಗ ಮಾತ್ರ ಇಂಜೆಕ್ಟ್ ಮಾಡಲ್ಪಡುತ್ತವೆ, ಔಟ್ಬೌಂಡ್ ಟ್ರಾಫಿಕ್ ಅತಿಥಿಯ ಹೊರಗೆ ನಿಯಂತ್ರಿಸಲ್ಪಡುತ್ತದೆ, ಮತ್ತು ಸ್ನ್ಯಾಪ್ಶಾಟ್ಗಳು ವಿನಾಶಕಾರಿ ಬದಲಾವಣೆಗಳನ್ನು ಹಿಂತಿರುಗಿಸಲು ನಮಗೆ ಅನುಮತಿಸುತ್ತವೆ (Making SPACE). ಎಂಟರ್ಪ್ರೈಸ್ ಗ್ರಾಹಕರು ತಮ್ಮದೇ ಆದ ಎನ್ಕ್ರಿಪ್ಶನ್ ಕೀಗಳನ್ನು ಸಹ ತರಬಹುದು. ಕೀಲಿಯನ್ನು ರದ್ದುಗೊಳಿಸುವುದರಿಂದ ರಕ್ಷಿತ ಡೇಟಾವನ್ನು ಓದಲಾಗದಂತೆ ಮಾಡುತ್ತದೆ, ಮತ್ತು ಏಜೆಂಟ್ ಆ ನಿರ್ಧಾರವನ್ನು ಮೀರಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ.
ಈ ಪದರಗಳು ಇವೆಯೆ ಎಂದು ನಾವು ಪರೀಕ್ಷಿಸುತ್ತೇವೆ. Escaping SPACE: Part I ನಲ್ಲಿ, ನಾವು ಒಂಬತ್ತು ಪ್ರಮುಖ ಮಾದರಿಗಳಿಗೆ SPACE ಸ್ಯಾಂಡ್ಬಾಕ್ಸ್ ಒಳಗೆ ರೂಟ್ ಪ್ರವೇಶವನ್ನು ನೀಡಿದ್ದೇವೆ ಮತ್ತು ಹೊರಬರಲು ಕೇಳಿದ್ದೇವೆ. ಯಾವುದು VM ನಿಂದ ತಪ್ಪಿಸಿಕೊಳ್ಳಲಿಲ್ಲ, ಆದರೆ ಭಾಗಶಃ ನೆಟ್ವರ್ಕ್ ಪ್ರವೇಶವನ್ನು ಅನುಮತಿಸಿದಾಗ ಕೆಲವು ನೆಟ್ವರ್ಕ್ ನೀತಿಯ ಸುತ್ತ ಮಾರ್ಗಗಳನ್ನು ಕಂಡುಕೊಂಡವು. ನಾವು ಆ ಅಂತರಗಳನ್ನು ಸರಿಪಡಿಸಿದ್ದೇವೆ, ಮರು-ಪರೀಕ್ಷೆಯಲ್ಲಿ ದೋಷಗಳನ್ನು ದೃಢಪಡಿಸಿದ್ದೇವೆ ಮತ್ತು ಇತರ 10 ಸ್ಯಾಂಡ್ಬಾಕ್ಸ್ ಪ್ಲಾಟ್ಫಾರ್ಮ್ಗಳಲ್ಲಿ ಎಂಟರಲ್ಲಿ ನಾವು ಕಂಡುಕೊಂಡಂತಹುದೇ ದೌರ್ಬಲ್ಯಗಳನ್ನು ಅವುಗಳ ಮಾರಾಟಗಾರರಿಗೆ ಬಹಿರಂಗಪಡಿಸಿದ್ದೇವೆ.
ಬ್ರೌಸರ್ನಲ್ಲಿ: Comet ಮತ್ತು BrowseSafe
Comet ಪ್ರಾರಂಭದಿಂದಲೂ ಶ್ರೇೃತ ಪ್ರಾಂಪ್ಟ್-ಇಂಜೆಕ್ಷನ್ ರಕ್ಷಣೆಯನ್ನು ಬಳಸಿದೆ: ವರ್ಗೀಕರಣಗಳು ಮರುಪಡೆಯಲಾದ ವಿಷಯವನ್ನು ಸ್ಕ್ರೀನ್ ಮಾಡುತ್ತವೆ, ರಚನಾತ್ಮಕ ಪ್ರಾಂಪ್ಟ್ಗಳು ಅದನ್ನು ವಿಶ್ವಾಸಾರ್ಹವಲ್ಲ ಎಂದು ಗುರುತಿಸುತ್ತವೆ, ಇಮೇಲ್ ಕಳುಹಿಸುವುದು ಅಥವಾ ಆರ್ಡರ್ ಇಡುವುದು ಮುಂತಾದ ಸೂಕ್ಷ್ಮ ಕ್ರಿಯೆಗಳಿಗೆ ಬಳಕೆದಾರರ ದೃಢೀಕರಣದ ಅಗತ್ಯವಿರುತ್ತದೆ, ಮತ್ತು ಏನನ್ನಾದರೂ ನಿರ್ಬಂಧಿಸಿದಾಗ ಬಳಕೆದಾರರಿಗೆ ತಿಳಿಸಲಾಗುತ್ತದೆ (Comet ಪ್ರಾಂಪ್ಟ್-ಇಂಜೆಕ್ಷನ್ ರಕ್ಷಣೆಗಳು). ಮೊದಲ ಪದರದ ಹಿಂದಿನ ಮುಕ್ತ-ಮೂರು ಪತ್ತೆ ಮಾದರಿಯಾದ BrowseSafe, ನಮ್ಮ BrowseSafe-Bench ಬೆಂಚ್ಮಾರ್ಕ್ನಲ್ಲಿ ಪ್ರಮುಖ ಮಾದರಿಗಳನ್ನು ಮೀರಿಸುತ್ತದೆ, ಆದರೂ ಯಾವುದೇ ಡಿಟೆಕ್ಟರ್ ವೈಫಲ್ಯ-ಸುರಕ್ಷಿತವಾಗಿಲ್ಲ ಎಂದು ಅದೇ ಬೆಂಚ್ಮಾರ್ಕ್ ತೋರಿಸುತ್ತದೆ, ಅದಕ್ಕಾಗಿಯೇ ಪತ್ತೆಹಚ್ಚುವಿಕೆಯು ಎಂದಿಗೂ ಏಕೈಕ ಪದರೋಷವಲ್ಲ (BrowseSafe ಸಂಶೋಧನೆ). Computer ಈ ರಕ್ಷಣೆಗಳನ್ನು ಆನುವಂಶಿಕವಾಗಿ ಪಡೆಯುತ್ತದೆ, ಇವುಗಳನ್ನು Trail of Bits (Perplexity) ಪರಿಶೀಲಿಸಿದೆ.
The device: Portable Computer
Portable Computer ಸ್ಥಳೀಯ-ಮೊದಲ ಏಜೆಂಟ್ ಆಗಿದೆ: ಮಾದರಿ, harness, ಸಂಭಾಷಣೆ ಮತ್ತು ಪಥವು ಡೀಫಾಲ್ಟ್ ಆಗಿ ಬಳಕೆದಾರರ ಯಂತ್ರದಲ್ಲಿ ಉಳಿಯುತ್ತದೆ. LLM ಬದಲಿಗೆ harness ಕೋಡ್ ಆಗಿರುವ ನಿರ್ಣಾಯಕ ಆರ್ಕೆಸ್ಟ್ರೇಟರ್, ಲೂಪ್ ಅನ್ನು ರನ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ನೀತಿಯನ್ನು ಜಾರಿಗೆ ತರುತ್ತದೆ. ಮಾದರಿಯು ಕ್ರಿಯೆಗಳನ್ನು ಪ್ರಸ್ತಾಪಿಸುತ್ತದೆ ಮತ್ತು ಅನುಮೋದಿತ ಟೂಲ್ ಕರೆಗಳು ಪ್ರಕ್ರಿಯೆಗಳು, ಫೈಲ್ ಪಥಗಳು ಮತ್ತು ನೆಟ್ವರ್ಕ್ ಪ್ರವೇಶವನ್ನು ನಿರ್ಬಂಧಿಸುವ OS-ಹಂತದ ಸ್ಯಾಂಡ್ಬಾಕ್ಸ್ನಲ್ಲಿ ರನ್ ಆಗುತ್ತವೆ. ಸ್ಯಾಂಡ್ಬಾಕ್ಸ್ ಯಾವಾಗಲೂ ಆನ್ ಆಗಿರುತ್ತದೆ ಮತ್ತು ವಿಫಲವಾದಾಗ ಮುಚ್ಚಿಕೊಳ್ಳುತ್ತದೆ: ಇದು ಲಭ್ಯವಿಲ್ಲದಿದ್ದರೆ, ಬಳಕೆದಾರರ ಅನುಮತಿಗಳೊಂದಿಗೆ கட்டளைಗಳನ್ನು ರನ್ ಮಾಡುವ ಬದಲು harness ತನ್ನನ್ನು ತಾನೇ ನಿಷ್ಕ್ರಿಯಗೊಳಿಸುತ್ತದೆ. ವೆಬ್ ಹುಡುಕಾಟ, ಕನೆಕ್ಟರ್ಗಳು ಮತ್ತು ಬಲವಾದ ಕ್ಲೌಡ್ ಅಡ್ವೈಸರ್ ಮಾದರಿಗೆ ಉನ್ನತೀಕರಣದಂತಹ ಸಾಧನದ ಗಡಿಯನ್ನು ದಾಟುವ ಕ್ರಿಯೆಗಳು, ಬಳಕೆದಾರರು ಅವುಗಳನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಿದಾಗ ಮತ್ತು ಅನುಮೋದಿಸಿದಾಗ ಮಾತ್ರ ಸಂಭವಿಸುತ್ತವೆ. ಅಡ್ವೈಸರ್ ಕರೆಯ ಮೊದಲು, ಒಂದು PII ಕ್ಲಾಸಿಫೈಯರ್ ಸಂವೇದನಾಶೀಲ ಮಾಹಿತಿಯನ್ನು ಫ್ಲಾಗ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ಕಳುಹಿಸುವುದನ್ನು ಬಳಕೆದಾರರು ನೋಡುತ್ತಾರೆ. ಅಡ್ವೈಸರ್ ಆ ಅನುಮೋದಿತ ಸಂದರ್ಭವನ್ನು ಮಾತ್ರ ಸ್ವೀಕರಿಸುತ್ತದೆ ಮತ್ತು ಸಾಧನದ ಫೈಲ್ಗಳು ಅಥವಾ ಉಪಕರಣಗಳಿಗೆ ಯಾವುದೇ ಪ್ರವೇಶವಿಲ್ಲದೆ ಪಠ್ಯ ಮಾರ್ಗದರ್ಶನವನ್ನು ಹಿಂದಿರುಗಿಸುತ್ತದೆ.
ಎಂಡ್ಪಾಯಿಂಟ್ನಲ್ಲಿ: Numbat
ಡೆವಲಪರ್ ಲ್ಯಾಪ್ಟಾಪ್ಗಳಲ್ಲಿ ಕೋಡಿಂಗ್ ಏಜೆಂಟ್ಗಳು ಮೂಲ ಕೋಡ್, ರುಜುವಾತುಗಳು ಮತ್ತು ಉತ್ಪಾದನಾ ವ್ಯವಸ್ಥೆಗಳಿಗೆ ಪ್ರವೇಶದೊಂದಿಗೆ ಗಂಟೆಗಳ ಕಾಲ ರನ್ ಆಗುತ್ತವೆ. Numbat, ನಮ್ಮ ಮುಕ್ತ ಮೂಲ ಏಜೆಂಟ್ ಭದ್ರತಾ ಸೂಟ್, ಯಾವುದೇ ಏಕೈಕ ಏಜೆಂಟ್ನ ಹೊರಗೆ ಕುಳಿತುಕೊಳ್ಳುವ ಸ್ವತಂತ್ರ ಪದರವನ್ನು ಸೇರಿಸುತ್ತದೆ. ಇದು Claude Code, Codex, OpenCode, ಮತ್ತು Pi ನಂತಹ ಹಾರ್ನೆಸ್ಗಳೊಂದಿಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ, ರನ್ ಆಗುವ ಮೊದಲು ಅಪಾಯಕಾರಿ ಕ್ರಮಗಳನ್ನು ನಿರ್ಬಂಧಿಸುತ್ತದೆ, ರಹಸ್ಯವನ್ನು ಓದುವ ಮತ್ತು ನಂತರ ಡೇಟಾವನ್ನು ಹೊರಗೆ ಕಳುಹಿಸುವಂತಹ ಅನುಮಾನಾಸ್ಪದ ಬಹು-ಹಂತದ ಅನುಕ್ರಮಗಳನ್ನು ಫ್ಲಾಗ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ತನಿಖೆಗಾಗಿ ಸೆಷನ್ ಟೈಮ್ಲೈನ್ಗಳನ್ನು ಸಂರಕ್ಷಿಸುತ್ತದೆ. Numbat ನಮ್ಮ ಮುಕ್ತ ಮೂಲ ಸಪ್ಲೈ-ಚೈನ್ ಸ್ಕ್ಯಾನರ್ ಆದ Bumblebee ಜೊತೆಗೆ ಸಾವಿರಾರು Perplexity ಎಂಡ್ಪಾಯಿಂಟ್ಗಳಲ್ಲಿ ರನ್ ಆಗುತ್ತದೆ. Computer ನಿಯಮಿತವಾಗಿ ಅವುಗಳ ಆವಿಷ್ಕಾರಗಳನ್ನು ಪರಿಶೀಲಿಸುತ್ತದೆ ಮತ್ತು ಸುಧಾರಿತ ಪತ್ತೆ ನಿಯಮಗಳನ್ನು ಪ್ರಸ್ತಾಪಿಸುತ್ತದೆ, ಮತ್ತು ಕಳುಹಿಸುವ ಮೊದಲು ಮಾನವರು ಪ್ರತಿ ಬದಲಾವಣೆಯನ್ನು ಅನುಮೋದಿಸುತ್ತಾರೆ.
ಸಂಪೂರ್ಣ ಉದ್ಯಮಕ್ಕಾಗಿ ಒಂದು ಕೆಲಸ
AI ಏಜೆಂಟ್ಗಳು ಹೆಚ್ಚು ಸಮರ್ಥವಾಗಿ ಮತ್ತು ವ್ಯಾಪಕವಾಗಿ ಬಳಕೆಯಾಗುತ್ತಿದ್ದಂತೆ, ಸುರಕ್ಷತಾ ಎಂಜಿನಿಯರಿಂಗ್ ಅವುಗಳ ಅಭಿವೃದ್ಧಿ ಮತ್ತು ನಿಯೋಜನೆಯಲ್ಲಿ ಪ್ರಮುಖವಾಗಿರಬೇಕು. ಸಂಶೋಧಕರು ಮತ್ತು ಎಂಜಿನಿಯರ್ಗಳು ಸ್ಥಾಪಿತ ತತ್ವಗಳ ಮೇಲೆ ನಿರ್ಮಿಸಬಹುದು, ರಕ್ಷಣೆಯನ್ನು ಪರಿಷ್ಕರಿಸಲು ನೈಜ-ಪ್ರಪಂಚದ ಸಂಶೋಧನೆಗಳನ್ನು ಬಳಸಬಹುದು ಮತ್ತು ಏಜೆಂಟ್ಗಳು ಕಾರ್ಯನಿರ್ವಹಿಸುವ ಪರಿಸರಗಳಲ್ಲಿ ಸುರಕ್ಷತೆಗಳನ್ನು ಪರೀಕ್ಷಿಸಬಹುದು. ಭದ್ರತೆಯು ತಂತ್ರಜ್ಞಾನದೊಂದಿಗೆ ಬೆಳೆಯುವ ನಿರಂತರ ಎಂಜಿನಿಯರಿಂಗ್ ವಿಭಾಗವಾಗಿದೆ.
ಏಜೆಂಟ್ಗಳಿಗಾಗಿ ಭದ್ರತಾ ಎಂಜಿನಿಯರಿಂಗ್ ಇ całym ಉದ್ಯಮದ ಕೆಲಸವಾಗಿದೆ. ಏಜೆಂಟ್ ರನ್ ಆಗುವ ಸಂಪೂರ್ಣ ಸ್ಟ್ಯಾಕ್ ಅನ್ನು ಯಾವುದೇ ಒಂದೇ ಕಂಪನಿ ನಿಯಂತ್ರಿಸುವುದಿಲ್ಲ. ಮಾದರಿ ಡೆವಲಪರ್ಗಳು, ಹಾರ್ನೆಸ್ ಬಿಲ್ಡರ್ಗಳು, ಸ್ಯಾಂಡ್ಬಾಕ್ಸ್ ಮತ್ತು ರನ್ಟೈಮ್ ಒದಗಿಸುವವರು, ಕ್ಲೌಡ್ ಮತ್ತು ಹಾರ್ಡ್ವೇರ್ ಮಾರಾಟಗಾರರು, ಮತ್ತು ಎಂಟರ್ಪ್ರೈಸ್ ಭದ್ರತಾ ತಂಡಗಳು ಪ್ರತಿಯೊಂದೂ ಒಂದು ಪದರವನ್ನು ಹೊಂದಿವೆ. ಇನ್ನೊಂದು ಜಾರಿದಾಗ ಪ್ರತಿಯೊಂದು ಪದರವು ಹಿಡಿದಿಟ್ಟುಕೊಳ್ಳುವುದರ ಮೇಲೆ ಸಂಪೂರ್ಣತೆಯ ಸುರಕ್ಷತೆಯು ಅವಲಂಬಿತವಾಗಿರುತ್ತದೆ. ಅದಕ್ಕಾಗಿಯೇ ನಾವು ಏಜೆಂಟ್ ಹಾರ್ನೆಸ್ಗಳಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವ ಸುರಕ್ಷತೆಗಳನ್ನು ನಿರ್ಮಿಸುತ್ತೇವೆ ಮತ್ತು ನಮ್ಮ ಸಾಧನಗಳನ್ನು ಮುಕ್ತ ಮೂಲವಾಗಿಸುತ್ತೇವೆ. ಇತರ ಪ್ಲಾಟ್ಫಾರ್ಮ್ಗಳಲ್ಲಿ ನಾವು ಕಂಡುಕೊಳ್ಳುವ ದೌರ್ಬಲ್ಯಗಳನ್ನು ನಾವು ಬಹಿರಂಗಪಡಿಸಲು ಮತ್ತು Open Secure AI Alliance ನಂತಹ ಪ್ರಯತ್ನಗಳಲ್ಲಿ ಭಾಗವಹಿಸಲು ಇದು ಕಾರಣವಾಗಿದೆ.
ಈ ಸವಾಲುಗಳಲ್ಲಿ ವಿಶಾಲ ಸಮುದಾಯದೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಲು, Perplexity ಪ್ರಮುಖ AI ವ್ಯವಸ್ಥೆಗಳ ಭದ್ರತೆ, ವಿಶ್ವಾಸಾರ್ಹತೆ ಮತ್ತು ಪ್ರಾಯೋಗಿಕ ರಕ್ಷಣೆಯನ್ನು ಅಧ್ಯಯನ ಮಾಡಲು ಮಾರ್ಚ್ 2026 ರಲ್ಲಿ Secure Intelligence Institute ಅನ್ನು ಪ್ರಾರಂಭಿಸಿತು (Perplexity). Perplexity ಪ್ರಸ್ತುತ ಸ್ಟ್ಯಾನ್ಫೋರ್ಡ್, CMU, ಡ್ಯೂಕ್, ಕೊಲಂಬಿಯಾ, ಓಹಿಯೋ ಸ್ಟೇಟ್ ಮತ್ತು ವರ್ಜinia ವಿಶ್ವವಿದ್ಯಾಲಯದಲ್ಲಿ ಶೈಕ್ಷಣಿಕ ಸಂಶೋಧಕರೊಂದಿಗೆ ಸಹಕರಿಸುತ್ತಿದೆ ಮತ್ತು/ಅಥವಾ ಹಣಕಾಸು ಒದಗಿಸುತ್ತಿದೆ. ಏಜೆಂಟ್ ಭದ್ರತಾ ಸಂಶೋಧನೆಯ ಗಡಿಯನ್ನು ಮುನ್ನಡೆಸಲು, ಆ ಮುನ್ನಡೆಗಳನ್ನು Perplexity ವ್ಯವಸ್ಥೆಗಳಲ್ಲಿ ಕಾಂಕ್ರೀಟ್ ಸುಧಾರಣೆಗಳಾಗಿ ಭಾಷಾಂತರಿಸಲು ಮತ್ತು ವಿಶಾಲವಾದ AI ಪರಿಸರ ವ್ಯವಸ್ಥೆಯನ್ನು ಬಲಪಡಿಸಲು ಸಹಾಯ ಮಾಡುವ ಜ್ಞಾನ ಮತ್ತು ಸಂಪನ್ಮೂಲಗಳನ್ನು ಹಂಚಿಕೊಳ್ಳಲು ನಾವು ಇಂಟ್ರಾಮುರಲ್ ಸಂಶೋಧನೆಯನ್ನು ಸಹ ನಡೆಸುತ್ತಿದ್ದೇವೆ. ಸುರಕ್ಷಿತ ಏಜೆಂಟ್ಗಳು ಉದ್ಯಮವು ಎಂಜಿನಿಯರ್ ಮಾಡಬಹುದಾದ ಸಂಗತಿಯಾಗಿದೆ. ನಮ್ಮ ಪಾಲನ್ನು ಮಾಡುವುದನ್ನು ಮುಂದುವರಿಸಲು ನಾವು打算 ಮಾಡಿದ್ದೇವೆ ಮತ್ತು ನಮ್ಮೊಂದಿಗೆ ನಿರ್ಮಿಸಲು ಇತರರನ್ನು ನಾವು ಆಹ್ವಾನಿಸುತ್ತೇವೆ.