RAG ಆರ್ಕಿಟೆಕ್ಚರ್ ಎಂದರೇನು? ವಿವರವಾದ ಪ್ರಾಯೋಗಿಕ ಉದಾಹರಣೆಗಳೊಂದಿಗೆ ಸಂಪೂರ್ಣ ವ್ಯಾಖ್ಯಾನ

RAG (retrieval augmented generation, ಅಂದರೆ ಮರುಪಡೆಯುವಿಕೆ-ವರ್ಧಿತ ಉತ್ಪಾದನೆ) ಎಂಬುದು LLMಗಳು ತಮ್ಮ ಔಟ್‌ಪುಟ್‌ಗಳನ್ನು ವಿಸ್ತರಿಸಲು ಮತ್ತು ಸುಧಾರಿಸಲು ಬಾಹ್ಯ ಮಾಹಿತಿಯನ್ನು ಬಳಸುವ ಪ್ರಕ್ರಿಯೆಯಾಗಿದೆ. RAG ಅನ್ನು ಸಾಧ್ಯವಾಗಿಸುವ ಘಟಕಗಳು ಮತ್ತು ಸಂಪರ್ಕಗಳ ಸಮೂಹವೇ RAG ಆರ್ಕಿಟೆಕ್ಚರ್.

RAGನಲ್ಲಿ ಹಲವಾರು ವಿಭಿನ್ನ ವರ್ಗಗಳಿವೆ, ಮತ್ತು ಪ್ರತಿಯೊಂದೂ ತನ್ನದೇ ಆದ ವಿಶಿಷ್ಟ ಆರ್ಕಿಟೆಕ್ಚರ್‌ನಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಮೂಲತಃ, ಮಾಹಿತಿಯನ್ನು ಸಂಗ್ರಹಿಸುವ, ಮರುಪಡೆಯುವ ಮತ್ತು LLMಗೆ ಒದಗಿಸುವ ವಿಶಿಷ್ಟ ವಿಧಾನವನ್ನು RAG ಸಿಸ್ಟಮ್‌ನ ಆರ್ಕಿಟೆಕ್ಚರ್ ನಿರ್ಧರಿಸುತ್ತದೆ.

RAG ಆರ್ಕಿಟೆಕ್ಚರ್ ಎಂದರೇನು?

RAG ಆರ್ಕಿಟೆಕ್ಚರ್ ಎಂದರೆ ನಿರ್ದಿಷ್ಟ RAG ಸಿಸ್ಟಮ್‌ಗೆ ಶಕ್ತಿ ನೀಡುವ ಘಟಕಗಳ (ಮತ್ತು ಅವುಗಳ ಸಂಬಂಧಿತ ಸಾಮರ್ಥ್ಯಗಳ) ಆಧಾರಭೂತ ರಚನೆ. ಈ ಎಲ್ಲಾ ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳು ಒಂದು ಮೂಲಭೂತ ಮಾದರಿಯ ಮೇಲೆ ನಿರ್ಮಿತವಾಗಿವೆ, ಇದನ್ನು ಸಾಮಾನ್ಯವಾಗಿ "ಸರಳ" ಅಥವಾ “ನೈವ್” RAG ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ.

ಮೂಲಭೂತ RAG ಆರ್ಕಿಟೆಕ್ಚರ್‌ನ ಉನ್ನತ ಮಟ್ಟದ ಅವಲೋಕನ ಇಲ್ಲಿದೆ:

• ಮಾಹಿತಿ ಮೂಲ: ಬಾಹ್ಯ ಮಾಹಿತಿಯನ್ನು ಸಂಗ್ರಹಿಸಿಡುವ ಸ್ಥಳ ಇದು. ಇದು ಸರ್ಚ್ ಇಂಡೆಕ್ಸ್, ಅಪಾರ ಪ್ರಮಾಣದ ಮಾಹಿತಿಯನ್ನು ಪ್ರತಿನಿಧಿಸುವ ವೆಕ್ಟರ್ ಡೇಟಾಬೇಸ್ ಅಥವಾ ಕಚ್ಚಾ ಡಾಕ್ಯುಮೆಂಟ್ ರೆಪೊಸಿಟರಿ ಆಗಿರಬಹುದು.
• ಮರುಪಡೆಯುವಿಕೆ ಘಟಕ: ಮಾಹಿತಿ ಮೂಲವನ್ನು ಕ್ವೆರಿ ಮಾಡುವ ಕಾರ್ಯವಿಧಾನ ಇದು. ಉದಾಹರಣೆಗೆ, RAG ಸಿಸ್ಟಮ್ ಸಂಬಂಧಿತ ಪಠ್ಯ ತುಣುಕುಗಳನ್ನು ಹುಡುಕಲು ಸರಳ ಕೀವರ್ಡ್ ಹುಡುಕಾಟವನ್ನು ಅಥವಾ ಸಾಮ್ಯತೆಯ ಹುಡುಕಾಟ ನಡೆಸಲು ಹೆಚ್ಚು ಸಂಕೀರ್ಣವಾದ ವೆಕ್ಟರ್ ಕ್ವೆರಿಗಳನ್ನು ಬಳಸಬಹುದು.
• ಆರ್ಕೆಸ್ಟ್ರೇಶನ್ ಘಟಕ: ಈ ಲೇಯರ್ LLM ಆಧಾರಿತ ಅಪ್ಲಿಕೇಶನ್‌ನ ಭಾಗವಾಗಿದ್ದು, ಬಳಕೆದಾರರ ಪ್ರಾಂಪ್ಟ್‌ಗಾಗಿ LLMನೊಂದಿಗೆ ಸೇರಿ ಅಥವಾ ಸ್ವತಂತ್ರವಾಗಿ RAG ಪೈಪ್‌ಲೈನ್ ಅನ್ನು ಆರಂಭಿಸುತ್ತದೆ. ಇದು ಮರುಪಡೆದ ಮಾಹಿತಿಯನ್ನು ವಿಸ್ತೃತ ಪ್ರಾಂಪ್ಟ್ ಆಗಿ ಸಂಕಲಿಸುವ ಕೆಲಸವನ್ನೂ ಮಾಡುತ್ತದೆ.

RAG ಆರ್ಕಿಟೆಕ್ಚರ್ ಘಟಕಗಳನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ಎರಡು ಮಾರ್ಗಗಳಾಗಿ ಸಂಘಟಿಸಲಾಗುತ್ತದೆ. ಇಂಜೆಶನ್ ಮಾರ್ಗ ಡೇಟಾವನ್ನು ಪಡೆದು, ಅದನ್ನು ಹುಡುಕಬಹುದಾದ ಮಾಹಿತಿ ಮೂಲವಾಗಿ ಸಂಘಟಿಸುತ್ತದೆ. ಅಪಾರ ಪ್ರಮಾಣದ ಪಠ್ಯವನ್ನು ವೆಕ್ಟರ್ ಎಂಬೆಡಿಂಗ್‌ಗಳ ಹುಡುಕಬಹುದಾದ ರೆಪೊಸಿಟರಿಯಾಗಿ ಪರಿವರ್ತಿಸುವ ವೆಕ್ಟರ್ ಡೇಟಾಬೇಸ್‌ಗಳು ಅತ್ಯಂತ ವ್ಯಾಪಕವಾಗಿ ಬಳಸಲಾಗುವ ಅನ್ವಯಗಳಲ್ಲಿ ಒಂದಾಗಿವೆ.

ಮರುಪಡೆಯುವಿಕೆ ಮಾರ್ಗ ಬಳಕೆದಾರರ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಪಡೆದು, ಮಾಹಿತಿ ಮೂಲವನ್ನು ಹುಡುಕಲು ಒಂದು ಕ್ವೆರಿಯನ್ನು ರಚಿಸುತ್ತದೆ. ನಂತರ ಆರ್ಕೆಸ್ಟ್ರೇಟರ್ ಮರುಪಡೆದ ಮಾಹಿತಿಯನ್ನು LLMನ ಸಂದರ್ಭ ಇನ್‌ಪುಟ್‌ಗೆ ಸೇರಿಸುತ್ತದೆ. ಏಜೆಂಟಿಕ್ ಮತ್ತು ಹೈಬ್ರಿಡ್ RAG ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳಲ್ಲಿ ಅನೇಕ ಮರುಪಡೆಯುವಿಕೆ ಮಾರ್ಗಗಳು ಇರಬಹುದು.

RAG ಆರ್ಕಿಟೆಕ್ಚರ್‌ನ ಪ್ರಕಾರಗಳು

RAG ಅನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಪ್ರತ್ಯೇಕ ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳ ರೂಪದಲ್ಲಿ ನೋಡುವುದು ತಪ್ಪು ಕಲ್ಪನೆಗೆ ಕಾರಣವಾಗುತ್ತದೆ. ಹೆಚ್ಚಿನ ಎಂಜಿನಿಯರ್‌ಗಳು ಮಾಡ್ಯುಲರ್ ವಿಧಾನವನ್ನು ಅನುಸರಿಸಿ, ನಿರ್ದಿಷ್ಟ ಬಳಕೆಯ ಸಂದರ್ಭಗಳಿಗೆ ತಕ್ಕಂತೆ ಪ್ರತ್ಯೇಕ ಘಟಕಗಳನ್ನು ಅಳವಡಿಸುತ್ತಾರೆ. ಸ್ಥೂಲವಾದ ಗಡಿಗಳನ್ನು ಗುರುತಿಸಲು ಸಾಧ್ಯವಾದರೂ, ಆರ್ಕಿಟೆಕ್ಚರ್ ಮಾದರಿಗಳ ನಡುವೆ ಗಣನೀಯ ಅತಿಕ್ರಮಣವಿದೆ ಎಂಬುದನ್ನು ಗಮನಿಸುವುದು ಮುಖ್ಯ.

1. ಮೂಲಭೂತ RAG

“ನೈವ್” ಅಥವಾ “ಸರಳ” RAG ಎಂದೂ ಕರೆಯಲಾಗುವ ಮೂಲಭೂತ RAG, ಇತರ ಪ್ರಕಾರದ RAGಗಳಿಗೆ ಆರ್ಕಿಟೆಕ್ಚರಲ್ ಮಾದರಿಯಾಗಿದೆ.

ಇದರ ಆಧಾರಭೂತ ಪ್ರಕ್ರಿಯೆ ತುಲನಾತ್ಮಕವಾಗಿ ಸರಳವಾಗಿದೆ: ಬಳಕೆದಾರರು ಪ್ರಾಂಪ್ಟ್ ನಮೂದಿಸುತ್ತಾರೆ, ಬಾಹ್ಯ ಮಾಹಿತಿ ಅಗತ್ಯವಿದೆಯೇ ಎಂಬುದನ್ನು ಆರ್ಕೆಸ್ಟ್ರೇಟರ್ (ಸ್ವತಂತ್ರವಾಗಿ ಅಥವಾ LLMನೊಂದಿಗೆ ಸೇರಿ) ನಿರ್ಧರಿಸುತ್ತದೆ, ಮತ್ತು ಅದರಂತೆ ಮರುಪಡೆಯುವಿಕೆ ಕ್ವೆರಿಯನ್ನು ರೂಪಿಸಿ ಕಳುಹಿಸುತ್ತದೆ.

ಬಾಹ್ಯ ಮಾಹಿತಿ ಮೂಲವು ಸಾಮಾನ್ಯವಾಗಿ ವೆಕ್ಟರ್ ಡೇಟಾಬೇಸ್ ಆಗಿರುತ್ತದೆ, ಆದರೆ ಅದು SQL ಡೇಟಾಬೇಸ್, ವೆಬ್ API, ನಾಲೆಡ್ಜ್ ಗ್ರಾಫ್ ಅಥವಾ “ಕಚ್ಚಾ” ಡಾಕ್ಯುಮೆಂಟ್ ರೆಪೊಸಿಟರಿ ಕೂಡ ಆಗಿರಬಹುದು. ನಂತರ ಈ ಹೆಚ್ಚುವರಿ ಮಾಹಿತಿಯನ್ನು LLMನ ಇನ್‌ಪುಟ್ ಸಂದರ್ಭಕ್ಕೆ ಸೇರಿಸಲಾಗುತ್ತದೆ.

SQL ಕ್ವೆರಿಗಳು ಮತ್ತು APIಗಳನ್ನು ಹೊರತುಪಡಿಸಿ, ಮರುಪಡೆಯುವಿಕೆ ವಿಧಾನಗಳಲ್ಲಿ ಎರಡು ವಿಶಾಲ ಪ್ರಕಾರಗಳಿವೆ:

• ಲೆಕ್ಸಿಕಲ್ ಹುಡುಕಾಟ (ಕೀವರ್ಡ್ ಹುಡುಕಾಟ): ಇದು RAGನ ಸರಳ ರೂಪವಾಗಿದ್ದು, ಇದರಲ್ಲಿ ಬಳಕೆದಾರರ ಕ್ವೆರಿಯಿಂದ ಕೀವರ್ಡ್‌ಗಳನ್ನು ಹೊರತೆಗೆದು, ಆ ಕೀವರ್ಡ್‌ಗಳನ್ನು ಒಳಗೊಂಡಿರುವ ಪಠ್ಯ ಭಾಗಗಳೊಂದಿಗೆ ಹೊಂದಿಸಲಾಗುತ್ತದೆ. ಆಧುನಿಕ ಪೈಪ್‌ಲೈನ್‌ಗಳಲ್ಲಿ, ಇದಕ್ಕಾಗಿ ಆರ್ಕೆಸ್ಟ್ರೇಟರ್ ಸ್ಪಾರ್ಸ್ ವೆಕ್ಟರ್ ಕ್ವೆರಿ ಎಂದು ಕರೆಯಲಾಗುವ ಕ್ವೆರಿಯನ್ನು ನಡೆಸಬಹುದು; ಇದು ಅರ್ಥವನ್ನು ಗ್ರಹಿಸುವುದಿಲ್ಲ.
• ಡೆನ್ಸ್ ವೆಕ್ಟರ್ ಹುಡುಕಾಟ (ಸೆಮ್ಯಾಂಟಿಕ್ ಹುಡುಕಾಟ): ಡೆನ್ಸ್ ವೆಕ್ಟರ್ ಎಂಬೆಡಿಂಗ್‌ಗಳು ಅರ್ಥವನ್ನು ಗ್ರಹಿಸುತ್ತವೆ. ಬಳಕೆದಾರರ ಪ್ರಾಂಪ್ಟ್ ಮತ್ತು ಮೂಲ ಮಾಹಿತಿ ಎರಡರ ಅರ್ಥವನ್ನೂ ಗ್ರಹಿಸುವ ರೀತಿಯಲ್ಲಿ ಆರ್ಕೆಸ್ಟ್ರೇಟರ್ ಡೆನ್ಸ್ ವೆಕ್ಟರ್ ಡೇಟಾಬೇಸ್ ಅನ್ನು ಕ್ವೆರಿ ಮಾಡಬಹುದು.

ಮೆಮೊರಿಯ ಬಳಕೆಯೂ RAG ಆರ್ಕಿಟೆಕ್ಚರ್‌ನ ಪ್ರಮುಖ ಭಾಗವಾಗಿದೆ. ಮರುಪಡೆಯುವಿಕೆ ಕ್ವೆರಿಯನ್ನು ರೂಪಿಸಲು LLM ಹಿಂದಿನ ಚಾಟ್‌ಗಳ ಸಂದರ್ಭವನ್ನು ಹೇಗೆ ಬಳಸುತ್ತದೆ ಎಂಬುದನ್ನು ಇದು ಸೂಚಿಸುತ್ತದೆ; ಆ ಮೂಲಕ ಕ್ವೆರಿಯು ಒಂದು ಚರ್ಚೆಯ (ಅಥವಾ ಅನೇಕ ಚರ್ಚೆಗಳ) ವಿಶಾಲ ಸಂದರ್ಭದಲ್ಲಿ ನೆಲೆಗೊಳ್ಳುತ್ತದೆ. ಹೆಚ್ಚಿನ ಚಾಟ್‌ಬಾಟ್‌ಗಳಲ್ಲಿ ಸಂಭಾಷಣಾತ್ಮಕ RAG ರೂಢಿಯಾಗಿದೆ, ಆದರೂ ಬೆಂಬಲ ಟಿಕೆಟ್ ಪ್ರತಿಕ್ರಿಯೆಗಳಂತಹ ಕೆಲವು ಬಳಕೆಯ ಸಂದರ್ಭಗಳಲ್ಲಿ ಏಕ-ಪ್ರಶ್ನೆ RAG ಬಳಸಬಹುದು.

2. ಹೈಬ್ರಿಡ್

ಹೈಬ್ರಿಡ್ RAG ಎರಡು ವಿಭಿನ್ನ ರೀತಿಯ ಮರುಪಡೆಯುವಿಕೆಯನ್ನು, ಸಾಮಾನ್ಯವಾಗಿ ಕೀವರ್ಡ್ ಮತ್ತು ಸೆಮ್ಯಾಂಟಿಕ್ ಮರುಪಡೆಯುವಿಕೆಯನ್ನು ಸಂಯೋಜಿಸುತ್ತದೆ. ಕೀವರ್ಡ್ ಹುಡುಕಾಟವು ಹೊಂದಿಕೆಯಾಗುವ ಪದಗಳನ್ನು ಕಂಡುಹಿಡಿಯುತ್ತದೆ, ಮತ್ತು ವೆಕ್ಟರ್ ಆಧಾರಿತ ಹುಡುಕಾಟವು ಸಂಬಂಧಿತ ಅರ್ಥವಿರುವ ಪಠ್ಯ ಭಾಗಗಳನ್ನು ಕಂಡುಹಿಡಿಯುತ್ತದೆ.

ನಾಲೆಡ್ಜ್ ಗ್ರಾಫ್ ಟ್ರಾವರ್ಸಲ್ ಅಥವಾ SQL ಡೇಟಾಬೇಸ್ ಕ್ವೆರಿಗಳಂತಹ ಇತರ ರೀತಿಯ ಮರುಪಡೆಯುವಿಕೆಯನ್ನೂ ಬಳಸಬಹುದು. ಈ ಪ್ರಕ್ರಿಯೆಯು ಸಾಮಾನ್ಯವಾಗಿ ರೂಟಿಂಗ್ ಲಾಜಿಕ್‌ನಿಂದ ಮಾರ್ಗದರ್ಶಿಸಲ್ಪಡುತ್ತದೆ; ಇದು ಪ್ರೋಗ್ರಾಮ್ ಮಾಡಿದ ನಿಯಮಗಳ ರೂಪದಲ್ಲಿರಬಹುದು ಅಥವಾ ಮಾಡೆಲ್ ಪ್ರಶ್ನೆಯನ್ನು ವರ್ಗೀಕರಿಸುವ ರೂಪದಲ್ಲಿರಬಹುದು (ಆದರೂ ಅನೇಕ ಪೈಪ್‌ಲೈನ್‌ಗಳು ಏಕಕಾಲದಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸಬಹುದು).

ಆರ್ಕೆಸ್ಟ್ರೇಟರ್ ಫಲಿತಾಂಶಗಳನ್ನು ವಿಲೀನಗೊಳಿಸುತ್ತದೆ ಮತ್ತು ಅವುಗಳನ್ನು LLMಗೆ ರವಾನಿಸುವ ಮೊದಲು ಮರುಶ್ರೇಣೀಕರಿಸಬಹುದು. ಮರುಶ್ರೇಣೀಕರಣ (reranking) ಎಂದರೆ ಮರುಪಡೆದ ತುಣುಕುಗಳಿಗೆ ಪ್ರಸ್ತುತತೆಯ ಅಂಕಗಳನ್ನು ನೀಡುವ ಪ್ರಕ್ರಿಯೆ; ಇದರಿಂದ LLM ಅತ್ಯಂತ ಅನ್ವಯವಾಗುವ ಮಾಹಿತಿಗೆ ಆದ್ಯತೆ ನೀಡುತ್ತದೆ.

3. ಅಡಾಪ್ಟಿವ್ RAG

ಅಡಾಪ್ಟಿವ್ RAGನಲ್ಲಿ, ರೂಟಿಂಗ್ ಘಟಕವು ಬಳಕೆದಾರರ ಪ್ರಾಂಪ್ಟ್‌ನ ಅಗತ್ಯಗಳನ್ನು ಆಧರಿಸಿ ಮರುಪಡೆಯುವಿಕೆ ತಂತ್ರವನ್ನು ಆಯ್ಕೆ ಮಾಡುತ್ತದೆ, ನಂತರ ಆರ್ಕೆಸ್ಟ್ರೇಟರ್ ಆಯ್ಕೆ ಮಾಡಿದ ಕಾರ್ಯಪ್ರವಾಹವನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸುತ್ತದೆ.

ಮೂಲ ಫ್ರೇಮ್‌ವರ್ಕ್‌ನಲ್ಲಿ (Adaptive-RAG), ಒಂದು ಚಿಕ್ಕ ಮಾಡೆಲ್ ವರ್ಗೀಕರಣಕಾರಕವಾಗಿ (classifier) ಕಾರ್ಯನಿರ್ವಹಿಸಿ, ಮರುಪಡೆಯುವಿಕೆ ಇಲ್ಲದಿರುವುದು, ಏಕ-ಹಂತದ ಮರುಪಡೆಯುವಿಕೆ ಅಥವಾ ಬಹು-ಹಂತದ ಮರುಪಡೆಯುವಿಕೆ ಇವುಗಳಲ್ಲಿ ಒಂದನ್ನು ಆಯ್ಕೆ ಮಾಡುತ್ತಿತ್ತು. ಕೆಲವು ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳು ಈಗ ಇದರ ಬದಲಿಗೆ ಜನರೇಟಿವ್ ಮಾಡೆಲ್‌ಗಳನ್ನು ಅಥವಾ ನಿಯಮ ಆಧಾರಿತ ಹ್ಯೂರಿಸ್ಟಿಕ್‌ಗಳನ್ನು ಬಳಸುತ್ತವೆ.

ಇದು ಪ್ರಾಂಪ್ಟ್‌ನ ಸಂಕೀರ್ಣತೆ ಮತ್ತು ಅಗತ್ಯಗಳನ್ನು ಆಧರಿಸಿ ಸಂಸ್ಕರಣಾ ಶಕ್ತಿಯನ್ನು ನಿಗದಿಪಡಿಸುವುದರಿಂದ ಮತ್ತು ಸರಳ ಪ್ರಾಂಪ್ಟ್‌ಗಳಿಗೆ ಅನಗತ್ಯ ಮರುಪಡೆಯುವಿಕೆ ಹಂತಗಳನ್ನು ಕಡಿಮೆ ಮಾಡುವುದರಿಂದ ಜನಪ್ರಿಯ ಆರ್ಕಿಟೆಕ್ಚರ್ ಆಗಿದೆ. ಅನೇಕ ಪ್ರಕಾರದ ಪ್ರಶ್ನೆಗಳನ್ನು ನಿರ್ವಹಿಸುವ ಅಸಿಸ್ಟೆಂಟ್‌ಗಳಲ್ಲಿ ಇದು ಸಾಮಾನ್ಯವಾಗಿದೆ.

4. ಕರೆಕ್ಟಿವ್ RAG (CRAG)

ಕರೆಕ್ಟಿವ್ RAG ಮರುಪಡೆದ ಮಾಹಿತಿಯನ್ನು LLMನ ಸಂದರ್ಭ ಇನ್‌ಪುಟ್‌ಗೆ ಸೇರಿಸುವ ಮೊದಲು ಅದನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತದೆ. ಮರುಪಡೆದ ಮಾಹಿತಿಯು ಪ್ರಸ್ತುತ ಮತ್ತು ಉಪಯುಕ್ತವಾಗಿದೆಯೇ ಎಂಬುದನ್ನು ಮರುಪಡೆಯುವಿಕೆ ಮೌಲ್ಯಮಾಪಕವು ಪರಿಶೀಲಿಸುತ್ತದೆ. ಉತ್ತರ ರಚನೆಗೂ ಮೊದಲು ಇರುವ ಸ್ಪಷ್ಟವಾದ ಮೌಲ್ಯಮಾಪನ-ಮತ್ತು-ತಿದ್ದುಪಡಿ ಹಂತವೇ ಇದರ ವಿಶಿಷ್ಟ ಆರ್ಕಿಟೆಕ್ಚರಲ್ ವೈಶಿಷ್ಟ್ಯ.

ಮಾಹಿತಿಯು ಅಪೂರ್ಣವಾಗಿದೆ ಅಥವಾ ಪ್ರಾಂಪ್ಟ್‌ಗೆ ಅನ್ವಯಿಸುವುದಿಲ್ಲ ಎಂದು ಕಂಡುಬಂದರೆ, ಹೆಚ್ಚುವರಿ ವಿನಂತಿಗಳನ್ನು ಪ್ರಚೋದಿಸಲಾಗುತ್ತದೆ. ಇವು ಮೂಲ ವಿನಂತಿಗೆ ಬಳಸಿದ ವಿಧಾನಗಳಿಗಿಂತ ಭಿನ್ನವಾದ, ವೆಬ್ ಹುಡುಕಾಟ ಅಥವಾ ನಾಲೆಡ್ಜ್ ಗ್ರಾಫ್ ಟ್ರಾವರ್ಸಲ್‌ನಂತಹ ಮರುಪಡೆಯುವಿಕೆ ವಿಧಾನಗಳನ್ನು ಒಳಗೊಂಡಿರಬಹುದು.

ವೈದ್ಯಕೀಯ ಮತ್ತು ಕಾನೂನಿನಂತಹ ನಿಖರತೆ ಮುಖ್ಯವಾಗಿರುವ ಕ್ಷೇತ್ರಗಳಲ್ಲಿ ಕರೆಕ್ಟಿವ್ RAG ಸಾಮಾನ್ಯವಾಗಿದೆ. ಆದರೆ, ಮೂಲತಃ ಮರುಪಡೆದ ಪಠ್ಯ ಭಾಗಗಳಿಗೆ ಪೂರಕವಾಗಬಲ್ಲ ಹೆಚ್ಚುವರಿ ಮಾಹಿತಿ ಮೂಲ ಇದಕ್ಕೆ ಅಗತ್ಯವಿದೆ.

5. ಸೆಲ್ಫ್-RAG

ಸೆಲ್ಫ್-RAGನಲ್ಲಿ, ಆರಂಭಿಕ ಸಂದರ್ಭ ಇನ್‌ಪುಟ್ ಪಡೆದ ನಂತರ ಮಾಡೆಲ್ ವಿನಂತಿಗಳನ್ನು ಆರಂಭಿಸಬಹುದು. ರಚಿಸಲಾದ ಉತ್ತರಗಳನ್ನು ರಿಫ್ಲೆಕ್ಷನ್ ಟೋಕನ್‌ಗಳನ್ನು ಬಳಸಿ ಮರುಪಡೆದ ಸಾಕ್ಷ್ಯಾಧಾರಗಳೊಂದಿಗೆ ಹೋಲಿಸಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡಲಾಗುತ್ತದೆ, ಮತ್ತು ಅಗತ್ಯವಿದ್ದಂತೆ ಆರ್ಕೆಸ್ಟ್ರೇಟರ್ ಮೂಲಕ ಹೆಚ್ಚಿನ ವಿನಂತಿಗಳನ್ನು ಕಳುಹಿಸಲಾಗುತ್ತದೆ. ಇದಕ್ಕೆ ವ್ಯತಿರಿಕ್ತವಾಗಿ, ಯಾವುದೇ ಮರುಪಡೆಯುವಿಕೆಯ ಅಗತ್ಯವೇ ಇಲ್ಲ ಎಂದು LLM ನಿರ್ಧರಿಸಬಹುದು.

ಇದು ಕರೆಕ್ಟಿವ್ RAGಗಿಂತ ಭಿನ್ನವಾಗಿದೆ, ಏಕೆಂದರೆ ಇಲ್ಲಿ LLM ತನ್ನದೇ ಔಟ್‌ಪುಟ್‌ಗಳನ್ನು ವಿಮರ್ಶಿಸುತ್ತದೆ, ಮರುಪಡೆಯುವಿಕೆ ಅಗತ್ಯವಿದೆಯೇ ಮತ್ತು ಮರುಪಡೆದ ಪಠ್ಯ ಉಪಯುಕ್ತವಾಗಿದೆಯೇ ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುತ್ತದೆ, ಹಾಗೂ ತನ್ನದೇ ಉತ್ತರಗಳನ್ನು ಗಮನಿಸುತ್ತಾ ಅಗತ್ಯವಿದ್ದಂತೆ ಮಾರ್ಪಡಿಸುತ್ತದೆ. ಮತ್ತೊಂದೆಡೆ, ಕರೆಕ್ಟಿವ್ RAG ಉತ್ತರ ರಚನೆಗೂ ಮೊದಲು ಮರುಪಡೆದ ಮಾಹಿತಿಯ ಗುಣಮಟ್ಟವನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತದೆ.

ಸಂಕೀರ್ಣವಾದ, ಆಳಗಿನ ಸಂಶೋಧನೆ ಶೈಲಿಯ ಪ್ರಾಂಪ್ಟ್‌ಗಳಿಗೆ ಈ ಆರ್ಕಿಟೆಕ್ಚರ್ ವಿಶೇಷವಾಗಿ ಉಪಯುಕ್ತವಾಗಿದೆ. ಇದು (ಮರುಪಡೆದ ಮಾಹಿತಿಯ) ಪ್ರಸ್ತುತತೆಯ ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ಉತ್ತರ ರಚನೆಯೊಂದಿಗೆ ಸಂಯೋಜಿಸುವುದರಿಂದ, ಸಾಕ್ಷ್ಯಾಧಾರಿತ ಪ್ರತಿಕ್ರಿಯೆಗಳ ಅಗತ್ಯವಿರುವ ಪ್ರಾಂಪ್ಟ್‌ಗಳಿಗೆ ಇದು ಉತ್ತಮ ಆಯ್ಕೆಯಾಗಿದೆ.

6. ಏಜೆಂಟಿಕ್ RAG

ಏಜೆಂಟಿಕ್ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ನ ಸಂದರ್ಭದಲ್ಲಿ ಕಾರ್ಯಗತಗೊಳ್ಳುವ ಯಾವುದೇ ರೀತಿಯ RAG ಅನ್ನು ಏಜೆಂಟಿಕ್ RAG ಎನ್ನಲಾಗುತ್ತದೆ. ಅಗತ್ಯವಿರುವ ಮಾಹಿತಿಯ ಪ್ರಕಾರವನ್ನು ನಿರ್ಧರಿಸಲು ಮಾಡೆಲ್ ತನ್ನ ರೀಜನಿಂಗ್ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಬಳಸುತ್ತದೆ ಮತ್ತು ಲಭ್ಯವಿರುವ ಮರುಪಡೆಯುವಿಕೆ ಆಯ್ಕೆಗಳಿಂದ ಆರಿಸಿಕೊಳ್ಳುತ್ತದೆ.

ಅಗತ್ಯವಿದ್ದಂತೆ ಮರುಪಡೆಯುವಿಕೆಯನ್ನು ಅನೇಕ ಬಾರಿ ಪ್ರಚೋದಿಸಬಹುದು, ಮತ್ತು ಹೆಚ್ಚು ಸಂಕೀರ್ಣ ಕ್ವೆರಿಗಳಿಗಾಗಿ ಏಜೆಂಟ್‌ಗಳನ್ನು ನಿಯೋಜಿಸುವ ಆಯ್ಕೆಯೂ ಮಾಡೆಲ್‌ಗೆ ಇರುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, ಒಬ್ಬ ಪೂರೈಕೆದಾರರನ್ನು ಗುರುತಿಸಲು LLM ಡೇಟಾಬೇಸ್ ಲುಕಪ್ ವಿನಂತಿಸಬಹುದು, ಸಂಬಂಧಿತ ಒಪ್ಪಂದಗಳನ್ನು ಹುಡುಕಲು ಡಾಕ್ಯುಮೆಂಟ್ ಹುಡುಕಾಟವನ್ನು ಪ್ರಚೋದಿಸಬಹುದು, ಮತ್ತು ಕೊನೆಯಲ್ಲಿ ಸಾರ್ವಜನಿಕ ಮೂಲಗಳನ್ನು ಬಳಸಿ ಸಂಪರ್ಕ ವಿವರಗಳನ್ನು ಪರಿಶೀಲಿಸಲು ವೆಬ್ ಹುಡುಕಾಟ ನಡೆಸಬಹುದು.

Perplexity, ChatGPT, Claude ಮುಂತಾದ ಮುಖ್ಯವಾಹಿನಿಯ ಚಾಟ್‌ಬಾಟ್‌ಗಳಲ್ಲಿ ಏಜೆಂಟಿಕ್ RAG ಪ್ರಮುಖ ಆರ್ಕಿಟೆಕ್ಚರ್ ಅನುಷ್ಠಾನವಾಗಿದೆ. ಈ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ಗಳು ಮುಖ್ಯ ಮಾಡೆಲ್‌ಗೆ ಅನೇಕ ಟೂಲ್‌ಗಳು ಮತ್ತು RAG ಪೈಪ್‌ಲೈನ್‌ಗಳಿಗೆ ಪ್ರವೇಶ ನೀಡುವುದರಿಂದ, ಯಾವ ರೀತಿಯ ಮರುಪಡೆಯುವಿಕೆ ಪ್ರಾಂಪ್ಟ್‌ಗೆ ಅತ್ಯಂತ ಸೂಕ್ತವಾಗಿದೆ ಎಂಬುದನ್ನು ಮಾಡೆಲ್ ಆಯ್ಕೆ ಮಾಡಬಹುದು.

7. ಮಲ್ಟಿಮೋಡಲ್ RAG

ಮಲ್ಟಿಮೋಡಲ್ RAG ವಿವಿಧ ರೀತಿಯ ಮಾಧ್ಯಮಗಳಾದ್ಯಂತ ಸಂದರ್ಭವನ್ನು ಮರುಪಡೆಯುತ್ತದೆ. ಇದು RAGನ ಪ್ರಮುಖ ರೂಪವಾಗಿದೆ, ಏಕೆಂದರೆ ಇಲ್ಲದಿದ್ದರೆ LLMಗಳಿಗೆ ಲಭ್ಯವಾಗದ ಚಾರ್ಟ್‌ಗಳು ಮತ್ತು ಆಡಿಯೊ ರೆಕಾರ್ಡಿಂಗ್‌ಗಳಂತಹ ಮಾಹಿತಿಯನ್ನು ಇದು ಲಭ್ಯವಾಗಿಸುತ್ತದೆ.

ಇದರ ಆಧಾರಭೂತ ಆರ್ಕಿಟೆಕ್ಚರ್ ಇತರ ಯಾವುದೇ ಸಿಸ್ಟಮ್‌ನಂತೆಯೇ ಇರುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, ಇಂಡೆಕ್ಸಿಂಗ್ ಪೈಪ್‌ಲೈನ್ ಚಿತ್ರಗಳನ್ನು ನೇರ ಎಂಬೆಡಿಂಗ್‌ಗಳಾಗಿ ಪರಿವರ್ತಿಸುವ ಮೂಲಕ ಅವುಗಳನ್ನು ಹುಡುಕಾಟಕ್ಕೆ ಸಿದ್ಧಪಡಿಸಬಹುದು. ನಂತರ ಏಜೆಂಟಿಕ್ RAG ಸಿಸ್ಟಮ್ ಈ ಚಿತ್ರಗಳನ್ನು ಅರ್ಥದ ದೃಷ್ಟಿಯಿಂದ ಸಂಬಂಧಿತ ಪಠ್ಯದೊಂದಿಗೆ ಮರುಪಡೆದು, ದ್ವಿ-ಸಂಸ್ಕರಣೆಗಾಗಿ ವಿಷನ್-ಲ್ಯಾಂಗ್ವೇಜ್ ಮಾಡೆಲ್‌ಗೆ ಒದಗಿಸಬಹುದು.

8. GraphRAG

ಎಂಟಿಟಿಗಳ ಕುರಿತ ಮಾಹಿತಿಯನ್ನು ಮರುಪಡೆಯಲು GraphRAG ವೆಕ್ಟರ್ ಹುಡುಕಾಟದ ಜೊತೆಗೆ ನಾಲೆಡ್ಜ್ ಗ್ರಾಫ್‌ಗಳನ್ನು ಬಳಸುತ್ತದೆ. ಸಾಮಾನ್ಯವಾಗಿ, ಆರ್ಕೆಸ್ಟ್ರೇಟರ್ ಕೀವರ್ಡ್ ಹೊರತೆಗೆಯುವಿಕೆ ಅಥವಾ ಕೆಲವೊಮ್ಮೆ ಪ್ರಾಥಮಿಕ ವೆಕ್ಟರ್ ಹುಡುಕಾಟವನ್ನು ಬಳಸಿ, ನೋಡ್‌ಗಳು ಎಂದೂ ಕರೆಯಲಾಗುವ ಸಂಬಂಧಿತ ಆರಂಭಿಕ ಎಂಟಿಟಿಗಳನ್ನು ಕಂಡುಹಿಡಿಯುತ್ತದೆ. ವಿಶಾಲ ಸಂದರ್ಭವನ್ನು ನಿರ್ಮಿಸಲು ಗ್ರಾಫ್ ರಿಟ್ರೀವರ್ ನಾಲೆಡ್ಜ್ ಗ್ರಾಫ್‌ನಾದ್ಯಂತ ಸಂಚರಿಸುತ್ತದೆ.

ಉದಾಹರಣೆಗೆ, ಒಂದು ಉತ್ಪನ್ನ ವರ್ಗದ ವಿವರವಾದ ವಿಶ್ಲೇಷಣೆಗಾಗಿ ಬಂದ ವಿನಂತಿಗೆ ಪ್ರತಿಕ್ರಿಯೆಯಾಗಿ, ನಿರ್ದಿಷ್ಟ ಎಂಟಿಟಿಗಳನ್ನು (ಉತ್ಪನ್ನಗಳನ್ನು) ಗುರುತಿಸಲು LLM ವೆಕ್ಟರ್ ಹುಡುಕಾಟವನ್ನು ಪ್ರಚೋದಿಸಬಹುದು. ನಂತರ ಪೂರೈಕೆದಾರರು, ಚಿಲ್ಲರೆ ಮಾರಾಟ ಸ್ಥಳಗಳು, ವಿಮರ್ಶೆಗಳು ಮುಂತಾದ ಸಂಬಂಧಿತ ಎಂಟಿಟಿಗಳನ್ನು ಕಂಡುಹಿಡಿಯಲು ಆರ್ಕೆಸ್ಟ್ರೇಟರ್ ನಾಲೆಡ್ಜ್ ಗ್ರಾಫ್ ಹುಡುಕಾಟವನ್ನು ಪ್ರಚೋದಿಸುತ್ತದೆ.

9. ಬ್ರಾಂಚ್ಡ್ RAG

ಹೈಬ್ರಿಡ್ RAG ಆರ್ಕಿಟೆಕ್ಚರ್ ವಿಭಿನ್ನ ಮರುಪಡೆಯುವಿಕೆ ವಿಧಾನಗಳನ್ನು ಬಳಸುವ ಸಾಮರ್ಥ್ಯ ಹೊಂದಿದ್ದರೆ, ಬ್ರಾಂಚ್ಡ್ RAG ಎಂದರೆ ಬ್ರಾಂಚ್‌ಗಳು ಎಂದು ಕರೆಯಲಾಗುವ ಅನೇಕ ಕ್ವೆರಿಗಳನ್ನು ಏಕಕಾಲದಲ್ಲಿ ನಡೆಸುವ ಪ್ರಕ್ರಿಯೆ. ಪ್ರತಿಯೊಂದು ಬ್ರಾಂಚ್ ಪ್ರತ್ಯೇಕ ಮಾಹಿತಿ ಮೂಲವನ್ನು ಕ್ವೆರಿ ಮಾಡಬಹುದು, ಅಥವಾ ಬ್ರಾಂಚ್‌ಗಳು ವಿಭಿನ್ನ ಕ್ವೆರಿಗಳು ಅಥವಾ ಫಿಲ್ಟರ್‌ಗಳೊಂದಿಗೆ ಒಂದೇ ಮೂಲವನ್ನು ಜೊತೆಜೊತೆಯಾಗಿ ಕ್ವೆರಿ ಮಾಡಬಹುದು. ಏಜೆಂಟಿಕ್ RAG ಆರ್ಕಿಟೆಕ್ಚರ್ ಸಾಮಾನ್ಯವಾಗಿ ಬ್ರಾಂಚ್ಡ್ RAG ಅನ್ನು ಬಳಸುತ್ತದೆ.

10. HyDE (Hypothetical Document Embeddings, ಕಾಲ್ಪನಿಕ ಡಾಕ್ಯುಮೆಂಟ್ ಎಂಬೆಡಿಂಗ್‌ಗಳು)

HyDE ಎಂಬುದು RAGನ ಒಂದು ನವೀನ ರೂಪವಾಗಿದ್ದು, ಇದರಲ್ಲಿ ಅತ್ಯುತ್ತಮ ಉತ್ತರ ಹೇಗಿರಬಹುದು ಎಂಬುದರ ಕಾಲ್ಪನಿಕ ಪಠ್ಯ ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು LLM ರಚಿಸುತ್ತದೆ. ನಂತರ ಹೆಚ್ಚು ನಿಖರವಾದ ಮರುಪಡೆಯುವಿಕೆಗಾಗಿ ಕ್ವೆರಿಯನ್ನು ರಚಿಸಲು ಈ “ಕಾಲ್ಪನಿಕ ಡಾಕ್ಯುಮೆಂಟ್” ಅನ್ನು ಬಳಸಲಾಗುತ್ತದೆ. ಸಂಬಂಧಿತ ಜ್ಞಾನವು LLM ಪ್ಯಾರಾಮೀಟರ್‌ಗಳಲ್ಲಿ ಪ್ರತಿನಿಧಿಸಲ್ಪಟ್ಟಿಲ್ಲದಿದ್ದರೂ, ಚಿಕ್ಕ ಪ್ರಶ್ನೆ ಅಥವಾ ಅಸ್ಪಷ್ಟ ಪ್ರಾಂಪ್ಟ್‌ಗಿಂತ ಉತ್ತರದಂತಿರುವ ಪಠ್ಯ ಭಾಗವು ಸಂಬಂಧಿತ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳೊಂದಿಗೆ ಉತ್ತಮವಾಗಿ ಹೊಂದಿಕೆಯಾಗಬಹುದು ಎಂಬುದು ಇದರ ಹಿಂದಿನ ತರ್ಕ.

ಸರಳ RAG ಆರ್ಕಿಟೆಕ್ಚರ್ ಉದಾಹರಣೆ: ವೆಕ್ಟರ್ ಡೇಟಾಬೇಸ್

ಹೆಚ್ಚು ಸಂಕೀರ್ಣ ಪ್ರಕಾರದ ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳಿಗೆ ಮೂಲಭೂತ RAG ಅಡಿಪಾಯವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ವೆಕ್ಟರ್ ಡೇಟಾಬೇಸ್ ಬಳಸುವ ಸರಳ RAG ಸಿಸ್ಟಮ್‌ನಲ್ಲಿ, ಮೂಲ ಡಾಕ್ಯುಮೆಂಟೇಶನ್ ಅನ್ನು ಚಿಕ್ಕ ತುಣುಕುಗಳಾಗಿ (ಚಂಕ್‌ಗಳು) ವಿಭಜಿಸಿ ಡೆನ್ಸ್ ಎಂಬೆಡಿಂಗ್‌ಗಳಾಗಿ ಪರಿವರ್ತಿಸಲಾಗುತ್ತದೆ. ಬಳಕೆದಾರರು ಪ್ರಾಂಪ್ಟ್ ನಮೂದಿಸಿದಾಗ, ಆರ್ಕೆಸ್ಟ್ರೇಟರ್ ಒಂದು ಕ್ವೆರಿಯನ್ನು ರಚಿಸಿ, ಅದನ್ನು ಎನ್‌ಕೋಡ್ ಮಾಡಿ, ಸಂಬಂಧಿತ ಪಠ್ಯ ಭಾಗಗಳನ್ನು ಕಂಡುಹಿಡಿಯಲು ಡೇಟಾಬೇಸ್ ಅನ್ನು ಕ್ವೆರಿ ಮಾಡುತ್ತದೆ.

ಈ ಪ್ರಕ್ರಿಯೆಯ ಹಂತ-ಹಂತದ ವಿವರಣೆ ಇಲ್ಲಿದೆ:

1. ಸ್ವಯಂಚಾಲಿತ ಇಂಜೆಶನ್ ಪೈಪ್‌ಲೈನ್ ಮತ್ತು BERT ನಂತಹ ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್ ಬಳಸಿ ಅಪಾರ ಪ್ರಮಾಣದ ಪಠ್ಯವನ್ನು ವೆಕ್ಟರ್‌ಗಳಾಗಿ ಪರಿವರ್ತಿಸಲಾಗುತ್ತದೆ.
2. ಡೇಟಾಬೇಸ್ ಅಪ್ಲಿಕೇಶನ್ ವೇಗದ ಹುಡುಕಾಟಕ್ಕಾಗಿ ವೆಕ್ಟರ್‌ಗಳನ್ನು ಸಂಘಟಿಸುತ್ತದೆ, ಇಂಡೆಕ್ಸ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ಸಂಗ್ರಹಿಸುತ್ತದೆ.
3. ಬಳಕೆದಾರರು ಚಾಟ್‌ಬಾಟ್‌ನಲ್ಲಿ (Perplexity ನಂತಹ) ಪ್ರಾಂಪ್ಟ್ ನಮೂದಿಸುತ್ತಾರೆ.
4. ವೆಕ್ಟರ್ ಡೇಟಾಬೇಸ್‌ನಿಂದ ಸಂಬಂಧಿತ ಮಾಹಿತಿಯನ್ನು ಮರುಪಡೆಯಲು ಅಪ್ಲಿಕೇಶನ್ ಆರ್ಕೆಸ್ಟ್ರೇಟರ್ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು (ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್ ಬಳಸಿ) ಎನ್‌ಕೋಡ್ ಮಾಡುತ್ತದೆ.
5. ವೆಕ್ಟರ್ ಡೇಟಾಬೇಸ್ ಸಂಬಂಧಿತ ತುಣುಕುಗಳನ್ನು ಹಿಂತಿರುಗಿಸುತ್ತದೆ, ಮತ್ತು ಆರ್ಕೆಸ್ಟ್ರೇಟರ್ ಇವುಗಳನ್ನು ಇನ್‌ಪುಟ್ ಸಂದರ್ಭಕ್ಕೆ (“ದೊಡ್ಡ ಪ್ರಾಂಪ್ಟ್”) ಸೇರಿಸಿ LLMಗೆ ಒದಗಿಸುತ್ತದೆ.
6. LLM ಹೆಚ್ಚುವರಿ ಸಂದರ್ಭವನ್ನು ಬಳಸಿಕೊಂಡು, ತನ್ನ ಆಂತರಿಕ ಜ್ಞಾನವನ್ನು (ಅದರ ಪ್ಯಾರಾಮೆಟ್ರಿಕ್ ವೇಟ್‌ಗಳಲ್ಲಿ ಸಂಗ್ರಹವಾಗಿರುವ) ಆಧರಿಸಿ ಉತ್ತರವನ್ನು ರಚಿಸುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

ಸುಧಾರಿತ RAG ಆರ್ಕಿಟೆಕ್ಚರ್ ಉದಾಹರಣೆ: ಏಜೆಂಟಿಕ್ RAG

ಏಜೆಂಟಿಕ್ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ನೊಳಗಿನ RAG ಸಿಸ್ಟಮ್‌ಗಳ ಆಧಾರಭೂತ ಆರ್ಕಿಟೆಕ್ಚರ್ ಅನ್ನು ಏಜೆಂಟಿಕ್ RAG ಎನ್ನಲಾಗುತ್ತದೆ. ಪ್ರಾಂಪ್ಟ್‌ನ ಸ್ವರೂಪವನ್ನು ಅವಲಂಬಿಸಿ AI ಏಜೆಂಟ್‌ಗಳು ವಿಭಿನ್ನ ಟೂಲ್‌ಗಳು ಮತ್ತು ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ಬಳಸಬಹುದಾದ್ದರಿಂದ, ಹಾಗೂ ಅಗತ್ಯವಿದ್ದರೆ ಅನೇಕ ಏಜೆಂಟ್‌ಗಳನ್ನು ನಿಯೋಜಿಸಬಹುದಾದ್ದರಿಂದ, ಏಜೆಂಟಿಕ್ RAG ಹರಿವುಗಳು ಸಂಕೀರ್ಣವಾಗಿರುತ್ತವೆ.

ಈ ಪ್ರಕ್ರಿಯೆಯ ಒಂದು ಪ್ರಾಯೋಗಿಕ ಉದಾಹರಣೆ ಇಲ್ಲಿದೆ:

1. ಬಳಕೆದಾರರು ಒಂದು ವಿಷಯದ ಕುರಿತು ಆಳಗಿನ ಸಂಶೋಧನೆ ಅಗತ್ಯವಿರುವ ಸಂಕೀರ್ಣ ಪ್ರಶ್ನೆಯನ್ನು ನಮೂದಿಸುತ್ತಾರೆ. ಈ ಉದಾಹರಣೆಗಾಗಿ, ಪ್ರಾಂಪ್ಟ್ “ಪ್ರಮುಖ ಭೌಗೋಳಿಕ-ರಾಜಕೀಯ ಬೆಳವಣಿಗೆಗಳ ಹಿನ್ನೆಲೆಯಲ್ಲಿ, ಮುಂದಿನ ಆರು ತಿಂಗಳುಗಳ ಕಂಪನಿಯ ಗಳಿಕೆಯ ಮುನ್ಸೂಚನೆಯನ್ನು ನೀಡಿ.” ಎಂದು ಭಾವಿಸೋಣ.
2. ವಿಭಿನ್ನ ವಿಷಯ ಪ್ರಕಾರಗಳಾದ್ಯಂತ RAG ಕ್ವೆರಿಗಳ ಮಿಶ್ರಣ ಅಗತ್ಯವಿರುತ್ತದೆ ಎಂದು LLM ತರ್ಕಿಸುತ್ತದೆ.
3. (a) ವೆಕ್ಟರ್ ಹುಡುಕಾಟ, (b) ವೆಬ್ ಗ್ರೌಂಡಿಂಗ್, ಮತ್ತು (c) ಚಿತ್ರ (ಮಲ್ಟಿಮೋಡಲ್) ಹುಡುಕಾಟಕ್ಕಾಗಿ ಮೂರು ವಿಭಿನ್ನ ಏಜೆಂಟ್‌ಗಳನ್ನು ನಿಯೋಜಿಸಲಾಗುತ್ತದೆ.
4. ಲಭ್ಯವಿರುವ ಮರುಪಡೆಯುವಿಕೆ ಟೂಲ್‌ಗಳನ್ನು ಬಳಸಿ, ಏಜೆಂಟ್‌ಗಳು ಆರ್ಕೆಸ್ಟ್ರೇಟರ್ ಮೂಲಕ ಸುದ್ದಿ ವರದಿಗಳು ಮತ್ತು ಆಂತರಿಕ ಹಣಕಾಸು ಡೇಟಾದಂತಹ ಸಂಬಂಧಿತ ಮಾಹಿತಿಯನ್ನು ಹುಡುಕುತ್ತವೆ.
5. LLM ಮರುಪಡೆದ ಫಲಿತಾಂಶಗಳನ್ನು ಪ್ರತಿ ಏಜೆಂಟ್‌ನ ಸಂಶೋಧನಾ ಪ್ರಶ್ನೆಯೊಂದಿಗೆ ಹೋಲಿಸಿ, ಪ್ರಸ್ತುತತೆಯ ಆಧಾರದ ಮೇಲೆ ಅವುಗಳಿಗೆ ಶ್ರೇಣಿ ನೀಡುತ್ತದೆ.
6. LLM ಮಾಹಿತಿಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತದೆ ಮತ್ತು ಮಾಹಿತಿ ಕೊರತೆಯಿರುವಲ್ಲಿ ಪ್ರತ್ಯೇಕ ಏಜೆಂಟ್‌ಗಳ ಮೂಲಕ ಹೆಚ್ಚುವರಿ ಹುಡುಕಾಟಗಳನ್ನು ಪ್ರಚೋದಿಸುತ್ತದೆ.
7. ಸಾಕಷ್ಟು ಮಾಹಿತಿಯನ್ನು ಮರುಪಡೆದ ನಂತರ, LLM ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಹಣಕಾಸು ಅಂಕಿಅಂಶಗಳನ್ನು (ಆಂತರಿಕ ಡಾಕ್ಯುಮೆಂಟೇಶನ್‌ನಿಂದ ಮರುಪಡೆದ) ಆಧರಿಸಿ ಸನ್ನಿವೇಶ ಮುನ್ಸೂಚನೆಗಳನ್ನು ರಚಿಸುತ್ತದೆ ಮತ್ತು ಪ್ರತಿಯೊಂದಕ್ಕೂ ಗಳಿಕೆಯನ್ನು ಅಂದಾಜಿಸಲು ಕ್ಯಾಲ್ಕುಲೇಟರ್ ಟೂಲ್ ಅನ್ನು ಬಳಸುತ್ತದೆ.
8. LLM ಮರುಪಡೆದ ಮಾಹಿತಿ ಮತ್ತು ಲೆಕ್ಕಾಚಾರಗಳನ್ನು ಬಳಸಿ, ಅಗತ್ಯವಿದ್ದಂತೆ ಮೂಲಗಳನ್ನು ಉಲ್ಲೇಖಿಸುತ್ತಾ ಅಂತಿಮ ಉತ್ತರವನ್ನು ರಚಿಸುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

RAGನ ಮುಂದಿನ ಹಾದಿ ಏನು?

ಪ್ರಸ್ತುತ ನಾವೀನ್ಯತೆಗಳು ಈಗಿನ RAG ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳಿಗೆ ಆಳ ಮತ್ತು ವೇಗವನ್ನು ತರುವುದು, ಮಲ್ಟಿಮೀಡಿಯಾ ಮರುಪಡೆಯುವಿಕೆಯ ನಿಖರತೆಯನ್ನು ಸುಧಾರಿಸುವುದು, ಮತ್ತು ಕ್ಷಣ-ಕ್ಷಣದ ಇತ್ತೀಚಿನ ಮಾಹಿತಿಯನ್ನು ನಿರ್ವಹಿಸಲು ವಿನ್ಯಾಸಗೊಳಿಸಲಾದ ಸಿಸ್ಟಮ್‌ಗಳನ್ನು ನಿರ್ಮಿಸುವುದರ ಮೇಲೆ ಕೇಂದ್ರೀಕೃತವಾಗಿವೆ.

ಪ್ರಸ್ತುತ ಸಂಶೋಧನೆಯ ದಿಕ್ಕನ್ನು ರೂಪಿಸುತ್ತಿರುವ ಮೂರು ಪ್ರವೃತ್ತಿಗಳು ಇಲ್ಲಿವೆ:

• ಅನೇಕ ಮೂಲಗಳಾದ್ಯಂತ ಆಳಗಿನ ಸಂಶೋಧನೆ: ಇದು ಹುಡುಕಾಟಗಳನ್ನು ಯೋಜಿಸುವ, ವಿಭಿನ್ನ ಮೂಲಗಳಾದ್ಯಂತ ಅನೇಕ ಬ್ರಾಂಚ್‌ಗಳನ್ನು ನಡೆಸುವ, ಮರುಪಡೆದ ಸಾಕ್ಷ್ಯಾಧಾರಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವ, ಮತ್ತು ರಚಿಸಿದ ಉತ್ತರಗಳನ್ನು ಸ್ವಯಂ-ಉತ್ತಮಗೊಳಿಸುವ ಸಾಮರ್ಥ್ಯವಿರುವ RAG ಆರ್ಕಿಟೆಕ್ಚರ್. ಈ ಎಲ್ಲಾ ಕಾರ್ಯಗಳನ್ನು ನಿರ್ವಹಿಸಬಲ್ಲ ಏಜೆಂಟಿಕ್ RAG ನಿರಂತರವಾಗಿ ಹೆಚ್ಚು ವೇಗವಾಗಿ ಮತ್ತು ಹೆಚ್ಚು ವೆಚ್ಚ-ಪರಿಣಾಮಕಾರಿಯಾಗುತ್ತಿದೆ.
• ಮಲ್ಟಿಮೋಡಲ್ ಅನ್ವಯಗಳು: ಮರುಪಡೆಯುವಿಕೆ ಪೈಪ್‌ಲೈನ್‌ಗಳು ಚಿತ್ರಗಳು ಮತ್ತು ವೀಡಿಯೊಗಳೊಂದಿಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುವುದರಲ್ಲಿ ಉತ್ತಮಗೊಳ್ಳುತ್ತಿವೆ. ದೀರ್ಘ ವೀಡಿಯೊಗಳು ಮತ್ತು ಸುಧಾರಿತ ರೇಖಾಚಿತ್ರಗಳಂತಹ ಸಂಕೀರ್ಣ ಮಲ್ಟಿಮೋಡಲ್ ಡೇಟಾದಲ್ಲಿ ನಿರ್ದಿಷ್ಟ ರೀತಿಯ ಮಾಹಿತಿಯನ್ನು ಅವು ಹೆಚ್ಚು ಹೆಚ್ಚು ನಿಖರವಾಗಿ ಗುರುತಿಸಬಲ್ಲವು.
• ನಿರಂತರವಾಗಿ ಬದಲಾಗುವ ಮಾಹಿತಿಯ ಆಧಾರದ ಮೇಲೆ ಉತ್ತರಗಳು: ಇನ್‌ಪುಟ್ ಸಂದರ್ಭವನ್ನು ಒದಗಿಸಲು LLM ಆಧಾರಿತ ಅಪ್ಲಿಕೇಶನ್‌ಗಳು ಲೈವ್ ಮಾಹಿತಿ ಮೂಲಗಳನ್ನು (ವೀಡಿಯೊ ಫೀಡ್‌ಗಳು ಮತ್ತು ಸೆನ್ಸರ್‌ಗಳಂತಹ) ಬಳಸಿಕೊಳ್ಳಬಹುದು. ಈ ಡೇಟಾವನ್ನು ಅರ್ಥೈಸಲು ಸಿಸ್ಟಮ್‌ಗಳು GraphRAG ನಂತಹ ವಿಧಾನಗಳ ಮೂಲಕ ಬಹುಮುಖಿ ಮಾಹಿತಿ ಜಾಲಗಳನ್ನು ಸಹ ರಚಿಸಬಹುದು.

LLM ಆಧಾರಿತ ಅಪ್ಲಿಕೇಶನ್‌ಗಳು ಕಾರ್ಯನಿರ್ವಹಿಸುವ ರೀತಿಗೆ RAG ಮೂಲಭೂತವಾಗಿದೆ. ದೈನಂದಿನ ಗ್ರಾಹಕರಿಂದ ಹಿಡಿದು ವಿಶೇಷ ಕ್ಷೇತ್ರಗಳಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವ ಉದ್ಯಮಗಳವರೆಗೆ ವಿವಿಧ ಬಳಕೆದಾರರು ಹ್ಯಾಲ್ಯುಸಿನೇಶನ್‌ಗಳು, ಅಪೂರ್ಣ ತರಬೇತಿ ಡೇಟಾ ಮತ್ತು ವಿಶೇಷ ಆಂತರಿಕ ಜ್ಞಾನಕ್ಕೆ ಪ್ರವೇಶದ ಕೊರತೆಗೆ ಸಂಬಂಧಿಸಿದ ಸಮಸ್ಯೆಗಳನ್ನು ನಿವಾರಿಸಿಕೊಳ್ಳಲು ಇದು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ.

ಅದಕ್ಕಾಗಿಯೇ RAG ಸಿಸ್ಟಮ್‌ಗಳು ಮತ್ತು ಅವುಗಳ ಆಧಾರಭೂತ ಆರ್ಕಿಟೆಕ್ಚರ್ AI ಸಂಶೋಧನೆಯ ಅತ್ಯಂತ ವೇಗವಾಗಿ ಬೆಳೆಯುತ್ತಿರುವ ಮತ್ತು ಅತ್ಯಂತ ರೋಚಕ ಕ್ಷೇತ್ರಗಳಲ್ಲಿ ಒಂದಾಗಿವೆ.