वास्तविक दुनिया के उपयोग के मामलों और आर्किटेक्चर पर आधारित 9 RAG उदाहरण

RAG का उपयोग उपभोक्ता और उद्यम दोनों ही संदर्भों में व्यापक रूप से किया जाता है। RAG के वास्तविक दुनिया के रोजमर्रा के उदाहरणों में वेब खोज, ग्राहक सहायता और AI-सक्षम शॉपिंग शामिल हैं। आंतरिक ज्ञान तक पहुंच और कोडिंग सहायता सबसे प्रमुख व्यावसायिक उदाहरणों में से हैं।

उपयोग के मामलों में RAG आर्किटेक्चर भी भिन्न हो सकता है। सबसे आम कार्यान्वयनों में से दो हैं: हाइब्रिड RAG, जो पारंपरिक कीवर्ड मिलान को वेक्टर या नॉलेज ग्राफ़ खोज के साथ जोड़ता है, और एजेंटिक RAG, जिसके लिए LLM पुनर्प्राप्ति प्रक्रिया को निर्देशित करता है।

रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) क्या है?

RAG, यानी रिट्रीवल-ऑगमेंटेड जनरेशन, AI अनुप्रयोगों को LLM-जनित उत्तरों के पूरक के रूप में बाहरी प्रणालियों में संग्रहीत जानकारी तक पहुंचने की अनुमति देता है।

यह एक शक्तिशाली तकनीक है क्योंकि यह जनरेटिव AI की तीन प्रमुख समस्याओं का समाधान करती है: मतिभ्रम (हैलुसिनेशन), पुरानी जानकारी, और इनपुट संदर्भ में शामिल न किए गए डेटा तक पहुंच की कमी।

यहाँ बताया गया है कि एक बुनियादी RAG प्रक्रिया कैसी दिखती है:

1. उपयोगकर्ता प्राकृतिक भाषा में एक प्रॉम्प्ट दर्ज करता है।
2. AI एप्लिकेशन निर्धारित करता है कि क्या ग्राउंडिंग की आवश्यकता है, कभी-कभी LLM की भागीदारी के साथ।
3. बाहरी सूचना स्रोत, जैसे कि डेटाबेस, को एक अनुरोध भेजा जाता है।
4. पुनर्प्राप्त जानकारी को LLM के इनपुट संदर्भ में जोड़ा जाता है।
5. LLM संवर्धित प्रॉम्प्ट के आधार पर एक उत्तर उत्पन्न करता है।

यद्यपि विशिष्ट कार्यान्वयन में भिन्न हो सकते हैं, ये चरण एक विशिष्ट RAG वर्कफ़्लो का प्रतिनिधित्व करते हैं। विभिन्न प्रकार के आर्किटेक्चर के बीच अंतर इस बात पर केंद्रित होते हैं कि क्लाइंट एप्लिकेशन द्वारा अनुरोधों को कैसे संभाला जाता है और पुनर्प्राप्त की जा रही जानकारी की प्रकृति क्या है।

RAG आर्किटेक्चर का एक अवलोकन

"रिट्रीवल-ऑगमेंटेड जनरेशन" शब्द पहली बार 2020 के एक शोध पत्र Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks में सामने आया था, जिसे Meta AI (तत्कालीन Facebook AI Research) के शोधकर्ताओं के साथ-साथ University College London और New York University के सहयोगियों द्वारा प्रकाशित किया गया था।

प्रारंभिक रिट्रीव-फिर-जनरेट दृष्टिकोण, जिन्हें ढीले तौर पर "naive RAG" कहा जाता है, तब से विभिन्न आर्किटेक्चर प्रकारों के वर्गीकरण में विकसित हो गए हैं, जिनमें से कई ओवरलैप होते हैं।

Naive RAG

Naive RAG एक सरल पुनर्प्राप्ति और जनरेशन पाइपलाइन का उपयोग करता है, जो अभी भी कई बुनियादी अनुरोधों के लिए उपयुक्त है। Naive RAG का सबसे आम उदाहरण एक क्वेरी को संख्याओं की एक क्रमित सूची में बदलना है जिसे वेक्टर एम्बेडिंग, या केवल वेक्टर कहा जाता है। इसके बाद क्वेरी एम्बेडिंग का मिलान अन्य वैक्टर से किया जाता है जो डेटाबेस या इंडेक्स (जिसे सिमेंटिक इंडेक्स कहा जाता है) में सामग्री के टुकड़ों, यानी हिस्सों का प्रतिनिधित्व करते हैं।

उन्नत RAG

उन्नत RAG पुनर्प्राप्ति से पहले और बाद के चरणों को अनुकूलित करता है। तकनीकों में क्वेरी विस्तार, मेटाडेटा फ़िल्टरिंग और संदर्भ संपीड़न शामिल हैं। ये अनिवार्य रूप से पुनर्प्राप्त की जाने वाली जानकारी की प्रासंगिकता में सुधार करते हैं और इसे LLM के इनपुट संदर्भ में जोड़े जाने से पहले कैसे संशोधित किया जाता है।

एजेंटिक RAG

एजेंटिक RAG, एक LLM-आधारित एजेंट द्वारा RAG पाइपलाइनों का निष्पादन है। एजेंट "तय करता है" कि किसी दिए गए प्रॉम्प्ट के लिए कौन से टूल सबसे अच्छे हैं और प्रासंगिक उत्तर उत्पन्न करने के लिए पुनर्प्राप्ति को निर्देशित करता है, कभी-कभी एक लूप में।

ग्राफ़ RAG

ग्राफ़ RAG ज्ञान ग्राफ़ से जानकारी पुनर्प्राप्त करता है, जो संस्थाओं (जैसे वस्तुओं, अवधारणाओं और घटनाओं) और उनके बीच के संबंधों का प्रतिनिधित्व करता है। यह तब उपयोगी होता है जब किसी प्रॉम्प्ट के उत्तर के लिए LLM को अलग-अलग संस्थाओं के बारे में जानकारी संयोजित करने की आवश्यकता होती है।

मल्टीमॉडल RAG

मल्टीमॉडल RAG क्वेरी और पुनर्प्राप्ति दोनों के दौरान छवियों और ऑडियो जैसी सामग्री तक पुनर्प्राप्ति का विस्तार करता है। ये RAG पाइपलाइनें टेक्स्ट, छवियों या ऑडियो को एम्बेडिंग में बदलने के लिए विशेष एनकोडर का उपयोग करती हैं।

हाइब्रिड RAG

हाइब्रिड RAG कीवर्ड खोज, या लेक्सिकल पुनर्प्राप्ति को वेक्टर पुनर्प्राप्ति या ज्ञान ग्राफ़ के साथ जोड़ता है और परिणामों को विलीन करता है। यह उपयोगी है क्योंकि कुछ संदर्भों में कीवर्ड मिलान अत्यधिक सटीक (अन्य विधियों की तुलना में अधिक) हो सकता है।

सुधारात्मक RAG

सुधारात्मक RAG क्वेरी के साथ प्रासंगिकता के लिए लौटाई गई जानकारी या डेटा का मूल्यांकन करता है। यह पुनर्प्राप्त अंशों को परिष्कृत या पूरक कर सकता है या अन्य अनुरोध निष्पादित करके उन्हें पूरी तरह से बदल सकता है।

उपयोग के मामले और उद्योग अनुप्रयोग द्वारा RAG उदाहरण

उपभोक्ता और व्यावसायिक दोनों क्षेत्रों में RAG के कई उदाहरण हैं। यह काफी हद तक इस कारण से है कि RAG पाइपलाइनों को अधिकांश मुख्यधारा के टूल में एकीकृत किया गया है। इसके अलावा, कई विक्रेता ग्राहक सेवा चैटबॉट्स के लिए आउट-ऑफ़-द-बॉक्स एकीकरण प्रदान करते हैं, जिसने इसे अपनाना आसान बना दिया है।

1. वेब खोज

वेब खोज RAG के सबसे व्यापक उदाहरणों में से एक है। हर दिन, लाखों लोग वेब से पुनर्प्राप्त जानकारी के आधार पर प्रतिक्रियाएँ उत्पन्न करने के लिए AI टूल का उपयोग करते हैं।

यह कैसे काम करता है: AI एप्लिकेशन कीवर्ड-आधारित और सिमेंटिक पुनर्प्राप्ति का उपयोग करके Google Search इंडेक्स जैसे वेब इंडेक्स को खोजता है। LLM के इनपुट में उपयोगकर्ता के प्रश्न के साथ प्रासंगिक पृष्ठ सामग्री शामिल की जाती है। इसके बाद LLM आमतौर पर स्रोत उद्धरणों के साथ एक उत्तर उत्पन्न करता है।

वास्तविक दुनिया का उदाहरण: यदि कोई उपयोगकर्ता Perplexity के चैट इंटरफ़ेस में एक साधारण क्वेरी टाइप करता है, जैसे, "शिकागो में मौसम कैसा है?", तो LLM अप-टू-डेट जानकारी खोजने के लिए वेब खोज करेगा। Perplexity पार्टनर खोज API के साथ संयोजन में एक मालिकाना वेब इंडेक्स का उपयोग करता है।

बड़ा करें

2. ग्राहक सहायता

इन-ऐप और वेबसाइट चैटबॉट्स RAG के एक प्रमुख उद्यम उपयोग के मामले के रूप में उभरे हैं। ये सिस्टम आमतौर पर पारंपरिक रूटिंग पथों के साथ जुड़ते हैं, जिससे ग्राहक प्रतिनिधियों की आवश्यकता कम हो जाती है।

यह कैसे काम करता है: जब कोई ग्राहक कोई प्रश्न पूछता है, तो एप्लिकेशन अक्सर हाइब्रिड पाइपलाइन का उपयोग करके कंपनी के ज्ञान आधार को खोजता है। पुनर्प्राप्त अंश LLM को आपूर्ति किए जाते हैं, जो एक उत्तर उत्पन्न करता है। उत्तर को सत्यापित करने और, जहाँ आवश्यक हो, किसी प्रतिनिधि को रूट करने के लिए इसमें आमतौर पर सुधारात्मक और हैंड-ऑफ़ प्रक्रियाएँ भी शामिल होती हैं।

वास्तविक दुनिया का उदाहरण: Zendesk (नीचे चित्रित) और Intercom सहित विभिन्न ग्राहक सेवा प्लेटफ़ॉर्म, प्लग-एंड-प्ले ग्राहक सहायता चैटबॉट्स प्रदान करते हैं जो मौजूदा दस्तावेज़ों और ग्राहक सहायता आधारों के साथ एकीकृत होते हैं।

बड़ा करें

3. व्यक्तिगत सहायक

व्यक्तिगत सहायक उपयोगकर्ता के ईमेल, फ़ाइलों और कैलेंडर तक पहुँचने के लिए एजेंटिक RAG का उपयोग करते हैं। ये सहायक आम तौर पर कई RAG पाइपलाइनों को निष्पादित कर सकते हैं।

यह कैसे काम करता है: चूंकि व्यक्तिगत सहायकों को अक्सर कई सूचना स्रोतों तक पहुँच की आवश्यकता होती है, इसलिए वे API, कीवर्ड खोज, वेक्टर खोज और ज्ञान ग्राफ़ के मिश्रण का उपयोग करते हैं। एप्लिकेशन द्वारा LLM को अलग-अलग टूल विवरण भेजे जाते हैं, जो तब सबसे उपयुक्त टूल का चयन करता है।

वास्तविक दुनिया का उदाहरण: Google Gemini एक ऐसे ऐप के अच्छे उदाहरण के रूप में कार्य करता है जो सामान्य-उद्देश्य और व्यक्तिगत AI सहायक के रूप में कार्य कर सकता है (जैसा कि आजकल अधिकांश सहायकों के मामले में होता है)। यह Gmail, Docs, Photos और Calendar जैसे टूल के एक इकोसिस्टम के साथ एकीकृत होता है।

बड़ा करें

4. Enterprise ज्ञान प्रबंधन

Enterprise ज्ञान प्रबंधन कर्मचारियों को नीतियों, रिपोर्टों, प्रोजेक्ट दस्तावेज़ों, कानूनी ग्रंथों और आंतरिक चर्चाओं सहित कंपनी की जानकारी के एक विस्तृत निकाय में प्रश्न पूछने की अनुमति देता है।

यह कैसे काम करता है: एप्लिकेशन एक वेक्टर इंडेक्स का उपयोग करके प्रासंगिक सामग्री पुनर्प्राप्त करता है जिसे स्रोत दस्तावेज़ बदलने पर अपडेट किया जाता है। इंडेक्स में दस्तावेज़ के हिस्सों का प्रतिनिधित्व करने वाले एम्बेडिंग होते हैं, साथ ही उनके टेक्स्ट और संबंधित मेटाडेटा के लिंक भी होते हैं।

वास्तविक दुनिया का उदाहरण: Microsoft 365 Copilot Microsoft Graph के माध्यम से संगठनात्मक जानकारी तक पहुँचता है, जो डेटा स्रोतों के लिए विभिन्न API को उजागर करता है, और प्रासंगिक सामग्री पुनर्प्राप्त करने के लिए लेक्सिकल और सिमेंटिक इंडेक्स का उपयोग करता है।

बड़ा करें

5. कोडिंग सहायक

कोडिंग सहायक एक कोडबेस पर RAG लागू करते हैं। हालांकि अंतर्निहित RAG प्रक्रिया समान है (आमतौर पर एजेंटिक RAG), अंतर यह है कि वे विशेष रूप से कोड संदर्भ से निपटते हैं।

यह कैसे काम करता है: कोडिंग सहायक स्थानीय प्रोजेक्ट फ़ाइलों को अनुक्रमित करते हैं और संकेत मिलने पर प्रासंगिक कोड स्निपेट खोजने के लिए बहु-खोज पास करते हैं। इन सहायकों के पास आमतौर पर पहुंच का विस्तार करने के लिए समर्पित कनेक्टर भी होते हैं, जैसे कि कॉर्पोरेट ज्ञान आधार।

वास्तविक दुनिया का उदाहरण: GitHub Copilot एक कोडिंग सहायक का एक प्रसिद्ध उदाहरण है जो सीधे विकास प्रोजेक्ट्स के साथ एकीकृत होता है। यह उत्तर की सटीकता बढ़ाने के लिए सार्वजनिक GitHub रिपॉजिटरी का भी संदर्भ ले सकता है।

बड़ा करें

6. तकनीकी समस्या निवारण

तकनीकी समस्या निवारण एक नैदानिक ​​लूप के साथ ज्ञान प्रबंधन RAG पाइपलाइन को एकीकृत करता है। एक एजेंट आवश्यकतानुसार समस्या निवारण अनुशंसाओं को और अधिक परिष्कृत करने के लिए परिणामों का मूल्यांकन कर सकता है।

यह कैसे काम करता है: एक एप्लिकेशन उपयोगकर्ता से किसी तकनीकी समस्या के लक्षण एकत्र करता है या स्वचालित निगरानी अलर्ट प्राप्त करता है। यह लक्षणों की क्रॉस-जांच करने के लिए त्रुटि संदेशों, तकनीकी लॉग और प्रदर्शन मेट्रिक्स की खोज को ट्रिगर करता है। फिर यह LLM को पास करने के लिए आंतरिक ज्ञान आधार से प्रासंगिक जानकारी पुनर्प्राप्त करता है। नैदानिक ​​लूप तब होता है जब किसी प्रयास किए गए सुधार के परिणाम उपयोगकर्ता या नैदानिक ​​टूल से, LLM में वापस फ़ीड करते हैं।

वास्तविक दुनिया का उदाहरण: ऑब्सर्वाबिलिटी प्लेटफ़ॉर्म Datadog (नीचे चित्रित) किसी प्रणाली की सभी परतों से डेटा एकत्र करता है, और समस्याओं के उत्पन्न होने पर उन्हें फ़्लैग करता है। संभावित सुधारों का समस्या निवारण करने के लिए इन्हें फिर Bits AI नामक एक विशेष AI एजेंट में फ़ीड किया जाता है।

बड़ा करें

7. एजेंटिक कॉमर्स

एजेंटिक कॉमर्स एक व्यापक उपयोग का मामला है जिसमें आमतौर पर RAG शामिल होता है। एक शॉपिंग एजेंट विकल्पों की तुलना करने और अनुशंसाओं की व्याख्या करने के लिए उत्पाद विनिर्देशों, समीक्षाओं, कीमतों और उपलब्धता जैसे विवरण पुनर्प्राप्त करता है। फिर यह उपयोगकर्ता को इंटरफ़ेस छोड़े बिना स्वचालित रूप से खरीदारी कर सकता है।

यह कैसे काम करता है: एजेंटिक कॉमर्स सच्चा एजेंटिक RAG है क्योंकि विशेष प्रश्नों के लिए अक्सर विभिन्न प्रकार की पुनर्प्राप्ति की आवश्यकता होती है, जिन्हें मॉडल निर्देशित करता है। एक एजेंट किसी खुदरा विक्रेता के API के माध्यम से केवल-टेक्स्ट उत्पाद डेटा पुनर्प्राप्त कर सकता है, या यह उपयोगकर्ता की फ़ोटो के आधार पर सिमेंटिक इंडेक्स में उत्पादों का मिलान करने के लिए मल्टीमॉडल RAG का उपयोग कर सकता है।

वास्तविक दुनिया का उदाहरण: Perplexity जैसा एक सामान्य-उद्देश्य वाला एजेंट एक प्रॉम्प्ट के आधार पर कई छवियां और विस्तृत उत्पाद विनिर्देश पुनर्प्राप्त कर सकता है। Instant Buy चेकआउट सुविधा उपयोगकर्ता को उत्पाद चुनने के बाद खरीदारी पूरी करने देती है।

बड़ा करें

8. ज्ञान के विशिष्ट डोमेन

विशिष्ट डोमेन ज्ञान पुनर्प्राप्त करने वाले AI टूल को जटिल सामग्री स्वरूपों से निपटना पड़ता है। इसके अलावा, मतिभ्रम (हैलुसिनेशन) और सूचना अंतराल को कम करना अक्सर एक प्राथमिकता होती है।

यह कैसे काम करता है: सामान्य-उद्देश्य और विशिष्ट RAG आर्किटेक्चर के बीच मुख्य अंतर स्रोत सामग्री और पुनर्प्राप्ति कॉन्फ़िगरेशन से संबंधित है। आमतौर पर, केवल एक अत्यधिक आधिकारिक इंडेक्स की खोज की जाएगी, और खोजों को संकीर्ण करने के लिए अनुरोध को विशिष्ट शब्दावली शामिल करने के लिए कॉन्फ़िगर किया जाएगा।

वास्तविक दुनिया का उदाहरण: अकादमिक शोध टूल Scite अकादमिक पत्रों और उद्धरण डेटा के एक बड़े इंडेक्स तक पहुंचता है जिसे प्रकाशक समझौतों और खुले एक्सेस स्रोतों के माध्यम से बनाया गया है। यह पूर्ण उत्तर उत्पन्न करने से पहले स्रोत सत्यापन जैसी पोस्ट-रिट्रीवल जाँच भी लागू करता है।

बड़ा करें

9. डेटा विश्लेषण

डेटा विश्लेषण के लिए RAG एक विशेष रूप से शक्तिशाली उद्यम उपयोग का मामला बन गया है क्योंकि यह पेशेवरों की एक विस्तृत श्रृंखला को, विशेष रूप से डेटा विज्ञान में प्रशिक्षण के बिना, प्राकृतिक भाषा का उपयोग करके डेटासेट क्वेरी करने की अनुमति देता है। इससे रिपोर्ट तैयार करना और अत्यधिक विशिष्ट प्रश्न पूछना आसान हो जाता है।

यह कैसे काम करता है: "पिछली तिमाही में बिक्री क्यों गिरी?" जैसे प्रश्न के लिए, एप्लिकेशन बिक्री रिकॉर्ड की क्वेरी कर सकता है और स्टॉक की कमी या मूल्य निर्धारण में बदलाव के बारे में नोट्स पुनर्प्राप्त कर सकता है। LLM विश्लेषण उत्पन्न करने से पहले पुनर्प्राप्त डेटा के लिए उचित गणना (जिसे आमतौर पर गणना टूल को सौंपा जाता है) का चयन करता है।

वास्तविक दुनिया का उदाहरण: Google Analytics एक AI “Ask Advisor” चैटबॉट प्रदान करता है जो वेब एनालिटिक्स डेटा तक पहुँच सकता है और उपयोगकर्ताओं के अत्यधिक विशिष्ट, सूक्ष्म प्रश्नों का उत्तर दे सकता है। यह उद्यम-ग्रेड, बंद-सिस्टम RAG के सर्वोत्तम वास्तविक दुनिया के उदाहरणों में से एक है।

बड़ा करें

RAG के विकास में आगे क्या है?

RAG एक महत्वपूर्ण विकास था जब इसे पहली बार पेश किया गया था। इसने स्टैंडअलोन LLM में अंतर्निहित कई मुद्दों को हल करने में मदद की।

हालांकि, यह एक स्थिर तकनीक से कोसों दूर है। वर्तमान शोध सटीकता और शुद्धता के लिए गहरे मल्टीमॉडल पुनर्प्राप्ति और पुनर्प्राप्त संदर्भ के अधिक कठोर प्रसंस्करण पर केंद्रित है। इसके अलावा, हम बहु-टूल एजेंटों में RAG का अधिक एकीकरण देखने की संभावना रखते हैं।

अत्यधिक बड़े संदर्भ विंडो के साथ भी, व्यक्तिगत और व्यावसायिक दोनों संदर्भों में RAG के लिए महत्वपूर्ण उपयोग के मामले हैं और अभी कई नवाचार आने बाकी हैं।