वास्तविक जगातील युज केसेस आणि आर्किटेक्चरवर आधारित ९ RAG उदाहरणे

RAG चा वापर ग्राहक आणि एंटरप्राइझ अशा दोन्ही संदर्भांमध्ये मोठ्या प्रमाणावर केला जातो. वेब शोध, ग्राहक समर्थन आणि AI-सक्षम खरेदी ही RAG ची जगात वावरताना दिसणारी आणि रोजची उदाहरणे आहेत. अंतर्गत ज्ञान प्रवेश आणि कोडिंग सहाय्य ही सर्वात प्रमुख व्यावसायिक उदाहरणांपैकी आहेत.

वापराच्या विविध प्रकारांनुसार RAG आर्किटेक्चर देखील बदलू शकते. हायब्रिड RAG, जे पारंपारिक कीवर्ड जुळवणीला वेक्टर किंवा नॉलेज ग्राफ शोधासह जोडते, आणि एजंटिक RAG, ज्यासाठी LLM पुनर्प्राप्ती प्रक्रियेचे नियंत्रण करते, या दोन सर्वात सामान्य अंमलबजावणी आहेत.

रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) म्हणजे काय?

RAG, किंवा रिट्रीवल-ऑगमेंटेड जनरेशन, AI अनुप्रयोगांना LLM-उत्पादित उत्तरांना पूरक म्हणून बाह्य प्रणालींमध्ये संग्रहित माहितीमध्ये प्रवेश करण्याची अनुमती देते.

हे एक शक्तिशाली तंत्रज्ञान आहे कारण ते जनरेटिव्ह AI मधील तीन प्रमुख समस्यांचे निराकरण करते: हॅलिस्युनेशन (भ्रमित करणारी उत्तरे), जुनी माहिती आणि इनपुट संदर्भात समाविष्ट नसलेल्या डेटामध्ये प्रवेशाचा अभाव.

मूळ RAG प्रक्रिया कशी दिसते ते येथे आहे:

1. वापरकर्ता नैसर्गिक भाषेत प्रॉम्प्ट प्रविष्ट करतो.
2. AI अनुप्रयोग ग्राउंडिंग आवश्यक आहे का ते ठरवतो, काहीवेळा LLM च्या सहभागासह.
3. डेटाबेससारख्या बाह्य माहिती स्त्रोताला विनंती पाठवली जाते.
4. पुनर्प्राप्त केलेली माहिती LLM च्या इनपुट संदर्भात जोडली जाते.
5. LLM वर्धित प्रॉम्प्टच्या आधारावर उत्तर तयार करते.

विशिष्ट अंमलबजावणीमध्ये फरक असू शकतो, तरीही या पायऱ्या एका सामान्य RAG वर्कफ्लोचे प्रतिनिधित्व करतात. विविध प्रकारच्या आर्किटेक्चरमधील फरक सहसा क्लायंट अनुप्रयोगाद्वारे विनंत्या कशा हाताळल्या जातात आणि पुनर्प्राप्त केल्या जाणाऱ्या माहितीचे स्वरूप यावर केंद्रित असतात.

RAG आर्किटेक्चरचे विहंगावलोकन

"रिट्रीवल-ऑगमेंटेड जनरेशन" हा शब्द प्रथम Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks नावाच्या २०२० मधील शोधनिबंधात दिसला, जो युनिव्हर्सिटी कॉलेज लंडन आणि न्यू यॉर्क युनिव्हर्सिटीच्या सहकाऱ्यांसह मेटा AI (तेव्हाचे फेसबुक AI रिसर्च) मधील संशोधकांनी प्रकाशित केला होता.

सुरुवातीच्या 'प्रथम-पुनर्प्राप्त-करा-नंतर-निर्मिती-करा' पद्धती, ज्यांना ढोबळमानाने “नेव्हिव्ह RAG" म्हटले जाते, तेव्हापासून वेगवेगळ्या आर्किटेक्चर प्रकारांच्या श्रेणीमध्ये विकसित झाल्या आहेत, ज्यापैकी बरेचसे ओव्हरलॅप होतात.

नेव्हिव्ह RAG

नेव्हिव्ह RAG एक साधी पुनर्प्राप्ती आणि निर्मिती पाइपलाइन वापरते, जी अद्यापही अनेक मूलभूत विनंत्यांसाठी योग्य आहे. नेव्हिव्ह RAG चे सर्वात सामान्य उदाहरण म्हणजे क्वेरीचे नंबरच्या क्रमाने केलेल्या सूचीमध्ये रूपांतर करणे ज्याला वेक्टर एम्बेडिंग किंवा फक्त वेक्टर म्हटले जाते. क्वेरी एम्बेडिंग नंतर इतर वेक्टर्सशी जुळवले जाते जे चंक्सचे प्रतिनिधित्व करतात, जे डेटाबेस किंवा इंडेक्समधील सामग्रीचे भाग (ज्याला सिमेंटिक इंडेक्स म्हणतात) असतात.

प्रगत RAG

प्रगत RAG पुनर्प्राप्तीच्या आधी आणि नंतरच्या टप्प्या Mar अनुकूल करते. तंत्रांमध्ये क्वेरी विस्तार, मेटाडाटा फिल्टरिंग आणि संदर्भ संपीडन समाविष्ट आहे. हे अनिवार्यपणे पुनर्प्राप्त केलेल्या माहितीची सुसंगतता आणि LLM च्या इनपुट संदर्भात जोडण्यापूर्वी ती कशी सुधारित केली जाते यात सुधारणा करते.

एजंटिक RAG

एजंटिक RAG ही LLM-आधारित एजंटद्वारे RAG पाइपलाइनची अंमलबजावणी आहे. एजंट दिलेल्या प्रॉम्प्टसाठी कोणती साधने सर्वोत्तम आहेत हे “ठरवतो” आणि सुसंगत उत्तर तयार करण्यासाठी, काहीवेळा लूपमध्ये पुनर्प्राप्तीचे मार्गदर्शन करतो.

ग्राफ RAG

ग्राफ RAG ज्ञान आलेखातून (नॉलेज ग्राफ) माहिती पुनर्प्राप्त करते, जे एंटिटी (जसे की वस्तू, संकल्पना आणि इव्हेंट्स) आणि त्यांच्यामधील संबंधांचे प्रतिनिधित्व करते. जेव्हा प्रॉम्प्टच्या उत्तरासाठी LLM ला वेगवेगळ्या एंटिटींबद्दलची माहिती एकत्रित करणे आवश्यक असते तेव्हा हे उपयुक्त ठरते.

मल्टीमोडल RAG

मल्टीमोडल RAG क्वेरी आणि पुनर्प्राप्ती दोन्ही दरम्यान प्रतिमा आणि ऑडिओ सारख्या सामग्रीपर्यंत पुनर्प्राप्ती वाढवते. हे RAG पाइपलाइन मजकूर, प्रतिमा किंवा ऑडिओचे एम्बेडिंगमध्ये रूपांतर करण्यासाठी विशेष एन्कोडर वापरतात.

हायब्रिड RAG

हायब्रिड RAG कीवर्ड शोध, किंवा लेक्सिकल पुनर्प्राप्ती, वेक्टर पुनर्प्राप्ती किंवा नॉलेज ग्राफसह एकत्र करते आणि परिणाम एकत्र करते. हे उपयुक्त आहे कारण कीवर्ड जुळवणी विशिष्ट संदर्भांमध्ये अत्यंत अचूक असू शकते (इतर पद्धतींपेक्षा अधिक).

करेक्टिव्ह RAG

करेक्टिव्ह RAG क्वेरीशी सुसंगततेसाठी परत केलेल्या माहितीचे किंवा डेटाचे मूल्यांकन करते. हे पुनर्प्राप्त केलेले परिच्छेद सुधारित किंवा पूरक करू शकते किंवा दुसरी विनंती कार्यान्वित करून त्यांना पूर्णपणे बदलू शकते.

वापर प्रकरण आणि उद्योग अनुप्रयोगाद्वारे RAG उदाहरणे

ग्राहक आणि व्यावसायिक दोन्ही क्षेत्रांमध्ये RAG ची अनेक उदाहरणे आहेत. याचे मुख्य कारण म्हणजे RAG पाइपलाइन बहुतेक मुख्य प्रवाहातील साधनांमध्ये समाविष्ट केल्या गेल्या आहेत. याव्यतिरिक्त, अनेक विक्रेते ग्राहक सेवा चॅटबॉट्ससाठी आउट-ऑफ-द-बॉक्स इंटिग्रेशन ऑफर करतात, ज्यामुळे त्याचा अवलंब करणे सोपे झाले आहे.

१. वेब शोध

वेब शोध हे आरएजी (RAG) च्या सर्वात व्यापक उदाहरणांपैकी एक आहे. दररोज, लाखो लोक वेबलरून मिळवलेल्या माहितीच्या आधारे उत्तरे तयार करण्यासाठी AI साधनांचा वापर करतात.

हे कसे कार्य करते: AI अनुप्रयोग कीवर्ड-आधारित आणि सिमेंटिक पुनर्प्राप्ती वापरून Google Search इंडेक्स सारख्या वेब इंडेक्स शोधतो. संबंधित पृष्ठाची सामग्री LLM च्या इनपुटमध्ये वापरकर्त्याच्या प्रश्नासह समाविष्ट केली जाते. LLM नंतर सहसा स्त्रोत उद्धरणांसह (साइटेशन्स) उत्तर तयार करते.

वास्तविक जगातील उदाहरण: जर एखादा वापरकर्ता Perplexity च्या चॅट इंटरफेसमध्ये, “शिकागोमध्ये हवामान कसे आहे?” अशी साधी क्वेरी टाइप करतो, तर LLM अप-टू-डेट माहिती शोधण्यासाठी वेब शोध घेईल. Perplexity पार्टनर सर्च API च्या संयोजनात मालकीचा वेब इंडेक्स वापरते.

विस्तृत करा

२. ग्राहक समर्थन

ॲपमधील आणि वेबसाइटवरील चॅटबॉट्स हे आरएजीचे एक प्रमुख एंटरप्राइझ युझ केस म्हणून उदयास आले आहेत. हे सिस्टम्स सामान्यतः पारंपारिक रूटिंग मार्गांशी जोडलेले असतात, ज्यामुळे ग्राहक प्रतिनिधींच्या सहभागाची गरज कमी होते.

हे कसे कार्य करते: जेव्हा एखादा ग्राहक प्रश्न विचारतो, तेव्हा ॲप्लिकेशन कंपनीच्या नॉलेज बेसमध्ये शोध घेते, ज्यामध्ये अनेकदा हायब्रिड पाइपलाइनचा वापर केला जातो. मिळालेले उतारे LLM ला दिले जातात, जे उत्तर तयार करतात. उत्तराची पडताळणी करण्यासाठी आणि आवश्यकतेनुसार प्रतिनिधीकडे पाठवण्यासाठी यामध्ये सामान्यतः दुरुस्ती आणि हँड-ऑफ प्रक्रियांचा समावेश असतो.

वास्तविक जगातील उदाहरण: Zendesk (खाली चित्रित केले आहे) आणि Intercom सह विविध ग्राहक सेवा प्लॅटफॉर्म्स, प्लग-रहित ग्राहक समर्थन चॅटबॉट्स ऑफर करतात जे विद्यमान दस्तऐवजीकरण आणि ग्राहक समर्थन तळांसह समाकलित होतात.

विस्तृत करा

३. वैयक्तिक सहाय्यक (पर्सनल असिस्टंट्स)

वैयक्तिक सहाय्यक वापरकर्त्याच्या ईमेल, फाइल्स आणि कॅलेंडरमध्ये प्रवेश करण्यासाठी एजंटिक RAG वापरतात. हे सहाय्यक सहसा एकाधिक RAG पाइपलाइन कार्यान्वित करू शकतात.

हे कसे कार्य करते: वैयक्तिक सहाय्यकांना अनेक माहिती स्त्रोतांमध्ये प्रवेशाची आवश्यकता असते, म्हणून ते API, कीवर्ड शोध, वेक्टर शोध आणि नॉलेज ग्राफचे मिश्रण वापरतात. अनुप्रयोगाद्वारे विविध साधनांचे वर्णन LLM ला पाठवले जाते, जे नंतर सर्वात योग्य साधनांची निवड करते.

वास्तविक जगातील उदाहरण: Google Gemini हे अशा अ‍ॅपचे उत्तम उदाहरण आहे जे सामान्य उद्देशाचे आणि वैयक्तिक AI सहाय्यक म्हणून कार्य करू शकते (जसे की आजकाल बहुतेक सहाय्यकांच्या बाबतीत असते). हे Gmail, Docs, Photos आणि Calendar सारख्या साधनांच्या इकोसिस्टमशी समाकलित होते.

विस्तृत करा

४. एंटरप्राइझ नॉलेज मॅनेजमेंट

एंटरप्राइझ नॉलेज मॅनेजमेंट कर्मचाऱ्यांना धोरणे, अहवाल, प्रोजेक्ट दस्तऐवज, कायदेशीर मजकूर आणि अंतर्गत चर्चांसह कंपनीच्या माहितीच्या विस्तृत भागामध्ये प्रश्न विचारण्याची परवानगी देते.

हे कसे कार्य करते: स्रोत दस्तऐवज बदलत असताना अपडेट होणाऱ्या वेक्टर इंडेक्सचा वापर करून अनुप्रयोग संबंधित सामग्री पुनर्प्राप्त करतो. इंडेक्समध्ये दस्तऐवज चंक्सचे प्रतिनिधित्व करणारे एम्बेडिंग असतात, ज्यामध्ये त्यांच्या मजकूराचे आणि संबंधित मेटाडाटाचे दुवे असतात.

वास्तविक जगातील उदाहरण: Microsoft 365 Copilot मायक्रोसॉफ्ट ग्राफद्वारे संस्थात्मक माहितीमध्ये प्रवेश करते, जे डेटा स्रोतांसाठी विविध API उघड करते आणि संबंधित सामग्री पुनर्प्राप्त करण्यासाठी लेक्सिकल आणि सिमेंटिक इंडेक्स वापरते.

विस्तृत करा

५. कोडिंग सहाय्यक

कोडिंग सहाय्यक कोडबेसवर RAG लागू करतात. अंतर्निहित RAG प्रक्रिया समान असली (सामान्यतः एजंटिक RAG), तरी फरक हा आहे की ते विशेषतः कोड संदर्भाशी संबंधित आहेत.

हे कसे कार्य करते: कोडिंग सहाय्यक स्थानिक प्रोजेक्ट फाइल्स इंडेक्स करतात आणि जेव्हा प्रॉम्प्ट केले जाते तेव्हा संबंधित कोड स्निपेट शोधण्यासाठी बहु-शोध पास करतात. कॉर्पोरेट ज्ञान तळांसारख्या प्रवेशाचा विस्तार करण्यासाठी या सहाय्यकांकडे सहसा समर्पित कनेक्टर देखील असतात.

वास्तविक जगातील उदाहरण: GitHub Copilot हे कोडिंग सहाय्यकाचे एक सुप्रसिद्ध उदाहरण आहे जे थेट विकास प्रोजेक्ट्सशी समाकलित होते. उत्तराची अचूकता वाढवण्यासाठी हे सार्वजनिक GitHub रिपॉझिटरीजचा देखील संदर्भ घेऊ शकते.

विस्तृत करा

६. तांत्रिक समस्यानिवारण

तांत्रिक समस्यानिवारण हे डायग्नोस्टिक लूपसह ज्ञान व्यवस्थापन RAG पाइपलाइन समाकलित करते. आवश्यकतेनुसार समस्येचे निराकरण करण्यासाठी शिफारसी अधिक परिष्कृत करण्यासाठी एक एजंट परिणामांचे मूल्यांकन करू शकतो.

हे कसे कार्य करते: एखादा अनुप्रयोग वापरकर्त्याकडून तांत्रिक समस्येची लक्षणे गोळा करतो किंवा स्वयंचलित मॉनिटरिंग अलर्ट प्राप्त करतो. लक्षणांची उलट-तपासणी करण्यासाठी ते त्रुटी संदेश, तांत्रिक लॉग आणि कार्यप्रदर्शन मेट्रिक्सचा शोध सुरू करते. त्यानंतर ते LLM ला पास करण्यासाठी अंतर्गत ज्ञान तळावरून संबंधित माहिती पुनर्प्राप्त करते. जेव्हा एखाद्या प्रयत्नांच्या उपायाचे परिणाम वापरकर्त्याकडून किंवा डायग्नोस्टिक टूलकडून LLM मध्ये परत पाठवले जातात, तेव्हा डायग्नोस्टिक लूप होतो.

वास्तविक जगातील उदाहरण: ऑब्झर्व्हबिलिटी प्लॅटफॉर्म Datadog (खाली चित्रित केले आहे) प्रणालीच्या सर्व थरांमधून डेटा गोळा करते, जेव्हा समस्या उद्भवतात तेव्हा चिन्हांकित करते. संभाव्य निराकरणांचे समस्यानिवारण करण्यासाठी हे नंतर Bits AI नावाच्या विशिष्ट AI एजंटमध्ये फीड केले जातात.

विस्तृत करा

७. एजंटिक कॉमर्स

एजंटिक कॉमर्स हे एक व्यापक युज केस आहे ज्यामध्ये सहसा RAG समाविष्ट असते. खरेदी करणारा एजंट पर्याय तुलना करण्यासाठी आणि शिफारसी स्पष्ट करण्यासाठी उत्पादन तपशील, पुनरावलोकने, किंमती आणि उपलब्धता यासारखे तपशील पुनर्प्राप्त करतो. वापरकर्त्याने इंटरफेस न सोडता ते नंतर आपोआप खरेदी करू शकते.

हे कसे कार्य करते: एजंटिक कॉमर्स हे खरे एजंटिक RAG आहे कारण विशिष्ट क्वेरींसाठी सहसा वेगवेगळ्या प्रकारच्या पुनर्प्राप्तीची आवश्यकता असते, ज्याचे मॉडेल मार्गदर्शन करते. एखादा एजंट किरकोळ विक्रेत्याच्या API द्वारे केवळ-मजकूर उत्पादन डेटा पुनर्प्राप्त करू शकतो, किंवा वापरकर्त्याच्या छायाचित्रावर आधारित सिमेंटिक इंडेक्समधील उत्पादने जुळवण्यासाठी तो मल्टिमोडल RAG वापरू शकतो.

वास्तविक जगातील उदाहरण: Perplexity सारखा सामान्य उद्देशाचा एजंट प्रॉम्प्टच्या आधारावर अनेक प्रतिमा आणि तपशीलवार उत्पादन तपशील पुनर्प्राप्त करू शकतो. इन्स्टंट बाय चेकआउट वैशिष्ट्य वापरकर्त्याला उत्पादन निवडल्यानंतर खरेदी पूर्ण करू देते.

विस्तृत करा

८. ज्ञानाचे विशेष डोमेन

विशेष डोमेन ज्ञान पुनर्प्राप्त करणारी AI साधने जटिल सामग्री स्वरूपांशी डील करतात. याव्यतिरिक्त, हॅलिस्युनेशन आणि माहितीची दरी कमी करणे ही सहसा प्राथमिकता असते.

हे कसे कार्य करते: सामान्य उद्देशाच्या आणि विशेष RAG आर्किटेक्चरमधील मुख्य फरक स्त्रोत सामग्री आणि पुनर्प्राप्ती कॉन्फिगरेशनशी संबंधित आहे. साधारणपणे, केवळ अत्यंत प्राधिकृत इंडेक्स शोधला जाईल आणि शोध अरुंद करण्यासाठी विशिष्ट शब्दावली समाविष्ट करण्यासाठी विनंती कॉन्फिगर केली जाईल.

वास्तविक जगातील उदाहरण: शैक्षणिक संशोधन साधन Scite प्रकाशक करारांद्वारे आणि ओपन ऍक्सेस स्रोतांद्वारे तयार केलेल्या शैक्षणिक कागदपत्रे आणि सायटेशन डेटाचा मोठा इंडेक्स ऍक्सेस करते. पूर्ण उत्तर तयार करण्यापूर्वी हे स्रोत पडताळणीसारख्या पोस्ट-रिट्रीवल तपासण्या देखील लागू करते.

विस्तृत करा

९. डेटा विश्लेषण

डेटा विश्लेषणासाठी RAG हे एक विशेषतः शक्तिशाली एंटरप्राइझ युज केस बनले आहे कारण ते विस्तृत श्रेणीतील व्यावसायिकांना, विशेषतः डेटा सायन्सचे प्रशिक्षण नसलेल्यांना, नैसर्गिक भाषा वापरून डेटासेट शोधण्याची परवानगी देते. यामुळे अहवाल तयार करणे आणि अत्यंत विशिष्ट प्रश्न विचारणे सोपे होते.

हे कसे कार्य करते: “गेल्या तिमाहीत विक्री का घसरली?” सारख्या प्रश्नासाठी, अनुप्रयोग विक्री नोंदी शोधू शकतो आणि स्टॉकच्या कमतरतेबद्दल किंवा किंमतीतील बदलांबद्दलच्या नोट्स पुनर्प्राप्त करू शकतो. विश्लेषण तयार करण्यापूर्वी LLM पुनर्प्राप्त केलेल्या डेटासाठी योग्य गणनेची निवड करते (जी सहसा गणना साधनाकडे सोपवली जाते).

वास्तविक जगातील उदाहरण: Google Analytics एक AI “Ask Advisor” चॅटबोट ऑफर करते जे वेब विश्लेषण डेटा अ‍ॅक्सेस करू शकते आणि वापरकर्त्यांच्या अत्यंत विशिष्ट, सूक्ष्म प्रश्नांची उत्तरे देऊ शकते. हे एंटरप्राइझ-ग्रेड, बंद-सिस्टम RAG च्या वास्तविक जगातील सर्वोत्तम उदाहरणांपैकी एक आहे.

विस्तृत करा

RAG च्या उत्क्रांतीमध्ये पुढे काय आहे?

RAG जेव्हा प्रथम सादर केले गेले तेव्हा तो एक महत्त्वपूर्ण विकास होता. यामुळे स्टँडअलोन LLM मध्ये अंतर्भूत असलेल्या अनेक समस्यांचे निराकरण करण्यास मदत झाली.

तथापि, हे कोणत्याही प्रकारे स्थिर तंत्रज्ञान नाही. अचूकता आणि शुद्धतेसाठी सध्याचे संशोधन सखोल मल्टीमोडल पुनर्प्राप्ती आणि पुनर्प्राप्त केलेल्या संदर्भाच्या अधिक कठोर प्रक्रियेवर केंद्रित आहे. याव्यतिरिक्त, बहु-उपकरण एजंट्समध्ये आरएजीचे अधिक एकत्रीकरण आपल्याला पाहायला मिळण्याची शक्यता आहे.

अत्यंत मोठ्या संदर्भ विंडो असूनही, वैयक्तिक आणि व्यावसायिक दोन्ही संदर्भांमध्ये RAG साठी महत्त्वाची युज केसेस आहेत आणि अजून अनेक नवकल्पना बाकी आहेत.