RAG கட்டமைப்பு என்றால் என்ன? விரிவான நடைமுறை எடுத்துக்காட்டுகளுடன் முழுமையான வரையறை

RAG (retrieval augmented generation – மீட்டெடுப்பு மூலம் மேம்படுத்தப்பட்ட உருவாக்கம்) என்பது, LLM-கள் தங்கள் வெளியீடுகளை விரிவுபடுத்தவும் மேம்படுத்தவும் வெளிப்புறத் தகவல்களைப் பயன்படுத்தும் ஒரு செயல்முறையாகும். RAG கட்டமைப்பு என்பது RAG-ஐச் சாத்தியமாக்கும் கூறுகள் மற்றும் இணைப்புகளின் தொகுப்பாகும்.

RAG-இல் பல்வேறு வகைகள் உள்ளன; ஒவ்வொன்றும் அதற்கே உரிய தனித்துவமான கட்டமைப்பில் இயங்குகிறது. சாராம்சத்தில், தகவல்கள் சேமிக்கப்படும், மீட்டெடுக்கப்படும், LLM-க்கு வழங்கப்படும் தனித்துவமான முறையை ஒரு RAG அமைப்பின் கட்டமைப்பே தீர்மானிக்கிறது.

RAG கட்டமைப்பு என்றால் என்ன?

RAG கட்டமைப்பு என்பது, ஒரு குறிப்பிட்ட RAG அமைப்பை இயக்கும் கூறுகளின் (மற்றும் அவற்றுடன் தொடர்புடைய திறன்களின்) அடிப்படை உள்ளமைவாகும். இந்தக் கட்டமைப்புகள் அனைத்தும், பெரும்பாலும் "எளிய" அல்லது “நைவ்” (naive) RAG என்று குறிப்பிடப்படும் ஓர் அடிப்படை வார்ப்புருவின் மீது கட்டமைக்கப்படுகின்றன.

அடிப்படை RAG கட்டமைப்பின் உயர்நிலை மேலோட்டம் இதோ:

• தகவல் மூலம்: வெளிப்புறத் தகவல்கள் சேமிக்கப்படும் இடம் இதுவே. இது ஒரு தேடல் குறியீடாகவோ (search index), பெரும் அளவிலான தகவல்களைக் குறிக்கும் வெக்டர் தரவுத்தளமாகவோ, அல்லது செயலாக்கப்படாத ஆவணக் களஞ்சியமாகவோ இருக்கலாம்.
• மீட்டெடுப்புக் கூறு: தகவல் மூலத்தை வினவும் பொறிமுறை இதுவே. எடுத்துக்காட்டாக, ஒரு RAG அமைப்பு தொடர்புடைய உரைத் துண்டுகளைக் கண்டறிய எளிய முக்கியச்சொல் தேடலையோ, ஒற்றுமைத் தேடலைச் செய்ய மிகவும் சிக்கலான வெக்டர் வினவல்களையோ பயன்படுத்தலாம்.
• ஒருங்கிணைப்புக் கூறு: இந்த அடுக்கு LLM அடிப்படையிலான பயன்பாட்டின் ஒரு பகுதியாகும்; இது பயனரின் ப்ராம்ப்ட்டுக்காக, LLM-உடன் இணைந்தோ தனித்தோ RAG பைப்லைனைத் தொடங்குகிறது. மீட்டெடுக்கப்பட்ட தகவல்களை விரிவாக்கப்பட்ட ப்ராம்ப்ட்டாகத் தொகுக்கும் பணியையும் இது செய்கிறது.

RAG கட்டமைப்புக் கூறுகள் பொதுவாக இரண்டு பாதைகளாக ஒழுங்கமைக்கப்படுகின்றன. உள்ளீர்ப்புப் பாதை (ingestion path) தரவை எடுத்து, தேடக்கூடிய தகவல் மூலமாக ஒழுங்கமைக்கிறது. பெரும் அளவிலான உரை, தேடக்கூடிய வெக்டர் எம்பெடிங்குகளின் களஞ்சியமாக மாற்றப்படும் வெக்டர் தரவுத்தளங்கள், மிகவும் பரவலாகப் பயன்படுத்தப்படும் பயன்பாடுகளில் ஒன்றாகும்.

மீட்டெடுப்புப் பாதை பயனரின் ப்ராம்ப்ட்டை எடுத்து, தகவல் மூலத்தில் தேடுவதற்கான வினவலை உருவாக்குகிறது. பின்னர் ஒருங்கிணைப்பாளர் (orchestrator) மீட்டெடுக்கப்பட்ட தகவல்களை LLM-க்கான சூழல் உள்ளீட்டில் சேர்க்கிறது. ஏஜென்டிக் மற்றும் ஹைப்ரிட் RAG கட்டமைப்புகளில், பல மீட்டெடுப்புப் பாதைகள் இருக்கலாம்.

RAG கட்டமைப்பின் வகைகள்

RAG-ஐ முற்றிலும் தனித்தனியான கட்டமைப்புகளாகக் கருதுவது தவறான புரிதலுக்கு வழிவகுக்கும். பெரும்பாலான பொறியாளர்கள் மட்டுநிலை (modular) அணுகுமுறையைப் பின்பற்றி, குறிப்பிட்ட பயன்பாட்டுச் சூழல்களுக்கு ஏற்ப தனித்தனிக் கூறுகளைச் செயல்படுத்துவார்கள். தளர்வான எல்லைகளை வரையறுக்க முடியும் என்றாலும், கட்டமைப்பு மாதிரிகளுக்கு இடையே கணிசமான மேற்பொருந்துதல் உள்ளது என்பதைக் கவனிக்க வேண்டியது அவசியம்.

1. அடிப்படை RAG

“நைவ்” அல்லது “எளிய” RAG என்றும் அழைக்கப்படும் அடிப்படை RAG, மற்ற வகை RAG-களுக்கான கட்டமைப்பு வார்ப்புருவாகும்.

இதன் அடிப்படைச் செயல்முறை ஒப்பீட்டளவில் எளிமையானது: பயனர் ஒரு ப்ராம்ப்ட்டை உள்ளிடுகிறார்; வெளிப்புறத் தகவல் தேவையா என்பதை ஒருங்கிணைப்பாளர் (தனித்தோ LLM-உடன் இணைந்தோ) தீர்மானித்து, அதற்கேற்ப ஒரு மீட்டெடுப்பு வினவலை உருவாக்கி அனுப்புகிறது.

வெளிப்புறத் தகவல் மூலம் பொதுவாக ஒரு வெக்டர் தரவுத்தளமாக இருக்கும்; ஆனால் அது SQL தரவுத்தளம், வலை API, அறிவு வரைபடம் (knowledge graph), அல்லது “செயலாக்கப்படாத” ஆவணக் களஞ்சியமாகக் கூட இருக்கலாம். இந்தக் கூடுதல் தகவல்கள் பின்னர் LLM-இன் உள்ளீட்டுச் சூழலில் சேர்க்கப்படுகின்றன.

SQL வினவல்கள் மற்றும் API-களைத் தவிர, மீட்டெடுப்பு முறைகளில் இரண்டு பரந்த வகைகள் உள்ளன:

• சொல்லியல் தேடல் (முக்கியச்சொல் தேடல்): இது RAG-இன் ஓர் எளிய வடிவமாகும்; இதில் பயனர் வினவலிலிருந்து முக்கியச்சொற்கள் பிரித்தெடுக்கப்பட்டு, அந்த முக்கியச்சொற்களைக் கொண்ட உரைப் பத்திகளுடன் பொருத்தப்படுகின்றன. நவீன பைப்லைன்களில், இதைச் செய்ய ஒருங்கிணைப்பாளர், பொருளைக் கணக்கில் கொள்ளாத அடர்த்தியற்ற வெக்டர் வினவல் (sparse vector query) எனப்படும் ஒன்றை மேற்கொள்ளலாம்.
• அடர்த்தியான வெக்டர் தேடல் (சொற்பொருள் தேடல்): அடர்த்தியான வெக்டர் எம்பெடிங்குகள் பொருளை உள்ளடக்குகின்றன. பயனர் ப்ராம்ப்ட், மூலத் தகவல் ஆகிய இரண்டின் பொருளையும் உள்ளடக்கும் வகையில், ஒருங்கிணைப்பாளர் ஓர் அடர்த்தியான வெக்டர் தரவுத்தளத்தை வினவ முடியும்.

நினைவகத்தின் பயன்பாடும் RAG கட்டமைப்பின் முக்கியப் பகுதியாகும். முந்தைய அரட்டைகளின் சூழலைப் பயன்படுத்தி LLM ஒரு மீட்டெடுப்பு வினவலை எவ்வாறு உருவாக்குகிறது என்பதை இது குறிக்கிறது; இதன் மூலம் அந்த வினவல் ஓர் உரையாடலின் (அல்லது பல உரையாடல்களின்) பரந்த சூழலில் வேரூன்றுகிறது. பெரும்பாலான சாட்பாட்களுக்கு உரையாடல் RAG வழக்கமானதாகும்; இருப்பினும், ஆதரவு டிக்கெட் பதில்கள் போன்ற சில பயன்பாட்டுச் சூழல்கள் ஒற்றைக் கேள்வி RAG-ஐப் பயன்படுத்தக்கூடும்.

2. ஹைப்ரிட்

ஹைப்ரிட் RAG இரண்டு வெவ்வேறு வகையான மீட்டெடுப்புகளை, பொதுவாக முக்கியச்சொல் மற்றும் சொற்பொருள் மீட்டெடுப்பை, ஒருங்கிணைக்கிறது. முக்கியச்சொல் தேடல் பொருந்தும் சொற்களைக் கண்டறிகிறது; வெக்டர் அடிப்படையிலான தேடல் தொடர்புடைய பொருள் கொண்ட பத்திகளைக் கண்டறிகிறது.

அறிவு வரைபடப் பயணம் (knowledge graph traversal) அல்லது SQL தரவுத்தள வினவல்கள் போன்ற பிற மீட்டெடுப்பு வடிவங்களும் பயன்படுத்தப்படலாம். இந்தச் செயல்முறை பெரும்பாலும் வழிச்செலுத்தல் தர்க்கத்தால் (routing logic) வழிநடத்தப்படுகிறது; இது நிரலாக்கப்பட்ட விதிகளாகவோ, கேள்வியை ஒரு மாதிரி வகைப்படுத்துவதாகவோ இருக்கலாம் (இருப்பினும் பல பைப்லைன்கள் ஒரே நேரத்தில் இயங்கவும் முடியும்).

ஒருங்கிணைப்பாளர் முடிவுகளை ஒன்றிணைத்து, LLM-க்கு அனுப்புவதற்கு முன் அவற்றை மறுதரவரிசைப்படுத்தலாம். மறுதரவரிசைப்படுத்தல் (reranking) என்பது, மீட்டெடுக்கப்பட்ட துண்டுகளுக்குப் பொருத்தப்பாட்டு மதிப்பெண்களை வழங்கும் செயல்முறையாகும்; இதனால் LLM மிகவும் பொருந்தக்கூடிய தகவல்களுக்கு முன்னுரிமை அளிக்கிறது.

3. தகவமைப்பு RAG (Adaptive RAG)

தகவமைப்பு RAG-இல், பயனர் ப்ராம்ப்ட்டின் தேவைகளின் அடிப்படையில் ஒரு வழிச்செலுத்தல் கூறு மீட்டெடுப்பு உத்தியைத் தேர்ந்தெடுக்கிறது; பின்னர் ஒருங்கிணைப்பாளர் தேர்ந்தெடுக்கப்பட்ட பணிப்பாய்வைச் செயல்படுத்துகிறது.

மூலச் சட்டகத்தில் (Adaptive-RAG), ஒரு சிறிய மாதிரி வகைப்படுத்தியாகச் செயல்பட்டு, மீட்டெடுப்பு இல்லாமை, ஒற்றைப் படி மீட்டெடுப்பு, பல படி மீட்டெடுப்பு ஆகியவற்றில் ஒன்றைத் தேர்ந்தெடுக்கும். சில கட்டமைப்புகள் இப்போது அதற்குப் பதிலாக உருவாக்கும் மாதிரிகளையோ விதி அடிப்படையிலான ஹியூரிஸ்டிக்குகளையோ பயன்படுத்துகின்றன.

ப்ராம்ப்ட்டின் சிக்கலான தன்மை மற்றும் தேவைகளின் அடிப்படையில் செயலாக்கத் திறனை ஒதுக்கி, எளிய ப்ராம்ப்ட்டுகளுக்கான தேவையற்ற மீட்டெடுப்புப் படிகளைக் குறைப்பதால், இது ஒரு பிரபலமான கட்டமைப்பாக உள்ளது. பல வகையான கேள்விகளைக் கையாளும் உதவியாளர்களில் இது பொதுவாகக் காணப்படுகிறது.

4. திருத்தும் RAG (Corrective RAG – CRAG)

திருத்தும் RAG, மீட்டெடுக்கப்பட்ட தகவல்களை LLM-இன் சூழல் உள்ளீட்டில் சேர்ப்பதற்கு முன் அவற்றை மதிப்பீடு செய்கிறது. மீட்டெடுக்கப்பட்ட தகவல்கள் பொருத்தமானவையா, பயனுள்ளவையா என்பதை ஒரு மீட்டெடுப்பு மதிப்பீட்டாளர் மதிப்பிடுகிறது. பதில் உருவாக்கத்துக்கு முன் வெளிப்படையாக நடைபெறும் மதிப்பீட்டு-திருத்தக் கட்டமே இதன் தனித்துவமான கட்டமைப்பு அம்சமாகும்.

தகவல்கள் முழுமையற்றவை அல்லது ப்ராம்ப்ட்டுக்குப் பொருந்தாதவை எனக் கண்டறியப்பட்டால், கூடுதல் கோரிக்கைகள் தூண்டப்படும். இவற்றில், அசல் கோரிக்கைக்குப் பயன்படுத்தப்பட்டவற்றிலிருந்து வேறுபட்ட, வலைத் தேடல் அல்லது அறிவு வரைபடப் பயணம் போன்ற மீட்டெடுப்பு முறைகள் இடம்பெறலாம்.

மருத்துவம், சட்டம் போன்ற துல்லியம் முக்கியமான துறைகளில் திருத்தும் RAG பொதுவாகப் பயன்படுத்தப்படுகிறது. இருப்பினும், மீட்டெடுக்கப்பட்ட அசல் பத்திகளுக்குத் துணையாக அமையக்கூடிய கூடுதல் தகவல் மூலம் ஒன்று இதற்குத் தேவைப்படுகிறது.

5. Self-RAG

Self-RAG-இல், ஆரம்பச் சூழல் உள்ளீட்டைப் பெற்ற பிறகு மாதிரியே கோரிக்கைகளைத் தொடங்க முடியும். உருவாக்கப்பட்ட பதில்கள், பிரதிபலிப்பு டோக்கன்களைப் (reflection tokens) பயன்படுத்தி மீட்டெடுக்கப்பட்ட சான்றுகளுடன் ஒப்பிட்டு மதிப்பிடப்படுகின்றன; தேவைக்கேற்ப ஒருங்கிணைப்பாளர் வழியாக மேலும் கோரிக்கைகள் அனுப்பப்படுகின்றன. மாறாக, மீட்டெடுப்பே தேவையில்லை என்றும் LLM முடிவு செய்யலாம்.

இது திருத்தும் RAG-இலிருந்து வேறுபடுவது இதில்தான்: இங்கு LLM தனது சொந்த வெளியீடுகளை மதிப்பிடுகிறது, மீட்டெடுப்பு தேவையா, மீட்டெடுக்கப்பட்ட உரை பயனுள்ளதா என்பதைத் தீர்மானிக்கிறது, மேலும் தனது பதில்களைக் கண்காணித்து தேவைக்கேற்ப மாற்றியமைக்கிறது. மறுபுறம், திருத்தும் RAG உருவாக்கத்துக்கு முன்பே மீட்டெடுக்கப்பட்ட தகவல்களின் தரத்தை மதிப்பிடுகிறது.

சிக்கலான, ஆழமான ஆய்வு பாணி ப்ராம்ப்ட்டுகளுக்கு இந்தக் கட்டமைப்பு மிகவும் பயனுள்ளதாக உள்ளது. (மீட்டெடுக்கப்பட்ட தகவல்களின்) பொருத்தப்பாட்டு மதிப்பீடுகளைப் பதில் உருவாக்கத்துடன் ஒருங்கிணைப்பதால், சான்றுகளின் அடிப்படையிலான பதில்கள் தேவைப்படும் ப்ராம்ப்ட்டுகளுக்கு இது ஒரு நல்ல தேர்வாகும்.

6. ஏஜென்டிக் RAG

ஏஜென்டிக் RAG என்பது, ஓர் ஏஜென்டிக் தளத்தின் சூழலில் செயல்படுத்தப்படும் எந்த வகையான RAG-ஐயும் குறிக்கிறது. தேவைப்படும் தகவலின் வகையைத் தீர்மானிக்க மாதிரி தனது பகுத்தறியும் திறன்களைப் பயன்படுத்தி, கிடைக்கக்கூடிய மீட்டெடுப்பு விருப்பங்களிலிருந்து தேர்ந்தெடுக்கிறது.

தேவைக்கேற்ப மீட்டெடுப்பைப் பலமுறை தூண்டலாம்; மேலும் சிக்கலான வினவல்களுக்கு ஏஜென்ட்களை ஒதுக்கும் வாய்ப்பும் மாதிரிக்கு உள்ளது. எடுத்துக்காட்டாக, ஒரு சப்ளையரை அடையாளம் காண LLM ஒரு தரவுத்தளத் தேடலைக் கோரலாம், தொடர்புடைய ஒப்பந்தங்களைக் கண்டறிய ஆவணத் தேடலைத் தூண்டலாம், இறுதியாகப் பொது மூலங்களைப் பயன்படுத்தித் தொடர்பு விவரங்களைச் சரிபார்க்க ஒரு வலைத் தேடலுடன் முடிக்கலாம்.

Perplexity, ChatGPT, Claude போன்ற முன்னணி சாட்பாட்களில் ஏஜென்டிக் RAG தான் முதன்மையான கட்டமைப்புச் செயலாக்கமாகும். இந்தத் தளங்கள் மைய மாதிரிக்குப் பல கருவிகள் மற்றும் RAG பைப்லைன்களுக்கான அணுகலை வழங்குவதால், ஒரு ப்ராம்ப்ட்டுக்கு எந்த வகையான மீட்டெடுப்பு மிகவும் பொருத்தமானது என்பதை அதனால் தேர்ந்தெடுக்க முடிகிறது.

7. மல்டிமோடல் RAG

மல்டிமோடல் RAG, வெவ்வேறு வகையான ஊடகங்களிலிருந்து சூழலை மீட்டெடுக்கிறது. விளக்கப்படங்கள், ஒலிப்பதிவுகள் போன்ற, இல்லையெனில் அணுக முடியாத தகவல்களை LLM-களுக்குக் கிடைக்கச் செய்வதால், இது RAG-இன் ஒரு முக்கியமான வடிவமாகும்.

இதன் அடிப்படைக் கட்டமைப்பு மற்ற எந்த அமைப்பிலும் உள்ளதைப் போன்றதே. எடுத்துக்காட்டாக, ஒரு குறியீட்டாக்கப் பைப்லைன் படங்களை நேரடி எம்பெடிங்குகளாக மாற்றுவதன் மூலம் அவற்றைத் தேடலுக்குத் தயார்படுத்தலாம். பின்னர் ஓர் ஏஜென்டிக் RAG அமைப்பு, இந்தப் படங்களைச் சொற்பொருள் ரீதியாகத் தொடர்புடைய உரையுடன் சேர்த்து மீட்டெடுத்து, இரட்டைச் செயலாக்கத்துக்காக ஒரு பார்வை-மொழி மாதிரிக்கு வழங்கலாம்.

8. GraphRAG

உருப்பொருட்கள் (entities) பற்றிய தகவல்களை மீட்டெடுக்க, GraphRAG வெக்டர் தேடலுடன் சேர்த்து அறிவு வரைபடங்களையும் பயன்படுத்துகிறது. பொதுவாக, ஒருங்கிணைப்பாளர் முக்கியச்சொல் பிரித்தெடுப்பு அல்லது சில நேரங்களில் ஒரு முன்கட்ட வெக்டர் தேடலைப் பயன்படுத்தி, கணுக்கள் (nodes) என்றும் அழைக்கப்படும் தொடர்புடைய தொடக்க உருப்பொருட்களைக் கண்டறிகிறது. பரந்த சூழலை உருவாக்க, ஒரு வரைபட மீட்டெடுப்பான் அறிவு வரைபடத்தில் பயணிக்கிறது.

எடுத்துக்காட்டாக, ஒரு தயாரிப்பு வகையின் விரிவான பகுப்பாய்வுக்கான கோரிக்கைக்குப் பதிலளிக்கும்போது, குறிப்பிட்ட உருப்பொருட்களை (தயாரிப்புகளை) அடையாளம் காண LLM ஒரு வெக்டர் தேடலைத் தூண்டலாம். பின்னர் ஒருங்கிணைப்பாளர், சப்ளையர்கள், சில்லறை விற்பனை இடங்கள், மதிப்புரைகள் போன்ற தொடர்புடைய உருப்பொருட்களைக் கண்டறிய ஓர் அறிவு வரைபடத் தேடலைத் தூண்டும்.

9. கிளை RAG (Branched RAG)

ஹைப்ரிட் RAG கட்டமைப்புக்கு வெவ்வேறு மீட்டெடுப்பு முறைகளைப் பயன்படுத்தும் திறன் உள்ளது; ஆனால் கிளை RAG என்பது, கிளைகள் எனப்படும் பல வினவல்களை ஒரே நேரத்தில் இயக்கும் செயல்முறையைக் குறிக்கிறது. ஒவ்வொரு கிளையும் தனித்தனித் தகவல் மூலத்தை வினவலாம், அல்லது வெவ்வேறு வினவல்கள் அல்லது வடிப்பான்களுடன் கிளைகள் ஒரே மூலத்தை இணையாக வினவலாம். ஏஜென்டிக் RAG கட்டமைப்பு பெரும்பாலும் கிளை RAG-ஐப் பயன்படுத்துகிறது.

10. HyDE (Hypothetical Document Embeddings – கற்பனை ஆவண எம்பெடிங்குகள்)

HyDE என்பது RAG-இன் ஒரு புதுமையான வடிவமாகும்; இதில், ஒரு சிறந்த பதில் எப்படி இருக்கக்கூடும் என்பதற்கான கற்பனையான உரை ஆவணத்தை LLM உருவாக்குகிறது. இந்த “கற்பனை ஆவணம்” பின்னர் மிகவும் துல்லியமான மீட்டெடுப்புக்கான வினவலை உருவாக்கப் பயன்படுத்தப்படுகிறது. தொடர்புடைய அறிவு LLM அளவுருக்களில் இடம்பெறாவிட்டாலும், ஒரு சிறிய கேள்வி அல்லது தெளிவற்ற ப்ராம்ப்ட்டை விட, பதிலைப் போன்ற ஒரு பத்தி தொடர்புடைய ஆவணங்களுடன் சிறப்பாகப் பொருந்தக்கூடும் என்பதே இதன் அடிப்படைக் காரணம்.

எளிய RAG கட்டமைப்பு எடுத்துக்காட்டு: வெக்டர் தரவுத்தளம்

மிகவும் சிக்கலான கட்டமைப்பு வகைகளுக்கு அடிப்படை RAG அடித்தளமாகச் செயல்படுகிறது. வெக்டர் தரவுத்தளத்தைப் பயன்படுத்தும் ஓர் எளிய RAG அமைப்பில், மூல ஆவணங்கள் சிறிய பகுதிகளாக (துண்டுகளாக) பிரிக்கப்பட்டு, அடர்த்தியான எம்பெடிங்குகளாக மாற்றப்படுகின்றன. பயனர் ஒரு ப்ராம்ப்ட்டை உள்ளிடும்போது, ஒருங்கிணைப்பாளர் ஒரு வினவலை உருவாக்கி, அதை என்கோட் செய்து, தொடர்புடைய பத்திகளைக் கண்டறியத் தரவுத்தளத்தை வினவுகிறது.

இந்தச் செயல்முறையின் படிப்படியான விளக்கம் இதோ:

1. தானியங்கு உள்ளீர்ப்புப் பைப்லைன் மற்றும் BERT போன்ற எம்பெடிங் மாதிரியைப் பயன்படுத்தி, பெரும் அளவிலான உரை வெக்டர்களாக மாற்றப்படுகிறது.
2. வேகமான தேடலுக்காக, தரவுத்தளப் பயன்பாடு வெக்டர்களை ஒழுங்கமைத்து, குறியீட்டாக்கி, சேமிக்கிறது.
3. பயனர் (Perplexity போன்ற) ஒரு சாட்பாட்டில் ஒரு ப்ராம்ப்ட்டை உள்ளிடுகிறார்.
4. வெக்டர் தரவுத்தளத்திலிருந்து தொடர்புடைய தகவல்களை மீட்டெடுக்க, பயன்பாட்டின் ஒருங்கிணைப்பாளர் (ஓர் எம்பெடிங் மாதிரியைப் பயன்படுத்தி) ப்ராம்ப்ட்டை என்கோட் செய்கிறது.
5. வெக்டர் தரவுத்தளம் தொடர்புடைய துண்டுகளைத் திருப்பி அனுப்புகிறது; ஒருங்கிணைப்பாளர் அவற்றை உள்ளீட்டுச் சூழலில் (“பெரிய ப்ராம்ப்ட்”) சேர்த்து LLM-க்கு வழங்குகிறது.
6. கூடுதல் சூழலையும், தனது உள் அறிவையும் (அதன் அளவுரு எடைகளில் சேமிக்கப்பட்டது) பயன்படுத்தி LLM ஒரு பதிலை உருவாக்குகிறது.

விரிவாக்கு

மேம்பட்ட RAG கட்டமைப்பு எடுத்துக்காட்டு: ஏஜென்டிக் RAG

ஏஜென்டிக் RAG என்பது, ஓர் ஏஜென்டிக் தளத்திலுள்ள RAG அமைப்புகளின் அடிப்படைக் கட்டமைப்பைக் குறிக்கிறது. ப்ராம்ப்ட்டின் தன்மையைப் பொறுத்து AI ஏஜென்ட்கள் வெவ்வேறு கருவிகளையும் பைப்லைன்களையும் அழைக்கலாம், தேவைப்பட்டால் பல ஏஜென்ட்களைப் பணியமர்த்தலாம் என்பதால், ஏஜென்டிக் RAG ஓட்டங்கள் பெரும்பாலும் சிக்கலானவையாக இருக்கும்.

இந்தச் செயல்முறைக்கான ஒரு நடைமுறை எடுத்துக்காட்டு இதோ:

1. ஒரு தலைப்பில் ஆழமான ஆய்வு தேவைப்படும் சிக்கலான கேள்வியைப் பயனர் உள்ளிடுகிறார். இந்த எடுத்துக்காட்டுக்கு, ப்ராம்ப்ட் “முக்கியப் புவிசார் அரசியல் நிகழ்வுகளைக் கருத்தில் கொண்டு, அடுத்த ஆறு மாதங்களுக்கான நிறுவன வருவாய் முன்னறிவிப்பை வழங்கவும்” என்று வைத்துக்கொள்வோம்.
2. வெவ்வேறு உள்ளடக்க வகைகளில் RAG வினவல்களின் கலவை தேவைப்படும் என்று LLM பகுத்தறிகிறது.
3. (a) வெக்டர் தேடல், (b) வலை அடித்தளமிடல் (web grounding), (c) படம் (மல்டிமோடல்) தேடல் ஆகியவற்றுக்காக மூன்று வெவ்வேறு ஏஜென்ட்கள் பணியமர்த்தப்படுகின்றன.
4. கிடைக்கக்கூடிய மீட்டெடுப்புக் கருவிகளைப் பயன்படுத்தி, ஒருங்கிணைப்பாளர் வழியாகச் செய்திகள், உள் நிதித் தரவு போன்ற தொடர்புடைய தகவல்களை ஏஜென்ட்கள் தேடுகின்றன.
5. மீட்டெடுக்கப்பட்ட முடிவுகளை ஒவ்வொரு ஏஜென்ட்டின் ஆய்வுக் கேள்வியுடனும் LLM ஒப்பிட்டு, பொருத்தப்பாட்டின் அடிப்படையில் அவற்றைத் தரவரிசைப்படுத்துகிறது.
6. LLM தகவல்களை மதிப்பீடு செய்து, தகவல் விடுபட்டுள்ள இடங்களில் தனிப்பட்ட ஏஜென்ட்கள் வழியாகக் கூடுதல் தேடல்களைத் தூண்டுகிறது.
7. போதுமான தகவல்கள் மீட்டெடுக்கப்பட்டதும், ஏற்கனவே உள்ள நிதிப் புள்ளிவிவரங்களின் (உள் ஆவணங்களிலிருந்து மீட்டெடுக்கப்பட்டவை) அடிப்படையில் LLM சூழ்நிலை முன்னறிவிப்புகளை உருவாக்கி, ஒவ்வொன்றுக்குமான வருவாயைக் கணிக்க ஒரு கால்குலேட்டர் கருவியை அழைக்கிறது.
8. மீட்டெடுக்கப்பட்ட தகவல்கள் மற்றும் கணக்கீடுகளைப் பயன்படுத்தி, தேவைக்கேற்ப மூலங்களை மேற்கோள் காட்டி, LLM இறுதிப் பதிலை உருவாக்குகிறது.

விரிவாக்கு

RAG-இன் அடுத்த கட்டம் என்ன?

தற்போதைய RAG கட்டமைப்புகளுக்கு ஆழத்தையும் வேகத்தையும் சேர்ப்பது, மல்டிமீடியா மீட்டெடுப்பின் துல்லியத்தை மேம்படுத்துவது, மிகச் சமீபத்திய தகவல்களைக் கையாளும் வகையில் வடிவமைக்கப்பட்ட அமைப்புகளை உருவாக்குவது ஆகியவற்றையே தற்போதைய புதுமைகள் மையமாகக் கொண்டுள்ளன.

ஆய்வின் திசையைத் தற்போது வடிவமைக்கும் மூன்று போக்குகள் இதோ:

• பல மூலங்களில் ஆழமான ஆய்வு: தேடல்களைத் திட்டமிடுதல், வேறுபட்ட மூலங்களில் பல கிளைகளை இயக்குதல், மீட்டெடுக்கப்பட்ட சான்றுகளை மதிப்பீடு செய்தல், உருவாக்கப்பட்ட பதில்களைத் தானாகவே மேம்படுத்துதல் ஆகியவற்றைச் செய்யக்கூடிய RAG கட்டமைப்பு இது. இந்தப் பணிகள் அனைத்தையும் செயல்படுத்தக்கூடிய ஏஜென்டிக் RAG தொடர்ந்து வேகமானதாகவும் செலவு குறைந்ததாகவும் மாறி வருகிறது.
• மல்டிமோடல் பயன்பாடுகள்: மீட்டெடுப்புப் பைப்லைன்கள் படங்கள் மற்றும் வீடியோக்களுடன் செயல்படுவதில் மேம்பட்டு வருகின்றன. நீண்ட வீடியோக்கள், மேம்பட்ட வரைபடங்கள் போன்ற சிக்கலான மல்டிமோடல் தரவில் குறிப்பிட்ட வகைத் தகவல்களை அவை மேலும் மேலும் துல்லியமாகக் கண்டறிகின்றன.
• தொடர்ந்து மாறும் தகவல்களில் பதில்களை அடித்தளமிடுதல்: LLM அடிப்படையிலான பயன்பாடுகள், உள்ளீட்டுச் சூழலை வழங்க நேரலைத் தகவல் மூலங்களை (வீடியோ ஊட்டங்கள், சென்சார்கள் போன்றவை) பயன்படுத்த முடியும். இந்தத் தரவைப் புரிந்துகொள்ள, GraphRAG போன்றவற்றின் மூலம் பன்முகத் தகவல் வலைகளையும் அமைப்புகள் உருவாக்க முடியும்.

LLM அடிப்படையிலான பயன்பாடுகள் செயல்படும் விதத்துக்கு RAG அடிப்படையானது. அன்றாட நுகர்வோர் முதல் சிறப்புத் துறைகளில் செயல்படும் நிறுவனங்கள் வரை பல்வேறு பயனர்கள், மாயத்தோற்றங்கள் (hallucinations), முழுமையற்ற பயிற்சித் தரவு, சிறப்பு உள் அறிவுக்கான அணுகல் இல்லாமை ஆகியவை தொடர்பான சிக்கல்களைச் சமாளிக்க இது உதவுகிறது.

அதனால்தான் RAG அமைப்புகளும் அவற்றின் அடிப்படைக் கட்டமைப்பும், AI ஆய்வில் மிக வேகமாக வளர்ந்து வரும், மிகவும் உற்சாகமூட்டும் துறைகளில் ஒன்றாகத் திகழ்கின்றன.