RAG vs. LLM: தொழில்நுட்பப் பிரிவாக்கம் (வரையறைகள், வேறுபாடுகள், பயன்பாட்டு நிகழ்வுகள்)

LLMகள் தங்களின் பயிற்சி தரவிலுள்ள வடிவங்களில் இருந்து கற்றுக்கொண்ட அளவுருக்களைப் பயன்படுத்தி பதில்களை உருவாக்குகின்றன. அந்த அளவுருக்கள் சமீபத்திய அல்லது முழுமையான தகவல்களை பிரதிபலிக்காமல் இருக்கக்கூடியதால், retrieval-augmented generation என்பதற்கான சுருக்கமான RAG, வெளிப்புற மூலங்களிலிருந்து தரவை LLM-ன் உள்ளீட்டு சூழலுக்கு சேர்த்து செயல்முறையைப் பூர்த்தி செய்கிறது. ஒரு AI கருவி வெளித் தகவலை மீட்டெடுக்கிறது மற்றும் அதை LLM-ன் உருவாக்கத்தை மேம்படுத்த பயன்படுத்துகிறது.

உண்மையில், உங்கள் தேர்வு RAG அல்லது LLM என்பதற்கிடையில் அல்ல. அது ஒரு கலப்பு அணுகுமுறை மற்றும் LLM-ஐ மட்டுமே பயன்படுத்தும் அணுகுமுறை என்பவற்றுக்கிடையே ஆகும்.

ஒரு LLM-க்கு நிறுவன ஆவணங்கள், தரவுத்தளங்கள், அல்லது விரைவாக மாறும் தகவல்களுக்கு அணுகல் தேவைப்படும்போது RAG அவசியமாகிறது. பயனர் அனைத்து உள்ளீடுகளையும் வழங்கக்கூடிய சில நிர்வாக, தரவு செயலாக்க, மற்றும் உள்ளடக்க உருவாக்கப் பணிகளுக்கு LLM-மட்டும் அணுகுமுறை பொருத்தமானதாகும்.

RAG vs. LLM: முக்கிய வேறுபாடுகள் என்ன?

• RAG-களும் LLMகளும் ஒன்றுக்கொன்று துணைபுரியும் அமைப்புகள். நீங்கள் RAG இல்லாமல் ஒரு AI மாதிரியைப் பயன்படுத்தலாம் (அது தனது ஏற்கனவே உள்ள அளவுருக்களை மட்டுமே நம்பும் இடத்தில்), ஆனால் ஒரு மாதிரி இல்லாமல் RAG அமைப்பை நீங்கள் பயன்படுத்த முடியாது.
• RAG, LLMகளில் உள்ள மூன்று முக்கிய சிக்கல்களைத் தீர்க்க அறிமுகப்படுத்தப்பட்டது: காலாவதியான தகவல், கற்பனை செய்யப்பட்ட பதில்கள், மற்றும் மூன்றாம் தரப்பு மூலங்களுடன் சரிபார்ப்பு இல்லாமை.
• RAG, சரிபார்க்கப்பட்ட உள்புற ஆவணங்கள், தரவுத்தளங்கள், மற்றும் API endpoint-களுடன் LLMகளை இணைப்பதால், நிஜ உலக வணிக சூழல்களில் AI-யை மிகவும் செயல்திறனாக மாற்றுகிறது.
• முக்கிய RAG பயன்பாட்டு நிகழ்வுகளில் வாடிக்கையாளர் ஆதரவு சாட்பாட்கள், விரைவாக மாறும் தரவு (உதாரணமாக தொழில்துறை செய்திகள்) அடிப்படையிலான கேள்விகள், மற்றும் துல்லியம் மற்றும் மூல உண்மைச் சோதனை முக்கியமான மருத்துவம், சட்டம் போன்ற சிறப்பு துறைகள் அடங்குகின்றன.
• RAG-இன் மூன்று முக்கிய வகைகள் உள்ளன: சாதாரண RAG, தொகுதி RAG, மற்றும் மேம்பட்ட RAG. சாதாரண RAG என்பது நேரடியான தகவல் மீட்டெடுப்பாக மிகச் சிறப்பாகப் புரிந்துகொள்ளப்படுகிறது, அதேசமயம் தொகுதி மற்றும் மேம்பட்ட RAGகள் கேள்வி மறுஎழுத்தாக்கம் மற்றும் துண்டு மேம்படுத்தல் போன்ற கூடுதல் செயல்பாடுகளைச் சேர்க்கின்றன.

பெரிய மொழி மாதிரி (LLM) என்றால் என்ன?

LLM, அல்லது பெரிய மொழி மாதிரி, நுணுக்கமாகச் சீரமைக்கப்பட்ட அளவுருக்களைப் பயன்படுத்தி உள்ளடக்கத்தை உருவாக்கும் ஒரு அமைப்பு. இந்த அளவுருக்கள் LLM சொற்களஞ்சியத்தில் உள்ள அனைத்து டோக்கன்களுக்கும் ஒதுக்கப்படும் நிகழ்தகவுகளை நிர்ணயிக்கின்றன; கொடுக்கப்பட்ட வரிசையில் அடுத்ததாக எந்த டோக்கன் வர அதிக சாத்தியமுள்ளது என்பதைக் காட்டுகின்றன.

RAG எவ்வாறு செயல்படுகிறது (மற்றும் LLMகளிலிருந்து எவ்வாறு வேறுபடுகிறது) என்பதை மேலும் நன்றாகப் புரிந்துகொள்ள, உருவாக்கும் AI அடிப்படை நிலையில் எவ்வாறு செயல்படுகிறது என்பதைப் பார்ப்பது உதவியாக இருக்கும்:

1. டோக்கனைசேஷன்: பயனரின் prompt டோக்கன்களாகப் பிரிக்கப்படுகிறது; அவை சொற்கள், சொற்களின் பகுதிகள், அல்லது தனித்த எழுத்துகளாக இருக்கலாம்.
2. எம்பெட்டிங்: டோக்கன்கள் எம்பெட்டிங்களாக, அதாவது வெக்டர்கள் எனப்படும் எண் வடிவ பிரதிநிதிப்புகளாக (எண்களின் தொடர்கள்) மாற்றப்படுகின்றன; இவற்றை டிகோடரை உள்ளடக்கிய நரம்பியல் வலைப்பின்னல் செயலாக்க முடியும்.
3. டிகோடிங்: டிகோடரின் அடுக்குகள் (அவை LLM-இன் நரம்பியல் வலையின் பெரிய பகுதியை உருவாக்குகின்றன) attention எனப்படும் செயல்முறையைப் பயன்படுத்தி இந்த வெக்டர்களைக் கையாளுகின்றன; இது அர்த்தத்தைப் பிடிக்க உதவுகிறது. இந்த செயல்முறை, வரிசையில் உள்ள பிற டோக்கன்களுடன் ஒவ்வொரு டோக்கனும் எவ்வளவு வலுவாக தொடர்புடையதாக இருக்க வேண்டும் என்பதை நிர்ணயிக்கிறது.
4. மதிப்பீடு: மாதிரி தனது முன்பிருந்த சொற்களஞ்சியத்தில் உள்ள ஒவ்வொரு டோக்கனுக்கும் இணக்கத்தன்மை நிகழ்தகவை ஒதுக்கி, வரிசைக்கான சாத்தியமான அடுத்த டோக்கனைத் தேர்ந்தெடுக்கிறது.

முக்கியமான விஷயம் என்னவெனில், ஒரு LLM அதன் ஏற்கனவே உள்ள அளவுருக்களையும் அதன் சூழல் சாளரத்தில் உள்ள டோக்கன்களையும் அடிப்படையாகக் கொண்டு மட்டுமே வெளியீடுகளை உருவாக்க முடியும். பயிற்சியின் போது, ஒரு LLM-க்கு முழுமையற்ற உரையின் பகுதிகளை பில்லியன் கணக்கான முறைகள் முடிக்கக் கூறப்படுகிறது; மேலும், அது டோக்கன்களுக்கு நிகழ்தகவுகளை நம்பத்தகுந்த வகையில் ஒதுக்கும் வரை அதன் அளவுருக்கள் சரிசெய்யப்படுகின்றன (இதன் மூலம் உரையை நிறைவு செய்கிறது).

உதாரணமாக, “எங்கள் நிறுவனத்தின் 2026 பணத்தீர்வு கொள்கை என்ன சொல்கிறது?” என்று நீங்கள் ஒரு AI மாதிரிக்கு கேட்கிறீர்கள் எனக் கொள்ளுங்கள். LLM, உங்கள் ஆதரவு ஆவணங்களைப் பயன்படுத்தி நுணுக்கமாகச் சீரமைக்கப்படாத தனது ஏற்கனவே உள்ள அளவுருக்களின் அடிப்படையில் அடுத்த டோக்கன்களையே முன்னறிவிக்க முடியும். கூடுதல் சூழல் எதுவுமின்றி நீங்கள் இதைக் கேட்டால், அது பொருத்தமான முறையில் பதிலளிக்க முடியாமல் போகலாம் அல்லது தவறான பதிலை hallucinate செய்யலாம்.

மீட்டெடுப்பு-உதவியுடன் உருவாக்கம் (RAG) என்றால் என்ன?

RAG (retrieval-augmented generation) என்பது வெளிப்புற அமைப்புகளிலிருந்து வரும் தகவல் ஒரு LLM prompt-இல் சேர்க்கப்படும் செயல்முறை ஆகும்.

அடிப்படை LLM செயல்முறை, எம்பெட்டிங் மற்றும் நிகழ்தகை சார்ந்த token பொருத்தலை உள்ளடக்கியது, மாறாமல் அதேபடி உள்ளது. RAG ஒரு முன்னோடி படியை அறிமுகப்படுத்துகிறது; அதில் பயனர் prompt கூடுதல் தரவுடன் விரிவாக்கப்படுகிறது.

RAG எவ்வாறு செயல்படுகிறது என்பதற்கான ஒரு மேலோட்டம் இதோ:

1. அறிவு தயாரிப்பு: ஒரு அறிவு மூலம் தயாரிக்கப்படுகிறது. இது ஆவணங்களின் தொகுப்பு, ஒரு vector database, ஒரு knowledge graph, அல்லது ஒரு நேரடி index (AI தேடலுக்காகப் போன்ற) ஆக இருக்கலாம்.
2. Prompting: ஒரு பயனர் “Should I go for a walk in London today?” போன்ற ஒரு prompt-ஐ உள்ளிடுகிறார்.
3. மீட்டெடுப்பு: வெளிப்புற தகவல் மூலம் AI கருவியின் retriever மூலம் வினவப்படுகிறது. அது prompt-ஐ எம்பெட் செய்து, அதை ஒரு வெக்டராக மாற்றி, பின்னர் vector database-ஐ வினவலாம். மாற்றாக, API அழைப்பு, முக்கியச்சொல் பொருத்தம், அல்லது knowledge graph traversal போன்ற வேறு முறையையும் பயன்படுத்தலாம்.
4. நுழைத்தல்: இந்த தகவல் பயனரின் அசல் prompt-இல் சேர்க்கப்படுகிறது. லண்டனில் நடைப்பயணம் செய்வது குறித்த கேள்வியின் எடுத்துக்காட்டில், இதில் லண்டனின் வானிலைத் தகவலும் பிரபல நடைப்பாதைகளின் தற்போதைய அணுகல்தன்மையும் அடங்கலாம்.
5. பதில் உருவாக்கம்: LLM விரிவாக்கப்பட்ட prompt-ஐப் பயன்படுத்தி வழக்கமான முறையில் ஒரு பதிலை உருவாக்குகிறது.

பின்னணியில், மீட்டெடுக்கப்பட்ட உரை உள்ளீட்டு சூழலில் சேர்க்கப்பட்டு, டோக்கன்களாகப் பிரிக்கப்பட்டு, எம்பெட் செய்யப்படுகிறது. பின்னர் மாதிரி அந்த கூடுதல் சூழலை அதன் டிகோடர் மூலம் செயலாக்குகிறது, இது வெளியீட்டு டோக்கன் நிகழ்தகைகளை மாற்றுகிறது.

பொதுவாகச் சொன்னால், RAG-ஐ மூன்று துணை வகைகளாகப் பிரிக்கலாம். Naive RAG அடிப்படை RAG செயல்முறையைப் பின்பற்றுகிறது; தகவலை மீட்டெடுத்து அதை prompt-இல் ஊட்டுகிறது. Advanced RAG கேள்வி மறுஎழுத்தாக்கம் மற்றும் பல கேள்வி சுற்றுகள் போன்ற கூடுதல் செயல்பாடுகளைச் சேர்க்கிறது. Modular RAG என்பது வெவ்வேறு மேம்பட்ட செயல்பாடுகளை கூறுகளாகக் கருதி, தேவையின்படி இணைக்கக்கூடிய ஒரு கட்டமைப்பைச் சுட்டுகிறது.

RAG vs. LLM: பயன்பாட்டு நிகழ்வுகளின் மேலோட்டம்

RAG பயனர்களுக்கு சமீபத்திய தரவுகளுக்கான அணுகலை வழங்குகிறது. இதனால் உருவாகும் LLM வெளியீடுகளில் கற்பனைத் தவறுகள் மற்றும் தகவல் இடைவெளிகள் குறைவாக இருப்பதற்கான வாய்ப்பு அதிகரிக்கிறது. வெளியீட்டில் பயன்படுத்தப்பட்ட தகவல்களின் மூலங்களைப் பார்க்க வேண்டுமெனில், அடிப்படையற்ற LLM பதில்கள் மேற்கோள்களுடன் வராததால், RAG கூட அவசியமானதாகும்.

விரிவாக்கு

RAG பயன்பாட்டு நிகழ்வுகள்

• காலத்துக்கு உணர்திறன் கொண்ட தகவல் கோரிக்கைகள்: விரைவாகப் பழுதாகிவிடும் தகவலுக்கான எந்தக் கேள்வியும், அது வானிலை முன்னறிவிப்பு போன்ற எளிதானதாக இருந்தாலும், உருவாகிக்கொண்டிருக்கும் செய்திக் கதையின் விரிவான பகுப்பாய்வு போன்ற சிக்கலானதாக இருந்தாலும், சரிபார்க்கப்பட்ட மூன்றாம் தரப்பு மூலங்களை அடிப்படையாகக் கொண்டிருக்க வேண்டும்.
• நிறுவன ஆவணங்கள்: பயனர்கள் நிறுவன அல்லது தயாரிப்பு ஆவணங்களைப் பற்றிய கேள்விகளை கேட்கும் உள்புற அல்லது வாடிக்கையாளர் முன்நோக்கிய AI சாட்பாட்கள் RAG-ஐ இயக்கப்பட்ட நிலையில் இருக்க வேண்டும், குறிப்பாக ஆவணங்கள் அடிக்கடி புதுப்பிக்கப்படும்போது.
• வாடிக்கையாளர் ஆதரவு: துல்லியமான பதில்களை வழங்க, வாடிக்கையாளர் சாட்பாட்களுக்கு தற்போதைய, விரிவான ஆதரவு ஆவணங்களுக்கான அணுகல் தேவை.
• சிறப்பு துறைகள் (மருத்துவம், சட்டம், நிதி, முதலியவை): துறை-சிறப்பு corpus-களில் பயிற்சி பெறாத LLMகள் (குறிப்பாக பிரதான மாதிரிகள்) பொதுவாகச் சிறப்பு prompt-களின் நுணுக்கத்தை கையாள சிரமப்படுகின்றன.

LLM பயன்பாட்டு நிகழ்வுகள்

• நிர்வாகப் பணிகள்: LLMகள் குறைந்த தாமதத்துடன் அடிப்படை பணிகளை முடிக்க முடியும். வெளிப்புற தகவல் தேவையில்லாத எழுத்துப் பணிகள் மற்றும் எழுத்தர் பணிகள், உதாரணமாக எழுத்துப்பிழைச் சோதனை அல்லது சுருக்கம், ஆகியவற்றிற்கு RAG தேவையில்லை.
• படைப்பூக்கப் பணிகள்: ஒரு குறுங்கதை அல்லது ஒரு படத்தை உருவாக்குவது போன்ற சில படைப்பூக்கப் பணிகளுக்கு, ஆரம்ப prompt-இல் வழங்கப்படும் தகவல் மட்டுமே தேவை.
• பகுத்தறிதல் மற்றும் தரவின்பொருத்த பணிகள்: நீங்கள் ஒரு பெரிய தரவுத்தொகுப்புடன் பணியாற்றுகிறீர்கள் என்றால், பகுத்தறிதல் மற்றும் பகுப்பாய்வு செயல்பாடுகளைப் பயன்படுத்துவதற்கு ஒரு LLM-க்கு வெளிப்புற தகவலுக்கான அணுகல் தேவையில்லை.
• பொதுக் குறியிடல்: ஒரு குறியிடல் பணிப்பாய்வுக்கு தனிப்பட்ட codebase அல்லது ஆவணங்களுக்கான அணுகல் தேவைப்படலாம்; ஆனால் வெளிப்புற மூலங்களை நாடாமல், பிழைகளை சரிசெய்தல் மற்றும் செயல்பாடுகளை உருவாக்குதல் போன்ற பொதுக் குறியிடல் பணிகளைச் செயல்படுத்துவதில் LLMகள் மிகத் திறமையானவை.

RAG vs. நீண்ட சூழல் கொண்ட LLM, ஏஜென்டிக் AI, மற்றும் அடித்தளமிடல்

RAG மற்றும் LLMகளுக்கிடையேயான வேறுபாட்டிற்கு தொடர்புடைய மூன்று கருத்துகள் உள்ளன. அவை நீண்ட சூழல் கொண்ட LLMகள், ஏஜென்டிக் AI, மற்றும் அடித்தளமிடல் ஆகும்.

நீண்ட சூழல் கொண்ட LLMகளை சில நேரங்களில் RAG-இயக்கப்பட்ட அமைப்புகளுக்குப் பதிலாகப் பயன்படுத்தலாம்; அதேசமயம் ஏஜென்டிக் AI மற்றும் grounding அவற்றுடன் இணையானவையாகவோ அல்லது அவற்றோடு சேர்ந்து செயல்படுவதாகவோ இருக்கின்றன.

நீண்ட சூழல் கொண்ட LLMகள்

இவை பெரிய சூழல் சாளரங்களைக் கொண்ட மாதிரிகள்; பொதுவாகக் கிடைக்கும் சில வணிக மாதிரிகள் ஒரு மில்லியன் டோக்கன்கள் வரை இயங்குகின்றன.

தொடர்புடைய பொருள் ஒரு மாதிரியின் சூழல் சாளரத்திற்குள் பொருந்தி, உரை வடிவில் கிடைக்குமானால், LLM-மட்டும் அணுகுமுறையைப் பயன்படுத்துவதற்கு சில நன்மைகள் உள்ளன. அது மீட்டெடுப்பு பிழைகளின் வாய்ப்பைக் குறைத்து, மேலும் விரிவான சூழலை வழங்கி, விரிவான RAG கட்டமைப்பு அமைப்பின் தேவையை நீக்க முடியும்.

ஏஜென்டிக் AI

ஒரு ஏஜென்ட் என்பது RAG திறன்கள் உட்பட பல கருவிகளைப் பயன்படுத்தி சிக்கலான பணிகளைச் செய்யும் ஒரு அமைப்பாகும். RAG என்பது ஏஜென்டிக் AI-இன் ஒரு கூறு, மேலும் ஒரு ஏஜென்ட் பெரும்பாலும் prompt-இன் உள்ளடக்கத்தைப் பொறுத்து (எ.கா., இணைய தேடல் vs. vector search) பலவகை மீட்டெடுப்பு முறைகளைப் பயன்படுத்தும்.

அடித்தளமிடல்

அடித்தளமிடல் என்பது ஒரு LLM-இன் பதிலின் துல்லியத்தை மேம்படுத்த சான்றுகள் அல்லது தரவைப் பயன்படுத்தும் பரந்த செயல்முறையை குறிக்கிறது. RAG என்பது அடித்தளமிடலின் ஒரு வடிவம்; ஆனால் ஒரு தொழில்நுட்ப ஆவணத்தை சூழல் சாளரத்தில் சேர்ப்பதும் கூட அடித்தளமிடலாகக் கருதப்படும்.

RAG vs. LLM: நிஜ உலக எடுத்துக்காட்டுகள்

RAG இல்லாமல் LLM பயன்படுத்துவதுடன் ஒப்பிடும்போது RAG எவ்வாறு செயல்படுகிறது என்பதை மேலும் நன்றாகப் புரிந்துகொள்ள, Perplexity-யைப் பயன்படுத்திய ஒரு எளிய நிஜ உலக எடுத்துக்காட்டையும், ஒரு vector database-ஐ ஆலோசிக்கும் கற்பனை நிறுவனச் சூழலையும் பார்க்கலாம்.

RAG vs. LLM: ஒரு எளிய prompt உடன்

Perplexity-யில் "Should I go for a walk in London today?” என்று கேட்டு, AI web search (RAG-இன் ஒரு வடிவம்) அணைக்கப்பட்ட நிலையில் பெறப்படும் வெளியீடு இதோ (இரண்டு வாக்கியங்களுக்கு மட்டுமே கட்டுப்படுத்தப்பட்டது):

ஆம்—வானிலை நியாயமாக வறண்டதாக இருந்தால், மேலும் உங்களிடம் நேரம் இருந்தால், இன்றைய லண்டன் நடைப்பயணம் காட்சிமாற்றத்திற்கான புத்துணர்ச்சியூட்டும் ஒன்றாக இருக்கலாம். South Bank, Regent’s Canal, அல்லது Hyde Park வழியிலான பாதையைத் தேர்ந்தெடுத்து, முன்னெச்சரிக்கைக்காக இலகுவான நீர்ப்புகா மேலுடையை எடுத்துச் செல்லுங்கள்.

LLM வெளிப்புற மூலங்களைச் சரிபார்க்க முடியும் போது உள்ள prompt-ஐ இதனுடன் ஒப்பிடுங்கள்:

ஆம், லண்டனில் நடைப்பயணம் செய்ய இது நல்ல நாள்: வானிலை முன்னறிவிப்பு மிதமான வெப்பநிலைகள் சுமார் 19–21°C, இடைக்கிடை வெயில், மற்றும் மழை வருவதற்கான மிகக் குறைந்த வாய்ப்பைச் சொல்கிறது. பகுதியளவில் மேகமூட்டமான வானமும் இலகுவான காற்றும் உள்ளதால், பூங்காக்களை அல்லது South Bank போன்ற நதிக்கரை பாதைகளை ஆராய்வதற்கு சூழ்நிலை வசதியாக உள்ளது.

இரண்டுக்கும் இடையே சில ஒற்றுமைகள் உள்ளன, ஏனெனில் LLM அதே அடிப்படையான token மதிப்பீட்டு செயல்முறையைப் பயன்படுத்துகிறது. ஆனால், இரண்டாவது எடுத்துக்காட்டில் விரிவான வானிலைத் தகவல் உள்ளதால், அது மிக அதிக பயனுள்ளதாகிறது.

நிறுவன vector database-உடன் RAG vs. LLM

ஒரு வங்கி பயன்பாட்டுக்கான in-app chatbot-இல், ஒரு பயனர் பின்வரும் கேள்வியை கேட்கிறார் என்று கற்பனை செய்யுங்கள்: “என்னுடைய சமீபத்திய அறிக்கையை எங்கு பதிவிறக்கலாம்?”

பயன்பாட்டை நிர்வகிக்கும் வங்கி, தனது சமீபத்திய தயாரிப்பு ஆவணங்களின் எம்பெட்டிங்களைக் கொண்ட ஒரு database-ஐ உருவாக்கி, அதை சாட்பாட்டின் RAG pipeline-உடன் இணைத்துள்ளது. அந்த ஆவணங்கள் சுமார் 1,000 மூல ஆவணங்களைக் கொண்டுள்ளன; அவை சிறிய துண்டுகளாகப் பிரிக்கப்பட்டு, மீட்டெடுப்புக்காக வெக்டர்களாக மாற்றப்பட்டுள்ளன.

பயனரின் கேள்வி ஒரு embedding model-க்கு அனுப்பப்படுகிறது, மேலும் பயன்பாடு அந்த வெக்டரை database-க்கு அனுப்புகிறது; அது தொடர்புடைய துண்டுகளைத் திருப்பித் தருகிறது.

எம்பெட்டிங் மாதிரி இதுபோன்ற ஒரு கோரிக்கையைப் பெறும்:

எம்பெட்டிங் மாதிரி பின்வரும் vector embedding-ஐத் திருப்பி அளிக்கிறது:

பின்னர் vector database பின்வருமாறு ஒரு கோரிக்கையைப் பெறுகிறது:

இந்த (மிக எளிமைப்படுத்தப்பட்ட) எடுத்துக்காட்டில், தரவுத்தளம் பயனரின் கேள்விக்குத் தொடர்புடைய ஐந்து துண்டுகளைத் திருப்பி அனுப்புகிறது; அவை பயன்பாட்டிற்கு அனுப்பப்பட்டு LLM prompt-இல் சேர்க்கப்படுகின்றன.

RAG vs. LLM எப்போது தேர்வு செய்ய வேண்டும், எப்போது இணைக்க வேண்டும்

LLMகளும் RAG-உம் ஒன்றுக்கொன்று துணைபுரியும் அமைப்புகள். அதனால், “நான் எப்போது LLM-ஐத் தேர்வு செய்ய வேண்டும், எப்போது RAG?” என்ற கேள்வி பொருத்தமற்றது. அதற்குப் பதிலாக, “எப்போது ஒரு LLM போதுமானதாக இருக்கும், எப்போது RAG சிறந்ததாக இருக்கும்?” என்று நீங்கள் கேட்க வேண்டும்.

RAG இயக்கப்படாமல் ஒரு LLM-ஐ எப்போது பயன்படுத்த வேண்டும்

• நீங்கள் தேர்ந்தெடுத்த AI மாதிரிக்கு பெரிய சூழல் சாளரம் உள்ளது: ஒரு துல்லியமான பதிலுக்குத் தேவையான அனைத்து தகவல்களையும் அல்லது தரவையும் உங்கள் prompt-இல் சேர்ப்பது எளிதாக இருந்தால், உதாரணமாக ஒரு ஆவணத்தை பதிவேற்றுவதன் மூலம், அதைச் செய்வது தாமதத்தைக் குறைத்து மீட்டெடுப்பு சார்ந்த சிக்கல்களைத் தடுக்க உதவும்.
• பகுத்தறிதல் மற்றும் தரவு பகுப்பாய்வு பணிப்பாய்வுகள்: prompt-இல் வழங்கப்பட்ட தரவை மட்டுமே மேற்கோள் காட்டும் பகுப்பாய்வு மற்றும் பகுத்தறிதல் பணிப்பாய்வுகளுக்கு RAG திறன்கள் தேவையில்லை.
• குறியீடு உருவாக்கம்: பொதுக் குறியிடல் பணிகளுக்கு RAG பொதுவாகத் தேவைப்படாது; இருப்பினும், முந்தைய திருத்தங்கள் அல்லது விற்பனையாளர் APIகள் மற்றும் ஆவணங்களை மீட்டெடுப்பது போன்ற திட்ட-சிறப்பு பணிகளுக்காக அது வழக்கமாகப் பயன்படுத்தப்படுகிறது.

RAG இயக்கப்பட்ட நிலையில் ஒரு LLM-ஐ எப்போது பயன்படுத்த வேண்டும்

• நீங்கள் சமீபத்திய தகவலுக்கான அணுகலை தேவைப்படுகிறீர்கள்: துல்லியமான பதிலை உருவாக்க ஒரு AI பயன்பாட்டிற்கு சமீபத்திய தகவலின் வெளிப்புற மூலங்களை அணுக வேண்டும் என்றால், RAG திறன்கள் இயக்கப்பட்டிருப்பதை எப்போதும் உறுதிசெய்யவும்.
• நீங்கள் ஒரு சிறப்பு துறையில் பணியாற்றுகிறீர்கள்: மருத்துவம், சட்டம், கல்வி போன்ற துறைகளில், துல்லியம், விவரம், மற்றும் மூலச் சோதனை முக்கியமானவை என்பதால், LLM-மட்டும் பயன்பாடு பெரும்பாலும் போதுமானதாக இருக்காது.
• வெளியீடுகள் உள்புற நிறுவன கோப்புகளை மேற்கோள் காட்ட வேண்டும்: நீங்கள் AI-யை, உள்புறமாகவோ அல்லது வாடிக்கையாளர் முன்நோக்கிய செயலியில் (app) ஆகவோ, உள்புற நிறுவன ஆவணங்கள், தரவு, brand kit, ஆவணங்கள், அல்லது கோப்புகள் அடிப்படையில் உள்ளடக்கத்தை உருவாக்கப் பயன்படுத்தினால், RAG அந்த தகவலுக்கான அணுகலை வழங்குகிறது.

RAG மற்றும் LLMகள் ஒன்றுக்கொன்று துணைபுரியும், வளர்ந்து வரும் தொழில்நுட்பங்கள்

RAG, AI வளர்ச்சியில் ஒரு முக்கிய புதுமையை குறித்தது. இது மூன்று முக்கிய சிக்கல்களைத் தீர்க்கிறது: பழமையான தகவல், வரையறுக்கப்பட்ட மாதிரி நினைவகம், மற்றும் தொடர்புடைய பயிற்சி தரவு இல்லாததால் ஏற்படும் தகவல் இடைவெளிகள்; இவை பெரும்பாலும் hallucinations-க்கு காரணமாகின. நிச்சயமாக, LLMகள் இவற்றை முழுமையாக மீறவில்லை; ஆனால் RAG தோன்றியதன் மூலம் அவற்றின் நிகழ்தரம் குறிப்பிடத்தக்க அளவில் குறைந்துள்ளது.

RAG என்பது நிலைத்த தொழில்நுட்பம் அல்ல. reranking, மீட்டெடுப்பின் போது ஏற்படும் தாமதம் மற்றும் token பயன்பாடு, ஆபத்தான தரவு மூலங்களுக்கு எதிரான பாதுகாப்பு நடவடிக்கைகள், பல மூலங்களிலிருந்து மீட்டெடுக்கப்பட்ட தரவை ஒருங்கிணைத்தல், மேலும் பல பகுதிகளில் இது மேம்படும் என எதிர்பார்க்கப்படுகிறது. LLMகளும் ஏஜென்டிக் AI-யும் தொடர்ந்து வளர்ச்சியடையும்போது, அவற்றை ஆதரிக்கும் RAG அமைப்புகளும் அதேபோல் வளர்ச்சியடையும்.