RAG пен LLM: техникалық талдау (анықтамалар, айырмашылықтар, қолдану сценарийлері)

LLM-дер жауаптарды жаттықтыру деректеріндегі үлгілерден үйренген параметрлер арқылы жасайды. Бұл параметрлер соңғы немесе толық ақпаратты бейнелемеуі мүмкін болғандықтан, retrieval-augmented generation дегенді білдіретін RAG LLM-нің кіріс контекстіне сыртқы көздерден алынған деректерді қосу арқылы процесті толықтырады. AI құралы LLM-нің generation процесін толықтыру үшін сырттағы ақпаратты қалпына келтіреді және толықтырады .

Шындығында, сіздің таңдауыңыз RAG пен LLM арасында емес. Ол гибридті тәсіл мен тек LLM пайдаланатын тәсілдің арасында.

LLM компания құжаттамасына, дерекқорларға немесе тез өзгеретін ақпаратқа қол жеткізуді қажет еткенде RAG қажет. Тек LLM-ге сүйенетін тәсіл, егер барлық кіріс деректерді пайдаланушы бере алатын болса, белгілі бір әкімшілік, деректерді өңдеу және мазмұн жасау міндеттері үшін қолайлы.

RAG пен LLM: негізгі айырмашылықтар қандай?

• RAG пен LLM-дер — бірін-бірі толықтыратын жүйелер. Сіз RAG-сыз AI моделін пайдалана аласыз (онда ол тек өзіндегі бар параметрлерге сүйенеді), бірақ модельсіз RAG жүйесін пайдалана алмайсыз.
• RAG LLM-дердің үш негізгі мәселесін еңсеру үшін енгізілді: ескірген ақпарат, галлюцинацияланған жауаптар және үшінші тарап дереккөздерімен тексерудің болмауы.
• RAG LLM-дерді тексерілген ішкі құжаттамамен, дерекқорлармен және API нүктелерімен байланыстыру арқылы AI-ды нақты бизнес жағдайларында әлдеқайда тиімді етеді.
• RAG-тың ең үздік қолдану сценарийлеріне клиенттік қолдау чатботтары, тез өзгеретін деректерге негізделген сұраулар (мысалы, салалық жаңалықтар) және дәлдік пен дереккөздерді тексеру маңызды болатын медицина мен құқық сияқты мамандандырылған салалар жатады.
• RAG-тың үш негізгі түрі бар: қарапайым RAG, модульдік RAG және жетілдірілген RAG. Қарапайым RAG ақпаратты тікелей іздеу ретінде жақсы түсіндіріледі, ал модульдік және жетілдірілген RAG сұрауды қайта жазу және үзінділерді оңтайландыру сияқты қосымша функцияларды қамтиды.

Үлкен тілдік модель (LLM) дегеніміз не?

LLM, яғни үлкен тілдік модель, — fine-tuned параметрлерді пайдаланып мазмұн жасайтын жүйе. Бұл параметрлер LLM сөздігіндегі барлық токенге тағайындалған ықтималдықтарды анықтайды және берілген тізбекте келесі қай токеннің шығуы ықтимал екенін көрсетеді.

RAG-тың қалай жұмыс істейтінін (және LLM-дерден несімен ерекшеленетінін) жақсырақ түсіну үшін, генеративті AI-дың негізгі деңгейде қалай жұмыс істейтініне қараған пайдалы:

1. Токенизация: Пайдаланушының prompt-ы токендерге бөлінеді; олар сөздер, сөз бөліктері немесе жеке таңбалар болуы мүмкін.
2. Ендіру: Токендер ендірулерге, яғни векторлар деп аталатын сандық бейнелерге (сандар жолдарына) айналдырылады; оларды декодері бар нейрондық желі өңдей алады.
3. Декодтау: Декодер қабаттары (олар LLM нейрондық желісінің едәуір бөлігін құрайды) attention деп аталатын процесті пайдаланып, осы векторларды өңдейді және мағынаны ұстайды. Бұл процесс әр токеннің тізбектегі басқа токендермен қаншалықты тығыз байланысуы керектігін анықтайды.
4. Бағалау: Модель өзінің алдын ала бар сөздігіндегі әрбір токенге үйлесімділік ықтималдығын тағайындап, тізбек үшін келесі ықтимал токенді таңдайды.

Маңызды жайт — LLM тек өзіндегі бар параметрлер мен контекст терезесіндегі токендер негізінде ғана нәтиже жасай алады. Жаттықтыру барысында LLM-ге толық емес мәтіннің бөліктерін аяқтау миллиардтаған рет ұсынылады, ал параметрлері токендерге ықтималдықтарды сенімді түрде тағайындағанға дейін реттеледі, соның нәтижесінде мәтінді дәл аяқтай алады.

Мысалы, сіз AI моделіне «Біздің компанияның 2026 жылғы қайтару саясаты не дейді?» деген сұрақ қоясыз деп елестетіңіз. LLM тек support құжаттамасыңызбен fine-tuning жасалмаған өзіндегі бар параметрлерге сүйене отырып, келесі токендерді ғана болжай алады. Егер сіз оған осы сұрақты қосымша контекстсіз қойсаңыз, ол мәнді жауап бере алмайды немесе қате жауапты галлюцинациялайды.

Қалпына келтірумен күшейтілген генерация (RAG) дегеніміз не?

RAG (қалпына келтірумен күшейтілген генерация) — сыртқы жүйелерден алынған ақпарат LLM prompt-ына енгізілетін процесс.

Негізгі LLM процесі, яғни ендіру мен ықтималдыққа негізделген токен сәйкестендіру, өзгеріссіз қалады. RAG пайдаланушы prompt-ын қосымша деректермен кеңейтетін алдын ала қадам енгізеді.

RAG қалай жұмыс істейтініне қысқаша шолу:

1. Білімді дайындау: Білім көзі дайындалады. Бұл құжаттар жиыны, векторлық дерекқор, білім графы немесе тірі индекс (мысалы, AI іздеуі үшін) болуы мүмкін.
2. Prompt беру: Пайдаланушы «Бүгін Лондонда серуендеуге шыққаным дұрыс па?» сияқты prompt енгізеді.
3. Қалпына келтіру: Сыртқы ақпарат көзіне AI құралының retriever-і сұрау жібереді. Ол prompt-ты ендіріп, оны векторға айналдырып, содан кейін векторлық дерекқорға сұрау сала алады. Балама ретінде API шақыруы, кілтсөзді сәйкестендіру немесе білім графын шарлау сияқты басқа әдісті қолдана алады.
4. Енгізу: Бұл ақпарат пайдаланушының бастапқы prompt-ына қосылады. Лондонда серуендеу туралы сұрақ мысалында бұған Лондондағы ауа райы туралы ақпарат және танымал серуендеу бағыттарының қазіргі қолжетімділігі кіруі мүмкін.
5. Жауап генерациясы: LLM кеңейтілген prompt-ты пайдаланып, әдеттегідей жауап жасайды.

Ішкі процесте алынған мәтін кіріс контекстіне қосылып, токенделеді және энкодерленеді. Содан кейін модель сол қосымша контекстті декодер арқылы өңдеп, шығыс токендерінің ықтималдықтарын өзгертеді.

Жалпы алғанда, RAG үш қосалқы түрге бөлінеді. Қарапайым RAG ақпаратты алып, оны prompt-қа енгізетін негізгі RAG процесін ұстанады. Жетілдірілген RAG сұрауды қайта жазу және бірнеше сұрау өтулері сияқты қосымша функцияларды қосады. Модульдік RAG әртүрлі жетілдірілген функционалдық мүмкіндіктер компоненттер ретінде қарастырылып, қажетіне қарай біріктірілетін архитектура түрін білдіреді.

RAG пен LLM: қолдану сценарийлеріне шолу

RAG пайдаланушыларға жаңартылған деректерге қол жеткізу береді. Бұл LLM нәтижелерінде галлюцинациялар мен ақпараттық олқылықтардың ықтималдығын азайтады. Егер нәтиже ішінде пайдаланылған ақпарат көздерін көргіңіз келсе, RAG та аса маңызды, өйткені негізсіз LLM жауаптары дереккөздерге сілтемемен келмейді.

Ұлғайту

RAG қолдану сценарийлері

• Уақытқа сезімтал ақпарат сұраулары: Жылдам ескіріп қалатын ақпаратқа қатысты кез келген сұрауларға, ол ауа райы болжамы сияқты қарапайым немесе пайда болып жатқан жаңалық туралы егжей-тегжейлі талдау сияқты күрделі болсын, тексерілген үшінші тарап дереккөздері негіз болуға тиіс.
• Компания құжаттамасы: Пайдаланушылар компания немесе өнім құжаттамасына қатысты сұрақтар қоятын ішкі немесе клиентке бағытталған AI чатботтары, әсіресе құжаттама жиі жаңартылып тұрса, RAG қосылған болуы керек.
• Клиенттік қолдау: Клиенттік чатботтар дұрыс жауап беру үшін қазіргі, егжей-тегжейлі қолдау құжаттамасына қол жеткізуі керек.
• Мамандандырылған салалар (медицина, құқық, қаржы және т.б.): Салалық корпустарда үйретілмеген LLM-дер (әсіресе кең таралған модельдер) әдетте мамандандырылған prompt-тардың нәзік реңктерін өңдеуде қиналады.

LLM қолдану сценарийлері

• Әкімшілік міндеттер: LLM-дер ең аз кідіріс арқылы қарапайым міндеттерді орындай алады. RAG сыртқы ақпарат қажет емес емле тексеру немесе қысқаша мазмұндау сияқты қарапайым жазу және әкімшілік міндеттер үшін қажет емес.
• Шығармашылық міндеттер: Қысқа әңгіме немесе сурет жасау сияқты кейбір шығармашылық міндеттерге тек бастапқы prompt-та берілген ақпарат қана қажет.
• Пайымдау мен деректерге негізделген міндеттер: Үлкен деректер жиынтығымен жұмыс істегенде, LLM-ге пайымдау және талдау функцияларын қолдану үшін сыртқы ақпаратқа қол жеткізу қажет емес.
• Жалпы кодтау: Кодтау жұмыс процесі жеке код базасына немесе құжаттамаға қол жеткізуді талап етуі мүмкін болғанымен, LLM-дер сыртқы көздерге жүгінбей-ақ қателерді түзету және функциялар жасау сияқты жалпы кодтау міндеттерін өте жақсы орындай алады.

RAG пен ұзын контексті LLM, агенттік AI және негіздеу

RAG пен LLM-дердің арасындағы айырмашылыққа қатысты үш байланысты ұғым бар. Олар: ұзын контексті LLM-дер, агенттік AI және негіздеу.

Ұзын контексті LLM-дерді кейде RAG қосылған жүйелердің орнына қолдануға болады, ал агенттік AI мен негіздеу оларға балама не олармен қатар қолданылатын ұғымдар болып саналады.

Ұзын контексті LLM-дер

Бұлар — контекст терезелері үлкен модельдер, ал кейбір кең таралған коммерциялық модельдер бір миллион токенге дейін жұмыс істейді.

Егер қатысты материал модельдің контекст терезесіне сыйып кетсе және мәтіндік форматта қолжетімді болса, тек LLM-ге сүйенудің кейбір артықшылықтары бар. Ол ақпаратты іздеу қателерінің ықтималдығын азайтып, анағұрлым толық контекст бере алады және RAG архитектурасын кеңінен орнату қажеттілігін жояды.

Агенттік AI

Агент — күрделі міндеттерді орындау үшін RAG мүмкіндіктерін қоса алғанда, бірнеше құралды пайдаланатын жүйе. RAG — агенттік AI-дың бір құрамдас бөлігі, әрі агент көбіне prompt мазмұнына қарай әртүрлі іздеу әдістерін (мысалы, веб-іздеу мен векторлық іздеу) қолданады.

Негіздеу

Негіздеу дегеніміз — LLM жауабының дәлдігін арттыру үшін дәлел немесе деректерді пайдалану арқылы оны кеңірек мағынада негіздеу процесі. RAG — негіздеудің бір түрі, бірақ контекст терезесіне техникалық құжатты қосу да негіздеу болып саналады.

RAG пен LLM: шынайы мысалдар

RAG-тың RAG қосылмаған LLM пайдалануымен салыстырғанда қалай жұмыс істейтінін жақсырақ түсіну үшін, Perplexity-ді және векторлық дерекқор қолданылатын гипотетикалық корпоративтік жағдайды қамтитын қарапайым шынайы мысалды қарастыруға болады.

RAG пен LLM: қарапайым prompt-пен салыстыру

Perplexity-ден AI веб-іздеу (RAG түрі) өшірулі күйде «Should I go for a walk in London today?» деген сұраққа екі сөйлеммен шектелген мынадай нәтиже алынған:

Иә — егер ауа райы салыстырмалы түрде құрғақ болып, уақытыңыз болса, бүгін Лондонда серуендеу көріністі жаңартатын жақсы өзгеріс бола алады. South Bank, Regent’s Canal бойымен немесе Hyde Park арқылы маршрут таңдаңыз да, сақтық үшін жеңіл су өткізбейтін киім алыңыз.

LLM сыртқы дереккөздерді тексере алатын кездегі prompt-пен салыстырыңыз:

Иә, Лондонда серуендеуге жақсы күн: болжам бойынша 19–21°C шамасындағы жұмсақ температура, ара-тұра ашық сәттері бар күн шуақты ауа райы және жаңбыр ықтималдығы өте төмен. Аспанның жартылай бұлтты болуы мен жеңіл самалдың арқасында саябақтарды немесе South Bank сияқты өзен бойындағы бағыттарды аралау үшін жағдай қолайлы.

Екі мысалдың арасында ұқсастықтар бар, өйткені LLM бірдей негіздегі токендерді бағалау процесін пайдаланады. Алайда екінші мысалда егжей-тегжейлі ауа райы ақпараты бар, сондықтан ол әлдеқайда пайдалы.

Кәсіпорындық векторлық дерекқоры бар RAG пен LLM

Пайдаланушы банктік қосымшаның ішкі чат-ботына мына сұрақты қояды деп елестетіңіз: «Ең соңғы үзіндімді қай жерден жүктей аламын?»

Қосымшаны басқаратын банк өзінің жаңартылған өнім құжаттамасының ендірулері бар дерекқор құрып, оны чатботтың RAG құбырына байланыстырған. Құжаттама шамамен 1 000 бастапқы құжаттан тұрады, олар кіші үзінділерге бөлініп, іздеу үшін векторларға айналдырылған.

Пайдаланушы сұрауы ендіру моделіне жіберіледі, ал қолданба сол векторды дерекқорға жібереді, дерекқор өз кезегінде тиісті үзінділерді қайтарады.

Ендіру моделі мынадай сұрау алады:

Ендіру моделі келесі векторлық ендіруді қайтарады:

Содан кейін векторлық дерекқор мынадай сұрау алады:

Осы (өте қарапайымдатылған) мысалда дерекқор пайдаланушы сұрауына ең сәйкес келетін бес үзіндіні қайтарады, олар қолданбаға жіберіліп, LLM prompt-ына қосылады.

RAG пен LLM-ді қашан таңдау керек және қашан біріктіру керек

LLM-дер мен RAG — бірін-бірі толықтыратын жүйелер. Сондықтан «Қашан LLM таңдаған дұрыс және қашан RAG?» деген сұрақ дұрыс қойылмаған. Оның орнына «Қай кезде LLM жеткілікті болады және қашан RAG оңтайлы?» деп сұрау керек.

RAG қосылмаған LLM-ді қашан пайдалану керек

• Таңдаған AI моделіңіздің контекст терезесі үлкен: Егер дәл жауап беру үшін қажет барлық ақпаратты немесе деректерді prompt-қа енгізу оңайырақ болса, мысалы, құжат жүктеу арқылы, бұл кідірісті азайтып, қалпына келтіруге қатысты мәселелердің алдын ала алады.
• Пайымдау және деректерді талдау жұмыс процестері: Prompt-та берілген деректерге ғана сүйенетін талдау және пайымдау жұмыс процестері RAG мүмкіндіктерін қажет етпейді.
• Код генерациясы: Жалпы кодтау жұмысы үшін RAG әдетте қажет емес, бірақ ол көбіне жобаға тән міндеттер үшін қолданылады, мысалы, бұрынғы түзетулерді немесе жеткізушінің API-лері мен құжаттамасын алу.

RAG қосылған LLM-ді қашан пайдалану керек

• Сізге жаңартылған ақпаратқа қол жеткізу қажет: Егер AI қолданбасына дәл жауап жасау үшін жаңартылған ақпараттың сыртқы көздеріне қол жеткізу қажет болса, RAG мүмкіндіктері қосулы екеніне әрдайым көз жеткізіңіз.
• Сіз мамандандырылған салада жұмыс істейсіз: Медицина, құқық, білім беру сияқты және тағы басқа салаларда, мұнда дәлдік, егжей-тегжей және дереккөздерді тексеру маңызды, тек LLM-ге сүйену көбіне жеткіліксіз болады.
• Шығыстар ішкі компания файлдарына сілтеме жасауы керек: Егер сіз AI-ды, ішкі мақсатта болсын не клиентке бағытталған қолданбада болсын, ішкі компания құжаттарына — деректерге, бренд кітабына, құжаттамаға немесе файлдарға — негізделген мазмұн жасау үшін қолдансаңыз, RAG сол ақпаратқа қол жеткізуді қамтамасыз етеді.

RAG пен LLM — бірін-бірі толықтыратын, дамып келе жатқан технологиялар

RAG AI эволюциясындағы ірі жаңалықты білдірді. Ол үш негізгі мәселені шешеді: ескірген ақпарат, модель жадысының шектеулілігі және тиісті жаттықтыру деректерінің жетіспеуінен туындайтын ақпараттық олқылықтар, олар көбіне галлюцинацияларға әкелді. Әрине, LLM-дер мұның бәрін толық еңсерген жоқ, бірақ RAG пайда болғалы мұндай жағдайлардың жиілігі айтарлықтай азайды.

RAG — статикалық технология емес. Оның жетілдірілуі reranking, іздеу кезіндегі кідіріс пен токен тұтынуы, қауіпті дереккөздерге қарсы қауіпсіздік қорғаныстары, бірнеше дереккөзден алынған деректерді біріктіру және тағы басқа салаларды қамтиды деп күтіледі. LLM-дер мен агенттік AI дамуын жалғастырған сайын, оларды қолдайтын RAG жүйелері де дами береді.