Шынайы қолданыс жағдайлары мен архитектураларға негізделген 9 RAG мысалы

RAG тұтынушылық және корпоративтік ортада да кеңінен қолданылады. RAG мысалдарына күнделікті шынайы өмірде веб-іздеу, тұтынушыларды қолдау қызметі және жасанды интеллекті бар сауда жатады. Ішкі білімге қол жеткізу және код жазуға көмектесу – ең маңызды бизнес мысалдарының қатарында.

RAG архитектурасы да қолданыс жағдайларына байланысты өзгеруі мүмкін. Ең көп таралған екі іске асыру түрі – бұл дәстүрлі кілтсөздерді сәйкестендіруді векторлық немесе білім графын іздеумен біріктіретін гибридті RAG және LLM шығарып алу процесін басқаратын агенттік RAG.

Іздеу арқылы байытылған генерация (RAG) дегеніміз не?

RAG немесе іздеу арқылы байытылған генерация (retrieval-augmented generation) жасанды интеллект қолданбаларына LLM жасаған жауаптарды толықтыру үшін сыртқы жүйелерде сақталған ақпаратқа қол жеткізуге мүмкіндік береді.

Бұл – қуатты технология, өйткені ол генеративті ЖИ-дің үш негізгі мәселесін шешеді: галлюцинациялар, ескірген ақпарат және кіріс мәтінмәніне кірмейтін деректерге қол жеткізе алмау.

Негізгі RAG процесі мынадай көрінеді:

1. Пайдаланушы табиғи тілде сұрау енгізеді.
2. ЖИ қолданбасы, кейде LLM қатысуымен, негіздеме қажет екенін анықтайды.
3. Деректер базасы сияқты сыртқы ақпарат көзіне сұрау жіберіледі.
4. Шығарып алынған ақпарат LLM кіріс мәтінмәніне қосылады.
5. LLM байытылған сұрау негізінде жауап генерациялайды.

Нақты іске асырылуы әртүрлі болуы мүмкін болса да, бұл қадамдар типтік RAG жұмыс процесін білдіреді. Әртүрлі архитектура түрлері арасындағы айырмашылықтар әдетте клиенттік қолданба сұрауларды қалай өңдейтініне және шығарып алынатын ақпараттың сипатына негізделеді.

RAG архитектурасына шолу

"Іздеу арқылы байытылған генерация" термині алғаш рет Meta AI (сол кездегі Facebook AI Research) зерттеушілері мен University College London және New York University бірлескен авторлары жариялаған Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks атты 2020 жылғы мақалада пайда болды.

Кейіннен «қарапайым RAG» (naive RAG) деп аталып кеткен ертедегі «алдымен ізде, содан кейін генерацияла» тәсілдері әртүрлі архитектура түрлерінің жиынтығына айналды, олардың көбі бір-бірімен қабаттасады.

Қарапайым RAG (Naive RAG)

Қарапайым RAG қарапайым іздеу және генерациялау құбырын пайдаланады, бұл әлі де көптеген негізгі сұраулар үшін орынды. Қарапайым RAG-тың ең көп таралған мысалы – сұрауды векторлық эмбеддинг деп аталатын реттелген сан тізбегіне немесе жай ғана векторға түрлендіру. Содан кейін сұрау эмбеддингі деректер базасындағы немесе индекстегі контент бөліктерін (фрагменттерін) білдіретін басқа векторлармен сәйкестендіріледі (бұл семантикалық индекс деп аталады).

Жетілдірілген RAG (Advanced RAG)

Жетілдірілген RAG іздеуге дейінгі және одан кейінгі кезеңдерді оңтайландырады. Әдістерге сұрауды кеңейту, метадеректерді сүзу және мәтінмәнді сығу кіреді. Бұлар шығарып алынатын ақпараттың өзектілігін және оның LLM кіріс мәтінмәніне қосылғанға дейін қалай өзгеретінін жақсартады.

Агенттік RAG (Agentic RAG)

Агенттік RAG – бұл LLM негізіндегі агенттің RAG құбырларын орындауы. Агент берілген сұрау үшін қандай құралдар ең жақсы екенін «шешеді» және өзекті жауап генерациялау үшін, кейде цикл арқылы, іздеу процесін басқарады.

Графтық RAG (Graph RAG)

Графтық RAG нысандарды (мысалы, объектілерді, ұғымдарды және оқиғаларды) және олардың арасындағы байланыстарды білдіретін білім графынан ақпаратты шығарып алады. Бұл сұрауға берілген жауап LLM-нен бөлек нысандар туралы ақпаратты біріктіруді талап еткенде пайдалы.

Мультимодальды RAG (Multimodal RAG)

Мультимодальды RAG іздеу және сұрау кезінде кескіндер мен аудио сияқты контентке дейін кеңейеді. Бұл RAG құбырлары мәтінді, кескіндерді немесе аудионы эмбеддингтерге түрлендіру үшін арнайы кодерлерді пайдаланады.

Гибридті RAG (Hybrid RAG)

Гибридті RAG кілтсөздермен іздеуді немесе лексикалық іздеуді векторлық іздеумен немесе білім графтарымен біріктіріп, нәтижелерін біріктіреді. Бұл пайдалы, өйткені белгілі бір ортада кілтсөздерді сәйкестендіру өте дәл болуы мүмкін (басқа әдістерге қарағанда дәлірек).

Түзетуші RAG (Corrective RAG)

Түзетуші RAG қайтарылған ақпараттың немесе деректердің сұрауға сәйкестігін бағалайды. Ол шығарып алынған үзінділерді жетілдіруі немесе толықтыруы мүмкін, не болмаса басқа сұрауды орындау арқылы оларды толығымен ауыстыра алады.

Қолданыс жағдайы мен салалық қолданыс бойынша RAG мысалдары

Тұтынушылық және бизнес салаларында RAG-тың бірнеше мысалы бар. Бұған негізінен RAG құбырларының ең танымал құралдардың көбіне біріктірілгені себеп болды. Сонымен қатар көптеген жеткізушілер тұтынушыларға қызмет көрсету чатботтары үшін дайын интеграцияларды ұсынады, бұл оны қабылдауды жеңілдетті.

1. Веб-іздеу

Веб-іздеу – RAG-тың ең кең таралған мысалдарының бірі. Күн сайын миллиондаған адамдар вебтен алынған ақпаратқа негізделген жауаптарды генерациялау үшін ЖИ құралдарын пайдаланады.

Қалай жұмыс істейді: ЖИ қолданбасы кілтсөзге негізделген және семантикалық іздеуді қолдана отырып, Google Search индексі сияқты веб-индекстен іздейді. Тиісті беттің мазмұны пайдаланушының сұрағымен бірге LLM кіріс деректеріне қосылады. Содан кейін LLM әдетте дереккөз сілтемелерімен бірге жауап генерациялайды.

Шынайы өмірдегі мысал: Егер пайдаланушы Perplexity чат интерфейсіне «Чикагода ауа райы қандай?» сияқты қарапайым сұрау енгізсе, LLM заманауи ақпаратты табу үшін веб-іздеу жүргізеді. Perplexity серіктес іздеу API интерфейстерімен бірге меншікті веб-индексті пайдаланады.

Ұлғайту

2. Тұтынушыларды қолдау қызметі

Қолданба ішіндегі және веб-сайттағы чатботтар RAG-тың маңызды корпоративтік қолданыс жағдайы ретінде пайда болды. Бұл жүйелер әдетте дәстүрлі бағыттау жолдарымен біріктіріліп, қызмет көрсету өкілдерінің қатысу қажеттілігін азайтады.

Қалай жұмыс істейді: Тұтынушы сұрақ қойғанда, қолданба жиі гибридті құбырды пайдалана отырып, компанияның білім қорын іздейді. Шығарып алынған үзінділер жауап генерациялайтын LLM-ге беріледі. Сондай-ақ жауапты растау және қажет болған жағдайда өкілге бағыттау үшін әдетте түзету және тапсыру процестері де қолданылады.

Шынайы өмірдегі мысал: Zendesk (төменде көрсетілген) және Intercom сияқты әртүрлі тұтынушыларға қызмет көрсету платформалары қолданыстағы құжаттама мен тұтынушыларды қолдау базаларымен біріктірілетін дайын тұтынушыларды қолдау чатботтарын ұсынады.

Ұлғайту

3. Жеке көмекшілер

Жеке көмекшілер пайдаланушының электрондық пошталарына, файлдарына және күнтізбесіне қол жеткізу үшін агенттік RAG пайдаланады. Бұл көмекшілер әдетте бірнеше RAG құбырларын орындай алады.

Қалай жұмыс істейді: Жеке көмекшілерге көбінесе бірнеше ақпарат көздеріне қол жеткізу қажет болатындықтан, олар API интерфейстерінің, кілтсөздермен іздеудің, векторлық іздеудің және білім графтарының жиынтығын пайдаланады. Әртүрлі құралдардың сипаттамаларын қолданба LLM-ге жібереді, ол ең қолайлыларын таңдайды.

Шынайы өмірдегі мысал: Google Gemini жалпы мақсаттағы және жеке ЖИ көмекшісі ретінде әрекет ете алатын қолданбаның жақсы мысалы болып табылады (қазіргі таңда көптеген көмекшілерде солай). Ол Gmail, Docs, Photos және Calendar сияқты құралдар экожүйесімен біріктіріледі.

Ұлғайту

4. Корпоративтік білімді басқару

Корпоративтік білімді басқару қызметкерлерге саясаттарды, есептерді, жоба құжаттарын, заңды мәтіндерді және тіпті ішкі талқылауларды қоса алғанда, компания ақпаратының кең ауқымы бойынша сұрақтар қоюға мүмкіндік береді.

Қалай жұмыс істейді: Қолданба бастапқы құжаттар өзгерген сайын жаңартылатын векторлық индексті пайдаланып тиісті мазмұнды шығарып алады. Индексте мәтіндеріне сілтемелері және сәйкес метадеректері бар құжат фрагменттерін білдіретін эмбеддингтер бар.

Шынайы өмірдегі мысал: Microsoft 365 Copilot дереккөздері үшін әртүрлі API интерфейстерін ұсынатын Microsoft Graph арқылы ұйымдық ақпаратқа қол жеткізеді және тиісті мазмұнды іздеу үшін лексикалық және семантикалық индекстерді пайдаланады.

Ұлғайту

5. Код жазуға көмектесушілер

Код жазуға көмектесушілер код базасына RAG қолданады. Негізгі RAG процесі бірдей болғанымен (әдетте агенттік RAG), айырмашылығы олардың тікелей код мәтінмәнімен жұмыс істеуінде.

Қалай жұмыс істейді: Код жазуға көмектесушілер жергілікті жоба файлдарын индекстейді және сұрау жасалған кезде сәйкес код үзінділерін табу үшін бірнеше іздеу өтулерін орындайды. Сондай-ақ бұл көмекшілерде корпоративтік білім қоры сияқты қатынасты кеңейтуге арналған арнайы коннекторлар болады.

Шынайы өмірдегі мысал: GitHub Copilot – бұл әзірлеу жобаларымен тікелей біріктірілетін код жазу көмекшісінің танымал мысалы. Сондай-ақ ол жауап дәлдігін арттыру үшін жалпыға қолжетімді GitHub репозиторилеріне сілтеме жасай алады.

Ұлғайту

6. Техникалық ақауларды жою

Техникалық ақауларды жою білімді басқарудың RAG құбырын диагностикалық циклмен біріктіреді. Агент қажет болған жағдайда ақауларды жою ұсыныстарын одан әрі жетілдіру үшін нәтижелерді бағалай алады.

Қалай жұмыс істейді: Қолданба пайдаланушыдан техникалық проблеманың белгілерін жинайды немесе автоматтандырылған мониторинг ескертулерін алады. Ол белгілерді өзара тексеру үшін қате хабарларын, техникалық логтарды және өнімділік көрсеткіштерін іздеуді іске қосады. Содан кейін LLM-ге беру үшін ішкі білім қорынан тиісті ақпаратты шығарып алады. Диагностикалық цикл әрекет етілген түзету нәтижелері пайдаланушыдан немесе диагностикалық құралдан LLM-ге қайта берілгенде орын алады.

Шынайы өмірдегі мысал: Datadog (төменде көрсетілген) байқағыштық платформасы жүйенің барлық қабаттарынан деректерді жинап, туындаған кез келген мәселелерді белгілейді. Олар әлеуетті түзетулердің ақауларын жою үшін Bits AI деп аталатын мамандандырылған ЖИ агентіне жіберіледі.

Ұлғайту

7. Агенттік коммерция

Агенттік коммерция – бұл әдетте RAG қамтитын кеңірек қолданыс жағдайы. Сауда агенті опцияларды салыстыру және ұсыныстарды түсіндіру үшін өнім сипаттамалары, пікірлер, бағалар және қолжетімділік сияқты мәліметтерді шығарып алады. Содан кейін ол пайдаланушы интерфейстен шықпай-ақ автоматты түрде сатып ала алады.

Қалай жұмыс істейді: Агенттік коммерция – нағыз агенттік RAG, өйткені нақты сұраулар көбінесе модель басқаратын іздеудің әртүрлі формаларын талап етеді. Агент сатушының API арқылы тек мәтіндік өнім деректерін шығарып алуы мүмкін немесе пайдаланушы фотосуреті негізінде семантикалық индекстегі өнімдерді сәйкестендіру үшін мультимодальды RAG пайдалана алады.

Шынайы өмірдегі мысал: Perplexity сияқты жалпы мақсаттағы агент сұрау негізінде бірнеше кескінді және егжей-тегжейлі өнім сипаттамаларын шығарып ала алады. Instant Buy төлем жасау мүмкіндігі пайдаланушыға өнімді таңдағаннан кейін сатып алуды аяқтауға мүмкіндік береді.

Ұлғайту

8. Арнайы білім салалары

Арнайы домендік білімді шығарып алатын ЖИ құралдары күрделі контент форматтарымен жұмыс істеуі керек. Сонымен қатар галлюцинациялар мен ақпараттық олқылықтарды азайту көбінесе басымдық болып табылады.

Қалай жұмыс істейді: Жалпы мақсаттағы және арнайы RAG архитектуралары арасындағы негізгі айырмашылық бастапқы материал мен іздеу конфигурациясына қатысты. Әдетте тек жоғары авторитетті индекс сұралады және сұрау іздеуді шектеу үшін арнайы терминологияны қосу үшін конфигурацияланады.

Шынайы өмірдегі мысал: Scite академиялық зерттеу құралы баспагерлердің келісімдері мен ашық қолжетімділік көздері арқылы құрылған академиялық мақалалар мен дәйәксөз деректерінің үлкен индексіне қол жеткізеді. Сондай-ақ ол толық жауапты генерацияламас бұрын дереккөзді тексеру сияқты іздеуден кейінгі тексерулерді қолданады.

Ұлғайту

9. Деректерді талдау

Деректерді талдауға арналған RAG әсіресе қуатты корпоративтік қолданыс жағдайына айналды, өйткені ол мамандардың кең ауқымына, әсіресе деректер ғылымы бойынша дайындығы жоқтарға, табиғи тілді пайдаланып деректер жиынына сұрау жасауға мүмкіндік береді. Бұл есептерді генерациялауды және өте нақты сұрақтар қоюды жеңілдетеді.

Қалай жұмыс істейді: «Неліктен соңғы тоқсанда сатылым төмендеді?» деген сияқты сұрақ үшін қолданба сатылым жазбаларын сұрап, қор жетіспеушілігі немесе бағаның өзгеруі туралы ескертпелерді шығарып алуы мүмкін. LLM талдауды генерацияламас бұрын шығарып алынған деректер үшін тиісті есептеуді таңдайды (бұл әдетте есептеу құралына тапсырылады).

Шынайы өмірдегі мысал: Google Analytics веб-аналитика деректеріне қол жеткізе алатын және пайдаланушылардың өте нақты, маңызды сұрақтарына жауап бере алатын AI “Ask Advisor” чатботын ұсынады. Бұл корпоративтік деңгейдегі, жабық жүйелі RAG-тың ең жақсы шынайы мысалдарының бірі.

Ұлғайту

RAG эволюциясындағы келесі қадам қандай?

RAG алғаш ұсынылған кезде айтарлықтай жетістік болды. Ол автономды LLM-ге тән көптеген мәселелерді шешуге көмектесті.

Дегенмен, бұл статикалық технологиядан алыс. Қазіргі зерттеулер тереңірек мультимодальды іздеуге және дәлдік үшін шығарып алынған мәтінмәнді неғұрлым қатаң өңдеуге бағытталған. Сонымен қатар RAG-тың көп құралды агенттерге көбірек біріктірілетінін көреміз.

Өте үлкен мәтінмән терезелері болса да, жеке және кәсіби ортада RAG үшін маңызды қолданыс жағдайлары бар және әлі де талай инновациялар күтіп тұр.