9 примјера RAG-а заснованих на стварним случајевима употребе и архитектурама

RAG се нашироко користи и у потрошачком и у пословном контексту. Стварни, свакодневни примери RAG-а укључују веб претрагу, корисничку подршку и куповину омогућену вјештачком интелигенцијом. Приступ унутрашњем знању и помоћ при програмирању су међу најизраженијим пословним примерима.

РАГ архитектура се такође може разликовати у зависности од случаја употребе. Две најчешће имплементације су хибридни РАГ, који комбинује традиционално подударање кључних речи са претрагом помоћу вектора или графа знања, и агентни РАГ, код којег ЛЛМ усмерава процес преузимања.

Шта је генерација проширена претрагом (RAG)?

RAG, односно генерација проширена претрагом, омогућава апликацијама вјештачке интелигенције да приступају информацијама смештеним у спољним системима како би допуниле одговоре које генерише LLM.

То је моћна технологија јер рјешава три главна проблема са генеративном вјештачком интелигенцијом: халуцинације, застареле информације и недостатак приступа подацима који нису укључени у улазни контекст.

Ево како изгледа основни RAG процес:

1. Корисник уноси упит на природном језику.
2. Апликација вјештачке интелигенције утврђује да ли је утемељеност потребна, понекад уз укљученост LLM-а.
3. Захтјев се шаље ка спољном извору информација, као што је база података.
4. Преузете информације се додају у улазни контекст LLM-а.
5. LLM генерише одговор на основу проширеног упита.

Иако се могу разликовати у специфичној имплементацији, ови кораци представљају типичан ток рада за RAG. Разлике између различитих типова архитектуре обично се фокусирају на то како клијентска апликација обрађује захтјеве и на природу информација које се преузимају.

Преглед RAG архитектуре

Термин „генерација проширена претрагом“ се први пут појавио у раду из 2020. године под називом Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, који су објавили истраживачи са Meta AI (тада Facebook AI Research) заједно са сарадницима са Универзитетског колеџа у Лондону и Универзитета у Њујорку.

Рани приступи типа „преузми па генериши“, који се лабаво називају „називни RAG“, од тада су се развили у низ различитих типова архитектуре, од којих се многи преклапају.

Наивни RAG

Наивни RAG користи једноставан циклус преузимања и генерисања, који је и даље прикладан за многе основне захтјеве. Најчешћи примјер наивног RAG-а је конверзија упита у уређену листу бројева која се назива векторска уградња, или једноставно вектор. Уградња упита се затим подудара са другим векторима који представљају дјелове, порције садржаја у бази података или индексу (који се назива семантички индекс).

Напредни RAG

Напредни RAG оптимизује фазе прије и послије преузимања. Технике укључују проширење упита, филтрирање метаподатака и сажимање контекста. Оне у суштини побољшавају релевантност информација које се преузимају и начин на који се оне модификују прије додавања у улазни контекст LLM-а.

Агенатски RAG

Агенатски RAG је извршавање RAG цјевовода од стране агента заснованог на LLM-у. Агент „одлучује“ који су алати најбољи за дат упит и усмјерава преузимање, понекад у петљи, како би генерисао релевантан одговор.

Граф RAG

Граф RAG преузима информације из графа знања, који представља ентитете (као што су објекти, концепти и догађаји) и односе између њих. Ово је корисно када одговор на упит захтијева од LLM-а да комбинује информације о различитим ентитетима.

Мултимодални RAG

Мултимодални RAG проширује преузимање на садржаје попут слика и аудио записа током и упита и преузимања. Ови RAG цјеводи користе специјалне енкодере за претварање текста, слика или аудио записа у уградње.

Хибридни RAG

Хибридни RAG комбинује претрагу кључних ријечи, односно лексичко преузимање, са векторским преузимањем или графовима знања и спаја резултате. Ово је корисно зато што подударање кључних ријечи може бити веома прецизно (више него друге методе) у одређеним контекстима.

Корективни RAG

Корективни RAG вреднује враћене информације или податке у погледу релевантности за упит. Може да пречисти или допуни преузете одломке или да их у потпуности замијени извршавањем новог захтјева.

RAG примјери по случају употребе и индустријској примјени

Постоји више примјера RAG-а и у потрошачкој и у пословној сфери. Ово је у великој мјери зато што су RAG цјеводи интегрисани у већину главнострујашких алата. Поред тога, многи добављачи нуде готове интеграције, као што су оне за чет-ботове за корисничку подршку, што је олакшало усвајање.

1. Веб претрага

Веб претрага је један од најраспрострањенијих примјера RAG-а. Милиони људи сваког дана користе алате вјештачке интелигенције за генерисање одговора утемељених на информацијама преузетим са веба.

Како функционише: Апликација вјештачке интелигенције претражује веб индекс, као што је Google Search индекс, користећи семантичко преузимање и преузимање засновано на кључним ријечима. Релевантан садржај странице се укључује заједно са питањем корисника у улаз за LLM. LLM затим генерише одговор, обично са цитатима извора.

Примјер из стварног свијета: Ако корисник унесе једноставан упит у Perplexity интерфејс за ћаскање, као што је „Какво је вријеме у Чикагу?“, LLM ће спровести веб претрагу како би пронашао најновије информације. Perplexity користи власнички веб индекс заједно са API-јима партнерских претрага.

Увећај

2. Корисничка подршка

Чет-ботови у оквиру апликација и веб-сајтова су се појавили као значајан пословни случај употребе RAG-а. Ови системи се обично повезују са традиционалним путањама усмјеравања, смањујући потребу за ангажовањем представника корисничке подршке.

Како функционише: Када корисник постави питање, апликација претражује базу знања компаније, често користећи хибридни цјевод. Преузети одломци се достављају LLM-у, који генерише одговор. Обично су укључени и корективни процеси и процеси примопредаје како би се потврдио одговор и, гдје је потребно, усмјерио ка представнику.

Примјер из стварног свијета: Различите платформе за корисничку службу, укључујући Zendesk (приказан испод) и Intercom, нуде чет-ботове за корисничку подршку типа „укључи и користи“ који се интегришу са постојећом документацијом и базама корисничке подршке.

Увећај

3. Лични асистенти

Лични асистенти користе агенатски RAG за приступ е-пошти, датотекама и календару корисника. Ови асистенти обично могу да извршавају више RAG цјевода.

Како функционише: Пошто лични асистенти често захтијевају приступ више извора информација, они користе мјешавину API-ја, претраге по кључним ријечима, векторске претраге и графова знања. Апликација шаље различите описе алата LLM-у, који затим бира оне најприкладније.

Примјер из стварног свијета: Google Gemini служи као добар примјер апликације која може да функционише као општа и лична апликација вјештачке интелигенције (као што је случај са већином асистената у данашње вријеме). Интегрише се са екосистемом алата, као што су Gmail, Docs, Photos и Calendar.

Увећај

4. Управљање пословним знањем

Управљање пословним знањем омогућава запосленима да постављају питања у вези са широким спектром информација компаније, укључујући политике, извјештаје, документе пројеката, правне текстове, па чак и интерне разговоре.

Како функционише: Апликација преузима релевантан садржај користећи векторски индекс који се ажурира како се изворни документи мијењају. Индекс садржи уградње које представљају одломке докумената, са везама ка њиховом тексту и повезаним метаподацима.

Примјер из стварног свијета: Microsoft 365 Copilot приступа организационим информацијама преко Microsoft Graph-а, који излаже различите API-је за изворе података, и користи лексичке и семантичке индексе за преузимање релевантног садржаја.

Увећај

5. Асистенти за програмирање

Асистенти за програмирање примјењују RAG на кодекс кода. Иако је основни RAG процес исти (обично агенатски RAG), разлика је у томе што се они баве специфично контекстом кода.

Како функционише: Асистенти за програмирање индексирају локалне датотеке пројекта и обављају пролазе са више претрага како би пронашли релевантне одломке кода када се то затражи. Ови асистенти такође обично имају намјенске конекторе за проширење приступа, као што је приступ базама знања компаније.

Примјер из стварног свијета: GitHub Copilot је познат примјер асистента за програмирање који се директно интегрише са развојним пројектима. Такође може да реферира на јавна GitHub репозиторијума како би се повећала тачност одговора.

Увећај

6. Техничко рјешавање проблема

Техничко рјешавање проблема интегрише RAG цјевод за управљање знањем са дијагностичком петљом. Агент може да оцијени резултате како би даље прецизирао препоруке за рјешавање проблема по потреби.

Како функционише: Апликација прикупља симптоме техничког проблема од корисника или прима аутоматизована упозорења за праћење. Она покреће претрагу порука о грешкама, техничких дневника и метрика перформанси ради унакрсне провјере симптома. Затим преузима релевантне информације из интерне базе знања како би их прослиједила LLM-у. Дијагностичка петља се дешава када се резултати покушаја исправке врате у LLM, било од стране корисника или алата за дијагностику.

Примјер из стварног свијета: Платформа за посматрање Datadog (приказана испод) прикупља податке из свих слојева система, обиљежавајући све проблеме када се појаве. Они се затим прослеђују у специјализованог агента вјештачке интелигенције по имену Bits AI ради рјешавања потенцијалних кварова.

Увећај

7. Агенатска трговина

Агенатска трговина је шири случај употребе који обично укључује RAG. Агент за куповину преузима детаље као што су спецификације производа, рецензије, цијене и доступност како би упоредио опције и објаснио препоруке. Он затим може аутоматски да обави куповину без напуштања интерфејса од стране корисника.

Како функционише: Агенатска трговина је прави агенатски RAG зато што одређени упити често захтијевају различите облике преузимања, које модел усмјерава. Агент може да преузме искључиво текст о подацима о proizvodu преко API-ја продавца, или може користити мултимодални RAG да подудари производе у семантичком индексу на основу фотографије корисника.

Примјер из стварног свијета: Општи агент као што је Perplexity може да преузме више слика и детаљне спецификације производа на основу упита. Функција наплате Instant Buy омогућава кориснику да заврши куповину након избора производа.

Увећај

8. Специјализоване домене знања

Алати вјештачке интелигенције који преузимају специјализовано доменско знање морају да се носе са сложеним форматима садржаја. Поред тога, минимизирање халуцинација и празнина у информацијама је често приоритет.

Како функционише: Кључна разлика између општих и специјализованих RAG архитектура односи се на изворни материјал и конфигурацију преузимања. Типично, биће претраживан само високо ауторитативан индекс, а захтјев ће бити конфигурисан тако да укључује специфичну терминологију ради сужења претраге.

Примјер из стварног свијета: Алат за академско истраживање Scite приступа великом индексу академских радова и података о цитирању који је изграђен кроз споразуме са издавачима и изворе отвореног приступа. Такође примјењује провјере након преузимања, као што је верификација извора, прије генерисања комплетног одговора.

Увећај

9. Анализа података

RAG за анализу података је постао посебно моћан пословни случај употребе јер омогућава широком спектру професионалаца, посебно онима без обуке из науке о подацима, да постављају упите скупівма података користећи природни језик. Ово олакшава генерисање извјештаја и постављање врло специфичних питања.

Како функционише: За питање попут „Зашто је продаја пала прошлог квартала?“, апликација може да претражи евиденцију о продаји и преузме биљешке о недостацима залиха или промјенама цијена. LLM бира одговарајући прорачун (који је обично препуштен алату за прорачун) за преузете податке прије генерисања анализе.

Примјер из стварног свијета: Google Analytics нуди AI чет-бот „Ask Advisor“ који може да приступи подацима веб аналитике и одговори на врло специфична, нијансирана питања корисника. Ово је један од најбољих примјера из стварног свијета за RAG затвореног система пословног нивоа.

Увећај

Шта је сљедеће у еволуцији RAG-а?

RAG је био значајан развој када је први пут представљен. Помогао је у рјешавању многих проблема инхерентних самосталним LLM-овима.

Међутим, он је далеко од статичне технологије. Тренутно истраживање је фокусирано на дубље мултимодално преузимање и ригорознију обраду преузетог контекста ради тачности и исправности. Поред тога, вјероватно ћемо видјети већу интеграцију RAG-а у агенте са више алата.

Чак и са изузетно великим прозорима контекста, постоје важни случајеви употребе RAG-а и у личним и у професионалним контекстима, а многе иновације тек предстоје.