RAG наспрам LLM-а: техничка анализа (дефиниције, разлике, случајеви употребе)

LLM-ови генеришу одговоре користећи параметре научене из образаца у својим подацима за обуку. Пошто ти параметри можда не одражавају нове или потпуне информације, RAG, што је скраћеница за генерисање обогаћено претрагом, допуњује процес додавањем података из спољних извора у улазни контекст LLM-а. AI алат проналази спољне информације да би обогатио процес генерисања LLM-а.

У стварности, ваш избор није између RAG-а и LLM-а. Он је између хибридног приступа и приступа који користи само LLM.

RAG је неопходан када LLM захтева приступ документацији компаније, базама података или информацијама које се брзо мењају. Приступ само са LLM-ом је погодан за одређене административне задатке, задатке обраде података и креирања садржаја, где корисник може да обезбеди све улазне податке.

RAG наспрам LLM-а: које су кључне разлике?

• RAG и LLM-ови су комплементарни системи. Можете користити AI модел без RAG-а (при чему се ослања искључиво на своје постојеће параметре), али не можете користити RAG систем без модела.
• RAG је уведен како би се превазишла три кључна проблема код LLM-ова: застареле информације, халуцинирани одговори и недостатак верификације у односу на изворе трећих страна.
• RAG чини вештачку интелигенцију много ефикаснијом у стварним пословним ситуацијама јер повезује LLM-ове са верификованом интерном документацијом, базама података и API крајњим тачкама.
• Главни случајеви употребе RAG-а укључују четботове за корисничку подршку, упите засноване на подацима који се брзо мењају (као што су вести из индустрије) и специјализована подручја, попут медицине и права, где су тачност и провера чињеница из извора важни.
• Постоје три главне врсте RAG-а: наивни RAG, модуларни RAG и напредни RAG. Најбоље је разумети наивни RAG као једноставно проналажење информација, док модуларни и напредни RAG додају додатну функционалност као што су преписивање упита и оптимизација сегмената.

Шта је велики језички модел (LLM)?

LLM, или велики језички модел, је систем који генерише садржај користећи фино подешене параметре. Ти параметри одређују вероватноће додељене свим токенима у речнику LLM-а, показујући који је токен највероватније следећи у датом низу.

Да бисте боље разумели како RAG функционише (и по чему се разликује од) LLM-ова, корисно је погледати како генерисање вештачке интелигенције функционише на основном нивоу:

1. Токенизација: Кориснички упит се дели на токене, који могу бити речи, делови речи или појединачни знакови.
2. Уградња: Токени се претварају у уградње, нумеричке представе (низове бројева) које се називају вектори, а које неуронска мрежа, која укључује декодер, може да обрађује.
3. Декодирање: Слојеви декодера (који чине велики део неуронске мреже LLM-а) манипулишу овим векторима, користећи процес који се назива пажња за хватање значења. Овај процес одређује колико снажно сваки токен треба да буде повезан са другим токенима у низу.
4. Бодовање: Модел сваком токену у свом већ постојећем речнику додељује вероватноћу компатибилности и бира вероватан следећи токен за низ.

Важно је да LLM може да производи излазе само на основу својих постојећих параметара и токена у свом прозору контекста. Током обуке, од LLM-а се милијардама пута тражи да доврши делове непотпуног текста, а његови параметри се прилагођавају све док поуздано не додељује вероватноће токенима (и тако довршава текст).

Замислите, на пример, да питате AI модел: „Шта каже наша политика повраћаја новца за 2026. годину?” LLM може само да предвиђа следеће токене на основу својих постојећих параметара, који нису фино подешени помоћу ваше документације за подршку. Ако му поставите ово питање без икаквог додатног контекста, једноставно неће моћи да одговори на смислен начин или ће халуцинирати нетачан одговор.

Шта је генерисање обогаћено претрагом (RAG)?

RAG (генерисање обогаћено претрагом) је процес у којем се информације из спољних система укључују у LLM упит.

Основни процес LLM-а, који укључује уградњу и вероватносно подударање токена, остаје исти. RAG уводи претходни корак у коме се кориснички упит проширује додатним подацима.

Ево прегледа како RAG функционише:

1. Припрема знања: Припрема се извор знања. То може бити скуп докумената, векторска база података, граф знања или активни индекс (као за AI претрагу).
2. Постављање упита: Корисник уноси упит, као што је: „Да ли данас да идем у шетњу по Лондону?”
3. Проналажење: AI алат који проналази информације поставља упит спољном извору информација. Може да угради упит, претварајући га у вектор, а затим да постави упит векторској бази података. Алтернативно, може да користи неки други метод, као што је API позив, подударање кључних речи или пролазак кроз граф знања.
4. Уметање: Ове информације се додају у оригинални упит корисника. У примеру питања о шетњи по Лондону, то би могло да укључује информације о времену у Лондону и тренутну доступност популарних рута за шетњу.
5. Генерисање одговора: LLM генерише одговор на уобичајен начин користећи проширени упит.

Иза кулиса, пронађени текст се додаје у улазни контекст, токенизује и уграђује. Модел затим обрађује тај додатни контекст кроз свој декодер, што мења вероватноће излазних токена.

У ширем смислу, RAG се може поделити на три подтипа. Наивни RAG прати основни RAG процес, проналазећи информације и убацујући их у упит. Напредни RAG додаје додатне функције као што су преписивање упита и више пролаза упита. Модуларни RAG односи се на тип архитектуре у којој се различите напредне функционалности могу третирати као компоненте и комбиновати по потреби.

RAG наспрам LLM-а: преглед случајева употребе

RAG корисницима омогућава приступ ажурним подацима. То резултира излазима LLM-а код којих је мања вероватноћа да ће имати халуцинације и празнине у информацијама. Ако треба да видите изворе информација коришћених у излазу, RAG је такође неопходан, јер одговори LLM-а који нису утемељени не долазе са атрибуцијама.

Увећај

Случајеви употребе RAG-а

• Захтеви за информацијама осетљивим на време: Сваком упиту за информацијама које брзо застаревају, било да је то нешто једноставно као временска прогноза или сложено као детаљна анализа нове вести, потребно је да се заснива на верификованим изворима трећих страна.
• Документација компаније: Интерни или AI четботови окренути ка корисницима у којима корисници постављају питања у вези са документацијом компаније или производа треба да имају омогућен RAG, посебно ако се документација често ажурира.
• Корисничка подршка: Четботови за корисничку подршку морају имати приступ актуелној, детаљној документацији за подршку како би пружили тачне одговоре.
• Специјализована подручја (медицина, право, финансије итд.): LLM-ови који нису обучени на корпусима специфичним за домен (посебно главни модели) обично имају потешкоћа са нијансама специјализованих упита.

Случајеви употребе LLM-а

• Административни задаци: LLM-ови могу да обаве основне задатке уз минимално кашњење. RAG није потребан за основно писање и административне задатке, као што су провера правописа или сажимање, где спољне информације нису потребне.
• Креативни задаци: За неке креативне задатке, као што су генерисање кратке приче или слике, потребне су само информације наведене у оригиналном упиту.
• Задаци расуђивања и засновани на подацима: Ако радите са великим скупом података, LLM-у није потребан приступ спољним информацијама да би применио функције расуђивања и анализе.
• Опште програмирање: Иако ток рада програмирања може захтевати приступ приватној кодној бази или документацији, LLM-ови су веома способни да извршавају опште програмерске задатке, као што су исправљање грешака и креирање функција, без ослањања на спољне изворе.

RAG наспрам LLM-а са дугим контекстом, агентне вештачке интелигенције и утемељења

Постоје три сродна концепта који су релевантни за разликовање RAG-а и LLM-ова. То су LLM-ови са дугим контекстом, агентна вештачка интелигенција и утемељење.

LLM-ови са дугим контекстом понекад се могу користити уместо система са омогућеним RAG-ом, док су агентна вештачка интелигенција и утемељење синоними или раде уз њих.

LLM-ови са дугим контекстом

То су модели са великим прозорима контекста, при чему неки широко доступни комерцијални модели раде са до милион токена.

Ако релевантан материјал може да стане у прозор контекста модела и доступан је у текстуалном формату, постоје одређене предности употребе приступа само са LLM-ом. То може смањити шансу за грешке при проналажењу, обезбедити свеобухватнији контекст и елиминисати потребу за опсежним подешавањем RAG архитектуре.

Агентна вештачка интелигенција

Агент је систем који користи више алата, укључујући RAG могућности, за извршавање сложених задатака. RAG је једна компонента агентне вештачке интелигенције, а агент ће често користити различите врсте метода проналажења (нпр. веб-претрага у односу на векторску претрагу) у зависности од садржаја упита.

Утемељење

Утемељење се односи на шири процес коришћења доказа или података ради побољшања тачности LLM одговора. RAG је један облик утемељења, али би и додавање техничког документа у прозор контекста такође спадало у утемељење.

RAG наспрам LLM-а: примери из стварног света

Да бисте боље разумели како RAG функционише у поређењу са употребом LLM-а без RAG-а, можемо погледати једноставан пример из стварног света користећи Perplexity и хипотетички случај у предузећу где се консултује векторска база података.

RAG наспрам LLM-а са једноставним упитом

Ево излаза (ограниченог на две реченице) када се Perplexity-у постави питање „Да ли данас да идем у шетњу по Лондону?” са искљученом AI веб-претрагом (обликом RAG-а):

„Да — ако је време разумно суво и ако имате времена, данашња шетња по Лондону могла би да буде освежавајућа промена. Изаберите руту дуж South Bank-а, канала Regent’s Canal или кроз Hyde Park, и понесите лагану водоотпорну јакну, за сваки случај.“

Упоредите ово са упитом када LLM може да провери спољне изворе:

„Да, дан је добар за шетњу по Лондону: прогноза предвиђа благе температуре око 19–21°C, сунчане интервале и само врло малу вероватноћу кише. Уз делимично облачно небо и благ поветарац, услови су пријатни за истраживање паркова или рута уз реку, попут South Bank-а.“

Постоје сличности између ова два, јер LLM користи исти основни процес бодовања токена. Међутим, други пример укључује детаљне информације о времену, што га чини далеко кориснијим.

RAG наспрам LLM-а са корпоративном векторском базом података

Замислите да корисник у четботу у апликацији за банкарство постави следеће питање: „Где могу да преузмем свој најновији извод?”

Банка која управља апликацијом направила је базу података која садржи уградње њене актуелне документације о производима и повезала је са RAG цевоводом четбота. Документација се састоји од око 1.000 изворних докумената, који су подељени на мање сегменте и претворени у векторе за проналажење.

Кориснички упит се шаље моделу за уградњу, а апликација шаље тај вектор у базу података, која враћа релевантне сегменте.

Модел за уградњу би примио захтев попут овог:

Модел за уградњу враћа следеће векторско представљање:

Векторска база података затим прима захтев попут следећег:

У овом (знатно поједностављеном) примеру, база података враћа пет сегмената који су најрелевантнији за кориснички упит, а они се шаљу апликацији и укључују у LLM упит.

Када изабрати RAG у односу на LLM и када их комбиновати

LLM-ови и RAG су комплементарни системи. Стога је питање „Када треба да изаберем LLM, а када RAG?” погрешно постављено. Уместо тога, требало би да питате: „Када ће LLM бити довољан, а када је RAG оптималан?”

Када користити LLM без омогућеног RAG-а

• Ваш изабрани AI модел има велики прозор контекста: Ако је лакше да у упит укључите све информације или податке неопходне за тачан одговор, на пример отпремањем документа, то може да смањи кашњење и спречи проблеме у вези са проналажењем.
• Токови рада расуђивања и анализе података: Токови рада анализе и расуђивања који се ослањају само на податке наведене у упиту не захтевају RAG могућности.
• Генерисање кода: RAG обично није потребан за општи програмерски рад, иако се најчешће користи за задатке специфичне за пројекат, као што су проналажење претходних исправки или документације и API-ја добављача.

Када користити LLM са омогућеним RAG-ом

• Потребан вам је приступ ажурним информацијама: Ако AI апликација мора да приступи спољним изворима ажурних информација како би генерисала тачан одговор, увек обезбедите да су RAG могућности омогућене.
• Радите у специјализованом подручју: За области као што су медицина, право, образовање и тако даље, где су важни тачност, детаљност и провера извора, приступ само са LLM-ом ће често бити недовољан.
• Излази треба да се позивају на интерне фајлове компаније: Ако користите AI, било интерно или у апликацији окренутој ка купцима, за генерисање садржаја на основу интерних докумената компаније, било да су у питању подаци, бренд књига, документација или фајлови, RAG омогућава приступ тим информацијама.

RAG и LLM-ови су комплементарне, еволуирајуће технологије

RAG је означио велику иновацију у еволуцији вештачке интелигенције. Он решава три главна проблема: застареле информације, ограничено памћење модела и празнине у информацијама услед недостатка релевантних података за обуку, што је често резултирало халуцинацијама. Наравно, LLM-ови то нису у потпуности превазишли, али је њихова учесталост значајно смањена појавом RAG-а.

RAG није статична технологија. Очекује се да ће се побољшавати у бројним областима, укључујући прерангирање, кашњење током проналажења и употребу токена, безбедносне одбране од опасних извора података, интеграцију пронађених података из више извора и још много тога. Како се LLM-ови и агентна вештачка интелигенција буду даље развијали, развијаће се и RAG системи који их подржавају.