RAG срещу LLM: технически разбор (дефиниции, разлики, случаи на употреба)

LLM генерират отговори, използвайки параметри, научени от модели в данните им за обучение. Тъй като тези параметри може да не отразяват скорошна или пълна информация, RAG, което означава генериране, обогатено с извличане, допълва процеса, като добавя данни от външни източници към входния контекст на LLM. AI инструмент извлича външна информация, за да обогати процеса на генериране на LLM.

В действителност изборът ви не е между RAG или LLM. Той е между хибриден подход и такъв, който използва само LLM.

RAG е необходим, когато LLM се нуждае от достъп до фирмена документация, бази данни или информация, която се променя бързо. Подходът само с LLM е подходящ за определени административни, задачи по обработка на данни и създаване на съдържание, при които всички входни данни могат да бъдат предоставени от потребителя.

RAG срещу LLM: Какви са ключовите разлики?

• RAG и LLM са допълващи се системи. Можете да използвате AI модел без RAG (при което той разчита изключително на съществуващите си параметри), но не можете да използвате RAG система без модел.
• RAG беше въведен, за да преодолее три ключови проблема с LLM: остаряла информация, халюцинирани отговори и липса на проверка спрямо източници на трети страни.
• RAG прави AI много по-ефективен в реални бизнес ситуации, защото свързва LLM с проверена вътрешна документация, бази данни и API крайни точки.
• Сред основните случаи на употреба на RAG са чатботове за обслужване на клиенти, заявки, базирани на бързо променящи се данни (като новини от индустрията), и специализирани области, като медицина и право, където точността и проверката на източниците са важни.
• Има три основни типа RAG: наивен RAG, модулен RAG и усъвършенстван RAG. Наивният RAG се разбира най-добре като директно извличане на информация, докато модулният и усъвършенстваният RAG добавят допълнителни функции като пренаписване на заявки и оптимизация на парчета.

Какво е голям езиков модел (LLM)?

LLM, или голям езиков модел, е система, която генерира съдържание, използвайки фино настроени параметри. Тези параметри определят вероятностите, зададени на всички токени в речника на LLM, показвайки кой токен е най-вероятно да се появи следващ в дадена последователност.

За да разберете по-добре как RAG работи (и по какво се различава от) LLM, е полезно да разгледаме как на базово ниво работи генеративният AI:

1. Токенизация: Подканата на потребителя се разделя на токени, които могат да бъдат думи, части от думи или отделни знаци.
2. Вграждане: Токените се преобразуват във вграждания — числови представяния (низове от числа), наречени вектори, които невронната мрежа, включително декодер, може да обработва.
3. Декодиране: Слоевете на декодера (които съставляват голяма част от невронната мрежа на LLM) манипулират тези вектори, използвайки процес, наречен attention , за да уловят значението. Този процес определя колко силно всеки токен трябва да се свързва с останалите токени в последователността.
4. Оценяване: Моделът присвоява вероятност за съвместимост на всеки токен в вече съществуващия си речник и избира вероятен следващ токен за последователността.

Важният момент е, че LLM може да произвежда изходи само въз основа на съществуващите си параметри и токените в контекстния си прозорец. По време на обучението LLM многократно се подканва да довършва части от непълен текст милиарди пъти и параметрите му се настройват, докато започне надеждно да задава вероятности на токените (и така да завършва текста).

Представете си например, че питате AI модел: „Какво гласи политиката на нашата компания за възстановяване на суми за 2026 г.?“ LLM може само да предсказва следващите токени въз основа на съществуващите си параметри, които не са фино настроени с помощта на вашата документация за поддръжка. Ако му зададете този въпрос без допълнителен контекст, той просто няма да може да отговори смислено или ще халюцинира неправилен отговор.

Какво е генериране, обогатено с извличане (RAG)?

RAG (генериране, обогатено с извличане) е процесът, чрез който информация от външни системи се включва в подканата на LLM.

Основният процес на LLM, включващ вграждане и вероятностно съпоставяне на токени, остава същият. RAG въвежда предварителна стъпка, при която подканата на потребителя се разширява с допълнителни данни.

Ето общ преглед на това как работи RAG:

1. Подготовка на знание: Подготвя се източник на знание. Това може да бъде набор от документи, векторна база данни, граф на знанието или жив индекс (например за AI търсене).
2. Подканване: Потребителят въвежда подканване, като например: „Трябва ли да отида на разходка в Лондон днес?“
3. Извличане: Външният източник на информация се заявява от извличащия модул на AI инструмента. Той може да вгради подканата, превръщайки я във вектор, и след това да направи заявка към векторна база данни. Алтернативно, може да използва друг метод, като API извикване, съвпадение по ключови думи или обхождане на граф на знанието.
4. Вмъкване: Тази информация се добавя към оригиналния подканващ текст на потребителя. В примера с въпроса за разходка в Лондон това може да включва информация за времето в Лондон и текущата достъпност на популярни маршрути за разходка.
5. Генериране на отговор: LLM генерира отговор по обичайния начин, използвайки разширената заявка.

Зад кулисите извлеченият текст се добавя към входния контекст, токенизира се и се вгражда. След това моделът обработва този допълнителен контекст чрез своя декодер, което променя вероятностите за изходните токени.

В общи линии RAG може да се раздели на три подтипа. Наивният RAG следва основния процес на RAG, като извлича информация и я подава в подканата. Усъвършенстваният RAG добавя допълнителни функции като пренаписване на заявки и множество проходи на заявки. Модулният RAG се отнася до тип архитектура, при която различни усъвършенствани функционалности могат да се третират като компоненти и да се комбинират при нужда.

RAG срещу LLM: Общ преглед на случаите на употреба

RAG предоставя на потребителите достъп до актуални данни. Това води до изходи на LLM, при които е по-малко вероятно да има халюцинации и информационни пропуски. Ако трябва да видите източниците на информацията, използвана в изхода, RAG също е от съществено значение, тъй като неоснованите на данни отговори на LLM не идват с посочени източници.

Уголеми

Случаи на употреба на RAG

• Заявки за информация, чувствителна към времето: Всички заявки за информация, която бързо остарява, което може да е нещо толкова просто като прогноза за времето или толкова сложно като подробен анализ на нововъзникваща новинарска история, трябва да се основават на проверени източници на трети страни.
• Фирмена документация: Вътрешни или насочени към клиенти AI чатботове, в които потребителите задават въпроси, свързани с документацията за компанията или продукта, трябва да са с RAG, особено ако документацията често се актуализира.
• Обслужване на клиенти: Чатботовете за клиенти трябва да имат достъп до актуална, подробна документация за поддръжка, за да предоставят точни отговори.
• Специализирани области (медицина, право, финанси и т.н.): LLM, които не са обучавани върху корпуси, специфични за дадена област (особено масовите модели), обикновено се затрудняват с нюансите на специализираните подканвания.

Случаи на употреба на LLM

• Административни задачи: LLM могат да изпълняват основни задачи с минимална латентност. RAG е ненужен за основно писане и административни задачи, като проверка на правопис или обобщаване, при които не се изисква външна информация.
• Креативни задачи: Някои креативни задачи, като генериране на кратък разказ или изображение, изискват само информацията, предоставена в оригиналния подканващ текст.
• Задачи по разсъждение и базирани на данни: Ако работите с голям набор от данни, LLM няма нужда от достъп до външна информация, за да прилага функции за разсъждение и анализ.
• Общо програмиране: Въпреки че един работен процес по програмиране може да изисква достъп до частна кодова база или документация, LLM са много способни да изпълняват общи задачи по програмиране, като поправяне на грешки и създаване на функции, без да прибягват до външни източници.

RAG срещу LLM с дълъг контекст, агентен AI и основание

Има три свързани концепции, които са от значение за разграничението между RAG и LLM. Това са LLM с дълъг контекст, агентен AI и основане.

LLM с дълъг контекст понякога могат да се използват вместо системи с RAG, докато агентният AI и основането са синонимни или работят редом с тях.

LLM с дълъг контекст

Това са модели с големи контекстни прозорци, като някои широко достъпни комерсиални модели достигат до един милион токена.

Ако подходящият материал може да се побере в контекстния прозорец на модел и е наличен в текстов формат, има някои предимства от използването на подход само с LLM. Това може да намали вероятността от грешки при извличане, да предостави по-пълен контекст и да елиминира нуждата от обширна настройка на RAG архитектура.

Агентен AI

Агентът е система, която използва множество инструменти, включително възможности за RAG, за да изпълнява сложни задачи. RAG е един компонент на агентния AI и агентът често ще използва различни видове методи за извличане (напр. уеб търсене срещу векторно търсене) в зависимост от съдържанието на подканата.

Основане

Основането се отнася до по-широкия процес на използване на доказателства или данни за подобряване на точността на отговора на LLM или за негово основание. RAG е една форма на основание, но добавянето на технически документ към контекстен прозорец също би се считало за основание.

RAG срещу LLM: Примери от реалния свят

За да разберем по-добре как работи RAG в сравнение с използването на LLM без RAG, можем да разгледаме един прост реален пример с Perplexity и хипотетичен корпоративен случай, при който се използва векторна база данни.

RAG срещу LLM с прост подканващ текст

Ето изхода (ограничен до две изречения), когато Perplexity е попитан: „Трябва ли да отида на разходка в Лондон днес?“ при изключено AI уеб търсене (форма на RAG):

Да — ако времето е достатъчно сухо и имате време, разходка из Лондон днес може да бъде освежаваща смяна на обстановката. Изберете маршрут покрай South Bank, Regent’s Canal или през Hyde Park и вземете леко непромокаемо яке, за всеки случай.

Сравнете това с подканата, когато LLM може да проверява външни източници:

Да, това е хубав ден за разходка в Лондон: прогнозата предвижда меки температури около 19–21°C със слънчеви периоди и само много малка вероятност за дъжд. При разкъсана облачност и лек бриз условията са приятни за разходки из парковете или по маршрути покрай реката, като South Bank.

Има прилики между двете, тъй като LLM използва същия базов процес на оценяване на токени. Вторият пример обаче включва подробна информация за времето, което го прави много по-полезен.

RAG срещу LLM с корпоративна векторна база данни

Представете си, че потребител задава на чатбот в приложението за банкови услуги следния въпрос: „Откъде мога да изтегля най-скорошното си извлечение?“

Банката, която управлява приложението, е създала база данни, съдържаща вграждания на актуалната си продуктова документация, и я е свързала с RAG конвейера на чатбота. Документацията се състои от около 1 000 изходни документа, които са разделени на по-малки парчета и са били преобразувани във вектори за извличане.

Заявката на потребителя се изпраща към модел за вграждане, а приложението изпраща този вектор към базата данни, която връща релевантните парчета.

Моделът за вграждане би получил заявка като тази:

Моделът за вграждане връща следното векторно вграждане:

След това векторната база данни получава заявка като следната:

В този (силно опростен) пример базата данни връща петте парчета, които са най-релевантни за заявката на потребителя, и те се изпращат към приложението и се включват в LLM подканата.

Кога да изберете RAG срещу LLM и кога да ги комбинирате

LLM и RAG са допълващи се системи. Следователно въпросът „Кога да избера LLM и кога RAG?“ е неправилно поставен. По-скоро трябва да попитате: „Кога LLM е достатъчен и кога RAG е оптимален?“

Кога да използвате LLM без включен RAG

• Вашият избран AI модел има голям контекстен прозорец: Ако е по-лесно да включите цялата информация или данни, необходими за точен отговор, направете това в подканата си, например чрез качване на документ, тъй като така може да се намали латентността и да се предотвратят проблеми, свързани с извличането.
• Работни процеси за разсъждение и анализ на данни: Работните процеси за анализ и разсъждение, които се позовават само на данните, предоставени в подканата, не се нуждаят от RAG възможности.
• Генериране на код: RAG обикновено не е необходим за общи задачи по програмиране, макар че обикновено се използва за специфични за проекта задачи, като извличане на предишни корекции или API и документация на доставчици.

Кога да използвате LLM с включен RAG

• Нуждаете се от достъп до актуална информация: Ако AI приложение трябва да има достъп до външни източници на актуална информация, за да генерира точен отговор, винаги се уверявайте, че възможностите за RAG са включени.
• Работите в специализирана област: За области като медицина, право, образование и т.н., където точността, детайлността и проверката на източниците са важни, използването само на LLM често ще е недостатъчно.
• Изходите трябва да се позовават на вътрешни фирмени файлове: Ако използвате AI, вътрешно или в насочено към клиенти приложение, за да генерирате съдържание въз основа на вътрешни фирмени документи, независимо дали става дума за данни, бранд кит, документация или файлове, RAG осигурява достъп до тази информация.

RAG и LLM са допълващи се, развиващи се технологии

RAG бележи голяма иновация в еволюцията на AI. Той адресира три основни проблема: остаряла информация, ограничена памет на модела и информационни пропуски поради липса на подходящи обучителни данни, което често води до халюцинации. Разбира се, LLM не са преодолели напълно тези проблеми, но появата на RAG значително е намалила честотата им.

RAG не е статична технология. Очаква се тя да се подобрява в редица области, включително reranking, латентност при извличане и използване на токени, защитни механизми за сигурност срещу опасни източници на данни, интегриране на извлечени данни от множество източници и други. С развитието на LLM и агентния AI ще се развиват и системите RAG, които ги поддържат.