RAG vs. LLM: techniczne omówienie (definicje, różnice, przypadki użycia)

LLM-y generują odpowiedzi, korzystając z parametrów wyuczonych na podstawie wzorców w danych treningowych. Ponieważ te parametry mogą nie odzwierciedlać aktualnych lub pełnych informacji, RAG, czyli retrieval-augmented generation, uzupełnia ten proces, dodając dane z zewnętrznych źródeł do kontekstu wejściowego LLM. Narzędzie AI pobiera informacje z zewnątrz, aby uzupełnić proces generowania LLM.

W rzeczywistości wybór nie dotyczy RAG albo LLM. Chodzi o wybór między podejściem hybrydowym a takim, które korzysta wyłącznie z LLM.

RAG jest potrzebny, gdy LLM wymaga dostępu do dokumentacji firmowej, baz danych lub szybko zmieniających się informacji. Podejście oparte wyłącznie na LLM nadaje się do pewnych zadań administracyjnych, przetwarzania danych i tworzenia treści, w których wszystkie dane wejściowe mogą zostać dostarczone przez użytkownika.

RAG a LLM: jakie są kluczowe różnice?

• RAG i LLM-y to systemy komplementarne. Możesz używać modelu AI bez RAG (gdy opiera się wyłącznie na swoich istniejących parametrach), ale nie możesz używać systemu RAG bez modelu.
• RAG został wprowadzony, aby rozwiązać trzy kluczowe problemy związane z LLM: nieaktualne informacje, zhalucynowane odpowiedzi i brak weryfikacji względem źródeł zewnętrznych.
• RAG sprawia, że AI jest znacznie skuteczniejsza w rzeczywistych sytuacjach biznesowych, ponieważ łączy LLM-y ze zweryfikowaną wewnętrzną dokumentacją, bazami danych i punktami końcowymi API.
• Do najważniejszych przypadków użycia RAG należą chatboty obsługi klienta, zapytania oparte na szybko zmieniających się danych (takich jak wiadomości branżowe) oraz wyspecjalizowane dziedziny, takie jak medycyna i prawo, gdzie ważne są dokładność i weryfikacja źródeł.
• Istnieją trzy główne typy RAG: naiwny RAG, modułowy RAG i zaawansowany RAG. Naiwny RAG najlepiej rozumieć jako proste wyszukiwanie informacji, natomiast modułowy i zaawansowany RAG dodają dodatkowe funkcje, takie jak przepisywanie zapytań i optymalizacja fragmentów.

Czym jest duży model językowy (LLM)?

LLM, czyli duży model językowy, to system, który generuje treści przy użyciu dostrojonych parametrów. Parametry te określają prawdopodobieństwa przypisywane wszystkim tokenom w słowniku LLM, wskazując, który token najprawdopodobniej pojawi się jako następny w danej sekwencji.

Aby lepiej zrozumieć, jak działa RAG (i czym różni się od) LLM-ów, warto przyjrzeć się temu, jak generatywna sztuczna inteligencja działa na podstawowym poziomie:

1. Tokenizacja: Prompt użytkownika jest dzielony na tokeny, które mogą być słowami, częściami słów lub pojedynczymi znakami.
2. Osadzanie: Tokeny są przekształcane w osadzenia, czyli numeryczne reprezentacje (ciągi liczb) zwane wektorami, które sieć neuronowa, w tym dekoder, może przetwarzać.
3. Dekodowanie: Warstwy dekodera (które stanowią dużą część sieci neuronowej LLM) manipulują tymi wektorami, wykorzystując proces zwany uwagą , aby uchwycić znaczenie. Proces ten określa, jak silnie każdy token powinien odnosić się do innych tokenów w sekwencji.
4. Ocenianie: Model przypisuje prawdopodobieństwo dopasowania do każdego tokenu w swoim istniejącym słowniku i wybiera prawdopodobny następny token w sekwencji.

Najważniejsze jest to, że LLM może generować wyniki wyłącznie na podstawie swoich istniejących parametrów i tokenów w oknie kontekstu. Podczas treningu LLM jest zachęcany do kończenia fragmentów niekompletnego tekstu miliardy razy, a jego parametry są dostosowywane, aż zacznie wiarygodnie przypisywać prawdopodobieństwa tokenom (a tym samym kończyć tekst).

Wyobraź sobie na przykład, że pytasz model AI: „Co mówi nasza polityka zwrotów z 2026 roku?” LLM może jedynie przewidywać kolejne tokeny na podstawie swoich istniejących parametrów, które nie zostały dostrojone z użyciem twojej dokumentacji wsparcia. Jeśli zadasz mu to pytanie bez dodatkowego kontekstu, po prostu nie będzie w stanie odpowiedzieć w sensowny sposób albo wygeneruje nieprawidłową halucynację.

Czym jest generowanie wspomagane wyszukiwaniem (RAG)?

RAG (retrieval-augmented generation) to proces, w ramach którego informacje z systemów zewnętrznych są uwzględniane w prompcie LLM.

Podstawowy proces LLM, obejmujący osadzanie i probabilistyczne dopasowywanie tokenów, pozostaje taki sam. RAG wprowadza etap wstępny, w którym prompt użytkownika zostaje rozszerzony o dodatkowe dane.

Oto przegląd tego, jak działa RAG:

1. Przygotowanie wiedzy: Przygotowywane jest źródło wiedzy. Może to być zestaw dokumentów, baza danych wektorowych, graf wiedzy lub indeks na żywo (na przykład do wyszukiwania AI).
2. Promptowanie: Użytkownik wpisuje prompt, na przykład: „Czy powinienem iść dziś na spacer w Londynie?”
3. Pobieranie: Zewnętrzne źródło informacji jest odpytywane przez pobierający komponent narzędzia AI. Może on osadzić prompt, przekształcając go w wektor, a następnie odpytać bazę danych wektorowych. Alternatywnie może użyć innej metody, takiej jak wywołanie API, dopasowanie słów kluczowych lub przechodzenie po grafie wiedzy.
4. Wstawianie: Te informacje są dodawane do oryginalnego promptu użytkownika. W przykładzie pytania o spacer w Londynie mogłoby to obejmować informacje o pogodzie w Londynie oraz aktualną dostępność popularnych tras spacerowych.
5. Generowanie odpowiedzi: LLM generuje odpowiedź w zwykły sposób, korzystając z rozszerzonego promptu.

W tle pobrany tekst jest dodawany do kontekstu wejściowego, tokenizowany i osadzany. Następnie model przetwarza ten dodatkowy kontekst przez swój dekoder, co zmienia prawdopodobieństwa tokenów wyjściowych.

Ogólnie rzecz biorąc, RAG można podzielić na trzy podtypy. Naiwny RAG podąża za podstawowym procesem RAG, pobierając informacje i wprowadzając je do promptu. Zaawansowany RAG dodaje dodatkowe funkcje, takie jak przepisywanie zapytań i wielokrotne przebiegi zapytań. Modułowy RAG odnosi się do typu architektury, w której różne zaawansowane funkcjonalności mogą być traktowane jako komponenty i łączone w razie potrzeby.

RAG a LLM: przegląd przypadków użycia

RAG zapewnia użytkownikom dostęp do aktualnych danych. W rezultacie wyniki LLM są mniej podatne na halucynacje i luki informacyjne. Jeśli musisz zobaczyć źródła informacji użytych w wyniku, RAG jest również niezbędny, ponieważ nieuzasadnione odpowiedzi LLM nie zawierają atrybucji.

Powiększ

Przypadki użycia RAG

• Zapytania o informacje wrażliwe na czas: Wszelkie zapytania o informacje, które szybko tracą aktualność, co może być czymś tak prostym jak prognoza pogody albo tak złożonym jak szczegółowa analiza pojawiającej się historii w wiadomościach, muszą opierać się na zweryfikowanych źródłach zewnętrznych.
• Dokumentacja firmowa: Wewnętrzne lub skierowane do klientów chatboty AI, w których użytkownicy zadają pytania dotyczące dokumentacji firmy lub produktu, powinny korzystać z RAG, zwłaszcza jeśli dokumentacja jest często aktualizowana.
• Obsługa klienta: Chatboty obsługi klienta potrzebują dostępu do aktualnej, szczegółowej dokumentacji wsparcia, aby udzielać trafnych odpowiedzi.
• Wyspecjalizowane dziedziny (medycyna, prawo, finanse itp.): LLM-y, które nie były trenowane na korpusach specyficznych dla danej dziedziny (zwłaszcza modele głównego nurtu), zwykle mają trudności z niuansami wyspecjalizowanych promptów.

Przypadki użycia LLM

• Zadania administracyjne: LLM-y mogą wykonywać podstawowe zadania przy minimalnym opóźnieniu. RAG nie jest potrzebny do podstawowego pisania i zadań administracyjnych, takich jak sprawdzanie pisowni czy streszczanie, w których nie są potrzebne informacje zewnętrzne.
• Zadania kreatywne: Niektóre zadania kreatywne, takie jak generowanie krótkiej opowieści lub obrazu, wymagają jedynie informacji podanych w oryginalnym prompcie.
• Zadania oparte na rozumowaniu i danych: Jeśli pracujesz z dużym zbiorem danych, LLM nie potrzebuje dostępu do informacji zewnętrznych, aby zastosować funkcje rozumowania i analizy.
• Ogólne kodowanie: Chociaż przepływ pracy programistycznej może wymagać dostępu do prywatnej bazy kodu lub dokumentacji, LLM-y są bardzo dobre w wykonywaniu ogólnych zadań związanych z kodowaniem, takich jak naprawianie błędów i tworzenie funkcji, bez odwoływania się do źródeł zewnętrznych.

RAG a LLM o długim kontekście, agentowa AI i uziemienie

Istnieją trzy powiązane pojęcia istotne dla rozróżnienia między RAG a LLM-ami. Są to LLM-y o długim kontekście, agentowa AI i uziemienie.

LLM-y o długim kontekście mogą czasem być używane zamiast systemów z obsługą RAG, podczas gdy agentowa AI i uziemienie są z nimi synonimiczne lub działają obok nich.

LLM-y o długim kontekście

Są to modele z dużymi oknami kontekstu, a niektóre powszechnie dostępne modele komercyjne obsługują do miliona tokenów.

Jeśli istotne materiały mogą zmieścić się w oknie kontekstu modelu i są dostępne w formacie tekstowym, podejście oparte wyłącznie na LLM ma pewne zalety. Może zmniejszyć ryzyko błędów wyszukiwania, zapewnić bardziej kompleksowy kontekst i wyeliminować potrzebę rozbudowanej konfiguracji architektury RAG.

Agentowa AI

Agent to system, który korzysta z wielu narzędzi, w tym z możliwości RAG, aby wykonywać złożone zadania. RAG jest jednym z elementów agentowej AI, a agent często używa różnych typów metod wyszukiwania (np. wyszukiwania w sieci vs. wyszukiwania wektorowego) w zależności od treści promptu.

Uziemienie

Uziemienie odnosi się do szerszego procesu wykorzystywania dowodów lub danych w celu poprawy dokładności odpowiedzi LLM lub jej uziemienia. RAG jest jedną z form uziemienia, ale dodanie dokumentu technicznego do okna kontekstu również można uznać za uziemienie.

RAG a LLM: rzeczywiste przykłady

Aby lepiej zrozumieć, jak RAG działa w porównaniu z użyciem LLM bez RAG, możemy przyjrzeć się prostemu rzeczywistemu przykładzie z wykorzystaniem Perplexity oraz hipotetycznemu przypadkowi korporacyjnemu, w którym korzysta się z bazy danych wektorowych.

RAG a LLM z prostym promptem

Oto wynik (ograniczony do dwóch zdań), gdy Perplexity zostaje zapytane: „Czy powinienem iść dziś na spacer w Londynie?” z wyłączonym wyszukiwaniem internetowym AI (formą RAG):

Tak — jeśli pogoda jest względnie sucha i masz czas, spacer po Londynie dzisiaj może być odświeżającą odmianą. Wybierz trasę wzdłuż South Bank, Regent’s Canal albo przez Hyde Park i na wszelki wypadek weź lekki nieprzemakalny okrycie.

Porównaj to z promptem, gdy LLM może sprawdzać zewnętrzne źródła:

Tak, to dobry dzień na spacer w Londynie: prognoza przewiduje łagodne temperatury około 19–21°C, słoneczne przejaśnienia i tylko bardzo niewielkie prawdopodobieństwo deszczu. Przy częściowo zachmurzonym niebie i lekkim wietrze warunki są komfortowe do zwiedzania parków lub tras nadbrzeżnych, takich jak South Bank.

Między tymi dwoma przykładami istnieją podobieństwa, ponieważ LLM korzysta z tego samego podstawowego procesu oceniania tokenów. Jednak drugi przykład zawiera szczegółowe informacje o pogodzie, co czyni go znacznie bardziej użytecznym.

RAG a LLM z korporacyjną bazą danych wektorowych

Wyobraź sobie, że użytkownik zadaje chatbotowi w aplikacji bankowej następujące pytanie: „Gdzie mogę pobrać moje najnowsze wyciąg?”

Bank zarządzający aplikacją utworzył bazę danych zawierającą osadzenia swojej aktualnej dokumentacji produktowej i połączył ją z potokiem RAG chatbota. Dokumentacja składa się z około 1000 dokumentów źródłowych, które zostały podzielone na mniejsze fragmenty i przekształcone w wektory do wyszukiwania.

Zapytanie użytkownika jest wysyłane do modelu osadzania, a aplikacja wysyła ten wektor do bazy danych, która zwraca odpowiednie fragmenty.

Model osadzania otrzymałby takie zapytanie:

Model osadzania zwraca następujące osadzenie wektorowe:

Baza danych wektorowych otrzymuje następnie takie zapytanie:

W tym (mocno uproszczonym) przykładzie baza danych zwraca pięć fragmentów najbardziej istotnych dla zapytania użytkownika, które są wysyłane do aplikacji i uwzględniane w prompcie LLM.

Kiedy wybrać RAG zamiast LLM i kiedy je połączyć

LLM-y i RAG to systemy komplementarne. W związku z tym pytanie „Kiedy powinienem wybrać LLM, a kiedy RAG?” jest nietrafne. Raczej powinieneś zapytać: „Kiedy LLM wystarczy, a kiedy RAG jest optymalny?”

Kiedy używać LLM bez włączonego RAG

• Wybrany model AI ma duże okno kontekstu: Jeśli łatwiej jest umieścić wszystkie informacje lub dane niezbędne do udzielenia trafnej odpowiedzi w prompcie, na przykład przez przesłanie dokumentu, może to zmniejszyć opóźnienie i zapobiec problemom związanym z wyszukiwaniem.
• Przepływy pracy oparte na rozumowaniu i analizie danych: Przepływy pracy analityczne i oparte na rozumowaniu, które odwołują się wyłącznie do danych podanych w prompcie, nie potrzebują funkcji RAG.
• Generowanie kodu: RAG zwykle nie jest potrzebny do ogólnych prac programistycznych, choć zazwyczaj stosuje się go w zadaniach specyficznych dla projektu, takich jak pobieranie wcześniejszych poprawek lub interfejsów API dostawców i dokumentacji.

Kiedy używać LLM z włączonym RAG

• Wymagasz dostępu do aktualnych informacji: Jeśli aplikacja AI potrzebuje dostępu do zewnętrznych źródeł aktualnych informacji, aby wygenerować trafną odpowiedź, zawsze upewnij się, że funkcje RAG są włączone.
• Pracujesz w wyspecjalizowanej dziedzinie: W obszarach takich jak medycyna, prawo, edukacja i tym podobne, gdzie ważne są dokładność, szczegółowość i sprawdzanie źródeł, samo użycie LLM często okaże się niewystarczające.
• Wyniki powinny odwoływać się do wewnętrznych plików firmy: Jeśli używasz AI, wewnętrznie lub w aplikacji skierowanej do klientów, do generowania treści na podstawie wewnętrznych dokumentów firmy, niezależnie od tego, czy są to dane, brand kit, dokumentacja czy pliki, RAG zapewnia dostęp do tych informacji.

RAG i LLM-y to komplementarne, rozwijające się technologie

RAG oznaczał ważną innowację w ewolucji AI. Rozwiązuje trzy główne problemy: nieaktualne informacje, ograniczoną pamięć modelu i luki informacyjne wynikające z braku odpowiednich danych treningowych, co często prowadziło do halucynacji. Oczywiście LLM-y nie wyeliminowały ich całkowicie, ale ich częstość znacząco spadła wraz z pojawieniem się RAG.

RAG nie jest technologią statyczną. Oczekuje się, że będzie się rozwijać w wielu obszarach, w tym w rerankingu, opóźnieniu podczas wyszukiwania i zużyciu tokenów, zabezpieczeniach przed niebezpiecznymi źródłami danych, integrowaniu pobranych danych z wielu źródeł i nie tylko. Wraz z dalszym rozwojem LLM-ów i agentowej AI będą się rozwijać także wspierające je systemy RAG.