RAG לעומת LLM: פירוט טכני (הגדרות, הבדלים, מקרי שימוש)

LLMs מייצרים תשובות באמצעות פרמטרים שנלמדו מדפוסים בנתוני האימון שלהם. מכיוון שפרמטרים אלה עשויים שלא לשקף מידע עדכני או מלא, RAG, ראשי תיבות של retrieval-augmented generation, משלים את התהליך על ידי הוספת נתונים ממקורות חיצוניים להקשר הקלט של ה-LLM. כלי AI מאחזר מידע חיצוני כדי להעשיר את תהליך ה-generation של ה-LLM.

בפועל, הבחירה שלך אינה בין RAG לבין LLM. היא בין גישה היברידית לבין גישה שמשתמשת רק ב-LLM.

RAG נחוץ כאשר LLM צריך גישה לתיעוד של החברה, למסדי נתונים או למידע שמשתנה במהירות. גישה שמבוססת על LLM בלבד מתאימה למשימות מנהלתיות מסוימות, לעיבוד נתונים וליצירת תוכן, שבהן המשתמש יכול לספק את כל הקלטים.

RAG לעומת LLM: מה ההבדלים העיקריים?

• RAG ו-LLMs הם מערכות משלימות. אפשר להשתמש במודל AI בלי RAG (כאשר הוא מסתמך אך ורק על הפרמטרים הקיימים שלו), אבל אי אפשר להשתמש במערכת RAG בלי מודל.
• RAG הוצג כדי להתגבר על שלוש בעיות מרכזיות ב-LLMs: מידע שאינו עדכני, תשובות מונפצות והיעדר אימות מול מקורות של צד שלישי.
• RAG הופך את ה-AI ליעיל הרבה יותר במצבי עסק אמיתיים, משום שהוא מחבר LLMs עם תיעוד פנימי מאומת, מסדי נתונים ו-endpoints של API.
• מקרי השימוש המובילים ב-RAG כוללים צ'אטבוטים של תמיכת לקוחות, שאילתות המבוססות על נתונים שמשתנים במהירות (כמו חדשות מהתעשייה), ותחומים מתמחים, כמו רפואה ומשפטים, שבהם דיוק ובדיקת עובדות מול המקורות חשובים.
• יש שלושה סוגים עיקריים של RAG: RAG נאיבי, RAG מודולרי ו-RAG מתקדם. RAG נאיבי מובן בצורה הטובה ביותר כאחזור מידע פשוט, בעוד ש-RAG מודולרי ו-RAG מתקדם מוסיפים פונקציונליות נוספת כמו ניסוח מחדש של שאילתות ואופטימיזציה של מקטעים.

מהו מודל שפה גדול (LLM)?

LLM, או מודל שפה גדול, הוא מערכת שיוצרת תוכן באמצעות פרמטרים מכווננים היטב. פרמטרים אלה קובעים את ההסתברויות המוקצות לכל הטוקנים באוצר המילים של LLM, ומציינים איזה טוקן סביר ביותר שיבוא אחר כך ברצף נתון.

כדי להבין טוב יותר איך RAG עובד (ובהשוואה ל) LLM, כדאי לבחון כיצד AI גנרטיבי עובד ברמה בסיסית:

1. טוקניזציה: הפרומפט של המשתמש מפוצל לטוקנים, שיכולים להיות מילים, חלקי מילים או תווים בודדים.
2. הטמעה: טוקנים מומרים להטמעות, ייצוגים מספריים (מחרוזות של מספרים) שנקראים וקטורים, שרשת העצבים, הכוללת decoder, יכולה לעבד.
3. פענוח: שכבות ה-decoder (שהן חלק גדול מרשת העצבים של ה-LLM) מניפולטיביות את הווקטורים האלה, תוך שימוש בתהליך שנקרא attention כדי ללכוד משמעות. תהליך זה קובע עד כמה כל טוקן צריך להיות קשור לטוקנים אחרים ברצף.
4. ניקוד: המודל מקצה הסתברות תאימות לכל טוקן באוצר המילים הקיים שלו ובוחר טוקן הבא סביר לרצף.

הנקודה החשובה היא ש-LLM יכול לייצר פלטים רק על סמך הפרמטרים הקיימים שלו והטוקנים בחלון ההקשר שלו. במהלך האימון, LLM מקבל הנחיה להשלים קטעים של טקסט לא שלם מיליארדי פעמים, והפרמטרים שלו מותאמים עד שהוא מקצה הסתברויות לטוקנים (וכך משלים את הטקסט) בצורה אמינה.

דמיינו, למשל, שאתם שואלים מודל AI את השאלה, “What does our company’s 2026 refund policy say?” ה-LLM יכול רק לחזות טוקנים הבאים על סמך הפרמטרים הקיימים שלו, שלא כווננו היטב באמצעות תיעוד התמיכה שלכם. אם תשאלו אותו את השאלה הזאת בלי הקשר נוסף, הוא פשוט לא יוכל להשיב בצורה משמעותית או שייצור בהזיה תשובה שגויה.

מהי יצירה מועשרת באחזור (RAG)?

RAG (יצירה מועשרת באחזור) הוא התהליך שבו מידע ממערכות חיצוניות נכלל בפרומפט של LLM.

התהליך הבסיסי של ה-LLM, הכולל הטמעה והתאמת טוקנים הסתברותית, נשאר אותו דבר. RAG מוסיף שלב מקדים שבו הפרומפט של המשתמש מורחב בנתונים נוספים.

הנה סקירה כללית של איך RAG עובד:

1. הכנת ידע: מקור ידע מוכן. זה יכול להיות סט של מסמכים, מסד נתונים וקטורי, גרף ידע או אינדקס חי (כמו עבור חיפוש AI).
2. הנחיה: משתמש מזין פרומפט, למשל, “Should I go for a walk in London today?”
3. אחזור: מקור המידע החיצוני נשאל על ידי ה-retriever של כלי ה-AI. הוא עשוי לבצע הטמעה של הפרומפט, להפוך אותו לווקטור, ואז לשאול מסד נתונים וקטורי. לחלופין, הוא יכול להשתמש בשיטה חלופית, כגון קריאת API, התאמת מילות מפתח או מעבר על גרף ידע.
4. הוספה: המידע הזה מתווסף לפרומפט המקורי של המשתמש. בדוגמה של השאלה על טיול בלונדון, זה עשוי לכלול מידע על מזג האוויר בלונדון ועל הזמינות הנוכחית של מסלולי הליכה פופולריים.
5. יצירת תשובה: ה-LLM מייצר תגובה בדרך הרגילה באמצעות הפרומפט המורחב.

מאחורי הקלעים, הטקסט שאוחזר מתווסף להקשר הקלט, עובר טוקניזציה ומוטמע. לאחר מכן המודל מעבד את ההקשר הנוסף הזה דרך ה-decoder שלו, וכך משתנות הסתברויות הטוקנים בפלט.

באופן כללי, ניתן לחלק את RAG לשלושה תת-סוגים. RAG נאיבי פועל לפי תהליך ה-RAG הבסיסי, מאחזר מידע ומעביר אותו לפרומפט. RAG מתקדם מוסיף פונקציות נוספות כמו ניסוח מחדש של שאילתות ומעברים מרובים על אותה שאילתה. RAG מודולרי מתייחס לסוג של ארכיטקטורה שבה פונקציות מתקדמות שונות יכולות להיות מטופלות כרכיבים ולהיות משולבות לפי הצורך.

RAG לעומת LLM: סקירה כללית של מקרי שימוש

RAG מספק למשתמשים גישה לנתונים מעודכנים. כתוצאה מכך, פלטי LLM נוטים פחות להכיל הזיות ופערי מידע. אם צריך לראות את המקורות של המידע ששימש בפלט, RAG הוא גם חיוני, משום שתשובות LLM שאינן מעוגנות במקורות אינן כוללות ייחוס.

הגדלה

מקרי שימוש ב-RAG

• בקשות למידע רגיש לזמן: כל שאילתה למידע שמתיישן במהירות, שיכולה להיות משהו פשוט כמו תחזית מזג אוויר או מורכב כמו ניתוח מפורט של סיפור חדשותי מתפתח, צריכה להתבסס על מקורות מאומתים של צד שלישי.
• תיעוד של החברה: צ'אטבוטים של AI שפונים לעובדים פנימיים או ללקוחות, ובהם משתמשים שואלים שאלות הקשורות לתיעוד של החברה או המוצר, צריכים להיות מופעלים ב-RAG, במיוחד אם התיעוד מתעדכן לעיתים קרובות.
• תמיכת לקוחות: צ'אטבוטים של לקוחות זקוקים לגישה לתיעוד תמיכה עדכני ומפורט כדי לספק תשובות מדויקות.
• תחומים מתמחים (רפואה, משפטים, פיננסים וכו'): LLMs שלא אומנו על קורפוסים ייעודיים לתחום (במיוחד מודלים מיינסטרימיים) מתקשים בדרך כלל עם הניואנסים של פרומפטים מתמחים.

מקרי שימוש של LLM

• משימות מנהלתיות: LLMs יכולים להשלים משימות בסיסיות במינימום שיהוי. RAG מיותר עבור כתיבה בסיסית ומשימות אדמיניסטרטיביות, כגון בדיקת איות או תמצות, שבהן אין צורך במידע חיצוני.
• משימות יצירתיות: חלק מהמשימות היצירתיות, כמו יצירת סיפור קצר או תמונה, זקוקות רק למידע שסופק בפרומפט המקורי.
• משימות של הנמקה וניתוח נתונים: תהליכי עבודה של ניתוח והנמקה שמסתמכים רק על הנתונים שסופקו בפרומפט אינם זקוקים ליכולות RAG.
• קידוד כללי: אף שתהליך עבודה של קידוד עשוי לדרוש גישה לבסיס קוד פרטי או לתיעוד, LLMs מסוגלים מאוד לבצע משימות קידוד כלליות, כמו תיקון באגים ויצירת פונקציות, בלי להסתמך על מקורות חיצוניים.

RAG לעומת LLM בעל הקשר ארוך, AI סוכני ו-grounding

יש שלושה מושגים קשורים שרלוונטיים להבחנה בין RAG ל-LLMs. אלה הם LLMs בעלי הקשר ארוך, AI סוכני ו-grounding.

לעיתים ניתן להשתמש ב-LLMs בעלי הקשר ארוך במקום במערכות שמופעלות ב-RAG, בעוד ש-AI סוכני ו-grounding הם מושגים זהים או עובדים לצדם.

LLMs בעלי הקשר ארוך

אלה מודלים עם חלונות הקשר גדולים, כאשר חלק מהמודלים המסחריים הזמינים באופן נרחב פועלים עד מיליון טוקנים.

אם חומר רלוונטי יכול להיכנס לחלון ההקשר של מודל וזמין בפורמט טקסט, יש כמה יתרונות לשימוש בגישה שמבוססת על LLM בלבד. היא יכולה לצמצם את הסיכוי לשגיאות אחזור, לספק הקשר מקיף יותר, ולבטל את הצורך בהקמה נרחבת של ארכיטקטורת RAG.

AI סוכני

סוכן הוא מערכת הנשענת על כמה כלים, כולל יכולות RAG, כדי לבצע משימות מורכבות. RAG הוא רכיב אחד של AI סוכני, וסוכן לעיתים קרובות ישתמש בסוגים שונים של שיטות אחזור (למשל, חיפוש ברשת לעומת חיפוש וקטורי) בהתאם לתוכן של פרומפט.

מעוגן במקורות

Grounding מתייחס לתהליך הרחב יותר של שימוש בראיות או בנתונים כדי לשפר את הדיוק של תשובת LLM, או לבסס אותה. RAG הוא סוג אחד של grounding, אבל גם הוספת מסמך טכני לחלון הקשר תיחשב ל-grounding.

RAG לעומת LLM: דוגמאות מהעולם האמיתי

כדי להבין טוב יותר איך RAG עובד בהשוואה לשימוש ב-LLM ללא RAG, אפשר להסתכל על דוגמה פשוטה מהעולם האמיתי באמצעות Perplexity ועל מקרה ארגוני היפותטי שבו נעשה שימוש במסד נתונים וקטורי.

RAG לעומת LLM עם פרומפט פשוט

הנה הפלט (מוגבל לשני משפטים) כאשר Perplexity נשאל, "Should I go for a walk in London today?" כאשר חיפוש רשת AI (צורה של RAG) כבוי:

כן—אם מזג האוויר יבש למדי ויש לכם זמן, טיול בלונדון היום יכול להיות שינוי מרענן בנוף. בחרו מסלול לאורך South Bank, תעלת Regent’s או דרך Hyde Park, וקחו מעיל גשם קל ליתר ביטחון.

השוו זאת לפרומפט כאשר ה-LLM יכול לבדוק מקורות חיצוניים:

כן, זהו יום טוב לטיול רגלי בלונדון: התחזית צופה טמפרטורות מתונות סביב 19–21°C עם פרקי שמש וסיכוי נמוך מאוד לגשם. עם שמיים מעוננים חלקית ובריזה קלה, התנאים נוחים לטיול בפארקים או במסלולי גדת הנהר כמו South Bank.

יש קווי דמיון בין השניים, שכן ה-LLM משתמש באותו תהליך בסיסי של ניקוד טוקנים. עם זאת, הדוגמה השנייה כוללת מידע מפורט על מזג האוויר, מה שהופך אותה לשימושית הרבה יותר.

RAG לעומת LLM עם מסד נתונים וקטורי ארגוני

דמיינו שמשתמש שואל את הצ'אטבוט בתוך האפליקציה של אפליקציית בנק את השאלה הבאה: “איפה אני יכול להוריד את דף החשבון האחרון שלי?”

הבנק שמנהל את האפליקציה יצר מסד נתונים המכיל הטמעות של תיעוד המוצר המעודכן שלו וחיבר אותו לצינור ה-RAG של הצ'אטבוט. התיעוד כולל כ-1,000 מסמכי מקור, המחולקים למקטעים קטנים יותר והומרו לווקטורים לצורך אחזור.

השאילתה של המשתמש נשלחת למודל הטמעה, והאפליקציה שולחת את הווקטור הזה למסד הנתונים, שמחזיר את המקטעים הרלוונטיים.

מודל ההטמעה היה מקבל בקשה כזו:

מודל ההטמעה מחזיר את הטבעת הווקטורית הבאה:

לאחר מכן מסד הנתונים הווקטורי מקבל בקשה כמו הבאה:

בדוגמה הזו (שפשוטה הרבה יותר), מסד הנתונים מחזיר את חמשת המקטעים הרלוונטיים ביותר לשאילתה של המשתמש, והם נשלחים לאפליקציה ונכללים בפרומפט של ה-LLM.

מתי לבחור ב-RAG לעומת LLM, ומתי לשלב

LLMs ו-RAG הם מערכות משלימות. לכן, השאלה “מתי עליי לבחור ב-LLM ומתי ב-RAG?” אינה מנוסחת נכון. במקום זאת, צריך לשאול, “מתי LLM יספיק ומתי RAG הוא האופטימלי?”

מתי להשתמש ב-LLM ללא RAG מופעל

• למודל ה-AI שבחרתם יש חלון הקשר גדול: אם קל יותר לכלול בפרומפט את כל המידע או הנתונים הדרושים לתשובה מדויקת, למשל באמצעות העלאת מסמך, הדבר יכול לצמצם שיהוי ולמנוע בעיות הקשורות לאחזור.
• הנמקה ותהליכי עבודה לניתוח נתונים: תהליכי עבודה של ניתוח והנמקה שמסתמכים רק על הנתונים שסופקו בפרומפט אינם זקוקים ליכולות RAG.
• יצירת קוד: בדרך כלל אין צורך ב-RAG עבור עבודת קידוד כללית, אף כי הוא משמש בדרך כלל למשימות ספציפיות לפרויקט, כגון אחזור תיקונים קודמים או ממשקי API ותיעוד של ספקים.

מתי להשתמש ב-LLM עם RAG מופעל

• אתם זקוקים לגישה למידע עדכני: אם אפליקציית AI צריכה לגשת למקורות חיצוניים של מידע עדכני כדי ליצור תשובה מדויקת, יש לוודא תמיד שיכולות RAG מופעלות.
• אתם עובדים בתחום מתמחה: בתחומים כמו רפואה, משפטים, חינוך וכן הלאה, שבהם דיוק, פירוט ובדיקת מקורות חשובים, שימוש ב-LLM בלבד יהיה לעיתים קרובות לא מספיק.
• הפלטים צריכים להתייחס לקבצים פנימיים של החברה: אם אתם משתמשים ב-AI, באופן פנימי או באפליקציה הפונה ללקוחות, כדי ליצור תוכן על סמך מסמכי החברה הפנימיים, בין אם מדובר בנתונים, בערכת מותג, בתיעוד או בקבצים, RAG מספק גישה למידע הזה.

RAG ו-LLMs הן טכנולוגיות משלימות ומתפתחות

RAG סימן חדשנות גדולה בהתפתחות ה-AI. הוא מטפל בשלוש בעיות מרכזיות: מידע מיושן, זיכרון מודל מוגבל ופערי מידע עקב היעדר נתוני אימון רלוונטיים, שלעתים קרובות הובילו להזיות. כמובן, LLMs לא התגברו על אלה לחלוטין, אבל שכיחותן פחתה משמעותית עם הופעתו של RAG.

RAG אינו טכנולוגיה סטטית. צפוי שיפור שלו במגוון תחומים, כולל reranking, שיהוי במהלך אחזור ושימוש בטוקנים, הגנות אבטחה מפני מקורות נתונים מסוכנים, שילוב נתונים שאוחזרו ממקורות מרובים, ועוד. ככל ש-LLMs ו-AI סוכני ימשיכו להתפתח, כך גם מערכות ה-RAG שתומכות בהם.