基於真實世界使用情境與架構的 9 個 RAG 範例

RAG 廣泛應用於消費者和企業情境中。RAG 的真實日常範例包括網路搜尋、客戶支援和 AI 購物。內部知識存取和編碼協助是最突出的商業範例。

RAG 架構也可以根據使用情境而有所不同。兩種最常見的實作方式是混合式 RAG（結合傳統關鍵字比對與向量或知識圖譜搜尋）以及代理式 RAG（由大型語言模型主導檢索過程）。

什麼是檢索增強生成（RAG）？

RAG（即檢索增強生成）可讓 AI 應用程式存取儲存在外部系統中的資訊，以補充大型語言模型產生的答案。

這是一項強大的技術，因為它解決了生成式 AI 的三個主要問題：幻覺、資訊過時，以及缺乏對輸入上下文未包含之資料的存取權。

以下是基本的 RAG 流程外觀：

1. 使用者以自然語言輸入提示詞。
2. AI 應用程式判斷是否需要進行基礎性檢查，有時會涉及大型語言模型參與。
3. 向外部資訊來源（例如資料庫）發送請求。
4. 檢索到的資訊會被新增到大型語言模型的上下文輸入中。
5. 大型語言模型根據增強後的提示詞生成答案。

雖然它們在具體實作上可能有所不同，但這些步驟代表了典型的 RAG 工作流程。各種架構類型之間的差異往往集中在用戶端應用程式如何處理請求以及所檢索資訊的性質上。

RAG 架構概述

「檢索增強生成」一詞首次出現於 2020 年的一篇論文《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》中，該論文由 Meta AI（當時的 Facebook AI Research）的研究人員以及倫敦大學學院和紐約大學的合作者共同發表。

早期先檢索後生成的方法（被籠統地稱為「樸素 RAG」）自此發展為各種不同的架構類型，其中許多類型相互重疊。

樸素 RAG

樸素 RAG 使用簡單的檢索與生成管道，這對於許多基本請求仍然適用。樸素 RAG 最常見的範例是將查詢轉換為稱為向量嵌入（或簡稱為向量）的有序數字清單。然後，將查詢嵌入與代表資料庫或索引中的區塊、內容部分（稱為語意索引）的其他向量進行比對。

進階 RAG

進階 RAG 會最佳化檢索前後的階段。技術包括查詢擴展、詮釋資料過濾和上下文壓縮。這些本質上提高了檢索到的資訊的相關性，以及它在被新增到大型語言模型的輸入上下文之前如何被修改。

代理式 RAG

代理式 RAG 是由基於大型語言模型的 AI 代理程式執行的 RAG 管道。AI 代理程式會「決定」哪些工具最適合給定的提示詞，並指導檢索（ parfois 迴圈進行），以生成相關的答案。

圖形 RAG

圖形 RAG 從知識圖譜中檢索資訊，知識圖譜代表實體（例如物件、概念和事件）以及它們之間的關係。當對提示詞的回答需要大型語言模型結合關於不同實體的資訊時，這非常有用。

多模態 RAG

多模態 RAG 在查詢和檢索期間將檢索範圍擴展到圖片和音訊等內容。這些 RAG 管道使用特殊的編碼器將文字、圖片或音訊轉換為嵌入。

混合式 RAG

混合式 RAG 將關鍵字搜尋（或詞彙檢索）與向量檢索或知識圖譜結合，並合併結果。這很有用，因為在某些情境下，關鍵字比對可以非常準確（比其他方法更準確）。

修正式 RAG

修正式 RAG 會評估傳回的資訊或資料與查詢的相關性。它可能會精煉或補充檢索到的段落，或者透過執行另一個請求來完全替換它們。

按使用情境和產業應用分類的 RAG 範例

在消費者和商業領域中都有多個 RAG 範例。這很大程度上是因為 RAG 管道已經整合到大多數主流工具中。此外，許多供應商提供開箱即用的整合（例如客戶服務聊天機器人），這促進了採用。

1. 網路搜尋

網路搜尋是 RAG 最普遍的範例之一。每天都有數百萬人使用 AI 工具來生成以從網路檢索的資訊為基礎的回應。

運作原理：AI 應用程式使用基於關鍵字和語意檢索來搜尋網路索引（例如 Google 搜尋索引）。相關的頁面內容會與使用者的問題一起包含在大型語言模型的輸入中。然後，大型語言模型會生成答案，通常附有來源引用。

真實世界範例：如果使用者在 Perplexity 的聊天介面中輸入簡單的查詢，例如「芝加哥的天氣如何？」，大型語言模型將進行網路搜尋以尋找最新資訊。Perplexity 將專有網路索引與合作夥伴搜尋 API 結合使用。

放大

2. 客戶支援

應用程式內和網站聊天機器人已成為 RAG 的主要企業使用情境。這些系統通常與傳統路由路徑結合，減少了對客戶代表介入的需求。

運作原理：當客戶提出問題時，應用程式會搜尋公司的知識庫，通常使用混合式管道。檢索到的段落會提供給大型語言模型，由其生成答案。通常還涉及修正和轉交流程，以驗證答案並在必要時轉接給代表。

真實世界範例：各種客戶服務平台（包括 Zendesk（如下圖所示）和 Intercom）提供隨插即用的客戶支援聊天機器人，可與現有文件和客戶支援庫整合。

放大

3. 個人助理

個人助理使用代理式 RAG 來存取使用者的電子郵件、檔案和行事曆。這些助理通常可以執行多個 RAG 管道。

運作原理：由於個人助理通常需要存取多個資訊來源，因此它們結合使用 API、關鍵字搜尋、向量搜尋和知識圖譜。應用程式會將不同的工具描述傳送給大型語言模型，然後由其選擇最適合的工具。

Real-world example: Google Gemini serves as a good example of an app that can act as a general-purpose and personal AI assistant (as is the case with most assistants nowadays). It integrates with an ecosystem of tools, such as Gmail, Docs, Photos, and Calendar.

放大

4. Enterprise 知識管理

Enterprise 知識管理讓員工能夠跨廣泛的公司資訊（包括政策、報告、專案文件、法律文本甚至內部討論）提出問題。

運作原理：應用程式使用向量索引來檢索相關內容，該索引會隨著源文件的變更而更新。索引包含代表文件區塊的嵌入，並帶有指向其文字和相關詮釋資料的連結。

真實世界範例：Microsoft 365 Copilot透過 Microsoft Graph（公開用於資料來源的各種 API）存取組織資訊，並使用詞彙和語意索引來檢索相關內容。

放大

5. 編碼助理

編碼助理將 RAG 應用於程式碼基底。雖然底層的 RAG 過程是相同的（通常是代理式 RAG），但不同之處在于它們專門處理程式碼上下文。

運作原理：編碼助理會對本機專案檔案進行索引，並執行多重搜尋傳遞，以便在提示時尋找相關的程式碼片段。這些助理通常也具有用於擴展存取權限的專用連接器，例如連接到企業知識庫。

真實世界範例：GitHub Copilot 是直接與開發專案整合的知名編碼助理範例。它還可以參照公共 GitHub 儲存庫來提高答案準確度。

放大

6. 技術疑難排解

技術疑難排解將知識管理 RAG 管道與診斷迴圈相整合。AI 代理程式可以評估結果，以便根據需要進一步精煉疑難排解建議。

運作原理：應用程式從使用者收集技術問題的症狀或接收自動監控警報。它會觸發對錯誤訊息、技術日誌和效能指標的搜尋，以交叉比對症狀。然後，它從內部知識庫檢索相關資訊以傳遞給大型語言模型。當嘗試修復的結果回饋給大型語言模型（來自使用者或診斷工具）時，就會發生診斷迴圈。

真實世界範例：可觀測性平台 Datadog（如下圖所示）收集來自系統各層的資料，並在問題出現時進行標記。然後，這些資料會饋送到名為 Bits AI 的專門 AI 代理程式中，以疑難排解潛在的修復方案。

放大

7. AI 代理程式商務

AI 代理程式商務是一個更廣泛的使用情境，通常涉及 RAG。購物 AI 代理程式會檢索產品規格、評論、價格和可用性等詳細資訊，以比較選項並解釋建議。然後，它可以在使用者不離開介面的情況下自動完成購買。

運作原理：AI 代理程式商務是真正的代理式 RAG，因為特定的查詢通常需要不同形式的檢索，由模型指導。AI 代理程式可能會透過零售商的 API 檢索純文字產品資料，或者它可能會使用多模態 RAG 根據使用者照片在語意索引中比對產品。

真實世界範例：通用 AI 代理程式（例如 Perplexity）可以根據提示詞檢索多張圖片和詳細的產品規格。「即時購買」結帳功能可讓使用者在挑選產品後完成購買。

放大

8. 專業知識領域

檢索專業領域知識的 AI 工具必須處理複雜的內容格式。此外，最大限度地減少幻覺和資訊差距通常是當務之急。

運作原理：通用和專門 RAG 架構之間的主要區別在於原始素材和檢索組態。通常，只會查詢高度權威的索引，並且會將請求組態為包含特定術語以縮小搜尋範圍。

真實世界範例：學術研究工具 Scite 存取透過出版商協議和開放存取來源建立的大型學術論文和引用資料索引。它還在生成完整答案之前套用檢索後檢查，例如來源驗證。

放大

9. 資料分析

用於資料分析的 RAG 已成為一個特別強大的企業使用情境，因為它允許廣泛的專業人士（尤其是那些沒有受過資料科學訓練的人）使用自然語言查詢資料集。這使得生成報告和提出高度特定的問題變得更加容易。

運作原理：對於像「為什麼上個季度銷售額下降？」這樣的問題，應用程式可能會查詢銷售記錄並檢索關於庫存短缺或定價變更的筆記。大型語言模型在生成分析之前，為檢索到的資料選擇適當的計算（通常委託給計算工具）。

真實世界範例：Google Analytics 提供 AI “Ask Advisor” 聊天機器人，可以存取網路分析資料並回答使用者提出的高度特定、細緻的問題。它是企業級封閉系統 RAG 的最佳真實世界範例之一。

放大

RAG 的演進下一步是什麼？

RAG 在首次推出時是一項重大發展。它有助於解決獨立大型語言模型固有的許多問題。

然而，它遠非一項靜態技術。目前的研究重點是更深層的多模態檢索，以及對檢索到的上下文進行更嚴格的處理以確保準確性和正確性。此外，我們可能會看到 RAG 更大程度地整合到多工具 AI 代理程式中。

即使擁有極大的上下文視窗，RAG 在個人和專業情境中仍然有重要的使用情境，並且還有許多創新即將到來。