9 ví dụ về RAG dựa trên các trường hợp sử dụng và kiến trúc thực tế

Khám phá chín ví dụ thực tế về RAG, từ tìm kiếm trên web và hỗ trợ khách hàng đến thương mại tác nhân và phân tích dữ liệu, cộng với các kiến trúc đằng sau chúng.

Diagram of how RAG works: a user prompt goes through a grounding check, a retrieval request to an external source, context augmentation, and LLM answer generation.

RAG được sử dụng rộng rãi trong cả bối cảnh người tiêu dùng và doanh nghiệp. Các ví dụ thực tế và hàng ngày về RAG bao gồm tìm kiếm trên web, hỗ trợ khách hàng và mua sắm hỗ trợ bởi AI. Quyền truy cập kiến thức nội bộ và hỗ trợ lập trình là một số ví dụ kinh doanh nổi bật nhất.

Kiến trúc RAG cũng có thể khác nhau tùy theo trường hợp sử dụng. Hai trong số các triển khai phổ biến nhất là RAG lai, kết hợp khớp từ khóa truyền thống với tìm kiếm vectơ hoặc biểu đồ tri thức, và RAG tác nhân, trong đó LLM điều phối quá trình truy xuất.

Tăng cường truy xuất thế hệ (RAG) là gì?

RAG, hay tăng cường truy xuất thế hệ, cho phép các ứng dụng AI truy cập thông tin được lưu trữ trong các hệ thống bên ngoài để bổ sung cho các câu trả lời do LLM tạo ra.

Đây là một công nghệ mạnh mẽ vì nó giải quyết ba vấn đề lớn với AI tạo sinh: hiện tượng ảo giác, thông tin lỗi thời và thiếu quyền truy cập vào dữ liệu không có sẵn trong ngữ cảnh đầu vào.

Dưới đây là diện mạo của một quy trình RAG cơ bản:

  1. Người dùng nhập lời nhắc bằng ngôn ngữ tự nhiên.
  2. Ứng dụng AI xác định xem có cần kiểm tra độ bám đất hay không, đôi khi có sự tham gia của LLM.
  3. Một yêu cầu được gửi đến nguồn thông tin bên ngoài, chẳng hạn như cơ sở dữ liệu.
  4. Thông tin được truy xuất sẽ được thêm vào đầu vào ngữ cảnh của LLM.
  5. LLM tạo ra câu trả lời dựa trên lời nhắc đã được tăng cường.

Mặc dù có thể khác nhau về cách triển khai cụ thể, các bước này đại diện cho một quy trình làm việc RAG điển hình. Sự khác biệt giữa các loại kiến trúc khác nhau thường tập trung vào cách các yêu cầu được xử lý bởi ứng dụng khách và bản chất của thông tin đang được truy xuất.

Tổng quan về kiến trúc RAG

Thuật ngữ "tăng cường truy xuất thế hệ" lần đầu tiên xuất hiện trong một bài báo năm 2020 có tựa đề Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, do các nhà nghiên cứu tại Meta AI (khi đó là Facebook AI Research) cùng với các cộng tác viên từ University College London và New York University công bố.

Các phương pháp truy xuất rồi tạo ban đầu, thường được gọi một cách lỏng lẻo là "RAG ngây thơ," kể từ đó đã phát triển thành một loạt các loại kiến trúc khác nhau, trong số đó có nhiều loại trùng lặp nhau.

RAG ngây thơ

RAG ngây thơ sử dụng một chuỗi quy trình truy xuất và tạo đơn giản, vẫn phù hợp cho nhiều yêu cầu cơ bản. Ví dụ phổ biến nhất về RAG ngây thơ là việc chuyển đổi một truy vấn thành một danh sách số có thứ tự được gọi là nhúng vectơ, hoặc đơn giản là một vectơ. Phần nhúng truy vấn sau đó được ghép nối với các vectơ khác đại diện cho các khối, các phần nội dung trong cơ sở dữ liệu hoặc chỉ mục (được gọi là chỉ mục ngữ nghĩa).

RAG nâng cao

RAG nâng cao tối ưu hóa các giai đoạn trước và sau khi truy xuất. Các kỹ thuật bao gồm mở rộng truy vấn, lọc siêu dữ liệu và nén ngữ cảnh. Những kỹ thuật này về cơ bản cải thiện độ liên quan của thông tin được truy xuất và cách thông tin đó được sửa đổi trước khi được thêm vào ngữ cảnh đầu vào của LLM.

RAG tác nhân

RAG tác nhân là việc thực thi các đường ống RAG bởi một tác nhân dựa trên LLM. Tác nhân “quyết định” công cụ nào là phù hợp nhất cho một lời nhắc nhất định và chỉ đạo quá trình truy xuất, đôi khi trong một vòng lặp, để tạo ra một câu trả lời phù hợp.

RAG đồ thị

RAG đồ thị truy xuất thông tin từ một biểu đồ tri thức, đại diện cho các thực thể (chẳng hạn như đối tượng, khái niệm và sự kiện) và mối quan hệ giữa chúng. Điều này hữu ích khi câu trả lời cho một lời nhắc yêu cầu LLM kết hợp thông tin về các thực thể riêng biệt.

RAG đa phương thức

RAG đa phương thức mở rộng việc truy xuất sang nội dung như hình ảnh và âm thanh trong cả quá trình truy vấn và truy xuất. Các đường ống RAG này sử dụng các bộ mã hóa đặc biệt để chuyển đổi văn bản, hình ảnh hoặc âm thanh thành các phần nhúng.

RAG lai

RAG lai kết hợp tìm kiếm từ khóa, hoặc truy xuất từ vựng, với truy xuất vectơ hoặc biểu đồ tri thức và hợp nhất các kết quả lại. Điều này hữu ích vì việc khớp từ khóa có thể có độ chính xác cao (hơn các phương pháp khác) trong một số ngữ cảnh nhất định.

RAG khắc phục

RAG khắc phục đánh giá thông tin hoặc dữ liệu được trả về để xem xét tính liên quan đối với truy vấn. Nó có thể tinh chỉnh hoặc bổ sung các đoạn được truy xuất hoặc thay thế hoàn toàn chúng bằng cách thực thi một yêu cầu khác.

Ví dụ về RAG theo trường hợp sử dụng và ứng dụng trong ngành

Có nhiều ví dụ về RAG trong cả lĩnh vực người tiêu dùng và doanh nghiệp. Phần lớn là do các đường ống RAG đã được tích hợp vào hầu hết các công cụ chủ lực. Ngoài ra, nhiều nhà cung cấp cung cấp các tính năng tích hợp sẵn, chẳng hạn như cho chatbot dịch vụ khách hàng, điều này đã tạo điều kiện thuận lợi cho việc áp dụng.

1. Tìm kiếm trên web

Tìm kiếm trên web là một trong những ví dụ phổ biến nhất về RAG. Mỗi ngày, hàng triệu người sử dụng các công cụ AI để tạo ra các phản hồi dựa trên thông tin được truy xuất từ web.

Cách thức hoạt động: Ứng dụng AI tìm kiếm trong một chỉ mục web, chẳng hạn như chỉ mục Tìm kiếm Google, bằng cách sử dụng truy xuất dựa trên từ khóa và ngữ nghĩa. Nội dung trang có liên quan được bao gồm bên cạnh câu hỏi của người dùng trong đầu vào của LLM. Sau đó, LLM tạo ra câu trả lời, thường kèm theo các trích dẫn nguồn.

Ví dụ thực tế: Nếu người dùng nhập một truy vấn đơn giản vào giao diện trò chuyện của Perplexity, chẳng hạn như, "Thời tiết ở Chicago thế nào?" LLM sẽ tiến hành tìm kiếm trên web để tìm thông tin cập nhật. Perplexity sử dụng chỉ mục web độc quyền kết hợp với các API tìm kiếm của đối tác.

2. Hỗ trợ khách hàng

Chatbot trong ứng dụng và trên trang web đã nổi lên như một trường hợp sử dụng doanh nghiệp chính của RAG. Các hệ thống này thường kết hợp với các luồng định tuyến truyền thống, làm giảm nhu cầu có sự tham gia của các đại diện chăm sóc khách hàng.

Cách thức hoạt động: Khi một khách hàng đặt câu hỏi, ứng dụng sẽ tìm kiếm trong cơ sở kiến thức của công ty, thường là sử dụng một đường ống lai. Các đoạn được truy xuất được cung cấp cho LLM, hệ thống này sẽ tạo ra câu trả lời. Thường thì cũng có các quy trình khắc phục và chuyển giao liên quan để xác thực câu trả lời và, khi cần thiết, chuyển hướng đến một đại diện.

Ví dụ thực tế: Các nền tảng dịch vụ khách hàng khác nhau, bao gồm Zendesk (hình dưới đây) và Intercom, cung cấp các chatbot hỗ trợ khách hàng cắm-và-chạy tích hợp với tài liệu hiện có và cơ sở hỗ trợ khách hàng.

3. Trợ lý cá nhân

Trợ lý cá nhân sử dụng RAG tác nhân để truy cập email, tệp và lịch của người dùng. Các trợ lý này thường có thể thực thi nhiều đường ống RAG.

Cách thức hoạt động: Vì trợ lý cá nhân thường yêu cầu quyền truy cập vào nhiều nguồn thông tin, chúng sử dụng sự kết hợp giữa các API, tìm kiếm từ khóa, tìm kiếm vectơ và biểu đồ tri thức. Các mô tả công cụ khác nhau được ứng dụng gửi đến LLM, sau đó LLM sẽ chọn các công cụ phù hợp nhất.

Ví dụ thực tế: Google Gemini đóng vai trò là một ví dụ điển hình về một ứng dụng có thể hoạt động như một trợ lý AI cá nhân và đa năng (như trường hợp của hầu hết các trợ lý hiện nay). Nó tích hợp với một hệ sinh thái các công cụ, chẳng hạn như Gmail, Docs, Photos và Calendar.

4. Quản lý tri thức Enterprise

Quản lý tri thức Enterprise cho phép nhân viên đặt câu hỏi trên một lượng lớn thông tin của công ty, bao gồm các chính sách, báo cáo, tài liệu dự án, văn bản pháp lý và thậm chí cả các cuộc thảo luận nội bộ.

Cách thức hoạt động: Ứng dụng truy xuất nội dung có liên quan bằng cách sử dụng chỉ mục vectơ được cập nhật khi các tài liệu nguồn thay đổi. Chỉ mục chứa các phần nhúng đại diện cho các khối tài liệu, kèm theo các liên kết đến văn bản của chúng và siêu dữ liệu liên quan.

Ví dụ thực tế: Microsoft 365 Copilot truy cập thông tin tổ chức thông qua Microsoft Graph, hiển thị các API khác nhau cho các nguồn dữ liệu, đồng thời sử dụng các chỉ mục từ vựng và ngữ nghĩa để truy xuất nội dung có liên quan.

5. Trợ lý lập trình

Trợ lý lập trình áp dụng RAG cho một cơ sở mã. Mặc dù quá trình RAG cơ bản là giống nhau (thường là RAG tác nhân), điểm khác biệt là chúng xử lý cụ thể với ngữ cảnh mã.

Cách thức hoạt động: Trợ lý lập trình lập chỉ mục các tệp dự án cục bộ và thực hiện các lượt tìm kiếm đa nguồn để tìm các đoạn mã có liên quan khi có lời nhắc. Các trợ lý này cũng thường có các trình kết nối chuyên dụng để mở rộng quyền truy cập, chẳng hạn như đến các cơ sở tri thức của doanh nghiệp.

Ví dụ thực tế: GitHub Copilot là một ví dụ nổi tiếng về trợ lý lập trình tích hợp trực tiếp với các dự án phát triển. Nó cũng có thể tham chiếu các kho lưu trữ công khai trên GitHub để tăng độ chính xác của câu trả lời.

6. Khắc phục sự cố kỹ thuật

Khắc phục sự cố kỹ thuật tích hợp quy trình làm việc RAG quản lý tri thức với một vòng lặp chẩn đoán. Một tác nhân có thể đánh giá các kết quả để tinh chỉnh thêm các khuyến nghị khắc phục sự cố khi cần thiết.

Cách thức hoạt động: Một ứng dụng thu thập các triệu chứng của sự cố kỹ thuật từ người dùng hoặc nhận các cảnh báo giám sát tự động. Nó kích hoạt việc tìm kiếm các thông báo lỗi, nhật ký kỹ thuật và số liệu hiệu suất để đối chiếu các triệu chứng. Sau đó, nó truy xuất thông tin có liên quan từ cơ sở kiến thức nội bộ để chuyển tiếp cho LLM. Vòng lặp chẩn đoán xảy ra khi kết quả của một bản sửa lỗi được thử nghiệm được phản hồi ngược lại vào LLM, từ người dùng hoặc từ một công cụ chẩn đoán.

Ví dụ thực tế: Nền tảng khả năng quan sát Datadog (hình dưới đây) thu thập dữ liệu từ tất cả các lớp của một hệ thống, gắn cờ bất kỳ vấn đề nào khi chúng phát sinh. Sau đó, những vấn đề này được đưa vào một tác nhân AI chuyên biệt có tên là Bits AI để khắc phục sự cố tiềm ẩn.

7. Thương mại tác nhân

Thương mại tác nhân là một trường hợp sử dụng rộng lớn hơn thường liên quan đến RAG. Một tác nhân mua sắm truy xuất các chi tiết như thông số kỹ thuật của sản phẩm, đánh giá, giá cả và tình trạng sẵn có để so sánh các tùy chọn và giải thích các đề xuất. Sau đó, nó có thể tự động thực hiện giao dịch mua mà người dùng không cần phải rời khỏi giao diện.

Cách thức hoạt động: Thương mại tác nhân là RAG tác nhân thực sự vì các truy vấn cụ thể thường yêu cầu các hình thức truy xuất khác nhau, do mô hình điều phối. Một tác nhân có thể truy xuất dữ liệu sản phẩm chỉ gồm văn bản thông qua API của nhà bán lẻ hoặc có thể sử dụng RAG đa phương thức để khớp các sản phẩm trong chỉ mục ngữ nghĩa dựa trên ảnh của người dùng.

Ví dụ thực tế: Một tác nhân đa năng như Perplexity có thể truy xuất nhiều hình ảnh và thông số kỹ thuật chi tiết của sản phẩm dựa trên một lời nhắc. Tính năng thanh toán Mua ngay cho phép người dùng hoàn tất giao dịch mua sau khi chọn sản phẩm.

8. Các lĩnh vực tri thức chuyên biệt

Các công cụ AI truy xuất kiến thức miền chuyên biệt phải xử lý các định dạng nội dung phức tạp. Ngoài ra, việc giảm thiểu hiện tượng ảo giác và khoảng trống thông tin thường là ưu tiên hàng đầu.

Cách thức hoạt động: Sự khác biệt chính giữa kiến trúc RAG đa năng và chuyên biệt liên quan đến tài liệu nguồn và cấu hình truy xuất. Thông thường, chỉ có một chỉ mục có độ uy tín cao mới được truy vấn và yêu cầu sẽ được cấu hình để bao gồm thuật ngữ cụ thể nhằm thu hẹp phạm vi tìm kiếm.

Ví dụ thực tế: Công cụ nghiên cứu học thuật Scite truy cập vào một chỉ mục lớn các bài báo học thuật và dữ liệu trích dẫn được xây dựng thông qua các thỏa thuận với nhà xuất bản và các nguồn truy cập mở. Nó cũng áp dụng các bước kiểm tra sau truy xuất, chẳng hạn như xác minh nguồn, trước khi tạo ra một câu trả lời đầy đủ.

9. Phân tích dữ liệu

RAG cho phân tích dữ liệu đã trở thành một trường hợp sử dụng doanh nghiệp đặc biệt mạnh mẽ vì nó cho phép nhiều đối tượng chuyên gia, đặc biệt là những người không được đào tạo về khoa học dữ liệu, truy vấn các tập dữ liệu bằng ngôn ngữ tự nhiên. Điều này giúp việc tạo báo cáo và đặt các câu hỏi cực kỳ cụ thể trở nên dễ dàng hơn.

Cách thức hoạt động: Đối với một câu hỏi như “Tại sao doanh số bán hàng giảm vào quý trước?”, ứng dụng có thể truy vấn các bản ghi doanh số và truy xuất các ghi chú về việc thiếu hụt hàng tồn kho hoặc thay đổi giá cả. LLM chọn phép tính thích hợp (thường được ủy quyền cho một công cụ tính toán) cho dữ liệu được truy xuất trước khi tạo phân tích.

Ví dụ thực tế: Google Analytics cung cấp chatbot AI “Ask Advisor” có thể truy cập dữ liệu phân tích web và trả lời các câu hỏi cực kỳ cụ thể, có chiều sâu từ người dùng. Đây là một trong những ví dụ thực tế xuất sắc nhất về RAG hệ thống đóng, cấp độ doanh nghiệp.

Điều gì tiếp theo trong sự tiến hóa của RAG?

RAG là một bước tiến quan trọng khi lần đầu tiên được giới thiệu. Nó giúp giải quyết nhiều vấn đề vốn có trong các LLM độc lập.

Tuy nhiên, đây không phải là một công nghệ tĩnh. Nghiên cứu hiện tại đang tập trung vào việc truy xuất đa phương thức sâu hơn và xử lý ngữ cảnh được truy xuất một cách khắt khe hơn để đảm bảo độ chính xác và tính đúng đắn. Ngoài ra, chúng ta có nhiều khả năng sẽ chứng kiến sự tích hợp lớn hơn của RAG vào các tác nhân đa công cụ.

Ngay cả với các cửa sổ ngữ cảnh cực lớn, vẫn có những trường hợp sử dụng quan trọng cho RAG trong cả bối cảnh cá nhân và chuyên nghiệp cùng nhiều đổi mới sắp ra mắt.