검색 증강 생성(RAG): 정의, 활용 사례 및 실제 예시

검색 증강 생성(RAG)은 AI 도구가 외부 정보를 가져와 답변의 근거로 삼을 수 있게 해 줍니다. 이 가이드에서는 RAG의 작동 방식과 주요 유형, 그리고 웹 검색부터 기업 지식 베이스까지 실제 활용 사례를 다룹니다.

Diagram of a RAG pipeline: in the ingestion path, source data such as docs, databases, and files is chunked and embedded into a searchable index like a vector database; in the retrieval path, an orchestrator builds a query from the user prompt, retrieves results from the index, and passes the prompt plus context to an LLM to produce a grounded answer.

RAG(검색 증강 생성)는 LLM 기반 도구가 외부 정보에 접근하는 프로세스입니다. LLM의 학습 매개변수에 포함되지 않은 이 정보는 관련 입력 컨텍스트에 추가되어 답변 생성에 사용됩니다.

RAG는 현대 AI 시스템의 가장 중요한 구성 요소 중 하나입니다. 모든 주요 에이전트형 도구(ChatGPT, Claude, Perplexity 등)에서 사용되며, 소비자와 기업 모두에서 폭넓게 활용됩니다. RAG는 처음 널리 확산된 이후 여러 차례 혁신을 거쳤으며, 지금도 주목할 만한 방식으로 계속 발전하고 있습니다.

검색 증강 생성(RAG)이란 무엇인가요?

검색 증강 생성(RAG)은 대규모 언어 모델(LLM)에 관련 외부 정보를 제공하여 출력을 개선하는 방법입니다.

일반적인 RAG “파이프라인”(광범위한 기반 RAG 아키텍처를 가리키는 용어)에는 수집 경로와 검색 경로라는 두 가지 경로가 있습니다. 수집 경로는 데이터를 가져와 검색 가능한 형식으로 변환합니다. 검색 경로는 사용자의 프롬프트를 기반으로 요청을 구성하고 정보 소스에 쿼리를 보냅니다.

RAG 시스템은 벡터 데이터베이스를 중심으로 구축되는 경우가 많습니다. 이 경우 사용자 프롬프트를 관리하고, 쿼리를 보내고, 검색 가능한 인덱스에서 결과를 검색하는 LLM 도구의 오케스트레이터 구성 요소가 벡터 임베딩을 생성합니다. 그런 다음 이 임베딩을 사용해 수집된 데이터를 나타내는 벡터 데이터베이스에 쿼리합니다. 이후 검색된 정보를 LLM의 기존 컨텍스트 입력에 추가하고, 이 정보를 활용해 출력을 생성하는 방법에 대한 지침도 함께 제공합니다.

RAG가 위에서 설명한 밀집 벡터 검색 유형만을 가리키는 것은 아닙니다. 지식 그래프 탐색, 시맨틱 검색, 기존 데이터베이스 조회, 또는 이러한 방법의 조합도 모두 RAG에 해당합니다.

RAG의 이점

RAG가 이렇게 인기를 얻은 이유 중 하나는 LLM만으로 답변을 생성할 때 발생하는 두 가지 핵심 문제, 즉 할루시네이션과 학습 자료에 없는 정보에 접근할 수 없다는 문제를 해결해 주기 때문입니다.

팩트 체크 및 그라운딩

LLM은 사실 정확성 면에서 어려움을 겪는 것으로 알려져 있습니다. 질문에 확실하게 답할 수 없을 때 자신 있게 할루시네이션을 일으키는 경우가 많습니다. 이는 정보가 학습 자료에 포함되지 않았거나 학습 자료 자체에 부정확한 내용이 있기 때문일 수 있습니다. RAG 기반 팩트 체크 과정에는 신뢰할 수 있는 외부 출처의 정보에 답변을 그라운딩하는 작업이 포함됩니다.

최신 정보

LLM은 지식 컷오프라고 불리는 학습 데이터 기준 시점까지의 주제에 대해서만 질문에 답할 수 있습니다. RAG 시스템은 웹 검색 API를 통한 뉴스 자료나 최신 제품 정보가 담긴 내부 데이터베이스처럼 매우 최신의 정보 소스에 연결할 수 있습니다. 덕분에 학습 데이터에서 다루지 않은 주제에 대해서도 응답을 생성할 수 있습니다.

비공개 외부 데이터에 대한 접근

RAG 시스템을 통해 기업은 공개적으로 공유할 수 없는 민감한 독점 정보와 도메인별 정보 소스에 AI 인프라를 연결할 수 있습니다. 현재 Perplexity를 비롯한 많은 인기 도구에서 기밀 데이터를 업로드하고 비공개 지식 베이스를 구축하는 옵션을 제공하며, 이는 흔한 기업 활용 사례입니다.

RAG 개요와 발전 과정: 주요 아키텍처 유형

검색 증강 생성이라는 구체적인 용어는 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks라는 제목의 2020년 주요 논문에서 처음 등장했지만, 정보 검색 시스템은 그보다 수십 년 전부터 사용되어 왔습니다. 초기 검색 엔진이 좋은 예입니다. 하지만 진정한 AI 혁신은 파라메트릭 모델 지식과 밀집 벡터 인덱스(논문에서는 Wikipedia를 사용해 구축)를 결합한 데 있었습니다.

주요 RAG 유형을 간략히 살펴보면 다음과 같습니다.

  • 기본 RAG: 나이브 RAG라고도 불리는 기본 RAG는 RAG 파이프라인의 가장 단순한 형태입니다. 검색 후 생성하는 흐름을 따르며, 벡터 데이터베이스 검색이 주요 활용 사례입니다. 특히 제한적인 내부 용도라면 간단한 RAG 구현을 구축하는 데 여전히 적합합니다.
  • 하이브리드 RAG: 두 가지 이상의 RAG 유형을 결합하는 방식입니다. 일반적으로 단순 키워드 검색과 밀집 벡터 검색의 조합을 의미합니다.
  • 교정형 RAG: 미세 조정된 모델이 검색된 정보를 평가하여 사용자 프롬프트와의 관련성을 판단하는 RAG 형태입니다.
  • Self-RAG: 교정형 RAG와 비슷하지만, Self-RAG에서는 LLM이 자체 출력을 평가하고 필요한 경우 검색을 시작합니다. 이를 위해 특수한 리플렉션 토큰을 사용합니다.
  • 에이전트형 RAG: 에이전트형 RAG는 에이전트형 AI 플랫폼이 다양한 검색 방식을 호출할 수 있는 방식을 말합니다. LLM은 오케스트레이터를 통해 추론하고 다양한 RAG 옵션 중에서 선택할 수 있습니다.
  • 멀티모달 RAG: 이미지, 오디오 등 다른 형태의 미디어를 수집 및 검색 파이프라인에 통합하는 RAG 유형입니다.
  • GraphRAG: GraphRAG는 지식 그래프 탐색(엔터티 검색)을 활용해 정보를 검색합니다. 밀집 벡터 검색과 함께 사용될 수도 있지만 반드시 그럴 필요는 없습니다.
  • 분기형 RAG: 여러 검색 쿼리를 동시에 실행하는 RAG 아키텍처로, 종종 서로 다른 아키텍처 패턴을 사용합니다. 분기형 RAG는 복잡한 워크플로우를 실행하는 AI 도구에서 흔히 볼 수 있는 기능입니다.
  • HyDE(Hypothetical Document Embeddings, 가상 문서 임베딩): 가상 문서 임베딩은 사용자 프롬프트에 대한 이상적인 답변이 어떤 모습일지 시뮬레이션하는 AI 생성 응답입니다. 이를 활용해 RAG 쿼리를 정교하게 다듬어 검색된 정보의 정확도를 높입니다.

예시로 살펴보는 주요 RAG 활용 사례

실제 환경에서 RAG는 어떤 모습일까요? AI 챗봇에 시의성 있는 주제에 대해 질문하거나, 고객 지원 봇에 문의하거나, 개인 어시스턴트를 사용해 관리 업무를 처리해 본 적이 있다면 이미 RAG를 활용한 것입니다.

소비자와 기업 환경 전반의 대표적인 RAG 사례로는 웹 검색, 개인 어시스턴트(코딩 포함), 코딩 어시스턴트, 고객 지원, 기업 지식 관리가 있습니다.

웹 검색

웹 검색은 널리 사용되는 RAG 형태이며, 소비자 대상 애플리케이션 중 가장 보편적이라고 할 수 있습니다. 모든 주요 챗봇이 웹 검색 기능을 제공하며, 이 기능에서 LLM은 최신 출처를 활용해 학습 자료에 포함된 정보를 보완합니다.

AI 도구의 오케스트레이터는 API 호출을 통해 외부 검색 엔진에 연결하며, 스니펫 형태의 결과가 LLM의 컨텍스트 창에 추가됩니다. 이를 통해 사용자는 시사, 최신 연구, 제품 정보 등 정보가 자주 바뀌는 주제에 접근할 수 있습니다.

실제 API 요청은 다음과 같은 형태일 수 있습니다.

json
{ "query": "latest US inflation news", "max_results": 1, "language": "en", "country": "US" }

반환되는 정보에는 출처와 스니펫이 포함됩니다.

json
{ "query": "latest US inflation news", "results": [ { "title": "US inflation rises slightly in latest report", "url": "https://example.com/us-inflation-report", "snippet": "Consumer prices increased in the latest monthly data, with housing and energy contributing to the rise.", "published_date": "2026-11-05" } ] }

개인 AI 어시스턴트

개인 어시스턴트는 RAG를 사용해 개인 환경 또는 공유 기업 환경 내의 정보 소스에 연결합니다. 정보 소스의 예로는 사용자의 이메일, 파일, 캘린더, 데이터베이스 등이 있습니다.

정보는 다양한 방식으로 저장될 수 있으므로, 개인 어시스턴트는 완전한 에이전트형 RAG 시스템으로 이해하는 것이 가장 적절합니다. 프롬프트에 따라 API 호출, 키워드 검색, 밀집 벡터 검색 또는 지식 그래프 탐색을 사용할 수 있습니다.

점점 더 많은 기업 RAG 시스템이 지식을 벡터 데이터베이스에 인코딩하여 전사 개인 어시스턴트가 쉽게 검색할 수 있도록 하고 있으며, 많은 기업용 AI 제품이 이를 염두에 두고 설계됩니다.

코딩 어시스턴트 역시 또 하나의 주요 활용 사례라는 점에서 주목할 만합니다. GitHub Copilot과 같은 코드 어시스턴트는 리포지토리 및 프로젝트별 문서에 연결하여 관련 파일, 함수, 심볼, 가이드, API, 커밋 기록을 검색할 수 있습니다.

고객 지원

고객 지원은 또 다른 주요 RAG 활용 사례로, 최근 몇 년간 AI 챗봇 도입이 빠르게 증가했습니다. Crisp는 State of AI Customer Support 보고서에서 대화의 40%가 사람의 개입 없이 해결된다는 사실을 발견했으며, 이는 높은 수준의 효과를 보여 줍니다.

사용자가 고객 지원 봇에 질문하면 오케스트레이터는 일반적으로 회사의 내부 지식 베이스를 검색합니다. 정확성을 보장하기 위해 교정형 RAG와 Self-RAG도 자주 사용되며, 필요한 경우 상담원에게 연결됩니다.

기업 지식 베이스

중견기업과 대기업 전반에 걸친 AI 워크플로우와 생성형 AI 도구 도입은 내부 지식 베이스 구축과 함께 진행되어 왔습니다. 이를 통해 전사 어시스턴트는 민감한 고객 정보, 기업 비공개 데이터, 전문 분야 지식 등 내부 데이터에 접근하면서도 프라이버시를 유지할 수 있습니다.

이러한 시스템은 일반적으로 벡터 데이터베이스를 중심으로 구축되지만, 다른 RAG 방식도 사용됩니다. 예를 들어 Microsoft 365 Copilot에는 벡터 데이터베이스, 지식 그래프, 시맨틱 인덱스 등 다양한 정보 소스를 노출하는 API 계층이 있어 회사 데이터에 폭넓게 접근할 수 있습니다.

이러한 RAG 시스템은 범용 에이전트형 도구의 기업용 패키지에도 일반적으로 내장되어 있습니다. 예를 들어 Perplexity Enterprise에서는 사용자가 대량의 문서를 업로드하여 내부에서 안전하게 사용할 수 있습니다.

사용자는 독립된 프로젝트 내에 자신의 파일을 업로드하여 사실상 소규모 RAG 시스템을 만들 수도 있습니다. 이러한 검색을 웹 검색 같은 다른 형태의 RAG와 결합하여 하이브리드 방식으로 보강할 수도 있습니다.

RAG와 LLM의 차이점은 무엇인가요?

대규모 언어 모델(LLM)은 매개변수에 표현된 정보만을 사용하여 출력을 생성할 수 있습니다. LLM은 내부 어휘에 확률을 할당하여 시퀀스의 다음 단어, 즉 토큰을 예측합니다. 따라서 관련 정보로 매개변수가 학습되지 않았다면 정확한 답변을 제공할 수 없습니다.

범용 또는 특화 AI 플랫폼에서 RAG 파이프라인은 하나의 LLM 또는 여러 LLM과 함께 작동합니다. RAG 파이프라인은 외부 정보 소스에 연결하여 언어 모델에 제공되는 입력 컨텍스트를 보완하며, 이것이 바로 RAG와 LLM의 차이점의 핵심입니다.

추가 정보를 검색할지, 아니면 파라메트릭 지식에만 의존할지는 오케스트레이터 수준에서(일반적으로 규칙 기반 로직 사용) 결정하거나, LLM 자체가 결정할 수도 있습니다.

RAG와 MCP의 차이점은 무엇인가요?

RAG와 모델 컨텍스트 프로토콜(MCP)은 상호 보완적인 기술로 이해하는 것이 가장 적절합니다. MCP는 AI 도구가 단일 엔드포인트를 통해 외부 기능, 리소스, 프롬프트에 접근할 수 있도록 하는 아키텍처를 구축하기 위한 개방형 표준입니다.

AI 도구가 MCP 서버에 연결되면, 서버는 클라이언트가 접근 권한을 가진 모든 프리미티브(MCP 도구, 리소스, 프롬프트)를 노출합니다. 클라이언트는 클라이언트 측의 오케스트레이터와 서버 간의 연결을 설정하는 구성 요소입니다. 경우에 따라 데이터베이스와 정보 소스를 노출하기도 하는데, 이때 MCP는 RAG 파이프라인의 검색 계층에서 중개자 역할을 합니다.

RAG와 API의 차이점은 무엇인가요?

API는 두 애플리케이션이 서로 요청을 주고받는 데 사용할 수 있는 정의된 인터페이스입니다. RAG는 LLM이 외부 정보에 접근하여 출력을 개선하고 확장하는 프로세스입니다.

RAG는 정보를 검색하기 위해 API 호출을 사용하는 경우가 많습니다. 예를 들어 웹 검색 기반 정보 검색에서 오케스트레이터는 사용자의 프롬프트를 기반으로 해당 검색 엔진에 대한 API 요청을 작성합니다.

RAG가 중요한 이유와 앞으로의 발전 방향

RAG가 중요한 이유는 LLM이 본질적으로 학습 데이터에 의해 제한되기 때문입니다. 시사부터 기업 내부 지식에 이르기까지, LLM이 접근할 수 없는 정보는 방대합니다. RAG는 과도한 리소스 없이도 이 문제를 해결합니다.

하지만 정보 검색만으로는 충분하지 않으며, 이것이 RAG가 계속 발전하는 이유입니다. RAG는 최신 AI 연구의 큰 부분을 차지하며, 다양한 형식에 걸쳐 올바른 정보를 반환하고 그 정보를 효과적으로 판단하고 우선순위를 정하도록 시스템을 개선하는 데 초점을 맞추고 있습니다.

RAG가 더욱 강력해질수록 중요한 소비자 및 기업 애플리케이션 전반에서 AI 시스템의 유용성도 커집니다. 여기에는 고객 지원, 웹 검색, 코딩, 개인 어시스턴트, 전문 리서치 등이 포함됩니다.