Apa Itu Arsitektur RAG? Definisi Lengkap dengan Contoh Praktis yang Mendetail

RAG, singkatan dari retrieval augmented generation, adalah proses ketika LLM menggunakan informasi eksternal untuk memperluas dan meningkatkan output-nya. Arsitektur RAG adalah sekumpulan komponen dan koneksi yang memungkinkan RAG berjalan.

Ada beberapa kategori RAG yang berbeda, dan masing-masing berjalan di atas arsitekturnya sendiri yang unik. Pada dasarnya, arsitektur sistem RAG menentukan cara unik informasi disimpan, diambil, dan diumpankan ke LLM.

Apa itu arsitektur RAG?

Arsitektur RAG adalah konfigurasi dasar komponen (beserta kemampuan terkaitnya) yang menjalankan suatu sistem RAG. Semua arsitektur ini dibangun di atas templat dasar yang sering disebut sebagai RAG “sederhana” atau “naif”.

Berikut gambaran umum arsitektur RAG dasar:

• Sumber informasi: Di sinilah informasi eksternal disimpan. Sumber ini bisa berupa indeks pencarian, basis data vektor yang merepresentasikan informasi dalam jumlah besar, atau repositori dokumen mentah.
• Komponen pengambilan: Ini adalah mekanisme yang digunakan untuk mengkueri sumber informasi. Sistem RAG, misalnya, dapat menggunakan pencarian kata kunci sederhana untuk menemukan potongan teks yang relevan atau kueri vektor yang lebih kompleks untuk melakukan pencarian kemiripan.
• Komponen orkestrasi: Lapisan ini adalah bagian dari aplikasi berbasis LLM yang memulai pipeline RAG untuk prompt pengguna, baik bersama LLM maupun secara mandiri. Lapisan ini juga menyusun informasi yang diambil menjadi prompt yang diperluas.

Komponen arsitektur RAG biasanya diatur ke dalam dua jalur. Jalur penyerapan mengambil data dan menatanya menjadi sumber informasi yang dapat dicari. Basis data vektor, yang mengubah teks dalam jumlah besar menjadi repositori embedding vektor yang dapat dicari, merupakan salah satu penerapan yang paling banyak digunakan.

Jalur pengambilan menerima prompt pengguna dan membuat kueri untuk mencari di sumber informasi. Orkestrator kemudian menambahkan informasi yang diambil ke input konteks untuk LLM. Pada arsitektur RAG agentik dan hibrida, bisa terdapat beberapa jalur pengambilan.

Jenis-jenis arsitektur RAG

Memandang RAG sebagai arsitektur-arsitektur yang sepenuhnya terpisah adalah hal yang menyesatkan. Sebagian besar engineer akan menggunakan pendekatan modular, dengan menerapkan komponen terpisah yang sesuai dengan kasus penggunaan tertentu. Meskipun batasan longgar dapat ditarik, penting untuk dicatat bahwa terdapat tumpang tindih yang signifikan antarmodel arsitektur.

1. RAG dasar

RAG dasar, yang juga disebut RAG “naif” atau “sederhana”, adalah templat arsitektur untuk jenis RAG lainnya.

Proses dasarnya relatif mudah: pengguna memasukkan prompt, orkestrator menentukan apakah informasi eksternal diperlukan (baik secara mandiri maupun bersama LLM), lalu merumuskan dan mengirimkan kueri pengambilan yang sesuai.

Sumber informasi eksternal umumnya berupa basis data vektor, tetapi juga bisa berupa basis data SQL, API web, graf pengetahuan, atau bahkan repositori dokumen “mentah”. Informasi tambahan ini kemudian ditambahkan ke konteks input LLM.

Di luar kueri SQL dan API, ada dua jenis umum metode pengambilan:

• Pencarian leksikal (pencarian kata kunci): Ini adalah bentuk RAG sederhana yang mengekstrak kata kunci dari kueri pengguna lalu mencocokkannya dengan bagian teks yang mengandung kata kunci tersebut. Dalam pipeline modern, orkestrator dapat melakukan apa yang disebut kueri vektor jarang (sparse vector query), yang tidak menangkap makna, untuk melakukan hal ini.
• Pencarian vektor padat (pencarian semantik): Embedding vektor padat menangkap makna. Orkestrator dapat mengkueri basis data vektor padat dengan cara yang memungkinkan makna dari prompt pengguna dan informasi sumber sama-sama tertangkap.

Penggunaan memori juga merupakan bagian penting dari arsitektur RAG. Memori mengacu pada cara LLM menggunakan konteks dari chat sebelumnya untuk menyusun kueri pengambilan, sehingga kueri tersebut berakar pada konteks diskusi yang lebih luas (atau beberapa diskusi). RAG percakapan adalah standar bagi sebagian besar chatbot, meskipun beberapa kasus penggunaan, seperti respons tiket dukungan, mungkin menggunakan RAG satu pertanyaan.

2. Hibrida

RAG hibrida menggabungkan dua jenis pengambilan yang berbeda, biasanya pengambilan berbasis kata kunci dan semantik. Pencarian kata kunci menemukan istilah yang cocok, sedangkan pencarian berbasis vektor menemukan bagian teks dengan makna yang berkaitan.

Bentuk pengambilan lain, seperti penelusuran graf pengetahuan atau kueri basis data SQL, juga dapat digunakan. Proses ini sering dipandu oleh logika perutean, baik dalam bentuk aturan yang diprogram maupun klasifikasi pertanyaan oleh model (meskipun beberapa pipeline juga dapat berjalan bersamaan).

Orkestrator menggabungkan hasilnya dan dapat memeringkat ulang hasil tersebut sebelum meneruskannya ke LLM. Pemeringkatan ulang (reranking) adalah proses pemberian skor relevansi pada potongan yang diambil agar LLM memprioritaskan informasi yang paling sesuai.

3. RAG adaptif

Dalam RAG adaptif, komponen perutean memilih strategi pengambilan berdasarkan kebutuhan prompt pengguna, lalu orkestrator menjalankan alur kerja yang dipilih.

Dalam kerangka kerja aslinya (Adaptive-RAG), model yang lebih kecil bertindak sebagai pengklasifikasi dan memilih antara tanpa pengambilan, pengambilan satu langkah, atau pengambilan multilangkah. Beberapa arsitektur kini menggunakan model generatif atau heuristik berbasis aturan sebagai gantinya.

Arsitektur ini populer karena mengalokasikan daya pemrosesan berdasarkan kompleksitas dan kebutuhan prompt, sehingga mengurangi langkah pengambilan yang tidak perlu untuk prompt yang lebih sederhana. Arsitektur ini umum digunakan pada asisten yang menangani berbagai jenis pertanyaan.

4. RAG korektif (CRAG)

RAG korektif mengevaluasi informasi yang diambil sebelum menambahkannya ke input konteks LLM. Evaluator pengambilan menilai apakah informasi yang diambil relevan dan berguna. Ciri arsitektur yang khas di sini adalah tahap evaluasi dan koreksi yang eksplisit sebelum jawaban dihasilkan.

Jika informasi dinilai tidak lengkap atau tidak sesuai dengan prompt, permintaan tambahan akan dipicu. Permintaan ini dapat menggunakan metode pengambilan yang berbeda dari yang digunakan untuk permintaan awal, seperti pencarian web atau penelusuran graf pengetahuan.

RAG korektif umum digunakan di bidang yang mengutamakan akurasi, seperti kedokteran dan hukum. Namun, arsitektur ini memerlukan sumber informasi tambahan yang dapat melengkapi bagian teks yang diambil sebelumnya.

5. Self-RAG

Dalam self-RAG, model dapat memulai permintaan setelah menerima input konteks awal. Jawaban yang dihasilkan dievaluasi terhadap bukti yang diambil menggunakan token refleksi, dan permintaan lanjutan dikirim melalui orkestrator sesuai kebutuhan. Sebaliknya, LLM juga dapat memutuskan bahwa pengambilan sama sekali tidak diperlukan.

Perbedaannya dengan RAG korektif adalah LLM menilai output-nya sendiri, menentukan apakah pengambilan diperlukan dan apakah teks yang diambil berguna, serta memantau jawabannya sendiri dan mengubahnya sesuai kebutuhan. Sebaliknya, RAG korektif mengevaluasi kualitas informasi yang diambil sebelum proses pembuatan jawaban.

Arsitektur ini sangat berguna untuk prompt kompleks bergaya penelitian mendalam. Karena mengintegrasikan penilaian relevansi (atas informasi yang diambil) ke dalam pembuatan jawaban, arsitektur ini merupakan pilihan yang baik untuk prompt yang memerlukan respons berbasis bukti.

6. RAG agentik

RAG agentik mengacu pada segala bentuk RAG yang dijalankan dalam konteks platform agentik. Model menggunakan kemampuan penalarannya untuk menentukan jenis informasi yang dibutuhkan dan memilih dari opsi pengambilan yang tersedia.

Pengambilan dapat dipicu berkali-kali sesuai kebutuhan, dan model memiliki opsi untuk menugaskan agen guna menangani kueri yang lebih kompleks. Misalnya, LLM dapat meminta pencarian basis data untuk mengidentifikasi pemasok, memicu pencarian dokumen untuk menemukan kontrak yang relevan, lalu mengakhirinya dengan pencarian web untuk memverifikasi detail kontak menggunakan sumber publik.

RAG agentik adalah implementasi arsitektur utama pada chatbot arus utama seperti Perplexity, ChatGPT, Claude, dan sebagainya. Karena platform-platform ini memberi model inti akses ke berbagai alat dan pipeline RAG, model dapat memilih bentuk pengambilan yang paling sesuai untuk suatu prompt.

7. RAG multimodal

RAG multimodal mengambil konteks dari berbagai jenis media. Ini adalah bentuk RAG yang penting karena membuat informasi yang sebelumnya tidak dapat diakses, seperti bagan dan rekaman audio, menjadi tersedia bagi LLM.

Arsitektur dasarnya sama seperti pada sistem lainnya. Misalnya, pipeline pengindeksan dapat menyiapkan gambar untuk pencarian dengan mengubahnya menjadi embedding langsung. Sistem RAG agentik kemudian dapat mengambil gambar-gambar ini bersama teks yang relevan secara semantik dan mengumpankannya ke model visi-bahasa (vision-language model) untuk pemrosesan ganda.

8. GraphRAG

GraphRAG menggunakan graf pengetahuan bersama pencarian vektor untuk mengambil informasi tentang entitas. Biasanya, orkestrator menemukan entitas awal yang relevan, yang juga disebut node, menggunakan ekstraksi kata kunci atau terkadang pencarian vektor pendahuluan. Pengambil graf (graph retriever) menelusuri graf pengetahuan untuk membangun konteks yang lebih luas.

Misalnya, sebagai respons terhadap permintaan uraian terperinci tentang suatu kategori produk, LLM dapat memicu pencarian vektor untuk mengidentifikasi entitas tertentu (produk). Orkestrator kemudian akan memicu pencarian graf pengetahuan untuk menemukan entitas terkait, seperti pemasok, lokasi ritel, ulasan, dan sebagainya.

9. RAG bercabang

Sementara arsitektur RAG hibrida memiliki kemampuan untuk menggunakan metode pengambilan yang berbeda, RAG bercabang mengacu pada proses menjalankan beberapa kueri, yang disebut cabang, secara bersamaan. Setiap cabang dapat mengkueri sumber informasi yang terpisah, atau beberapa cabang dapat mengkueri sumber yang sama secara paralel dengan kueri atau filter yang berbeda. Arsitektur RAG agentik sering menggunakan RAG bercabang.

10. HyDE (Hypothetical Document Embeddings)

HyDE adalah bentuk RAG inovatif yang membuat LLM menyusun dokumen teks hipotetis tentang kira-kira seperti apa jawaban yang optimal. “Dokumen hipotetis” ini kemudian digunakan untuk membuat kueri agar pengambilan lebih akurat. Meskipun pengetahuan yang relevan tidak terwakili dalam parameter LLM, alasannya adalah bagian teks yang menyerupai jawaban mungkin lebih cocok dengan dokumen yang relevan dibandingkan pertanyaan singkat atau prompt yang ambigu.

Contoh arsitektur RAG sederhana: Basis data vektor

RAG dasar berfungsi sebagai fondasi bagi jenis arsitektur yang lebih kompleks. Pada sistem RAG sederhana yang menggunakan basis data vektor, dokumentasi sumber dipecah menjadi bagian-bagian yang lebih kecil (chunk) dan diubah menjadi embedding padat. Saat pengguna memasukkan prompt, orkestrator membuat kueri, mengodekannya, lalu mengkueri basis data untuk menemukan bagian teks yang relevan.

Berikut uraian proses ini langkah demi langkah:

1. Teks dalam jumlah besar diubah menjadi vektor menggunakan pipeline penyerapan otomatis dan model embedding seperti BERT.
2. Aplikasi basis data menata, mengindeks, dan menyimpan vektor agar dapat dicari dengan cepat.
3. Pengguna memasukkan prompt ke chatbot (seperti Perplexity).
4. Orkestrator aplikasi mengodekan prompt (menggunakan model embedding) untuk mengambil informasi yang relevan dari basis data vektor.
5. Basis data vektor mengembalikan potongan yang relevan, lalu orkestrator menambahkannya ke konteks input (“prompt besar”) dan mengumpankannya ke LLM.
6. LLM menggunakan konteks tambahan tersebut untuk menghasilkan jawaban dengan memanfaatkan pengetahuan internalnya (yang tersimpan dalam bobot parametriknya).

Perbesar

Contoh arsitektur RAG tingkat lanjut: RAG agentik

RAG agentik mengacu pada arsitektur dasar sistem RAG dalam platform agentik. Alur RAG agentik cenderung kompleks karena agen AI dapat memanggil berbagai alat dan pipeline tergantung pada sifat prompt, serta mengerahkan beberapa agen jika diperlukan.

Berikut contoh praktis prosesnya:

1. Pengguna memasukkan pertanyaan kompleks yang memerlukan penelitian mendalam tentang suatu topik. Untuk contoh ini, anggaplah prompt-nya adalah “Berikan prakiraan laba perusahaan selama enam bulan ke depan dengan mempertimbangkan aktivitas geopolitik besar.”
2. LLM menalar bahwa diperlukan kombinasi kueri RAG di berbagai jenis konten.
3. Tiga agen berbeda dikerahkan untuk (a) pencarian vektor, (b) grounding web, dan (c) pencarian gambar (multimodal).
4. Agen-agen tersebut mencari informasi yang relevan, seperti berita dan data keuangan internal, melalui orkestrator menggunakan alat pengambilan yang tersedia.
5. LLM membandingkan hasil yang diambil dengan pertanyaan penelitian setiap agen dan memeringkatnya berdasarkan relevansi.
6. LLM mengevaluasi informasi tersebut dan memicu pencarian tambahan melalui agen-agen individual jika ada informasi yang kurang.
7. Setelah cukup informasi diambil, LLM menghasilkan prakiraan skenario berdasarkan angka keuangan yang ada (diambil dari dokumentasi internal) dan memanggil alat kalkulator untuk memproyeksikan laba bagi setiap skenario.
8. LLM menghasilkan jawaban akhir menggunakan informasi yang diambil dan hasil perhitungan, dengan mengutip sumber sesuai kebutuhan.

Perbesar

Apa selanjutnya bagi RAG?

Inovasi saat ini berfokus pada peningkatan kedalaman dan kecepatan arsitektur RAG yang ada, peningkatan akurasi pengambilan multimedia, dan pembangunan sistem yang dirancang untuk menangani informasi terkini.

Berikut tiga tren yang saat ini membentuk arah penelitian:

• Penelitian mendalam lintas berbagai sumber: Ini adalah arsitektur RAG yang mampu merencanakan pencarian, menjalankan beberapa cabang di berbagai sumber yang berbeda, mengevaluasi bukti yang diambil, dan mengoptimalkan sendiri jawaban yang dihasilkan. RAG agentik yang mampu menjalankan semua tugas ini terus menjadi lebih cepat dan lebih hemat biaya.
• Aplikasi multimodal: Pipeline pengambilan semakin baik dalam bekerja dengan gambar dan video. Pipeline ini semakin mampu menemukan jenis informasi tertentu secara tepat dalam data multimodal yang kompleks, seperti video berdurasi panjang dan diagram tingkat lanjut.
• Mendasarkan jawaban pada informasi yang terus berubah: Aplikasi berbasis LLM dapat memanfaatkan sumber informasi langsung (seperti umpan video dan sensor) untuk menyediakan konteks input. Sistem juga dapat menghasilkan jaringan informasi yang multiaspek, seperti dengan GraphRAG, untuk menafsirkan data ini.

RAG merupakan fondasi cara kerja aplikasi berbasis LLM. RAG memungkinkan beragam pengguna, mulai dari konsumen sehari-hari hingga perusahaan yang bergerak di bidang khusus, mengatasi masalah terkait halusinasi, data pelatihan yang tidak lengkap, dan kurangnya akses ke pengetahuan internal yang terspesialisasi.

Itulah sebabnya sistem RAG dan arsitektur yang mendasarinya merupakan salah satu bidang penelitian AI yang paling cepat berkembang dan paling menarik.