RAG vs. LLM: Uraian Teknis (Definisi, Perbedaan, Kasus Penggunaan)

LLM menghasilkan respons menggunakan parameter yang dipelajari dari pola dalam data pelatihannya. Karena parameter tersebut mungkin tidak mencerminkan informasi terbaru atau lengkap, RAG, yang merupakan singkatan dari retrieval-augmented generation, melengkapi proses ini dengan menambahkan data dari sumber eksternal ke konteks input LLM. Alat AI mengambil informasi dari luar untuk memperkaya proses generasi LLM.

Sebenarnya, pilihan Anda bukan antara RAG atau LLM. Pilihannya adalah antara pendekatan hibrida dan pendekatan yang hanya menggunakan LLM.

RAG diperlukan ketika LLM memerlukan akses ke dokumentasi perusahaan, basis data, atau informasi yang berubah cepat. Pendekatan hanya LLM cocok untuk tugas administratif, pemrosesan data, dan pembuatan konten tertentu ketika semua input dapat disediakan oleh pengguna.

RAG vs. LLM: Apa perbedaan utamanya?

• RAG dan LLM merupakan sistem yang saling melengkapi. Anda dapat menggunakan model AI tanpa RAG (yang sepenuhnya bergantung pada parameter yang sudah ada), tetapi Anda tidak dapat menggunakan sistem RAG tanpa model.
• RAG diperkenalkan untuk mengatasi tiga masalah utama pada LLM: informasi yang sudah usang, respons halusinasi, dan kurangnya verifikasi terhadap sumber pihak ketiga.
• RAG membuat AI jauh lebih efektif dalam situasi bisnis dunia nyata karena menghubungkan LLM dengan dokumentasi internal yang terverifikasi, basis data, dan endpoint API.
• Kasus penggunaan RAG teratas mencakup chatbot dukungan pelanggan, kueri berdasarkan data yang berubah cepat (seperti berita industri), dan bidang khusus, seperti kedokteran dan hukum, di mana akurasi dan pengecekan fakta sumber penting.
• Ada tiga jenis utama RAG: naive RAG, modular RAG, dan advanced RAG. Naive RAG paling mudah dipahami sebagai pengambilan informasi yang sederhana, sedangkan modular dan advanced RAG menambahkan fungsionalitas tambahan seperti penulisan ulang kueri dan optimasi chunk.

Apa itu large language model (LLM)?

LLM, atau large language model, adalah sistem yang menghasilkan konten menggunakan parameter yang disetel secara khusus. Parameter ini menentukan probabilitas yang diberikan pada semua token dalam kosakata LLM, yang menunjukkan token mana yang paling mungkin muncul berikutnya dalam urutan tertentu.

Untuk lebih memahami cara kerja RAG (dan perbedaannya dengan) LLM, ada baiknya melihat cara kerja AI generatif pada tingkat dasar:

1. Tokenisasi: Prompt pengguna dipecah menjadi token, yang dapat berupa kata, bagian kata, atau karakter tunggal.
2. Embedding: Token dikonversi menjadi embedding, representasi numerik (deretan angka) yang disebut vektor, yang dapat diproses oleh jaringan neural, termasuk decoder.
3. Dekoding: Lapisan decoder (yang membentuk sebagian besar jaringan neural LLM) memanipulasi vektor-vektor ini, menggunakan proses yang disebut attention untuk menangkap makna. Proses ini menentukan seberapa kuat setiap token harus berhubungan dengan token lain dalam rangkaian.
4. Pemberian skor: Model memberikan probabilitas kompatibilitas pada setiap token dalam kosakata yang sudah dimilikinya dan memilih token berikutnya yang kemungkinan besar untuk rangkaian tersebut.

Poin pentingnya adalah bahwa LLM hanya dapat menghasilkan output berdasarkan parameter yang sudah ada dan token dalam context window-nya. Selama pelatihan, LLM diminta untuk menyelesaikan bagian-bagian teks yang tidak lengkap miliaran kali, dan parameternya disesuaikan hingga model memberikan probabilitas pada token (dan dengan demikian melengkapi teks) secara andal.

Bayangkan, misalnya, Anda bertanya kepada model AI, “Apa isi kebijakan pengembalian dana perusahaan kami tahun 2026?” LLM hanya dapat memprediksi token berikutnya berdasarkan parameter yang sudah ada, yang belum di-fine-tune menggunakan dokumentasi dukungan Anda. Jika Anda menanyakan pertanyaan ini tanpa konteks tambahan apa pun, model tersebut akan tidak mampu merespons secara bermakna atau akan berhalusinasi dengan jawaban yang salah.

Apa itu retrieval-augmented generation (RAG)?

RAG (retrieval-augmented generation) adalah proses di mana informasi dari sistem eksternal disertakan dalam prompt LLM.

Proses LLM yang mendasarinya, yang melibatkan embedding dan pencocokan token probabilistik, tetap sama. RAG memperkenalkan langkah awal, yaitu prompt pengguna diperluas dengan data tambahan.

Berikut ikhtisar cara kerja RAG:

1. Persiapan pengetahuan: Sumber pengetahuan disiapkan. Ini bisa berupa serangkaian dokumen, database vektor, knowledge graph, atau indeks langsung (seperti untuk penelusuran AI).
2. Prompting: Pengguna memasukkan prompt, seperti, “Apakah saya sebaiknya jalan-jalan di London hari ini?”
3. Retrieval: Sumber informasi eksternal dikueri oleh retriever dari alat AI. Alat ini mungkin meng-embed prompt, mengubahnya menjadi vektor, lalu mengkueri basis data vektor. Atau, alat ini dapat menggunakan metode alternatif, seperti panggilan API, pencocokan kata kunci, atau penelusuran knowledge graph.
4. Penyisipan: Informasi ini ditambahkan ke prompt asli pengguna. Dalam contoh pertanyaan tentang berjalan-jalan di London, ini dapat mencakup informasi cuaca di London dan aksesibilitas terkini dari rute jalan kaki populer.
5. Generasi jawaban: LLM menghasilkan respons dengan cara biasa menggunakan prompt yang telah diperluas.

Di balik layar, teks yang diambil ditambahkan ke konteks input, ditokenisasi, dan di-embed. Model kemudian memproses konteks tambahan itu melalui decoder-nya, yang mengubah probabilitas token keluaran.

Secara umum, RAG dapat dibagi menjadi tiga subtipe. Naive RAG mengikuti proses RAG dasar, mengambil informasi dan memasukkannya ke prompt. Advanced RAG menambahkan fungsi tambahan seperti penulisan ulang kueri dan beberapa pass kueri. Modular RAG merujuk pada jenis arsitektur di mana berbagai fungsi canggih dapat diperlakukan sebagai komponen dan digabungkan sesuai kebutuhan.

RAG vs. LLM: Ikhtisar kasus penggunaan

RAG memberi pengguna akses ke data terbaru. Hal ini menghasilkan output LLM yang lebih kecil kemungkinannya mengalami halusinasi dan kekosongan informasi. Jika Anda perlu melihat sumber informasi yang digunakan dalam output, RAG juga penting, karena jawaban LLM yang tidak ter-grounding tidak disertai atribusi.

Perbesar

Kasus penggunaan RAG

• Permintaan informasi yang sensitif terhadap waktu: Setiap kueri untuk informasi yang cepat menjadi usang, yang bisa sesederhana prakiraan cuaca atau serumit analisis terperinci atas sebuah berita yang sedang berkembang, harus didasarkan pada sumber pihak ketiga yang tervalidasi.
• Dokumentasi perusahaan: Chatbot AI internal atau yang berhadapan dengan pelanggan, tempat pengguna mengajukan pertanyaan terkait dokumentasi perusahaan atau produk, sebaiknya diaktifkan dengan RAG, terutama jika dokumentasi sering diperbarui.
• Dukungan pelanggan: Chatbot pelanggan memerlukan akses ke dokumentasi dukungan yang mutakhir dan terperinci untuk memberikan jawaban yang akurat.
• Bidang khusus (kedokteran, hukum, keuangan, dll.): LLM yang belum dilatih pada korpus khusus domain (terutama model arus utama) biasanya kesulitan menangkap nuansa prompt khusus.

Kasus penggunaan LLM

• Tugas administratif: LLM dapat menyelesaikan tugas dasar dengan latensi minimal. RAG tidak diperlukan untuk penulisan dasar dan tugas admin, seperti pemeriksaan ejaan atau ringkasan, di mana informasi eksternal tidak dibutuhkan.
• Tugas kreatif: Beberapa tugas kreatif, seperti menghasilkan cerita pendek atau gambar, hanya membutuhkan informasi yang disediakan dalam prompt asli.
• Tugas penalaran dan berbasis data: Jika Anda bekerja dengan dataset besar, LLM tidak memerlukan akses ke informasi eksternal untuk menerapkan fungsi penalaran dan analisis.
• Coding umum: Meskipun alur kerja coding mungkin memerlukan akses ke codebase atau dokumentasi privat, LLM sangat mampu menjalankan tugas coding umum, seperti memperbaiki bug dan membuat fungsi, tanpa perlu merujuk ke sumber eksternal.

RAG vs. LLM dengan LLM konteks panjang, AI agen, dan grounding

Ada tiga konsep terkait yang relevan dengan perbedaan antara RAG dan LLM. Konsep tersebut adalah LLM dengan konteks panjang, AI agen, dan grounding.

LLM dengan konteks panjang terkadang dapat digunakan sebagai pengganti sistem yang diaktifkan RAG, sementara AI agen dan grounding merupakan istilah yang sinonim atau bekerja berdampingan dengannya.

LLM dengan konteks panjang

Ini adalah model dengan context window besar, dengan beberapa model komersial yang tersedia luas mampu menangani hingga satu juta token.

Jika materi yang relevan dapat dimuat ke dalam context window model dan tersedia dalam format teks, ada beberapa manfaat menggunakan pendekatan hanya LLM. Ini dapat mengurangi kemungkinan kesalahan retrieval, memberikan konteks yang lebih komprehensif, dan menghilangkan kebutuhan akan penyiapan arsitektur RAG yang ekstensif.

AI agen

Agen adalah sistem yang memanfaatkan berbagai alat, termasuk kemampuan RAG, untuk menjalankan tugas yang kompleks. RAG adalah salah satu komponen AI agen, dan agen sering menggunakan berbagai jenis metode retrieval (mis., penelusuran web vs. pencarian vektor) bergantung pada isi prompt.

Grounding

Grounding merujuk pada proses yang lebih luas dalam menggunakan bukti atau data untuk meningkatkan akurasi respons LLM, atau untuk membumikan respons tersebut. RAG adalah salah satu bentuk grounding, tetapi menambahkan dokumen teknis ke context window juga dapat dianggap sebagai grounding.

RAG vs. LLM: Contoh nyata

Untuk lebih memahami cara kerja RAG dibandingkan penggunaan LLM tanpa RAG, kita bisa melihat contoh sederhana di dunia nyata menggunakan Perplexity dan kasus perusahaan hipotetis saat basis data vektor dikonsultasikan.

RAG vs. LLM dengan prompt sederhana

Berikut outputnya (dibatasi dua kalimat) ketika Perplexity diminta, "Apakah saya sebaiknya jalan-jalan di London hari ini?" dengan pencarian web AI (sejenis RAG) dimatikan:

Ya—jika cuaca cukup kering dan Anda punya waktu, jalan-jalan di London hari ini bisa menjadi perubahan suasana yang menyegarkan. Pilih rute di sepanjang South Bank, Regent’s Canal, atau melalui Hyde Park, dan bawalah jaket tahan air ringan untuk berjaga-jaga.

Bandingkan ini dengan prompt saat LLM dapat memeriksa sumber eksternal:

Ya, hari ini cuaca bagus untuk berjalan-jalan di London: prakiraan menunjukkan suhu sejuk sekitar 19–21°C dengan jeda cerah dan hanya kemungkinan hujan yang sangat rendah. Dengan langit berawan sebagian dan angin sepoi-sepoi, kondisinya nyaman untuk menjelajahi taman atau rute tepi sungai seperti South Bank.

Ada kemiripan di antara keduanya, karena LLM menggunakan proses penilaian token dasar yang sama. Namun, contoh kedua menyertakan informasi cuaca yang terperinci, sehingga jauh lebih berguna.

RAG vs. LLM dengan database vektor enterprise

Bayangkan seorang pengguna mengajukan pertanyaan berikut kepada chatbot dalam aplikasi untuk aplikasi perbankan: “Di mana saya bisa mengunduh laporan rekening terbaru saya?”

Bank yang mengelola aplikasi telah membuat database yang berisi embedding dari dokumentasi produknya yang mutakhir dan menghubungkannya ke pipeline RAG chatbot. Dokumentasi tersebut terdiri dari sekitar 1.000 dokumen sumber, yang dipecah menjadi chunk yang lebih kecil dan telah dikonversi menjadi vektor untuk retrieval.

Kueri pengguna dikirim ke model embedding, dan aplikasi mengirim vektor itu ke database, yang mengembalikan chunk yang relevan.

Model embedding akan menerima permintaan seperti ini:

Model embedding mengembalikan embedding vektor berikut:

Basis data vektor kemudian menerima permintaan seperti berikut:

Dalam contoh (yang sangat disederhanakan) ini, database mengembalikan lima chunk yang paling relevan dengan kueri pengguna, yang dikirim ke aplikasi dan disertakan dalam prompt LLM.

Kapan memilih RAG vs. LLM, dan kapan menggabungkannya

LLM dan RAG adalah sistem yang saling melengkapi. Karena itu, pertanyaan, “Kapan saya harus memilih LLM dan kapan RAG?” kurang tepat. Sebaliknya, Anda harus bertanya, “Kapan LLM sudah memadai dan kapan RAG optimal?”

Kapan menggunakan LLM tanpa RAG diaktifkan

• Model AI yang Anda pilih memiliki context window yang besar: Jika lebih mudah untuk memasukkan semua informasi atau data yang diperlukan untuk jawaban yang akurat ke dalam prompt Anda, misalnya dengan mengunggah dokumen, hal itu dapat mengurangi latensi dan mencegah masalah terkait retrieval.
• Alur kerja penalaran dan analisis data: Alur kerja analisis dan penalaran yang hanya merujuk pada data yang disediakan dalam prompt tidak memerlukan kemampuan RAG.
• Generasi kode: RAG biasanya tidak diperlukan untuk pekerjaan coding umum, meskipun biasanya digunakan untuk tugas spesifik proyek, seperti mengambil perbaikan sebelumnya atau API dan dokumentasi vendor.

Kapan menggunakan LLM dengan RAG diaktifkan

• Anda memerlukan akses ke informasi terbaru: Jika aplikasi AI perlu mengakses sumber eksternal berisi informasi terbaru untuk menghasilkan jawaban yang akurat, pastikan kemampuan RAG selalu diaktifkan.
• Anda bekerja di bidang khusus: Untuk domain seperti kedokteran, hukum, pendidikan, dan sebagainya, di mana akurasi, detail, dan pengecekan sumber penting, penggunaan hanya LLM sering kali tidak memadai.
• Output harus merujuk pada file internal perusahaan: Jika Anda menggunakan AI, baik secara internal maupun dalam aplikasi yang berhadapan dengan pelanggan, untuk menghasilkan konten berdasarkan dokumen internal perusahaan, baik data, brand kit, dokumentasi, maupun file, RAG menyediakan akses ke informasi tersebut.

RAG dan LLM adalah teknologi yang saling melengkapi dan terus berkembang

RAG menandai inovasi besar dalam evolusi AI. Teknologi ini mengatasi tiga masalah utama: informasi yang usang, memori model yang terbatas, dan kekosongan informasi akibat kurangnya data pelatihan yang relevan, yang sering kali menyebabkan halusinasi. Tentu saja, LLM belum sepenuhnya mengatasi hal ini, tetapi frekuensinya telah berkurang secara signifikan sejak hadirnya RAG.

RAG bukan teknologi statis. Teknologi ini diharapkan membaik di berbagai area, termasuk reranking, latensi selama retrieval dan penggunaan token, pertahanan keamanan terhadap sumber data berbahaya, integrasi data yang diambil dari berbagai sumber, dan banyak lagi. Seiring perkembangan LLM dan AI agen, sistem RAG yang mendukungnya juga akan berkembang.