RAG ve LLM: Teknik Ayrıntılar (Tanımlar, Farklar, Kullanım Alanları)

LLM'ler, eğitim verilerindeki kalıplardan öğrenilen parametreleri kullanarak yanıtlar üretir. Bu parametreler yakın zamandaki veya eksiksiz bilgileri yansıtmayabileceğinden, retrieval-augmented generation anlamına gelen RAG, dış kaynaklardan alınan verileri LLM’nin giriş bağlamına ekleyerek süreci destekler. Bir AI aracı, LLM'nin dışarıdaki bilgileri almasını sağlar, böylece LLM'nin üretim sürecini zenginleştirir.

Aslında seçenek RAG ile LLM arasında değildir. Seçenek, hibrit bir yaklaşım ile yalnızca LLM kullanan bir yaklaşım arasındadır.

Bir LLM'nin şirket dokümantasyonuna, veritabanlarına veya hızlı değişen bilgilere erişmesi gerektiğinde RAG gereklidir. Yalnızca LLM kullanan bir yaklaşım, tüm girdilerin kullanıcı tarafından sağlanabildiği belirli idari, veri işleme ve içerik oluşturma görevleri için uygundur.

RAG ve LLM: Temel farklar nelerdir?

• RAG ve LLM'ler birbirini tamamlayan sistemlerdir. Bir AI modelini RAG olmadan kullanabilirsiniz (bu durumda yalnızca kendi mevcut parametrelerine dayanır), ancak bir modeli olmayan bir RAG sistemini kullanamazsınız.
• RAG, LLM'lerle ilgili üç temel sorunu aşmak için tanıtıldı: güncel olmayan bilgiler, halüsinasyonlu yanıtlar ve üçüncü taraf kaynaklara karşı doğrulama eksikliği.
• RAG, LLM'leri doğrulanmış dahili dokümantasyon, veritabanları ve API uç noktalarıyla buluşturarak yapay zekâyı gerçek dünya iş durumlarında çok daha etkili hale getirir.
• Başlıca RAG kullanım alanları arasında müşteri destek sohbet botları, hızlı değişen verilere dayalı sorgular (örneğin sektör haberleri) ve doğruluk ile kaynak doğrulamasının önemli olduğu tıp ve hukuk gibi uzmanlık alanları bulunur.
• RAG'in üç ana türü vardır: basit RAG, modüler RAG ve gelişmiş RAG. Basit RAG, en iyi şekilde doğrudan bilgi alma olarak anlaşılırken, modüler ve gelişmiş RAG sorgu yeniden yazma ve parça optimizasyonu gibi ek işlevler ekler.

Büyük dil modeli (LLM) nedir?

LLM veya büyük dil modeli, ince ayar yapılmış parametreleri kullanarak içerik üreten bir sistemdir. Bu parametreler, bir LLM sözlüğündeki tüm belirteçlere atanan olasılıkları belirler ve belirli bir dizide sıradaki belirtecin hangisi olma olasılığının en yüksek olduğunu gösterir.

RAG’in LLM’lerden nasıl farklı çalıştığını daha iyi anlamak için, üretken yapay zekânın temel düzeyde nasıl çalıştığına bakmak faydalıdır:

1. Belirteçleştirme: Bir kullanıcının istemi, kelimeler, kelime parçaları veya tek karakterler olabilen belirteçlere ayrılır.
2. Gömme: Belirteçler, vektörler olarak adlandırılan sayısal gösterimlere (sayı dizilerine) dönüştürülür; kod çözücüyü de içeren sinir ağı bunları işleyebilir.
3. Kod çözme: Kod çözücünün katmanları (LLM’in sinir ağının büyük bir kısmını oluşturan) bu vektörleri, anlamı yakalamak için dikkat adı verilen bir süreç kullanarak işler. Bu süreç, her belirtecin dizideki diğer belirteçlerle ne kadar güçlü bir ilişki kurması gerektiğini belirler.
4. Puanlama: Model, önceden var olan sözlüğündeki her belirtece bir uyumluluk olasılığı atar ve dizi için olası bir sonraki belirteci seçer.

Önemli nokta, bir LLM'nin yalnızca mevcut parametrelerine ve bağlam penceresindeki belirteçlere dayanarak çıktı üretebilmesidir. Eğitim sırasında, bir LLM'nin eksik metin parçalarını tamamlaması milyarlarca kez istenir ve parametreleri, belirteçlere olasılık atayana kadar (ve böylece metni güvenilir biçimde tamamlayana kadar) ayarlanır.

Örneğin, bir AI modeline “Şirketimizin 2026 para iadesi politikası ne diyor?” diye sorduğunuzu hayal edin. LLM, yalnızca destek dokümantasyonunuz kullanılarak ince ayar yapılmamış mevcut parametrelerine dayanarak sonraki belirteçleri tahmin edebilir. Bu soruyu herhangi bir ek bağlam olmadan sorarsanız, ya anlamlı bir yanıt veremeyecek ya da yanlış bir cevabı halüsinasyon olarak üretecektir.

Almayla zenginleştirilmiş üretim (RAG) nedir?

RAG (retrieval-augmented generation), dış sistemlerden alınan bilgilerin bir LLM istemine dahil edilmesi sürecidir.

Temel LLM süreci, gömme ve olasılıksal belirteç eşleştirmeyi içerir ve aynı kalır. RAG, kullanıcının isteminin ek verilerle genişletildiği bir ön adım ekler.

RAG'in nasıl çalıştığına genel bir bakış:

1. Bilgi hazırlığı: Bir bilgi kaynağı hazırlanır. Bu, bir belge kümesi, bir vektör veritabanı, bir bilgi grafiği veya canlı bir dizin (örneğin AI araması için) olabilir.
2. İsteme verme: Bir kullanıcı şu örnekteki gibi bir istem girer: “Bugün Londra'da yürüyüşe çıkmalı mıyım?”
3. Alma: Dış bilgi kaynağı, AI aracının alıcısı tarafından sorgulanır. İstemi gömerek bir vektöre dönüştürebilir ve ardından bir vektör veritabanını sorgulayabilir. Alternatif olarak, bir API çağrısı, anahtar kelime eşleştirme veya bilgi grafiği dolaşımı gibi başka bir yöntem kullanabilir.
4. Ekleme: Bu bilgiler kullanıcının özgün istemine eklenir. Londra'da yürüyüş hakkındaki sorunun örneğinde bu, Londra'daki hava durumu bilgilerini ve popüler yürüyüş rotalarının mevcut erişilebilirliğini içerebilir.
5. Yanıt üretimi: LLM, genişletilmiş istemi kullanarak her zamanki şekilde bir yanıt üretir.

Sahne arkasında, alınan metin giriş bağlamına eklenir, belirteçlere dönüştürülür ve gömülür. Model daha sonra bu ek bağlamı kod çözücüsü aracılığıyla işler ve bu da çıktı belirteç olasılıklarını değiştirir.

Genel olarak konuşursak, RAG üç alt türe ayrılabilir. Basit RAG, bilgiyi alıp isteme besleyerek temel RAG sürecini izler. Gelişmiş RAG, sorgu yeniden yazma ve birden çok sorgu geçişi gibi ek işlevler ekler. Modüler RAG, farklı gelişmiş işlevlerin bileşen olarak ele alınıp gerektiğinde birleştirilebildiği bir mimari türünü ifade eder.

RAG ve LLM: Kullanım alanlarına genel bakış

RAG, kullanıcıların güncel verilere erişmesini sağlar. Bu da LLM çıktılarını halüsinasyonlara ve bilgi eksikliklerine daha az eğilimli hale getirir. Bir çıktıda kullanılan bilgilerin kaynaklarını görmek istiyorsanız, RAG da önemlidir; çünkü temellendirilmemiş LLM yanıtları atıflarla birlikte gelmez.

Büyüt

RAG kullanım alanları

• Zamana duyarlı bilgi talepleri: Hızla güncelliğini yitiren bilgilere yönelik tüm sorgular —bu ister hava durumu tahmini kadar basit, ister yükselen bir haber hikâyesinin ayrıntılı analizi kadar karmaşık olsun— doğrulanmış üçüncü taraf kaynaklara dayanmalıdır.
• Şirket dokümantasyonu: Kullanıcıların şirket veya ürün dokümantasyonuyla ilgili sorular sorduğu, dahili veya müşteriye dönük AI sohbet botları, özellikle dokümantasyon sık güncelleniyorsa, RAG etkinleştirilmiş olmalıdır.
• Müşteri desteği: Müşteri sohbet botlarının doğru yanıtlar verebilmesi için güncel ve ayrıntılı destek dokümantasyonuna erişmesi gerekir.
• Uzmanlık gerektiren alanlar (tıp, hukuk, finans vb.): Alan özelindeki derlemeler üzerinde eğitilmemiş LLM'ler (özellikle ana akım modeller) genellikle uzmanlık gerektiren istemlerin inceliklerini ele almakta zorlanır.

LLM kullanım alanları

• İdari görevler: LLM'ler temel görevleri en düşük gecikmeyle tamamlayabilir. Dış bilgi gerekmeyen yazım denetimi veya özetleme gibi temel yazma ve idari görevler için RAG gereksizdir.
• Yaratıcı görevler: Kısa bir hikâye veya görüntü oluşturma gibi bazı yaratıcı görevler, yalnızca özgün istemde sağlanan bilgilere ihtiyaç duyar.
• Akıl yürütme ve veriye dayalı görevler: Büyük bir veri kümesiyle çalışıyorsanız, bir LLM'nin akıl yürütme ve analiz işlevlerini uygulamak için dış bilgiye erişmesi gerekmez.
• Genel kodlama: Bir kodlama iş akışı özel bir kod tabanına veya dokümantasyona erişim gerektirebilirken, LLM'ler hata düzeltme ve işlev oluşturma gibi genel kodlama görevlerini dış kaynaklara başvurmadan gerçekleştirmede oldukça yeteneklidir.

RAG, uzun bağlamlı LLM, aracı yapay zeka ve temellendirme ile karşılaştırma

RAG ile LLM'ler arasındaki ayrım açısından ilgili olan üç kavram vardır. Bunlar uzun bağlamlı LLM'ler, aracı yapay zeka ve temellendirmedir.

Uzun bağlamlı LLM'ler bazen RAG etkin sistemlerin yerine kullanılabilirken, aracı yapay zeka ve temellendirme onlarla eş anlamlıdır veya onlarla birlikte çalışır.

Uzun bağlamlı LLM'ler

Bunlar, bazı yaygın ticari modellerin bir milyon belirtece kadar çalışan büyük bağlam pencerelerine sahip modellerdir.

İlgili materyal bir modelin bağlam penceresine sığabiliyor ve metin biçiminde mevcutsa, yalnızca LLM kullanan bir yaklaşımın bazı avantajları vardır. Alma hatası olasılığını azaltabilir, daha kapsamlı bağlam sağlayabilir ve kapsamlı RAG mimarisi kurulumuna duyulan ihtiyacı ortadan kaldırabilir.

Aracı yapay zeka

Bir ajan, karmaşık görevleri yerine getirmek için RAG yetenekleri de dahil olmak üzere birden fazla aracı kullanan bir sistemdir. RAG, aracı yapay zekânın bir bileşenidir ve bir ajan, istemin içeriğine bağlı olarak genellikle farklı alma yöntemleri türlerini (örn. web araması ve vektör araması) kullanır.

Temellendirme

Temellendirme, bir LLM’nin yanıtının doğruluğunu artırmak için kanıt veya veri kullanmaya yönelik daha geniş süreci ifade eder. RAG, temellendirmenin bir biçimidir; ancak teknik bir belgeyi bir bağlam penceresine eklemek de temellendirme sayılır.

RAG ve LLM: Gerçek dünya örnekleri

RAG'in, RAG olmadan LLM kullanımına kıyasla nasıl çalıştığını daha iyi anlamak için, Perplexity kullanılarak yapılan basit bir gerçek dünya örneğine ve bir vektör veritabanının sorgulandığı varsayımsal bir kurumsal duruma bakabiliriz.

Basit istemle RAG ve LLM

Perplexity'den “Bugün Londra'da yürüyüşe çıkmalı mıyım?” sorusu AI web araması (bir RAG biçimi) kapalıyken istendiğinde elde edilen çıktı (iki cümleyle sınırlı) şöyle:

Evet—hava makul ölçüde kuruysa ve zamanınız varsa, bugün Londra'da bir yürüyüş ferahlatıcı bir değişiklik olabilir. South Bank, Regent’s Canal boyunca veya Hyde Park içinden bir rota seçin ve ihtiyaten hafif bir yağmurluk alın.

LLM dış kaynakları kontrol edebildiğinde istemin nasıl göründüğünü bununla karşılaştırın:

Evet, bugün Londra'da yürüyüş için güzel bir gün: tahmin, güneşli aralıklarla birlikte yaklaşık 19–21°C civarında ılıman sıcaklıklar ve yağmur ihtimalinin çok düşük olduğunu gösteriyor. Parçalı bulutlu gökyüzü ve hafif bir esintiyle, South Bank gibi parkları veya nehir kıyısı rotalarını keşfetmek için koşullar oldukça uygun.

İkisi arasında benzerlikler vardır; çünkü LLM aynı temel belirteç puanlama sürecini kullanır. Ancak ikinci örnek, onu çok daha kullanışlı hale getiren ayrıntılı hava durumu bilgilerini içerir.

Kurumsal bir vektör veritabanıyla RAG ve LLM

Bir kullanıcının bir bankacılık uygulamasındaki uygulama içi sohbet botuna şu soruyu sorduğunu hayal edin: “En son ekstremi nereden indirebilirim?”

Uygulamayı yöneten banka, güncel ürün dokümantasyonunun gömmelerinden oluşan bir veritabanı oluşturmuş ve bunu sohbet botunun RAG hattına bağlamıştır. Dokümantasyon yaklaşık 1.000 kaynak belgeden oluşur; bu belgeler daha küçük parçalara ayrılmış ve alma için vektörlere dönüştürülmüştür.

Kullanıcının sorgusu bir gömme modeline gönderilir ve uygulama bu vektörü veritabanına gönderir; veritabanı da ilgili parçaları döndürür.

Gömme modeli şöyle bir istek alırdı:

Gömme modeli aşağıdaki vektör gömmesini döndürür:

Ardından vektör veritabanı aşağıdaki gibi bir istek alır:

Bu (oldukça basitleştirilmiş) örnekte, veritabanı kullanıcının sorgusuyla en alakalı beş parçayı döndürür; bunlar uygulamaya gönderilir ve LLM istemine dahil edilir.

RAG ne zaman, LLM ne zaman tercih edilmeli ve ne zaman birleştirilmeli

LLM'ler ve RAG birbirini tamamlayan sistemlerdir. Bu nedenle, “Ne zaman bir LLM seçmeliyim ve ne zaman RAG?” sorusu yerinde değildir. Bunun yerine, “Bir LLM ne zaman yeterli olur ve RAG ne zaman en uygunudur?” diye sormalısınız.

RAG etkinleştirilmeden bir LLM ne zaman kullanılır

• Seçtiğiniz AI modelinin büyük bir bağlam penceresi vardır: Doğru bir yanıt için gerekli tüm bilgiyi veya veriyi isteminize eklemek, örneğin bir belge yüklemek gibi, daha kolayıysa bunu yapmak gecikmeyi azaltabilir ve alma ile ilgili sorunları önleyebilir.
• Akıl yürütme ve veri analizi iş akışları: Yalnızca bir istemde sağlanan verileri referans alan analiz ve akıl yürütme iş akışları RAG yeteneklerine ihtiyaç duymaz.
• Kod üretimi: Genel kodlama çalışmaları için RAG genellikle gerekli değildir; ancak önceki düzeltmeleri veya satıcı API'lerini ve dokümantasyonunu getirmek gibi projeye özgü görevlerde genellikle kullanılır.

RAG etkinleştirilmiş bir LLM ne zaman kullanılır

• Güncel bilgiye erişmeniz gerekir: Bir AI uygulamasının doğru bir yanıt üretmek için güncel bilgilerin dış kaynaklarına erişmesi gerekiyorsa, RAG yeteneklerinin her zaman etkinleştirildiğinden emin olun.
• Uzmanlık gerektiren bir alanda çalışıyorsunuz: Tıp, hukuk, eğitim ve benzeri alanlarda doğruluk, ayrıntı ve kaynak kontrolü önemliyse, yalnızca LLM kullanımı çoğu zaman yetersiz kalacaktır.
• Çıktılar dahili şirket dosyalarına referans vermelidir: Dahili şirket belgelerine, veriye, bir marka kiti, dokümantasyon veya dosyalara dayalı içerik üretmek için ister dahili ister müşteriye dönük bir uygulamada AI kullanıyorsanız, RAG bu bilgilere erişim sağlar.

RAG ve LLM'ler birbirini tamamlayan, gelişen teknolojilerdir

RAG, yapay zekânın evriminde büyük bir yeniliği temsil etti. Üç büyük sorunu ele alır: güncelliğini yitirmiş bilgiler, sınırlı model belleği ve ilgili eğitim verilerinin eksikliğinden kaynaklanan ve çoğu zaman halüsinasyonlara yol açan bilgi boşlukları. Elbette LLM'ler bunları tamamen aşmış değildir, ancak RAG'in ortaya çıkmasıyla bu durumların görülme sıklığı önemli ölçüde azalmıştır.

RAG statik bir teknoloji değildir. Yeniden sıralama, alma sırasında gecikme ve belirteç kullanımı, tehlikeli veri kaynaklarına karşı güvenlik savunmaları, alınan verilerin birden fazla kaynaktan entegre edilmesi ve daha fazlası dahil olmak üzere bir dizi alanda gelişmesi beklenmektedir. LLM'ler ve aracı yapay zeka gelişmeye devam ettikçe, bunları destekleyen RAG sistemleri de gelişecektir.