Hvað er RAG-högun? Ítarleg skilgreining með nákvæmum hagnýtum dæmum

RAG, sem stendur fyrir „retrieval augmented generation“ (heimtuaukin myndun), er ferli þar sem stór mállíkön (LLM) nýta utanaðkomandi upplýsingar til að auka við og bæta úttak sitt. Högun RAG er safn þeirra íhluta og tenginga sem gera RAG mögulega.

Til eru nokkrir ólíkir flokkar RAG og hver þeirra byggir á sinni eigin sérstöku högun. Í grunninn ræður högun RAG-kerfis því á hvaða hátt upplýsingar eru geymdar, sóttar og færðar mállíkani.

Hvað er RAG-högun?

RAG-högun er undirliggjandi uppsetning íhluta (og tilheyrandi getu þeirra) sem knýr tiltekið RAG-kerfi. Allar þessar gerðir högunar byggja á grunnsniðmáti sem oft er kallað „einföld“ eða „barnaleg“ RAG.

Hér er yfirlit í stórum dráttum yfir grunnhögun RAG:

• Upplýsingaveita: Hér eru utanaðkomandi upplýsingarnar geymdar. Þetta getur verið leitarskrá, vigurgagnagrunnur sem heldur utan um mikið magn upplýsinga eða hrátt skjalasafn.
• Heimtueining: Þetta er sá búnaður sem notaður er til að senda fyrirspurnir til upplýsingaveitunnar. RAG-kerfi getur til dæmis notað einfalda lykilorðaleit til að finna viðeigandi textabúta eða flóknari vigurfyrirspurnir til að framkvæma líkindaleit.
• Stjórnunareining: Þetta lag er sá hluti forrits sem byggir á mállíkani og ræsir RAG-ferlið fyrir fyrirmæli notanda, ýmist í samvinnu við mállíkanið eða sjálfstætt. Það tekur einnig sóttu upplýsingarnar saman í aukin fyrirmæli.

Íhlutum RAG-högunar er yfirleitt skipt í tvær leiðir. Innlestrarleiðin tekur við gögnum og skipuleggur þau í leitarbæra upplýsingaveitu. Vigurgagnagrunnar, þar sem miklu magni texta er umbreytt í leitarbært safn vigurgreypinga, eru meðal útbreiddustu útfærslnanna.

Heimtuleiðin tekur fyrirmæli notanda og býr til fyrirspurn sem notuð er til að leita í upplýsingaveitunni. Stjórnandinn bætir síðan sóttu upplýsingunum við inntakssamhengi mállíkansins. Í fulltrúadrifinni og blandaðri RAG-högun geta heimtuleiðirnar verið fleiri en ein.

Gerðir RAG-högunar

Það er villandi að hugsa um RAG sem algjörlega aðgreindar gerðir högunar. Flestir verkfræðingar nálgast verkið á einingaskiptan hátt og innleiða aðskilda íhluti sem henta tilteknum notkunartilvikum. Þótt hægt sé að draga lausleg mörk er mikilvægt að hafa í huga að gerðirnar skarast verulega.

1. Grunn-RAG

Grunn-RAG, einnig kölluð „barnaleg“ eða „einföld“ RAG, er sniðmát högunar fyrir aðrar gerðir RAG.

Undirliggjandi ferlið er tiltölulega einfalt: notandi slær inn fyrirmæli, stjórnandinn metur hvort þörf sé á utanaðkomandi upplýsingum (ýmist sjálfstætt eða í samvinnu við mállíkanið) og mótar og sendir heimtufyrirspurn í samræmi við það.

Utanaðkomandi upplýsingaveitan er oft vigurgagnagrunnur en getur líka verið SQL-gagnagrunnur, vefforritaskil (API), þekkingarnet eða jafnvel „hrátt“ skjalasafn. Þessum viðbótarupplýsingum er síðan bætt við inntakssamhengi mállíkansins.

Fyrir utan SQL-fyrirspurnir og forritaskil eru til tvær meginaðferðir við heimt:

• Orðaleit (lykilorðaleit): Þetta er einföld gerð RAG þar sem lykilorð eru dregin út úr fyrirspurn notanda og borin saman við textabrot sem innihalda þessi lykilorð. Í nútímalegum ferlum getur stjórnandinn gert þetta með svokallaðri strjálli vigurfyrirspurn, sem fangar ekki merkingu.
• Þétt vigurleit (merkingarleit): Þéttar vigurgreypingar fanga merkingu. Stjórnandi getur sent fyrirspurn í gagnagrunn með þéttum vigrum á þann hátt að merking bæði fyrirmæla notandans og upprunaupplýsinganna sé fönguð.

Notkun minnis er einnig mikilvægur hluti af RAG-högun. Hún snýst um það hvernig mállíkan nýtir samhengi úr fyrri samræðum til að móta heimtufyrirspurn og festir hana þannig í víðara samhengi samræðunnar (eða margra samræðna). Samræðu-RAG er venjan í flestum spjallmennum, þótt sum notkunartilvik, svo sem svör við þjónustubeiðnum, kunni að nota RAG fyrir stakar spurningar.

2. Blönduð RAG

Blönduð RAG sameinar tvær ólíkar gerðir heimtar, yfirleitt lykilorðaheimt og merkingarheimt. Lykilorðaleitin finnur samsvarandi hugtök og vigurleitin finnur textabrot með skylda merkingu.

Einnig er hægt að nota aðrar gerðir heimtar, svo sem yfirferð þekkingarnets eða fyrirspurnir í SQL-gagnagrunna. Ferlinu er oft stýrt með leiðarvali, annaðhvort í formi forritaðra reglna eða þannig að líkan flokkar spurninguna (þótt einnig sé hægt að keyra mörg ferli samtímis).

Stjórnandinn sameinar niðurstöðurnar og getur endurraðað þeim áður en hann sendir þær áfram til mállíkansins. Endurröðun felst í því að gefa sóttum bútum einkunn eftir því hversu vel þeir eiga við, svo að mállíkanið forgangsraði þeim upplýsingum sem eiga best við.

3. Aðlögunarhæf RAG

Í aðlögunarhæfri RAG velur leiðarvalseining heimtuaðferð út frá kröfum fyrirmæla notandans og stjórnandinn framkvæmir síðan valið verkflæði.

Í upprunalega rammanum (Adaptive-RAG) gegndi minna líkan hlutverki flokkara og valdi á milli engrar heimtar, eins þreps heimtar eða margþrepa heimtar. Sumar gerðir högunar nota nú í staðinn myndandi líkön eða reglubyggðar brjóstvitsaðferðir.

Þessi högun er vinsæl vegna þess að hún úthlutar reiknigetu í samræmi við hversu flókin fyrirmælin eru og hvaða kröfur þau gera, sem fækkar óþarfa heimtuskrefum fyrir einfaldari fyrirmæli. Hún er algeng í aðstoðarforritum sem fást við margar gerðir spurninga.

4. Leiðréttandi RAG (CRAG)

Leiðréttandi RAG metur sóttar upplýsingar áður en þeim er bætt við inntakssamhengi mállíkansins. Heimtumatseining metur hvort sóttu upplýsingarnar séu viðeigandi og gagnlegar. Það sem einkennir þessa högun er sérstakt mats- og leiðréttingarstig áður en svarið er myndað.

Ef upplýsingarnar reynast ófullnægjandi eða eiga ekki við fyrirmælin eru frekari beiðnir ræstar. Þær geta falið í sér aðrar heimtuaðferðir en notaðar voru við upphaflegu beiðnina, svo sem vefleit eða yfirferð þekkingarnets.

Leiðréttandi RAG er algeng á sviðum þar sem nákvæmni skiptir miklu, svo sem í læknisfræði og lögfræði. Hún krefst þó viðbótarupplýsingaveitu sem getur aukið við upphaflegu textabrotin sem sótt voru.

5. Self-RAG

Í Self-RAG getur líkanið sjálft sent beiðnir eftir að hafa fengið upphaflega inntakssamhengið. Mynduð svör eru metin á móti sóttum heimildum með ígrundunartókum og frekari beiðnir eru sendar í gegnum stjórnandann eftir þörfum. Á hinn bóginn getur mállíkanið líka ákveðið að engrar heimtar sé þörf.

Self-RAG er frábrugðin leiðréttandi RAG að því leyti að mállíkanið dæmir eigið úttak, metur hvort heimtar sé þörf og hvort sótti textinn sé gagnlegur, og fylgist með eigin svörum og breytir þeim eftir þörfum. Leiðréttandi RAG metur hins vegar gæði sóttra upplýsinga áður en svarið er myndað.

Þessi högun hentar sérstaklega vel fyrir flókin fyrirmæli í anda ítarlegrar rannsóknar. Þar sem hún fléttar mat á því hversu vel sóttar upplýsingar eiga við inn í myndun svarsins er hún góður kostur fyrir fyrirmæli sem krefjast gagnreyndra svara.

6. Fulltrúadrifin RAG

Fulltrúadrifin RAG á við um hverja þá gerð RAG sem keyrð er innan vettvangs fyrir gervigreindarfulltrúa. Líkanið beitir rökhugsunargetu sinni til að ákvarða hvers konar upplýsinga er þörf og velur úr tiltækum heimtuleiðum.

Hægt er að ræsa heimt eins oft og þörf krefur og líkanið getur kallað til gervigreindarfulltrúa vegna flóknari fyrirspurna. Mállíkan gæti til dæmis óskað eftir uppflettingu í gagnagrunni til að finna birgi, ræst skjalaleit til að finna viðeigandi samninga og lokið með vefleit til að staðfesta tengiliðaupplýsingar út frá opinberum heimildum.

Fulltrúadrifin RAG er helsta útfærsla högunar í útbreiddum spjallmennum á borð við Perplexity, ChatGPT, Claude og fleiri. Þar sem þessir vettvangar veita kjarnalíkaninu aðgang að mörgum verkfærum og RAG-ferlum getur það valið hvaða gerð heimtar hentar best tilteknum fyrirmælum.

7. Fjölþátta RAG

Fjölþátta RAG sækir samhengi úr ólíkum gerðum miðla. Hún er mikilvæg gerð RAG vegna þess að hún gerir mállíkönum kleift að nálgast upplýsingar, svo sem myndrit og hljóðupptökur, sem annars væru óaðgengilegar.

Undirliggjandi högunin er sú sama og í hverju öðru kerfi. Skráningarferli gæti til dæmis undirbúið myndir fyrir leit með því að umbreyta þeim beint í greypingar. Fulltrúadrifið RAG-kerfi gæti síðan sótt þessar myndir ásamt texta sem tengist þeim merkingarlega og fært þær sjón- og mállíkani til tvíþættrar úrvinnslu.

8. GraphRAG

GraphRAG notar þekkingarnet samhliða vigurleit til að sækja upplýsingar um einindi. Yfirleitt finnur stjórnandinn viðeigandi upphafseinindi, einnig kölluð hnútar, með útdrætti lykilorða eða stundum með undanfarandi vigurleit. Heimtueining fyrir netið fer síðan um þekkingarnetið til að byggja upp víðara samhengi.

Sem dæmi getur mállíkan, til að bregðast við beiðni um ítarlega sundurliðun á vöruflokki, ræst vigurleit til að bera kennsl á tiltekin einindi (vörur). Stjórnandinn ræsir síðan leit í þekkingarneti til að finna tengd einindi, svo sem birgja, sölustaði, umsagnir og svo framvegis.

9. Greinuð RAG

Þar sem blönduð RAG-högun getur notað ólíkar aðferðir við heimt vísar greinuð RAG til þess að keyra margar fyrirspurnir, svokallaðar greinar, samtímis. Hver grein getur sent fyrirspurn til sérstakrar upplýsingaveitu, eða greinarnar geta leitað samhliða í sömu veitu með ólíkum fyrirspurnum eða síum. Fulltrúadrifin RAG-högun notar oft greinaða RAG.

10. HyDE (Hypothetical Document Embeddings, greypingar tilgátuskjala)

HyDE er nýstárleg gerð RAG þar sem mállíkan býr til tilgátuskjal sem sýnir hvernig ákjósanlegt svar gæti litið út. Þetta „tilgátuskjal“ er síðan notað til að búa til fyrirspurn sem skilar nákvæmari heimt. Þótt viðeigandi þekking sé ekki til staðar í færibreytum mállíkansins er hugmyndin sú að textabrot sem líkist svari geti samsvarað viðeigandi skjölum betur en stutt spurning eða óljós fyrirmæli myndu gera.

Dæmi um einfalda RAG-högun: Vigurgagnagrunnur

Grunn-RAG er undirstaða flóknari gerða högunar. Í einföldu RAG-kerfi sem notar vigurgagnagrunn er upprunaskjölunum skipt í smærri hluta (búta) og þeim umbreytt í þéttar greypingar. Þegar notandi slær inn fyrirmæli býr stjórnandinn til fyrirspurn, kóðar hana og sendir hana í gagnagrunninn til að finna viðeigandi textabrot.

Hér er ferlinu lýst skref fyrir skref:

1. Miklu magni texta er umbreytt í vigra með sjálfvirku innlestrarferli og greypingarlíkani á borð við BERT.
2. Gagnagrunnsforritið skipuleggur, skráir og geymir vigrana svo að hægt sé að leita hratt.
3. Notandinn slær inn fyrirmæli í spjallmenni (á borð við Perplexity).
4. Stjórnandi forritsins kóðar fyrirmælin (með greypingarlíkani) til að sækja viðeigandi upplýsingar úr vigurgagnagrunninum.
5. Vigurgagnagrunnurinn skilar viðeigandi bútum og stjórnandinn bætir þeim við inntakssamhengið („stóru fyrirmælin“) og færir það mállíkaninu.
6. Mállíkanið nýtir viðbótarsamhengið til að mynda svar ásamt innri þekkingu sinni (sem geymd er í færibreytuvogtölum þess).

Stækka

Dæmi um þróaða RAG-högun: Fulltrúadrifin RAG

Fulltrúadrifin RAG vísar til undirliggjandi högunar RAG-kerfa innan vettvangs fyrir gervigreindarfulltrúa. Fulltrúadrifin RAG-ferli eru gjarnan flókin vegna þess að gervigreindarfulltrúar geta kallað á ólík verkfæri og ferli eftir eðli fyrirmælanna og sett marga fulltrúa í gang ef þörf krefur.

Hér er hagnýtt dæmi um ferlið:

1. Notandi slær inn flókna spurningu sem krefst ítarlegrar rannsóknar á tilteknu efni. Í þessu dæmi skulum við segja að fyrirmælin séu „Gerðu spá um tekjur fyrirtækisins næstu sex mánuði í ljósi stórra atburða á sviði alþjóðastjórnmála.“
2. Mállíkanið metur sem svo að þörf sé á blöndu af RAG-fyrirspurnum þvert á ólíkar gerðir efnis.
3. Þrír ólíkir gervigreindarfulltrúar eru settir í gang fyrir (a) vigurleit, (b) heimildastoð með vefleit og (c) myndleit (fjölþátta).
4. Fulltrúarnir leita að viðeigandi upplýsingum, svo sem fréttum og innri fjárhagsgögnum, í gegnum stjórnandann með tiltækum heimtuverkfærum.
5. Mállíkanið ber sóttu niðurstöðurnar saman við rannsóknarspurningu hvers fulltrúa og raðar þeim eftir því hversu vel þær eiga við.
6. Mállíkanið metur upplýsingarnar og ræsir viðbótarleit í gegnum einstaka fulltrúa þar sem upplýsingar vantar.
7. Þegar nægar upplýsingar hafa verið sóttar býr mállíkanið til sviðsmyndaspár byggðar á fyrirliggjandi fjárhagstölum (sóttum úr innri gögnum) og kallar á reiknivélarverkfæri til að áætla tekjur fyrir hverja sviðsmynd.
8. Mállíkanið myndar lokasvar út frá sóttum upplýsingum og útreikningum og vísar í heimildir eftir þörfum.

Stækka

Hvað er fram undan hjá RAG?

Nýsköpun um þessar mundir snýst um að auka dýpt og hraða núverandi RAG-högunar, bæta nákvæmni við heimt margmiðlunarefnis og byggja kerfi sem eru hönnuð til að vinna með nýjustu upplýsingar hverju sinni.

Hér eru þrjár stefnur sem móta nú þróun rannsókna:

• Ítarleg rannsókn þvert á margar heimildir: Hér er um að ræða RAG-högun sem getur skipulagt leit, keyrt margar greinar þvert á ólíkar heimildir, metið sótt gögn og bestað mynduð svör sjálf. Fulltrúadrifin RAG sem getur sinnt öllum þessum verkefnum verður sífellt hraðari og hagkvæmari.
• Fjölþátta notkun: Heimtuferli verða sífellt betri í að vinna með myndir og myndskeið. Þau geta í auknum mæli greint tilteknar gerðir upplýsinga í flóknum fjölþátta gögnum, svo sem löngum myndskeiðum og ítarlegum skýringarmyndum.
• Að byggja svör á síbreytilegum upplýsingum: Mállíkanaforrit geta sótt í rauntímaupplýsingaveitur (svo sem myndstrauma og skynjara) til að fá inntakssamhengi. Kerfi geta einnig búið til margþætt upplýsinganet, til dæmis með GraphRAG, til að túlka þessi gögn.

RAG er grundvallaratriði í því hvernig forrit sem byggja á mállíkönum virka. Hún gerir fjölbreyttum hópi notenda, allt frá almennum neytendum til fyrirtækja á sérhæfðum sviðum, kleift að vinna bug á vandamálum tengdum ofskynjunum, ófullnægjandi þjálfunargögnum og skorti á aðgangi að sérhæfðri innri þekkingu.

Þess vegna eru RAG-kerfi og undirliggjandi högun þeirra eitt af þeim sviðum gervigreindarrannsókna sem þróast hraðast og eru mest spennandi.