RAG আর্কিটেকচার কী? বিস্তারিত ব্যবহারিক উদাহরণসহ পূর্ণাঙ্গ সংজ্ঞা

RAG, অর্থাৎ রিট্রিভাল অগমেন্টেড জেনারেশন (retrieval augmented generation), এমন একটি প্রক্রিয়া যেখানে LLM বাহ্যিক তথ্য ব্যবহার করে তাদের আউটপুট আরও বিস্তৃত ও উন্নত করে। RAG আর্কিটেকচার হলো সেই উপাদান ও সংযোগগুলোর সমষ্টি, যা RAG-কে সম্ভব করে তোলে।

RAG-এর বেশ কয়েকটি ভিন্ন শ্রেণি রয়েছে, এবং প্রতিটিই নিজস্ব স্বতন্ত্র আর্কিটেকচারে চলে। মূলত, একটি RAG সিস্টেমের আর্কিটেকচারই নির্ধারণ করে কোন স্বতন্ত্র উপায়ে তথ্য সংরক্ষণ করা হবে, পুনরুদ্ধার করা হবে এবং LLM-কে সরবরাহ করা হবে।

RAG আর্কিটেকচার কী?

RAG আর্কিটেকচার হলো উপাদানগুলোর (এবং সেগুলোর সংশ্লিষ্ট সক্ষমতার) মৌলিক বিন্যাস, যা একটি নির্দিষ্ট RAG সিস্টেমকে চালিত করে। এই সব আর্কিটেকচারই একটি ভিত্তিগত টেমপ্লেটের ওপর গড়ে ওঠে, যাকে প্রায়ই "সিম্পল" বা “নেইভ” RAG বলা হয়।

ভিত্তিগত RAG আর্কিটেকচারের একটি সংক্ষিপ্ত সার্বিক চিত্র এখানে দেওয়া হলো:

• তথ্যের উৎস: এখানেই বাহ্যিক তথ্য সংরক্ষিত থাকে। এটি হতে পারে একটি সার্চ ইনডেক্স, বিপুল পরিমাণ তথ্যের প্রতিনিধিত্বকারী একটি ভেক্টর ডেটাবেস, কিংবা একটি অপরিশোধিত ডকুমেন্ট রিপোজিটরি।
• রিট্রিভাল উপাদান: এটি সেই প্রক্রিয়া, যার মাধ্যমে তথ্যের উৎসে কোয়েরি করা হয়। উদাহরণস্বরূপ, একটি RAG সিস্টেম প্রাসঙ্গিক টেক্সট চাঙ্ক খুঁজে পেতে সাধারণ কিওয়ার্ড সার্চ ব্যবহার করতে পারে, অথবা সাদৃশ্য অনুসন্ধানের (similarity search) জন্য আরও জটিল ভেক্টর কোয়েরি ব্যবহার করতে পারে।
• অর্কেস্ট্রেশন উপাদান: এই স্তরটি LLM-ভিত্তিক অ্যাপ্লিকেশনের সেই অংশ, যা ব্যবহারকারীর প্রম্পটের জন্য RAG পাইপলাইন শুরু করে—LLM-এর সঙ্গে মিলে অথবা স্বাধীনভাবে। এটি পুনরুদ্ধার করা তথ্য একত্র করে একটি সম্প্রসারিত প্রম্পটও তৈরি করে।

RAG আর্কিটেকচারের উপাদানগুলো সাধারণত দুটি পথে বিন্যস্ত থাকে। ইনজেশন পথ ডেটা গ্রহণ করে এবং সেটিকে অনুসন্ধানযোগ্য তথ্যের উৎসে সাজায়। ভেক্টর ডেটাবেস, যেখানে বিপুল পরিমাণ টেক্সটকে ভেক্টর এমবেডিংয়ের একটি অনুসন্ধানযোগ্য রিপোজিটরিতে রূপান্তর করা হয়, সবচেয়ে বহুল ব্যবহৃত প্রয়োগগুলোর একটি।

রিট্রিভাল পথ ব্যবহারকারীর প্রম্পট গ্রহণ করে এবং তথ্যের উৎসে অনুসন্ধানের জন্য একটি কোয়েরি তৈরি করে। এরপর অর্কেস্ট্রেটর পুনরুদ্ধার করা তথ্য LLM-এর কনটেক্সট ইনপুটে যোগ করে। এজেন্টিক ও হাইব্রিড RAG আর্কিটেকচারে একাধিক রিট্রিভাল পথ থাকতে পারে।

RAG আর্কিটেকচারের ধরন

RAG-কে সম্পূর্ণ আলাদা আলাদা আর্কিটেকচারের দৃষ্টিতে দেখা বিভ্রান্তিকর। বেশিরভাগ ইঞ্জিনিয়ার মডিউলার পদ্ধতি অনুসরণ করেন এবং নির্দিষ্ট ব্যবহারের ক্ষেত্রের সঙ্গে মানানসই আলাদা আলাদা উপাদান প্রয়োগ করেন। মোটামুটি সীমারেখা টানা সম্ভব হলেও মনে রাখা জরুরি যে আর্কিটেকচার মডেলগুলোর মধ্যে উল্লেখযোগ্য পারস্পরিক মিল রয়েছে।

১. বেসিক RAG

বেসিক RAG, যাকে “নেইভ” বা “সিম্পল” RAG-ও বলা হয়, অন্যান্য ধরনের RAG-এর আর্কিটেকচারাল টেমপ্লেট।

মূল প্রক্রিয়াটি তুলনামূলকভাবে সরল: ব্যবহারকারী একটি প্রম্পট লেখেন, অর্কেস্ট্রেটর নির্ধারণ করে বাহ্যিক তথ্যের প্রয়োজন আছে কি না (স্বাধীনভাবে অথবা LLM-এর সঙ্গে মিলে), এবং সেই অনুযায়ী একটি রিট্রিভাল কোয়েরি তৈরি করে পাঠায়।

বাহ্যিক তথ্যের উৎস সাধারণত একটি ভেক্টর ডেটাবেস হয়, তবে এটি একটি SQL ডেটাবেস, ওয়েব API, নলেজ গ্রাফ, এমনকি একটি “অপরিশোধিত” ডকুমেন্ট রিপোজিটরিও হতে পারে। এরপর এই অতিরিক্ত তথ্য LLM-এর ইনপুট কনটেক্সটে যোগ করা হয়।

SQL কোয়েরি ও API-এর বাইরে রিট্রিভাল পদ্ধতি মূলত দুই ধরনের:

• লেক্সিক্যাল সার্চ (কিওয়ার্ড সার্চ): এটি RAG-এর একটি সরল রূপ, যেখানে ব্যবহারকারীর কোয়েরি থেকে কিওয়ার্ড বের করে সেই কিওয়ার্ডযুক্ত টেক্সট অংশের সঙ্গে মেলানো হয়। আধুনিক পাইপলাইনে এ কাজের জন্য অর্কেস্ট্রেটর স্পার্স ভেক্টর কোয়েরি নামে একটি পদ্ধতি ব্যবহার করতে পারে, যা অর্থ ধারণ করে না।
• ডেন্স ভেক্টর সার্চ (সিমান্টিক সার্চ): ডেন্স ভেক্টর এমবেডিং অর্থ ধারণ করে। অর্কেস্ট্রেটর এমনভাবে একটি ডেন্স ভেক্টর ডেটাবেসে কোয়েরি করতে পারে, যাতে ব্যবহারকারীর প্রম্পট ও উৎস তথ্য—উভয়ের অর্থই ধরা পড়ে।

মেমরির ব্যবহারও RAG আর্কিটেকচারের একটি গুরুত্বপূর্ণ অংশ। এটি বোঝায়, LLM কীভাবে আগের চ্যাটের কনটেক্সট ব্যবহার করে একটি রিট্রিভাল কোয়েরি তৈরি করে এবং এর মাধ্যমে কোয়েরিটিকে আলোচনার (বা একাধিক আলোচনার) বৃহত্তর কনটেক্সটে প্রোথিত করে। বেশিরভাগ চ্যাটবটের ক্ষেত্রে কনভারসেশনাল RAG প্রচলিত রীতি, যদিও সাপোর্ট টিকিটের উত্তর দেওয়ার মতো কিছু ক্ষেত্রে সিঙ্গেল-কোয়েশ্চন RAG ব্যবহার করা হতে পারে।

২. হাইব্রিড

হাইব্রিড RAG দুটি ভিন্ন ধরনের রিট্রিভালকে একত্র করে, সাধারণত কিওয়ার্ড ও সিমান্টিক রিট্রিভাল। কিওয়ার্ড সার্চ মিলে যাওয়া শব্দ খুঁজে বের করে, আর ভেক্টর-ভিত্তিক সার্চ সম্পর্কিত অর্থ বহন করে এমন অংশ খুঁজে বের করে।

নলেজ গ্রাফ ট্রাভার্সাল বা SQL ডেটাবেস কোয়েরির মতো অন্যান্য রিট্রিভাল পদ্ধতিও ব্যবহার করা হতে পারে। প্রক্রিয়াটি প্রায়ই রাউটিং লজিক দ্বারা পরিচালিত হয়—হয় প্রোগ্রাম করা নিয়মের আকারে, নয়তো মডেলের মাধ্যমে প্রশ্নটির শ্রেণিবিন্যাসের আকারে (যদিও একাধিক পাইপলাইন একই সঙ্গেও চলতে পারে)।

অর্কেস্ট্রেটর ফলাফলগুলো একত্র করে এবং LLM-এর কাছে পাঠানোর আগে সেগুলো রির‍্যাঙ্ক করতে পারে। রির‍্যাঙ্কিং হলো পুনরুদ্ধার করা চাঙ্কগুলোকে প্রাসঙ্গিকতা স্কোর দেওয়ার প্রক্রিয়া, যাতে LLM সবচেয়ে প্রযোজ্য তথ্যকে অগ্রাধিকার দেয়।

৩. অ্যাডাপটিভ RAG

অ্যাডাপটিভ RAG-এ একটি রাউটিং উপাদান ব্যবহারকারীর প্রম্পটের প্রয়োজন অনুযায়ী একটি রিট্রিভাল কৌশল বেছে নেয়, এবং তারপর অর্কেস্ট্রেটর নির্বাচিত ওয়ার্কফ্লোটি সম্পাদন করে।

মূল ফ্রেমওয়ার্কে (Adaptive-RAG), একটি ছোট মডেল ক্লাসিফায়ার হিসেবে কাজ করত এবং কোনো রিট্রিভাল না করা, একধাপের রিট্রিভাল, নাকি বহুধাপের রিট্রিভাল—এগুলোর মধ্য থেকে বেছে নিত। কিছু আর্কিটেকচার এখন এর পরিবর্তে জেনারেটিভ মডেল বা নিয়মভিত্তিক হিউরিস্টিক ব্যবহার করে।

এটি একটি জনপ্রিয় আর্কিটেকচার, কারণ এটি প্রম্পটের জটিলতা ও প্রয়োজন অনুযায়ী প্রসেসিং ক্ষমতা বরাদ্দ করে এবং সহজ প্রম্পটের ক্ষেত্রে অপ্রয়োজনীয় রিট্রিভাল ধাপ কমিয়ে আনে। একাধিক ধরনের প্রশ্ন সামলায় এমন অ্যাসিস্ট্যান্টে এটি বেশ প্রচলিত।

৪. কারেক্টিভ RAG (CRAG)

কারেক্টিভ RAG পুনরুদ্ধার করা তথ্য LLM-এর কনটেক্সট ইনপুটে যোগ করার আগে সেটির মূল্যায়ন করে। একটি রিট্রিভাল ইভ্যালুয়েটর যাচাই করে যে পুনরুদ্ধার করা তথ্য প্রাসঙ্গিক ও উপযোগী কি না। এর স্বতন্ত্র আর্কিটেকচারাল বৈশিষ্ট্য হলো উত্তর তৈরির আগে সুস্পষ্ট মূল্যায়ন-ও-সংশোধন ধাপ।

তথ্য অসম্পূর্ণ বা প্রম্পটের জন্য অপ্রযোজ্য বলে দেখা গেলে অতিরিক্ত অনুরোধ চালু হবে। এগুলোতে মূল অনুরোধে ব্যবহৃত পদ্ধতির চেয়ে ভিন্ন রিট্রিভাল পদ্ধতি থাকতে পারে, যেমন ওয়েব সার্চ বা নলেজ গ্রাফ ট্রাভার্সাল।

চিকিৎসা ও আইনের মতো যেসব ক্ষেত্রে নির্ভুলতা গুরুত্বপূর্ণ, সেখানে কারেক্টিভ RAG বেশ প্রচলিত। তবে এর জন্য তথ্যের একটি অতিরিক্ত উৎস প্রয়োজন, যা মূল পুনরুদ্ধার করা অংশগুলোর পরিপূরক হতে পারে।

৫. সেলফ-RAG

সেলফ-RAG-এ প্রাথমিক কনটেক্সট ইনপুট পাওয়ার পর মডেল নিজেই অনুরোধ শুরু করতে পারে। রিফ্লেকশন টোকেন ব্যবহার করে তৈরি হওয়া উত্তরগুলোকে পুনরুদ্ধার করা প্রমাণের সঙ্গে মিলিয়ে মূল্যায়ন করা হয়, এবং প্রয়োজন অনুযায়ী অর্কেস্ট্রেটরের মাধ্যমে আরও অনুরোধ পাঠানো হয়। আবার, LLM এমন সিদ্ধান্তও নিতে পারে যে কোনো রিট্রিভালেরই প্রয়োজন নেই।

কারেক্টিভ RAG-এর সঙ্গে এর পার্থক্য হলো, এখানে LLM নিজের আউটপুট নিজেই বিচার করে, রিট্রিভাল প্রয়োজন কি না এবং পুনরুদ্ধার করা টেক্সট উপযোগী কি না তা নির্ধারণ করে, এবং নিজের উত্তর পর্যবেক্ষণ করে প্রয়োজনমতো সেগুলো সংশোধন করে। অন্যদিকে, কারেক্টিভ RAG উত্তর তৈরির আগেই পুনরুদ্ধার করা তথ্যের মান মূল্যায়ন করে।

এই আর্কিটেকচার বিশেষ করে জটিল, গভীর গবেষণা-ধাঁচের প্রম্পটের জন্য উপযোগী। যেহেতু এটি উত্তর তৈরির প্রক্রিয়ায় (পুনরুদ্ধার করা তথ্যের) প্রাসঙ্গিকতার মূল্যায়ন যুক্ত করে, তাই প্রমাণভিত্তিক উত্তর প্রয়োজন এমন প্রম্পটের জন্য এটি একটি ভালো বিকল্প।

৬. এজেন্টিক RAG

এজেন্টিক RAG বলতে এজেন্টিক প্ল্যাটফর্মের কনটেক্সটে সম্পাদিত যেকোনো ধরনের RAG-কে বোঝায়। মডেল তার রিজনিং সক্ষমতা ব্যবহার করে কোন ধরনের তথ্য প্রয়োজন তা নির্ধারণ করে এবং উপলব্ধ রিট্রিভাল বিকল্পগুলো থেকে বেছে নেয়।

প্রয়োজন অনুযায়ী রিট্রিভাল একাধিকবার চালু হতে পারে, এবং আরও জটিল কোয়েরির জন্য মডেল এজেন্ট নিয়োগের বিকল্পও পায়। উদাহরণস্বরূপ, একটি LLM কোনো সরবরাহকারীকে শনাক্ত করতে ডেটাবেস লুকআপের অনুরোধ করতে পারে, প্রাসঙ্গিক চুক্তি খুঁজে পেতে ডকুমেন্ট সার্চ চালু করতে পারে, এবং শেষে পাবলিক উৎস ব্যবহার করে যোগাযোগের বিবরণ যাচাইয়ের জন্য ওয়েব সার্চ করতে পারে।

Perplexity, ChatGPT, Claude ইত্যাদির মতো মূলধারার চ্যাটবটে এজেন্টিক RAG-ই প্রধান আর্কিটেকচার বাস্তবায়ন। যেহেতু এই প্ল্যাটফর্মগুলো মূল মডেলকে একাধিক টুল ও RAG পাইপলাইনে অ্যাক্সেস দেয়, তাই মডেলটি বেছে নিতে পারে কোন ধরনের রিট্রিভাল একটি প্রম্পটের জন্য সবচেয়ে উপযুক্ত।

৭. মাল্টিমোডাল RAG

মাল্টিমোডাল RAG বিভিন্ন ধরনের মিডিয়া জুড়ে কনটেক্সট পুনরুদ্ধার করে। এটি RAG-এর একটি গুরুত্বপূর্ণ রূপ, কারণ এটি চার্ট ও অডিও রেকর্ডিংয়ের মতো তথ্য LLM-এর কাছে সহজলভ্য করে, যা অন্যথায় অপ্রাপ্য থাকত।

এর মূল আর্কিটেকচার অন্য যেকোনো সিস্টেমের মতোই। উদাহরণস্বরূপ, একটি ইনডেক্সিং পাইপলাইন ছবিগুলোকে সরাসরি এমবেডিংয়ে রূপান্তর করে সার্চের জন্য প্রস্তুত করতে পারে। এরপর একটি এজেন্টিক RAG সিস্টেম সিমান্টিকভাবে প্রাসঙ্গিক টেক্সটের সঙ্গে এই ছবিগুলো পুনরুদ্ধার করে দ্বৈত প্রসেসিংয়ের জন্য একটি ভিশন-ল্যাঙ্গুয়েজ মডেলে পাঠাতে পারে।

৮. GraphRAG

GraphRAG এন্টিটি সম্পর্কে তথ্য পুনরুদ্ধারের জন্য ভেক্টর সার্চের পাশাপাশি নলেজ গ্রাফ ব্যবহার করে। সাধারণত অর্কেস্ট্রেটর কিওয়ার্ড এক্সট্র্যাকশন, কিংবা কখনো কখনো একটি প্রাথমিক ভেক্টর সার্চ ব্যবহার করে প্রাসঙ্গিক সূচনা-এন্টিটি (যেগুলোকে নোডও বলা হয়) খুঁজে বের করে। এরপর একটি গ্রাফ রিট্রিভার নলেজ গ্রাফ ট্রাভার্স করে বৃহত্তর কনটেক্সট তৈরি করে।

উদাহরণস্বরূপ, কোনো পণ্য ক্যাটাগরির বিস্তারিত বিশ্লেষণের অনুরোধের জবাবে একটি LLM নির্দিষ্ট এন্টিটি (পণ্য) শনাক্ত করতে ভেক্টর সার্চ চালু করতে পারে। এরপর অর্কেস্ট্রেটর সংশ্লিষ্ট এন্টিটি, যেমন সরবরাহকারী, খুচরা বিক্রয়কেন্দ্র, রিভিউ ইত্যাদি খুঁজে পেতে নলেজ গ্রাফ সার্চ চালু করবে।

৯. ব্রাঞ্চড RAG

হাইব্রিড RAG আর্কিটেকচারে যেখানে বিভিন্ন রিট্রিভাল পদ্ধতি ব্যবহারের সক্ষমতা থাকে, সেখানে ব্রাঞ্চড RAG বলতে একই সময়ে একাধিক কোয়েরি চালানোর প্রক্রিয়াকে বোঝায়, যেগুলোকে ব্রাঞ্চ বলা হয়। প্রতিটি ব্রাঞ্চ আলাদা তথ্যের উৎসে কোয়েরি করতে পারে, অথবা ব্রাঞ্চগুলো ভিন্ন ভিন্ন কোয়েরি বা ফিল্টার দিয়ে একযোগে একই উৎসে কোয়েরি করতে পারে। এজেন্টিক RAG আর্কিটেকচার প্রায়ই ব্রাঞ্চড RAG ব্যবহার করে।

১০. HyDE (হাইপোথেটিক্যাল ডকুমেন্ট এমবেডিংস)

HyDE হলো RAG-এর একটি উদ্ভাবনী রূপ, যেখানে একটি LLM একটি আদর্শ উত্তর দেখতে কেমন হতে পারে, তার একটি কাল্পনিক টেক্সট ডকুমেন্ট তৈরি করে। এরপর আরও নির্ভুল রিট্রিভালের জন্য এই “কাল্পনিক ডকুমেন্ট” ব্যবহার করে একটি কোয়েরি তৈরি করা হয়। যদিও প্রাসঙ্গিক জ্ঞান LLM-এর প্যারামিটারে উপস্থিত থাকে না, এর পেছনের যুক্তি হলো, একটি ছোট প্রশ্ন বা অস্পষ্ট প্রম্পটের তুলনায় একটি উত্তরের মতো অংশ প্রাসঙ্গিক ডকুমেন্টের সঙ্গে আরও ভালোভাবে মিলতে পারে।

সিম্পল RAG আর্কিটেকচারের উদাহরণ: ভেক্টর ডেটাবেস

বেসিক RAG আরও জটিল ধরনের আর্কিটেকচারের ভিত্তি হিসেবে কাজ করে। ভেক্টর ডেটাবেস ব্যবহার করে এমন একটি সিম্পল RAG সিস্টেমের ক্ষেত্রে উৎস ডকুমেন্টেশনকে ছোট ছোট অংশে (চাঙ্ক) ভাগ করে ডেন্স এমবেডিংয়ে রূপান্তর করা হয়। ব্যবহারকারী প্রম্পট লিখলে অর্কেস্ট্রেটর একটি কোয়েরি তৈরি করে, সেটি এনকোড করে এবং প্রাসঙ্গিক অংশ খুঁজে পেতে ডেটাবেসে কোয়েরি করে।

প্রক্রিয়াটির ধাপে ধাপে বিবরণ এখানে দেওয়া হলো:

1. একটি স্বয়ংক্রিয় ইনজেশন পাইপলাইন এবং BERT-এর মতো একটি এমবেডিং মডেল ব্যবহার করে বিপুল পরিমাণ টেক্সটকে ভেক্টরে রূপান্তর করা হয়।
2. দ্রুত সার্চের জন্য ডেটাবেস অ্যাপ্লিকেশন ভেক্টরগুলোকে বিন্যস্ত, ইনডেক্স ও সংরক্ষণ করে।
3. ব্যবহারকারী একটি চ্যাটবটে (যেমন Perplexity) একটি প্রম্পট লেখেন।
4. ভেক্টর ডেটাবেস থেকে প্রাসঙ্গিক তথ্য পুনরুদ্ধার করতে অ্যাপ্লিকেশন অর্কেস্ট্রেটর (একটি এমবেডিং মডেল ব্যবহার করে) প্রম্পটটি এনকোড করে।
5. ভেক্টর ডেটাবেস প্রাসঙ্গিক চাঙ্কগুলো ফেরত দেয়, এবং অর্কেস্ট্রেটর সেগুলো ইনপুট কনটেক্সটে (“বৃহৎ প্রম্পট”) যোগ করে LLM-এ পাঠায়।
6. LLM অতিরিক্ত কনটেক্সট কাজে লাগিয়ে নিজের অভ্যন্তরীণ জ্ঞান (এর প্যারামেট্রিক ওয়েটে সংরক্ষিত) ব্যবহার করে একটি উত্তর তৈরি করে।

বড় করুন

অ্যাডভান্সড RAG আর্কিটেকচারের উদাহরণ: এজেন্টিক RAG

এজেন্টিক RAG বলতে এজেন্টিক প্ল্যাটফর্মের ভেতরে থাকা RAG সিস্টেমগুলোর মূল আর্কিটেকচারকে বোঝায়। এজেন্টিক RAG ফ্লো সাধারণত জটিল হয়, কারণ AI এজেন্টরা প্রম্পটের প্রকৃতি অনুযায়ী বিভিন্ন টুল ও পাইপলাইন ব্যবহার করতে পারে এবং প্রয়োজনে একাধিক এজেন্ট নিয়োজিত করতে পারে।

প্রক্রিয়াটির একটি ব্যবহারিক উদাহরণ এখানে দেওয়া হলো:

1. একজন ব্যবহারকারী এমন একটি জটিল প্রশ্ন লেখেন, যার জন্য কোনো বিষয়ে গভীর গবেষণা প্রয়োজন। এই উদাহরণের জন্য ধরা যাক প্রম্পটটি হলো “বড় ধরনের ভূরাজনৈতিক ঘটনাপ্রবাহের আলোকে আগামী ছয় মাসে কোম্পানির আয়ের একটি পূর্বাভাস দিন।”
2. LLM বিশ্লেষণ করে সিদ্ধান্তে পৌঁছায় যে বিভিন্ন ধরনের কনটেন্ট জুড়ে একাধিক RAG কোয়েরির সমন্বয় প্রয়োজন হবে।
3. (ক) ভেক্টর সার্চ, (খ) ওয়েব গ্রাউন্ডিং এবং (গ) ইমেজ (মাল্টিমোডাল) সার্চের জন্য তিনটি ভিন্ন এজেন্ট নিয়োজিত করা হয়।
4. এজেন্টরা উপলব্ধ রিট্রিভাল টুল ব্যবহার করে অর্কেস্ট্রেটরের মাধ্যমে সংবাদ প্রতিবেদন ও অভ্যন্তরীণ আর্থিক ডেটার মতো প্রাসঙ্গিক তথ্য অনুসন্ধান করে।
5. LLM প্রতিটি এজেন্টের গবেষণা-প্রশ্নের সঙ্গে পুনরুদ্ধার করা ফলাফলগুলো তুলনা করে এবং প্রাসঙ্গিকতা অনুযায়ী সেগুলোর র‍্যাঙ্ক নির্ধারণ করে।
6. LLM তথ্যগুলো মূল্যায়ন করে এবং যেখানে তথ্যের ঘাটতি আছে, সেখানে আলাদা আলাদা এজেন্টের মাধ্যমে অতিরিক্ত সার্চ চালু করে।
7. যথেষ্ট তথ্য পুনরুদ্ধার হয়ে গেলে LLM বিদ্যমান আর্থিক পরিসংখ্যানের (অভ্যন্তরীণ ডকুমেন্টেশন থেকে পুনরুদ্ধার করা) ভিত্তিতে বিভিন্ন পরিস্থিতির পূর্বাভাস তৈরি করে এবং প্রতিটির আয় প্রক্ষেপণের জন্য একটি ক্যালকুলেটর টুল কল করে।
8. LLM পুনরুদ্ধার করা তথ্য ও হিসাব ব্যবহার করে একটি চূড়ান্ত উত্তর তৈরি করে এবং প্রয়োজন অনুযায়ী উৎস উল্লেখ করে।

বড় করুন

RAG-এর ভবিষ্যৎ কী?

বর্তমান উদ্ভাবনগুলো মূলত বিদ্যমান RAG আর্কিটেকচারে গভীরতা ও গতি আনা, মাল্টিমিডিয়া রিট্রিভালের নির্ভুলতা বাড়ানো এবং একেবারে হালনাগাদ তথ্য নিয়ে কাজ করার উপযোগী সিস্টেম তৈরিকে কেন্দ্র করে আবর্তিত হচ্ছে।

বর্তমানে গবেষণার গতিপথ নির্ধারণ করছে এমন তিনটি প্রবণতা এখানে তুলে ধরা হলো:

• একাধিক উৎস জুড়ে গভীর গবেষণা: এটি এমন RAG আর্কিটেকচার, যা সার্চ পরিকল্পনা করতে, ভিন্ন ভিন্ন উৎস জুড়ে একাধিক ব্রাঞ্চ চালাতে, পুনরুদ্ধার করা প্রমাণ মূল্যায়ন করতে এবং তৈরি হওয়া উত্তর নিজে নিজে অপ্টিমাইজ করতে সক্ষম। এই সব কাজ সম্পাদনে সক্ষম এজেন্টিক RAG ক্রমেই আরও দ্রুত ও সাশ্রয়ী হয়ে উঠছে।
• মাল্টিমোডাল প্রয়োগ: রিট্রিভাল পাইপলাইনগুলো ছবি ও ভিডিও নিয়ে কাজ করায় আরও দক্ষ হয়ে উঠছে। দীর্ঘ ভিডিও ও উন্নত ডায়াগ্রামের মতো জটিল মাল্টিমোডাল ডেটার মধ্যে নির্দিষ্ট ধরনের তথ্য সুনির্দিষ্টভাবে শনাক্ত করতে এগুলো ক্রমশ সক্ষম হয়ে উঠছে।
• নিরন্তর পরিবর্তনশীল তথ্যের ভিত্তিতে উত্তর গ্রাউন্ড করা: LLM-ভিত্তিক অ্যাপ্লিকেশনগুলো ইনপুট কনটেক্সট সরবরাহের জন্য লাইভ তথ্যের উৎস (যেমন ভিডিও ফিড ও সেন্সর) কাজে লাগাতে পারে। এই ডেটা ব্যাখ্যা করতে সিস্টেমগুলো GraphRAG-এর মতো পদ্ধতিতে তথ্যের বহুমাত্রিক জালও তৈরি করতে পারে।

LLM-ভিত্তিক অ্যাপ্লিকেশন কীভাবে কাজ করে, তার মূলে রয়েছে RAG। এটি সাধারণ ভোক্তা থেকে শুরু করে বিশেষায়িত ক্ষেত্রে কাজ করা প্রতিষ্ঠান পর্যন্ত নানা ধরনের ব্যবহারকারীকে হ্যালুসিনেশন, অসম্পূর্ণ ট্রেনিং ডেটা এবং বিশেষায়িত অভ্যন্তরীণ জ্ঞানে অ্যাক্সেসের অভাবজনিত সমস্যা কাটিয়ে উঠতে সাহায্য করে।

এ কারণেই RAG সিস্টেম ও এগুলোর মূল আর্কিটেকচার AI গবেষণার সবচেয়ে দ্রুত অগ্রসরমান ও সবচেয়ে আকর্ষণীয় ক্ষেত্রগুলোর একটি।