AI एजेंट में कॉन्टेक्स्ट रॉट: लंबे कार्यों में सटीकता क्यों घटती है और इसे कैसे रोकें

एक गाइड, जो बताती है कि AI एजेंट के कॉन्टेक्स्ट में क्या-क्या जमा होता है, इससे सटीकता क्यों घटती है, और भरोसेमंद बने रहने वाले कार्य कैसे सेट करें।

Diagram of an AI agent's context growing from task start to late in a task: instructions are joined by stacked search results, websites, documents, and notes, while a bar showing how closely the agent follows the original instructions shrinks.

AI एजेंट के लिए कॉन्टेक्स्ट रॉट का क्या मतलब है

AI एजेंट में कॉन्टेक्स्ट रॉट सटीकता में होने वाली वह धीरे-धीरे गिरावट है, जो किसी लंबे कार्य के दौरान एजेंट का कॉन्टेक्स्ट भरने के साथ शुरू होती है।

एजेंट का कॉन्टेक्स्ट वह जानकारी है जो मॉडल के पास अपने अगले चरण के लिए उपलब्ध होती है। इसमें निर्देश, पहले के संदेश, सर्च परिणाम और वेबसाइटों या फ़ाइलों का टेक्स्ट शामिल हो सकता है। काम करते-करते एजेंट इसमें और जानकारी जोड़ सकता है।

उदाहरण के लिए, मान लीजिए किसी एजेंट का कार्य ऐसे सप्लायर ढूँढना है जो दो हफ़्ते के भीतर डिलीवरी करते हैं। शुरुआत में उसके कॉन्टेक्स्ट में सिर्फ़ यही अनुरोध होता है। कार्य के बीच तक पहुँचते-पहुँचते कॉन्टेक्स्ट में दर्जनों सप्लायर वेबसाइटों का टेक्स्ट, सर्च परिणामों के कई पेज और इस बारे में नोट्स भी शामिल हो जाएँगे कि एजेंट किन सप्लायरों को पहले ही जाँच चुका है।

कोई मॉडल कितना कॉन्टेक्स्ट रख सकता है, इसकी एक सीमा होती है (जिसे कॉन्टेक्स्ट विंडो कहते हैं)। इस विंडो को टोकन में मापा जाता है, जो टेक्स्ट के छोटे-छोटे हिस्से होते हैं, आमतौर पर एक शब्द या शब्द का कोई हिस्सा। कॉन्टेक्स्ट जितना बढ़ता है, कॉन्टेक्स्ट रॉट भी उतना ही बढ़ता है, इसीलिए इसके कई चरणों वाले लंबे कार्यों में होने की संभावना सबसे ज़्यादा होती है।

कॉन्टेक्स्ट रॉट जैसे-जैसे बढ़ता है, एजेंट की सटीकता घटती जाती है। हो सकता है कि वह अपने मूल निर्देशों का उतनी बारीकी से पालन न करे, ब्योरों को नज़रअंदाज़ कर दे, या मिलती-जुलती दिखने वाली जानकारी को वही जानकारी समझ ले जिसकी उसे ज़रूरत है।

उदाहरण के लिए, एजेंट छह हफ़्ते लेने वाले सप्लायरों को भी शामिल करना शुरू कर सकता है, जबकि उसे दो हफ़्ते में डिलीवरी करने वाले सप्लायर ढूँढने को कहा गया था। निर्देश अब भी उसके कॉन्टेक्स्ट में है, लेकिन अब वह एजेंट के फ़ैसलों को प्रभावित नहीं करता।

कॉन्टेक्स्ट रॉट का मतलब सिर्फ़ कॉन्टेक्स्ट विंडो में जगह खत्म हो जाना नहीं है। जब किसी कार्य का कॉन्टेक्स्ट विंडो से बड़ा हो जाता है, तो सामग्री कट जाती है या कार्य विफल हो जाता है। कॉन्टेक्स्ट रॉट उस स्थिति से काफ़ी पहले ही शुरू हो जाता है, जब सब कुछ अभी भी विंडो में समा रहा होता है।

यह कॉन्टेक्स्ट पॉइज़निंग (जब भ्रामक या हानिकारक जानकारी एजेंट के कॉन्टेक्स्ट में पहुँच जाती है) जैसा भी नहीं है। सटीक और पूरी जानकारी वाले एजेंट में भी कॉन्टेक्स्ट रॉट हो सकता है।

कॉन्टेक्स्ट रॉट क्यों होता है

कॉन्टेक्स्ट रॉट इसलिए होता है क्योंकि मॉडल का अटेंशन सीमित होता है, भले ही उसकी कॉन्टेक्स्ट विंडो में अभी काफ़ी जगह बची हो। AI मॉडल में अटेंशन वह तकनीकी शब्द है जो बताता है कि जवाब का हर शब्द लिखते समय मॉडल कैसे तय करता है कि अपने इनपुट के किन हिस्सों का इस्तेमाल करे। कॉन्टेक्स्ट का हर हिस्सा उस अटेंशन के लिए होड़ करता है। टेक्स्ट जितना ज़्यादा होगा, हर हिस्से को उतना ही कम अटेंशन मिलेगा।

उदाहरण के लिए, Chroma ने इस पर एक अध्ययन प्रकाशित किया कि इनपुट की लंबाई AI मॉडल को कैसे प्रभावित करती है। इसमें Anthropic, OpenAI, Google और Alibaba के 18 मॉडल का परीक्षण किया गया। एक परीक्षण में शोधकर्ताओं ने निबंधों के एक लंबे संग्रह के बीच लेखन से जुड़ी सलाह वाला एक वाक्य छिपा दिया। फिर उन्होंने मॉडल से पूछा कि वह सलाह क्या थी।

उन्होंने यह परीक्षण कई बार किया और हर बार निबंधों का और टेक्स्ट जोड़ा। वाक्य और सवाल कभी नहीं बदले। बदली तो सिर्फ़ उनके आसपास के टेक्स्ट की मात्रा।

मॉडल को जितना ज़्यादा टेक्स्ट पढ़ना पड़ा, उनका प्रदर्शन उतना ही खराब रहा। रिपोर्ट के हर परीक्षण में यही नतीजा मिला। शोधकर्ताओं का अनुमान है कि कई चरणों वाले असल कामों में, जैसे ज़्यादातर एजेंट कार्यों में, सटीकता में गिरावट और भी ज़्यादा होगी।

कॉन्टेक्स्ट रॉट AI एजेंट को कैसे प्रभावित कर सकता है

कॉन्टेक्स्ट रॉट आमतौर पर इन चार में से किसी एक रूप में सामने आता है:

मूल निर्देशों से भटक जाना

Chroma के सबसे आसान परीक्षण में मॉडल से दोहराए गए शब्दों की एक लंबी स्ट्रिंग को हूबहू कॉपी करने को कहा गया, जिसमें कहीं एक अलग शब्द डाला गया था। यह स्पष्ट निर्देश वाला एक बहुत आसान कार्य था। फिर भी, टेक्स्ट लंबा होने के साथ सभी मॉडल का प्रदर्शन गिरता गया। कुछ मॉडल तो ऐसे शब्द लिखने लगे जो इनपुट में थे ही नहीं।

किसी एजेंट कार्य में उपयोगकर्ता आमतौर पर कार्य की शुरुआत में ही खास शर्तें तय करता है, जैसे बजट या ज़रूरी फ़ॉर्मेट। कॉन्टेक्स्ट बढ़ने के साथ एजेंट इन्हें कम निरंतरता से लागू कर सकता है। इसकी वजह कॉन्टेक्स्ट की कुल लंबाई है, न कि यह कि निर्देश कहाँ लिखा है।

कार्य के बीच के ब्योरे छूट जाना

2023 के स्टैनफ़ोर्ड अध्ययन के अनुसार, AI मॉडल जानकारी का सबसे भरोसेमंद इस्तेमाल तब करते हैं, जब वह उनके इनपुट की बिल्कुल शुरुआत या बिल्कुल आखिर में हो। एक परीक्षण में शोधकर्ताओं ने मॉडल को 20 दस्तावेज़ों का एक सेट दिया और ऐसा सवाल पूछा जिसका जवाब उनमें से सिर्फ़ एक दस्तावेज़ में था। जब वह दस्तावेज़ सबसे पहले या सबसे आखिर में था, तो मॉडल को आमतौर पर जवाब मिल गया। जब वह सेट के बीच में था, तो मॉडल कहीं ज़्यादा बार उसे चूक गए। शोधकर्ता इसे पोज़िशन इफ़ेक्ट कहते हैं।

एजेंट पर भी यही पैटर्न लागू होता है। कार्य में पहले मिली जानकारी किसी लंबी बातचीत के बीच में पड़ी रह सकती है, जहाँ कुछ मॉडल को उसका इस्तेमाल करने में ज़्यादा दिक्कत होती है। सप्लायर वाले उदाहरण में, अंतिम सूची से कोई ऐसा अच्छा सप्लायर छूट सकता है जिसे एजेंट ने कार्य के बीच में जाँचा था।

मिलती-जुलती जानकारी में उलझ जाना

कॉन्टेक्स्ट बढ़ने के साथ, एजेंट यह पहचानने में कमज़ोर पड़ सकते हैं कि कौन-सी जानकारी उनके निर्देशों से मेल खाती है। उदाहरण के लिए, मान लीजिए उपयोगकर्ता ने एजेंट से ऐसे सप्लायर ढूँढने को कहा जो “दो हफ़्ते के भीतर” शिप करते हैं। किसी सप्लायर की वेबसाइट पर लिखा है, “ऑर्डर करने के 14 कैलेंडर दिनों के भीतर पहुँच जाता है।” छोटे कार्य में एजेंट शायद आसानी से समझ लेगा कि दोनों का मतलब एक ही है। लेकिन दर्जनों दूसरे सप्लायर पेजों के बीच दबे होने पर उससे यह मेल छूटने की संभावना ज़्यादा होती है।

या फिर, एजेंट ऐसे परिणाम भी शामिल करना शुरू कर सकता है जो प्रासंगिक नहीं हैं। मान लीजिए एजेंट ऑफ़िस कुर्सियों के सप्लायर ढूँढ रहा है। एक सप्लायर की वेबसाइट दो हफ़्ते में डिलीवरी का वादा करती है, लेकिन सिर्फ़ डेस्क के लिए। उसकी कुर्सियों में छह हफ़्ते लगते हैं। वेबसाइट में वही शब्द हैं जो निर्देश में हैं, इसलिए एजेंट फिर भी उस सप्लायर को अपनी सूची में जोड़ सकता है। शोधकर्ता ऐसी जानकारी को डिस्ट्रैक्टर कहते हैं। यह प्रासंगिक दिखती है, लेकिन होती नहीं, इसलिए यह काम की जानकारी से होड़ करती है।

Chroma के अध्ययन में पाया गया कि आसपास के टेक्स्ट की मात्रा बढ़ने के साथ ये दोनों समस्याएँ और बिगड़ती गईं।

ऐसी गलतियाँ जिन्हें पकड़ना मुश्किल है

कॉन्टेक्स्ट रॉट होने पर कोई एरर मैसेज नहीं आता। एजेंट काम करता रहता है और ऐसा आउटपुट लौटाता है जो पूरा दिखता है। इसलिए उसकी गलतियाँ आसानी से नज़र से छूट जाती हैं।

Chroma के परीक्षणों में ये गलतियाँ दो रूपों में दिखीं। कभी-कभी मॉडल ने पूरे भरोसे के साथ गलत जवाब दिया। सप्लायर शोध वाले उदाहरण में, एजेंट एक साफ़-सुथरी, अच्छी तरह फ़ॉर्मेट की गई सप्लायर सूची दे सकता है, जिसमें ऐसा सप्लायर भी हो जिसकी डिलीवरी शर्तें उसने गलत पढ़ लीं।

कभी-कभी मॉडल ने कहा कि उसे ऐसी जानकारी नहीं मिली जो असल में मौजूद थी। उदाहरण के लिए, एजेंट ऐसी रिपोर्ट दे सकता है जिसमें लिखा हो कि कोई भी सप्लायर दो हफ़्ते की सीमा पूरी नहीं करता, जबकि कई सप्लायर करते हैं।

कॉन्टेक्स्ट रॉट कम करने के लिए एजेंट कार्य कैसे सेट करें

कार्यों को सही तरीके से सेट करने से कॉन्टेक्स्ट रॉट का असर कम होगा और पूरे कार्य के दौरान एजेंट जितना हो सके उतना सटीक रहेगा। नीचे दिए गए बेहतरीन तरीके मदद कर सकते हैं।

कार्य को एक असाइनमेंट की तरह लिखें

स्पष्ट असाइनमेंट से कॉन्टेक्स्ट छोटा रहता है। एजेंट को पता होता है कि काम कब पूरा हुआ, इसलिए पर्याप्त सामग्री मिलते ही वह और सामग्री इकट्ठा करना बंद कर देता है। खास ज़रूरतें उसे हर पेज को परखने के लिए एक ठोस आधार भी देती हैं। इससे एजेंट के लिए सही जानकारी पहचानना आसान हो जाता है।

कार्य भेजने से पहले जाँच लें कि उसमें ये तीन बातें शामिल हों:

  • कार्य: एजेंट को क्या करना है और क्या तैयार करना है, जैसे “सप्लायर ढूँढें और एक शॉर्टलिस्ट दें।”
  • ज़रूरतें: वे तथ्य जिनका एजेंट अंदाज़ा नहीं लगा सकता, जैसे बजट, डेडलाइन, डिलीवरी का पता और नतीजा किसके लिए है।
  • आउटपुट: फ़ॉर्मेट, लंबाई और संरचना, जैसे “नाम, प्रति कुर्सी कीमत और डिलीवरी समय वाली एक टेबल।”

सब कुछ मिलाकर, सप्लायर कार्य की क्वेरी कुछ इस तरह दिख सकती है:

“ऐसे 10 सप्लायर ढूँढें जो दो हफ़्ते के भीतर हमारे शिकागो ऑफ़िस में 40 ऑफ़िस कुर्सियाँ प्रति कुर्सी $250 से कम में डिलीवर कर सकें। सप्लायर का नाम, प्रति कुर्सी कीमत, डिलीवरी समय और प्रोडक्ट पेज के लिंक वाली एक टेबल दें। यह सूची हमारे ऑफ़िस मैनेजर के लिए है, जो ऑर्डर देंगे।”

हर कार्य को एक ही लक्ष्य पर केंद्रित रखें

एक स्पष्ट लक्ष्य वाला एक कार्य कॉन्टेक्स्ट को छोटा रखता है। लंबे कार्यों की लागत भी ज़्यादा होती है। हर चरण अब तक इकट्ठा की गई हर चीज़ को प्रोसेस करता है, इसलिए ज़रूरत से ज़्यादा बड़ा कॉन्टेक्स्ट हर चरण पर ज़्यादा क्रेडिट्स खर्च करता है।

कई हिस्सों वाले प्रोजेक्ट को बाँट लें:

  1. अलग-अलग डिलीवरेबल्स की सूची बनाएँ, जैसे सप्लायर की खोज, कीमतों की तुलना और चुने गए सप्लायर को एक ईमेल।
  2. हर डिलीवरेबल को एक अलग कार्य के रूप में चलाएँ।
  3. एक कार्य से अगले कार्य में सिर्फ़ तैयार नतीजा भेजें। उदाहरण के लिए, तुलना वाला कार्य शुरू करने के लिए सप्लायर टेबल को फ़ाइल के रूप में अपलोड करें, बजाय उसी थ्रेड में आगे बढ़ने के जिसमें वह टेबल बनी थी।

फिर तुलना वाला कार्य हर पेज के बजाय सिर्फ़ एक टेबल से शुरू होता है।

एजेंट को सही स्रोतों तक पहुँचाएँ

एजेंट जो भी पेज पढ़ता है, वह उसके कॉन्टेक्स्ट में जुड़ जाता है, जिसमें काम के हिस्से के आसपास के मेन्यू, विज्ञापन और बॉयलरप्लेट भी शामिल हैं। एजेंट को सीधे स्रोत देने से यह फ़ालतू सामग्री कम हो जाती है।

कार्य जिन फ़ाइलों पर निर्भर है, जैसे मंज़ूर वेंडरों की सूची, उन्हें क्वेरी के साथ अटैच करके अपलोड करें। जब एजेंट को वेब पर सर्च करना हो, तो उन वेबसाइटों के नाम बताएँ जिन पर सर्च करना फ़ायदेमंद है, जैसे दो भरोसेमंद सप्लायर डायरेक्टरी।

जहाँ जानकारी मौजूद है, उन टूल्स को कनेक्ट करें। उदाहरण के लिए, Perplexity Computer में साइडबार से कनेक्टर खोलें और कार्य के लिए ज़रूरी ऐप्स, जैसे Google Drive या Slack, चालू करें। फिर क्वेरी में उनका ज़िक्र करें: “हमारे Google Drive में मौजूद कुर्सियों के स्पेसिफ़िकेशन इस्तेमाल करें।” सिर्फ़ प्रासंगिक ऐप्स कनेक्ट करें, क्योंकि हर कनेक्टर एजेंट के कॉन्टेक्स्ट का कुछ हिस्सा घेरता है।

अगर जानकारी किसी ऐसे ऐप में है जो कनेक्टर की सूची में नहीं है, तब भी उसे कनेक्ट करना संभव हो सकता है। कई ऐप्स MCP (Model Context Protocol) कनेक्टर देते हैं, जो AI टूल्स को दूसरे सॉफ़्टवेयर से जोड़ने का एक मानक तरीका है। Computer इन्हें अपने बिल्ट-इन कनेक्टर के साथ इस्तेमाल कर सकता है। कंपनी अकाउंट में, हो सकता है कि किसी एडमिन को पहले इन्हें चालू करना पड़े।

निर्देशों के आधार पर अंतिम जाँच के लिए कहें

क्वेरी के आखिर में एक समीक्षा चरण जोड़ें, जिसमें सबसे ज़रूरी शर्तों के नाम हों:

“काम पूरा करने से पहले, हर सप्लायर को इन ज़रूरतों के आधार पर जाँचें: दो हफ़्ते के भीतर डिलीवरी, प्रति कुर्सी $250 से कम। जो सप्लायर इन ज़रूरतों को पूरा नहीं करते, उन्हें हटाने के बजाय फ़्लैग करें।”

शर्तें अब भी कॉन्टेक्स्ट की शुरुआत में ही हैं। समीक्षा चरण एजेंट को अपने अंतिम आउटपुट की तुलना उन शर्तों से करने की वजह देता है, बजाय इसके कि वह इस भरोसे पर रहे कि निर्देश हर चरण में अपना असर बनाए रखेंगे।

साथ ही, ऐसे नतीजों को सीधे हटाने के बजाय समस्याओं को फ़्लैग करने के लिए कहने से गलतियाँ पकड़ना आसान हो जाता है (जैसे 14 कैलेंडर दिनों के भीतर पहुँचाने का वादा करने वाले सप्लायर को सिर्फ़ इसलिए खारिज कर देना, क्योंकि उसमें “दो हफ़्ते” शब्द इस्तेमाल नहीं हुए।)

चेकपॉइंट पर काम की समीक्षा करें

लंबे कार्यों के लिए, क्वेरी में एक चेकपॉइंट जोड़ें:

“पहले 20 संभावित सप्लायर ढूँढें, फिर रुक जाएँ। कीमतें इकट्ठा करने से पहले मैं सूची की पुष्टि करूँगा।”

शॉर्टलिस्ट को मूल निर्देशों से मिलाकर जाँचें। जो भी गड़बड़ हो, उसे फ़ॉलो-अप में ठीक करें, फिर एजेंट को आगे बढ़ने दें। इस चरण पर पकड़ी गई गलतियाँ आगे के हर चरण में नहीं पहुँचेंगी।

कार्य भटक जाए तो नया कार्य शुरू करें

अगर सुधार के बाद भी एजेंट वही गलती दोहराता है, तो नया कार्य शुरू करें। हर सुधार पहले से लंबे कॉन्टेक्स्ट में और टेक्स्ट जोड़ देता है। इसके बजाय एक नया कार्य बनाएँ। निर्देश फिर से लिखें, पहली कोशिश का कोई भी अच्छा आउटपुट अपलोड करें और दोबारा शुरू करें।

कुछ एजेंट इसका एक रूप अपने-आप करते हैं, जिसे कॉम्पैक्शन कहते हैं। जैसे-जैसे कार्य लंबा होता है, एजेंट पुरानी सामग्री को, जैसे शुरुआत में पढ़े गए पेजों के पूरे टेक्स्ट को, इस बात के छोटे सारांश से बदल देता है कि उसे क्या मिला। Perplexity का Portable Computer अपने कॉन्टेक्स्ट को इसी तरह कॉम्पैक्ट करता है, ताकि मॉडल उतनी ही सामग्री के भीतर रहे जिसे वह अच्छी तरह संभाल सकता है।

अगर लक्ष्य बदल जाए, तो भी नया कार्य शुरू करना ज़रूरी है। जो थ्रेड सप्लायर की खोज के रूप में शुरू हुआ था, उसे कॉन्ट्रैक्ट की समीक्षा का थ्रेड नहीं बनना चाहिए।

बार-बार दिए जाने वाले निर्देशों को कौशल में बदलें

कुछ निर्देश किसी खास तरह के हर कार्य में आते हैं, जैसे पसंदीदा टेबल फ़ॉर्मेट, उन वेंडरों की सूची जिनसे बचना है, या एक मानक समीक्षा चरण। Computer में इन्हें कौशल के रूप में सेव किया जा सकता है, जो निर्देशों का एक दोबारा इस्तेमाल होने वाला सेट है जिसका एजेंट हर बार पालन करता है। कौशल उसका इस्तेमाल करने वाले हर कार्य में बाकी बेहतरीन तरीकों को भी शामिल कर देता है।

इसे सेट अप करने के लिए:

  1. कोई ऐसा कार्य चुनें जो अक्सर आता है, जैसे सप्लायर शोध।
  2. हर बार दिए जाने वाले निर्देश लिख लें: फ़ॉर्मेट, जाँचें, और कौन-से स्रोत इस्तेमाल करने हैं या किनसे बचना है।
  3. उन्हें कौशल के रूप में सेव करें। Markdown में पहले से लिखे निर्देश सीधे इंपोर्ट किए जा सकते हैं।
  4. आगे की क्वेरी में कौशल का नाम लें: “डेनवर ऑफ़िस के लिए कुर्सी सप्लायर ढूँढने के लिए सप्लायर शोध कौशल का इस्तेमाल करें।”

Perplexity एजेंट के काम में कॉन्टेक्स्ट को कैसे संभालता है

Perplexity Computer लंबे कार्यों को इस तरह संभालता है कि हर मॉडल का कॉन्टेक्स्ट छोटा और प्रासंगिक रहे। इसके डिज़ाइन के तीन हिस्से यह सीमित करते हैं कि किसी मॉडल को एक बार में कितना पढ़ना पड़े।

काम को सब-एजेंट के बीच बाँटना

Computer किसी अनुरोध को कार्यों और उप-कार्यों में बाँटता है, फिर उन्हें पूरा करने के लिए सब-एजेंट बनाता है। हर सब-एजेंट अपने अलग कॉन्टेक्स्ट में काम के एक हिस्से को संभालता है। सप्लायर वाले कार्य में, एक सब-एजेंट कीमतों पर शोध कर सकता है, जबकि दूसरा डिलीवरी की शर्तें जाँचता है। किसी को भी वह सब नहीं पढ़ना पड़ता जो दूसरे ने पढ़ा।

काम को फ़ाइलों में रखना

Computer के हर कार्य को अपना अलग वर्कस्पेस मिलता है, जिसकी अपनी फ़ाइलें, वेब ब्राउज़र और टूल्स होते हैं। एजेंट अपने काम को किसी फ़ाइल में सेव कर सकता है, जैसे उन सप्लायरों की लगातार अपडेट होती टेबल जिन्हें वह जाँच चुका है। फिर वह उस फ़ाइल को दोबारा तभी खोलता है जब उसे उसकी ज़रूरत होती है।

सर्च परिणामों से प्रासंगिक अंश चुनना

वेब पेज ऐसी सामग्री से भरे होते हैं जिसकी मॉडल को ज़रूरत नहीं होती, जैसे मेन्यू, विज्ञापन, मेटाडेटा और दूसरे विषयों का टेक्स्ट। क्वेरी-अवेयर कॉन्टेक्स्ट कम्प्रेशन इसे हटा देता है। कोई पेज मॉडल तक पहुँचने से पहले, Perplexity उसमें से सिर्फ़ वे वाक्य रखता है जो क्वेरी से जुड़े होते हैं।

इन चरणों को अमल में लाने के लिए Perplexity Computer के टिप्स, गाइड और उदाहरण कार्य देखें।

अक्सर पूछे जाने वाले सवाल

क्या कॉन्टेक्स्ट रॉट और हैलुसिनेशन एक ही चीज़ हैं?

नहीं, लेकिन दोनों आपस में जुड़े हैं। हैलुसिनेशन ऐसा कोई भी जवाब है जिसमें कोई गलत या बिना आधार वाली बात कही गई हो। कॉन्टेक्स्ट रॉट उन स्थितियों में से एक है जो हैलुसिनेशन की संभावना बढ़ाती हैं, साथ ही दूसरी गलतियों की भी, जैसे निर्देशों को नज़रअंदाज़ करना और ब्योरे छूट जाना।

क्या बेहतर क्वेरी से कॉन्टेक्स्ट रॉट ठीक हो सकता है?

स्पष्ट क्वेरी कार्य को केंद्रित रखकर कॉन्टेक्स्ट रॉट कम करती है। हालाँकि, यह कॉन्टेक्स्ट को बढ़ने से नहीं रोक सकती। काफ़ी लंबे कार्य में एजेंट फिर भी उससे ज़्यादा सामग्री इकट्ठा कर लेता है जितनी का वह अच्छी तरह इस्तेमाल कर सकता है, इसीलिए काम को बाँटना और बीच-बीच में उसकी जाँच करना उतना ही ज़रूरी है जितनी खुद क्वेरी।

क्या कॉन्टेक्स्ट रॉट सिर्फ़ एजेंट को ही नहीं, बल्कि सामान्य AI चैट को भी प्रभावित करता है?

हाँ। चैट में, अब तक की पूरी बातचीत ही कॉन्टेक्स्ट होती है, जिसमें हर संदेश और उसमें पेस्ट या अपलोड किए गए सभी दस्तावेज़ शामिल हैं। कई विषयों पर घंटों से चल रहा थ्रेड भी किसी लंबे एजेंट कार्य जैसी ही गलतियाँ कर सकता है। नए विषय के लिए नया थ्रेड शुरू करने से हर बातचीत केंद्रित रहती है।

कॉन्टेक्स्ट रॉट शुरू होने से पहले कोई कार्य कितना लंबा हो सकता है?

इसकी कोई तय सीमा नहीं है। यह मॉडल और कार्य पर निर्भर करता है। उदाहरण के लिए, 2,60,000-टोकन कॉन्टेक्स्ट विंडो वाले ऑन-डिवाइस मॉडल लगभग 1,00,000 टोकन के बाद संघर्ष करने लगते हैं, जो उनकी सीमा से काफ़ी कम है। साथ ही, यह गिरावट अचानक नहीं, बल्कि धीरे-धीरे होती है।