एजेंट या बॉट्स? ओपन वेब पर एआई को समझना

जैसे-जैसे इंटरनेट विकसित हो रहा है, वैसे-वैसे सूचनाओं तक पहुँचने और उनके साथ जुड़ने के तरीके भी बदल रहे हैं। वेब के शुरुआती दिनों में, स्वचालित बॉट्स एक सरल, अच्छी तरह से समझी जाने वाली भूमिका निभाते थे: खोज के लिए साइटों को अनुक्रमित (index) करना, लिंक की जाँच करना, या वेबसाइट मालिकों द्वारा निर्धारित स्पष्ट नियमों के अनुसार डेटा को स्क्रैप करना।

लेकिन एआई-संचालित सहायकों (AI-powered assistants) और उपयोगकर्ता-संचालित एजेंटों के उदय के साथ, "सिर्फ एक बॉट" क्या है और वास्तविक लोगों की तात्कालिक जरूरतों को क्या पूरा करता है, इसके बीच की सीमा धुंधली होती जा रही है।

डिजिटल सहायकों का उदय

आधुनिक एआई सहायक पारंपरिक वेब क्रॉलिंग से मौलिक रूप से अलग तरीके से काम करते हैं। जब आप Perplexity से कोई ऐसा प्रश्न पूछते हैं जिसके लिए वर्तमान जानकारी की आवश्यकता होती है—उदाहरण के लिए, "उस नए रेस्तरां के लिए नवीनतम समीक्षाएँ क्या हैं?"—तो एआई के पास वह जानकारी पहले से ही कहीं किसी डेटाबेस में मौजूद नहीं होती है। इसके बजाय, यह संबंधित वेबसाइटों पर जाता है, सामग्री पढ़ता है, और आपके विशिष्ट प्रश्न के अनुरूप एक सारांश वापस लाता है।

यह पारंपरिक वेब क्रॉलिंग से मौलिक रूप से भिन्न है, जिसमें क्रॉलर व्यवस्थित रूप से लाखों पृष्ठों पर जाकर विशाल डेटाबेस बनाते हैं, चाहे किसी ने उस विशिष्ट जानकारी के लिए अनुरोध किया हो या नहीं। इसके विपरीत, उपयोगकर्ता-संचालित एजेंट केवल तभी सामग्री लाते हैं जब कोई वास्तविक व्यक्ति कुछ विशिष्ट मांगता है, और वे उपयोगकर्ता के प्रश्न का उत्तर देने के लिए तुरंत उस सामग्री का उपयोग करते हैं। Perplexity के उपयोगकर्ता-संचालित एजेंट जानकारी को संग्रहीत नहीं करते हैं और न ही इसका उपयोग प्रशिक्षण के लिए करते हैं।

यह अंतर क्यों मायने रखता है

स्वचालित क्रॉलिंग और उपयोगकर्ता-संचालित फेचिंग (fetching) के बीच का अंतर केवल तकनीकी नहीं है—यह इस बारे में है कि ओपन वेब पर जानकारी तक पहुँचने का अधिकार किसे है। जब Google का सर्च इंजन अपना इंडेक्स बनाने के लिए क्रॉल करता है, तो यह तब से अलग होता है जब यह किसी वेबपेज को फेच करता है क्योंकि आपने पूर्वावलोकन (preview) के लिए अनुरोध किया है। Google के "उपयोगकर्ता-ट्रिगर फेचर" robots.txt प्रतिबंधों पर आपके अनुभव को प्राथमिकता देते हैं क्योंकि ये अनुरोध आपकी ओर से किए जाते हैं।

यही बात एआई सहायकों पर भी लागू होती है। जब Perplexity कोई वेबपेज फेच करता है, तो ऐसा इसलिए होता है क्योंकि आपने एक विशिष्ट प्रश्न पूछा है जिसके लिए वर्तमान जानकारी की आवश्यकता है। सामग्री को प्रशिक्षण के लिए संग्रहीत नहीं किया जाता है—इसका उपयोग तुरंत आपके प्रश्न का उत्तर देने के लिए किया जाता है।

जब Cloudflare जैसी कंपनियाँ उपयोगकर्ता-संचालित एआई सहायकों को दुर्भावनापूर्ण बॉट्स के रूप में गलत तरीके से प्रस्तुत करती हैं, तो वे यह तर्क दे रही होती हैं कि उपयोगकर्ताओं की सेवा करने वाला कोई भी स्वचालित उपकरण संदिग्ध होना चाहिए—एक ऐसी स्थिति जो ईमेल क्लाइंट और वेब ब्राउज़र, या किसी अन्य सेवा को अपराधी बना देगी जिसे कोई भी गेटकीपर पसंद नहीं करता है।

यह विवाद उजागर करता है कि Cloudflare की प्रणालियाँ वैध एआई सहायकों और वास्तविक खतरों के बीच अंतर करने में मौलिक रूप से अपर्याप्त हैं। यदि आप एक सहायक डिजिटल सहायक और एक दुर्भावनापूर्ण स्क्रैपर के बीच अंतर नहीं बता सकते हैं, तो आपको यह निर्णय नहीं लेना चाहिए कि वैध वेब ट्रैफ़िक क्या है।

यह ओवरब्लॉकिंग (overblocking) सभी को नुकसान पहुँचाती है। ऐसे व्यक्ति पर विचार करें जो चिकित्सीय स्थितियों पर शोध करने, उत्पाद समीक्षाओं की तुलना करने, या कई स्रोतों से समाचार प्राप्त करने के लिए एआई का उपयोग कर रहा है। यदि उनके सहायक को "दुर्भावनापूर्ण बॉट" के रूप में अवरुद्ध कर दिया जाता है, तो वे बहुमूल्य जानकारी तक पहुँच खो देते हैं।

इसका परिणाम एक दो-स्तरीय इंटरनेट है जहाँ आपकी पहुँच आपकी आवश्यकताओं पर नहीं, बल्कि इस पर निर्भर करती है कि आपके द्वारा चुने गए टूल को बुनियादी ढांचा नियंत्रकों द्वारा मंजूरी दी गई है या नहीं, जो आपके साधनों के बारे में अधिक परवाह करेंगे। यह उपयोगकर्ता की पसंद को कमजोर करता है और स्थापित दिग्गजों के साथ प्रतिस्पर्धा करने वाली नवीन सेवाओं के लिए ओपन वेब की पहुंच को खतरे में डालता है।

स्पष्टता का आह्वान: उपयोगकर्ता एजेंट वास्तव में कैसे काम करते हैं

एक एआई सहायक बिल्कुल एक मानवीय सहायक की तरह काम करता है। जब आप एआई सहायक से कोई ऐसा प्रश्न पूछते हैं जिसके लिए वर्तमान जानकारी की आवश्यकता होती है, तो उन्हें उत्तर पहले से नहीं पता होता है। वे आपके द्वारा पूछे गए किसी भी कार्य को पूरा करने के लिए आपके लिए इसे खोजते हैं।

Perplexity और अन्य सभी एजेंटिक एआई प्लेटफॉर्म पर, यह वास्तविक समय में, आपके अनुरोध के जवाब में होता है, और जानकारी का उपयोग तुरंत आपके प्रश्न का उत्तर देने के लिए किया जाता है। इसे भविष्य में उपयोग के लिए विशाल डेटाबेस में संग्रहीत नहीं किया जाता है, और इसका उपयोग एआई मॉडल को प्रशिक्षित करने के लिए नहीं किया जाता है।

उपयोगकर्ता-संचालित एजेंट केवल तभी कार्य करते हैं जब उपयोगकर्ता विशिष्ट अनुरोध करते हैं, और वे केवल उन अनुरोधों को पूरा करने के लिए आवश्यक सामग्री लाते हैं। यह एक उपयोगकर्ता एजेंट और एक बॉट के बीच का मौलिक अंतर है।

Cloudflare को सीधे संबोधित करना: योग्यता का प्रश्न

Cloudflare का हालिया ब्लॉग पोस्ट आधुनिक एआई सहायक वास्तव में कैसे काम करते हैं, इसके बारे में लगभग सब कुछ गलत बताने में कामयाब रहा।

यह गलत समझने के अलावा कि 20-25 मिलियन उपयोगकर्ता एजेंट अनुरोध स्क्रैपर्स नहीं हैं, Cloudflare ने दावा किया कि Perplexity "स्टील्थ क्रॉलिंग" में संलग्न था, जो वेबसाइट प्रतिबंधों को बायपास करने के लिए छिपे हुए बॉट्स और प्रतिरूपण युक्तियों का उपयोग कर रहा था। लेकिन तकनीकी तथ्य एक अलग कहानी बयां करते हैं।

ऐसा प्रतीत होता है कि Cloudflare ने Perplexity को BrowserBase से 3-6 मिलियन दैनिक गैर-संबंधित ट्रैफ़िक अनुरोधों के साथ भ्रमित कर दिया, जो एक तृतीय-पक्ष क्लाउड ब्राउज़र सेवा है जिसका Perplexity केवल कभी-कभी अत्यधिक विशिष्ट कार्यों (प्रति दिन 45,000 से कम अनुरोध) के लिए उपयोग करता है।

चूंकि Cloudflare ने अपनी कार्यप्रणाली को अस्पष्ट कर दिया है और हमारी टीम को समझने में मदद करने वाले सवालों के जवाब देने से इनकार कर दिया है, इसलिए हम इसे केवल दो संभावित स्पष्टीकरणों तक सीमित कर सकते हैं।

Cloudflare को एक चतुर प्रचार क्षण की आवश्यकता थी और हम—उनके स्वयं के ग्राहक—उन्हें एक दिलाने के लिए एक उपयोगी नाम साबित हुए।

Cloudflare ने मौलिक रूप से BrowserBase की स्वचालित ब्राउज़र सेवा से 3-6 मिलियन दैनिक अनुरोधों को Perplexity को गलत तरीके से जिम्मेदार ठहराया, जो एक बुनियादी ट्रैफ़िक विश्लेषण विफलता है, जो उस कंपनी के लिए विशेष रूप से शर्मनाक है जिसका मुख्य व्यवसाय वेब ट्रैफ़िक को समझना और वर्गीकृत करना है।

जो भी स्पष्टीकरण सच हो, Cloudflare के विश्लेषण में तकनीकी त्रुटियाँ केवल शर्मनाक ही नहीं हैं—वे अयोग्य ठहराने वाली हैं। जब आप लाखों अनुरोधों का गलत श्रेय देते हैं, पूरी तरह से गलत तकनीकी चित्र प्रकाशित करते हैं, और आधुनिक एआई सहायक कैसे काम करते हैं, इसकी मौलिक समझ प्रदर्शित करते हैं, तो आपने इस स्पेस में विशेषज्ञता का कोई भी दावा खो दिया है।

यह विवाद उजागर करता है कि Cloudflare की प्रणालियाँ वैध एआई सहायकों और वास्तविक खतरों के बीच अंतर करने में मौलिक रूप से अपर्याप्त हैं। यदि आप एक सहायक डिजिटल सहायक और एक दुर्भावनापूर्ण स्क्रैपर के बीच अंतर नहीं बता सकते हैं, तो आपको यह निर्णय नहीं लेना चाहिए कि वैध वेब ट्रैफ़िक क्या है।

इस मुद्दे के इर्द-गिर्द का शोर यह भी उजागर करता है कि Cloudflare का नेतृत्व या तो एआई की मूल बातों पर खतरनाक रूप से गलत सूचित है, या केवल क्लाउड से अधिक दिखावा है। यह मायने रखता है क्योंकि Cloudflare के ग्राहकों में सभी प्रकार के व्यवसाय शामिल हैं, ऐसी कंपनियाँ जो अपनी बुनियादी ढांचे को चार्लटन पब्लिसिटी स्टंट के साथ भरोसा नहीं कर सकती हैं।

और भी शर्मनाक बात यह है कि Cloudflare ने एक तकनीकी चित्र प्रकाशित किया जो कथित तौर पर "Perplexity का क्रॉलिंग वर्कफ़्लो" दिखा रहा था, जिसका Perplexity के वास्तव में काम करने के तरीके से कोई लेना-देना नहीं है। यदि Cloudfare वास्तव में उनके द्वारा देखे जा रहे डेटा को समझने, हमारे सिस्टम कैसे काम करते हैं, या ऊपर उल्लिखित इन मौलिक अवधारणाओं को समझने में रुचि रखता है, तो वे वह कर सकते थे जो हम सभी Perplexity उपयोगकर्ताओं को करने के लिए प्रोत्साहित करते हैं। बस पूछें।