"साइबर बोधिसत्व" चार्ज करना शुरू कर देता है, और खोज इंजन मुक्त वेश्यावृत्ति के दिन खत्म हो गए हैं

सार:

इस साल जुलाई में, Cloudflare नामक कंपनी ने एक घोषणा जारी की जिससे सीधे तौर पर X में विस्फोट हो गया। इस घोषणा का क्या मतलब है? ब्लॉगर @iyici_ ने टिप्पणी की: "सभी वेबसाइटों द्वारा उपयोग किया जाने वाला सत्यापन कोड कंपनी सभी द्वारा उपयोग किए जाने वाले खोज इंजनों को ब्लॉक करना चाहती है।"

नए नियम, नई फीस, AI｜Cloudflare के लिए शुल्क लेने का समय आ गया है

घोषणा का सबसे दिलचस्प हिस्सा | क्लाउडफ्लेयर

सैन फ्रांसिस्को के जाने-माने प्रौद्योगिकी लेखक और संपादक चार्ल्स पीटरसन का मानना ​​है कि यह इंटरनेट का अंत है। उन्होंने एक्स ''

आरआईपी वर्ल्ड वाइड वेब (1993-2026)

पर ट्वीट किया . ”

@iyici_ की मूल टिप्पणी｜X.com

इस प्रौद्योगिकी कंपनी की एक घोषणा, जिसके बारे में ज्यादातर लोगों ने कभी नहीं सुना है, इतना बड़ा झटका क्यों दे सकती है? क्योंकि इस कंपनी ने एक ऐसा निर्णय लिया है जिससे इंटरनेट पारिस्थितिकी तंत्र में बदलाव आने की संभावना है:

यह वेबसाइटों को AI से "टोल" एकत्र करने में मदद करेगा

.

साइबर बोधिसत्व: आप इसे नहीं जानते, लेकिन आप इसे हर दिन उपयोग करते हैं

क्लाउडफ़ेयर वास्तव में क्या करता है?

क्लाउडफ्लेयर दुनिया के सबसे बड़े नेटवर्क इंफ्रास्ट्रक्चर सेवा प्रदाताओं में से एक है, और इसकी सीडीएन और डीडीओएस सुरक्षा बाजार हिस्सेदारी लंबे समय से सबसे आगे रही है। आप इसे बस वेबसाइट के "फ्रंट वेयरहाउस" और "मोट" के रूप में समझ सकते हैं।

उदाहरण के लिए, आप चीन में एक छोटी वेबसाइट के मालिक हैं। यदि सिंगापुर, संयुक्त राज्य अमेरिका और जापान के उपयोगकर्ता आपकी वेबसाइट पर आते हैं, तो उन्हें हर बार सीधे चीनी सर्वर से चित्र, स्क्रिप्ट और सामग्री मिलेगी, जो बेहद धीमी होगी। तो आप अपनी वेबसाइट को Cloudflare से कनेक्ट करें, जिसमें दुनिया भर में कई नोड हैं और आमतौर पर उपयोग की जाने वाली सामग्री को उपयोगकर्ता के निकटतम सर्वर पर कैश करता है, ताकि अन्य देशों के उपयोगकर्ता आपकी वेबसाइट तक तेजी से पहुंच सकें।

और क्योंकि जब उपयोगकर्ता आपकी वेबसाइट पर जाते हैं, तो वे सबसे पहले Cloudflare के नोड पर जाते हैं, यह दुर्भावनापूर्ण हमलों और असामान्य ट्रैफ़िक रोबोट के खिलाफ सुरक्षा सेवाएँ भी प्रदान कर सकता है।

अभी भी अमूर्त महसूस हो रहा है? तो आपने निम्न आइकन देखा होगा:

इस बटन पर क्लिक करें और वेबसाइट खुलने से पहले लगभग चार या पांच सेकंड तक प्रतीक्षा करें: यह काम पर क्लाउडफ्लेयर की मानव-मशीन सत्यापन सेवा है, जिसे आमतौर पर "पांच-सेकंड शील्ड" के रूप में जाना जाता है। यह उपयोगकर्ता के माउस आंदोलन प्रक्षेपवक्र, क्लिक आवृत्ति और अन्य व्यवहार पैटर्न का विश्लेषण करके निर्धारित करता है कि आप एक वास्तविक व्यक्ति हैं या रोबोट हैं।

आज,

क्लाउडफ्लेयर प्रति सेकंड लगभग 102 मिलियन HTTP अनुरोधों को संभालता है, और दुनिया की लगभग 20% वेबसाइटें इसकी सेवाओं का उपयोग करती हैं

व्यक्तिगत ब्लॉग से लेकर डिस्कॉर्ड और लिंक्डइन जैसे इंटरनेट दिग्गज इसके सेवा लक्ष्य हैं।

इसकी सेवा 125 देशों और क्षेत्रों, 95% वैश्विक इंटरनेट उपयोगकर्ताओं को कवर करती है, और औसत विलंब 50 मिलीसेकंड से अधिक नहीं है

.

इसीलिए अगर कोई गड़बड़ी हुई तो इंटरनेट की दुनिया हिल जाएगी. नवंबर 2025 में, क्लाउडफ़ेयर ने बड़े पैमाने पर आउटेज का अनुभव किया जो लगभग 6 घंटे तक चला, जिससे सीधे तौर पर एक ही समय में बड़ी संख्या में वेबसाइटें और सेवाएँ जैसे X, ChatGPT, Spotify, Uber और Discord ठप हो गईं।

तो इस बार उसने क्या नियम तय किए?

क्लाउडफ्लेयर क्या करता है?

सीधे शब्दों में कहें तो, Cloudflare का नया नियम यह वाक्य है:

15 सितंबर, 2026 से, Cloudflare सेवाओं का उपयोग करने वाली सभी वेबसाइटें डिफ़ॉल्ट रूप से "हाइब्रिड AI क्रॉलर" को ब्लॉक कर देंगी

.

"हाइब्रिड एआई क्रॉलर" क्या है?

क्रॉलर रोबोट प्रोग्राम हैं जो स्वचालित रूप से वेब सामग्री को क्रॉल करते हैं। खोज इंजन वेब पेजों को क्यों खोज सकते हैं इसका कारण यह है कि वे वेब सामग्री को ऑनलाइन क्रॉल करने, इंडेक्स बनाने और फिर उन्हें उपयोगकर्ताओं को प्रदान करने के लिए बड़ी संख्या में क्रॉलर जारी करते हैं।

Google, Bing, और Baidu 20 से अधिक वर्षों से ऐसा कर रहे हैं।

बाद में, AI आया, और AI प्रशिक्षण के लिए बहुत अधिक डेटा की आवश्यकता थी, इसलिए OpenAI जैसी बड़ी मॉडल कंपनियां क्रॉलर पर बहुत अधिक भरोसा करने लगीं। इस साल की शुरुआत में एआई एजेंट लोकप्रिय हो गया। कोडेक्स, किमी को काम करने दें और अन्य एआई उपकरण आपको जानकारी की जांच करने में मदद करते हैं। पर्दे के पीछे, एक क्रॉलर वेब पेजों से सामग्री प्राप्त करने के लिए आपके लिए काम कर रहा है।

इस तरह | किमी वर्क

के माध्यम से

अब, AI क्रॉलर्स ने इंटरनेट के आधे हिस्से पर कब्ज़ा कर लिया है। क्लाउडफ़ेयर के आधिकारिक आंकड़ों के अनुसार, जून 2026 में,

सभी गैर-मानवीय ट्रैफ़िक (सर्च इंजन क्रॉलर, AI क्रॉलर आदि सहित) कुल वेब पेज ट्रैफ़िक का 57.4% था

. दूसरे शब्दों में, आज इंटरनेट पर वेब पेज पढ़ने वाले आधे से अधिक लोग अब इंसान नहीं हैं।

इसलिए 2025 से शुरू होकर, क्लाउडफ़ेयर "एआई क्रॉल कंट्रोल" फ़ंक्शन लॉन्च करेगा, जिससे वेबसाइट मालिकों को एआई क्रॉलर को मैन्युअल रूप से ब्लॉक करने की अनुमति मिलेगी। एक "पे पर क्रॉल" तंत्र भी लॉन्च किया गया। यदि कोई एआई क्रॉलर सामग्री तक पहुंच चाहता है, तो उसे अनुरोध में भुगतान का इरादा शामिल करना होगा, अन्यथा पहुंच सीधे अस्वीकार कर दी जाएगी।

2025 के अंत तक, इस फ़ंक्शन ने 416 बिलियन से अधिक रोबोट अनुरोधों को इंटरसेप्ट किया है

.

यह फ़ंक्शन ओपनएआई के जीपीटीबॉट और एंथ्रोपिक के क्लाउडबॉट जैसे शुद्ध एआई क्रॉलर के लिए अच्छी तरह से काम करता है - लेकिन जब Google की बात आती है तो यह अटक जाता है।

Google के पास "AI अवलोकन" नामक एक सुविधा है: जब उपयोगकर्ता खोज करते हैं, तो Google अब केवल लिंक नहीं देता है, बल्कि परिणाम पृष्ठ के शीर्ष पर सीधे अन्य वेबसाइटों से उत्तरों का AI सारांश उत्पन्न करता है। समस्या यह है कि जब यह फ़ंक्शन सारांश उत्पन्न करता है, तो यह एक अलग एआई क्रॉलर द्वारा कैप्चर किए गए डेटा का उपयोग नहीं करता है, बल्कि सीधे खोज सूचकांक को कॉल करता है - अर्थात, यह खोज के साथ उसी Googlebot को साझा करता है, और इस क्रॉलर को "हाइब्रिड एआई क्रॉलर" कहा जाता है।

एक बार जब कोई वेबसाइट स्वामी Googlebot को ब्लॉक कर देता है, तो AI अवलोकन वास्तव में अवरुद्ध हो जाता है, लेकिन उसकी वेबसाइट भी Google खोज परिणामों से गायब हो जाती है और कम ट्रैफ़िक प्राप्त करती है। अवरुद्ध नहीं किया गया? वह AI अवलोकन आपकी सामग्री को व्यर्थ ही प्राप्त कराता रहता है।

इस दुविधा का सामना करते हुए, किसी एक वेबसाइट के मालिक के लिए Google जैसी दिग्गज कंपनी के साथ सीधे बातचीत करना वास्तव में मुश्किल है, इसलिए Cloudflare खड़ा होने वाला बड़ा भाई बन गया।

सितंबर में नए नियम इस हाइब्रिड क्रॉलर पर लक्षित हैं, और नीति सीधी है: इसे वेबसाइट मालिकों द्वारा मैन्युअल ब्लॉकिंग से डिफ़ॉल्ट ब्लॉकिंग में अपग्रेड किया गया है, जिससे Google को एक विकल्प चुनने के लिए मजबूर किया गया है, या तो अशांत पानी में मछली पकड़ना बंद कर दिया जाए, या खोज सामग्री में महत्वपूर्ण गिरावट के परिणाम भुगतने को कहा जाए।

मीडिया रिपोर्ट्स के मुताबिक, मिश्रित क्रॉलर पर प्रतिबंध लगाने की नीति शुरू करते समय, क्लाउडफ्लेयर Google के साथ भी बातचीत कर रहा है, जिसमें एआई ओवरव्यू क्रॉलर को सर्च क्रॉलर से अलग करने के लिए कहा जा रहा है, ताकि वेबसाइट केवल एआई ओवरव्यू क्रॉलर को ब्लॉक कर सके और सर्च ट्रैफिक बरकरार रख सके।

Google असहमत है. यह चिंता का विषय है कि एक बार अलग होने के बाद, बड़ी संख्या में वेबसाइटें सीधे एआई अवलोकन क्रॉलर को ब्लॉक कर देंगी।

फिर क्लाउडफ्लेयर इतना कड़ा रुख क्यों अपनाता है? एआई क्रॉलर के उद्भव के कारण, दशकों से चल रहे इंटरनेट का तर्क बदल रहा है।

बदलता वर्ल्ड वाइड वेब

पिछले तीस वर्षों में, इंटरनेट पर सूचना खोज ने इस तरह काम किया है: आप "ब्रेज़्ड पोर्क कैसे बनाएं" खोजते हैं, खोज इंजन आपको दस लिंक देता है, आप पहले खाद्य ब्लॉग पर क्लिक करते हैं, सामग्री ब्राउज़ करते हैं, और बाहर निकल जाते हैं।

इस प्रक्रिया में, वेबसाइट सामग्री लिखती है, खोज इंजन इसे कैप्चर करने के लिए क्रॉलर भेजता है, और उपयोगकर्ता खोजते हैं और क्लिक करते हैं; वेबसाइट और खोज इंजन दोनों ट्रैफ़िक प्राप्त करते हैं, जिसे विज्ञापन या संबद्ध लिंक द्वारा मुद्रीकृत किया जा सकता है, और विज्ञापनदाताओं को अधिक प्रभावी डिलीवरी प्राप्त होती है। हरेक प्रसन्न है।

यह मौन समझ तीस वर्षों तक बनी रह सकती है। यह मूलतः समान मूल्य के मौन आदान-प्रदान पर आधारित है। मैं आपको अपनी सामग्री निःशुल्क प्राप्त करने देता हूँ, और आप मुझे निःशुल्क ट्रैफ़िक देते हैं। किसी का किसी पर बकाया नहीं है.

जब सर्च इंजन में AI होता है, तो सब कुछ बदल जाता है।

जब आप "ब्रेज़्ड पोर्क कैसे बनाएं" खोजते हैं, तो Google अब आपको केवल दस लिंक नहीं देता है। यह सीधे व्यंजनों, चरणों और सावधानियों का सारांश देता है और उन्हें खोज परिणामों के शीर्ष पर रखता है।

उपयोगकर्ता उत्तर पढ़ने के बाद बिना किसी वेबसाइट पर क्लिक किए चला जाता है

.

Google को अभी भी ट्रैफ़िक मिलता है, लेकिन वेबसाइट स्वामी का ट्रैफ़िक ख़त्म हो गया है।

क्लाउडफ्लेयर ने 2025 के मध्य में विभिन्न निर्माताओं के क्रॉलर के एक सेट के "क्रॉलिंग और रिटर्न अनुपात" की घोषणा की:

Google लगभग 10:1 है (10 वेब पेजों को क्रॉल करना, 1 विज़िटर लाना), ओपनएआई 3700:1 है, और एंथ्रोपिक आश्चर्यजनक रूप से 500000:1 तक पहुंच गया है

. दूसरे शब्दों में, Google कम से कम कुछ ट्रैफ़िक वापस ला रहा है, और AI कंपनियों को लगभग कुछ भी नहीं मिल रहा है।

अकादमिक शोध भी इस बदलाव की पुष्टि करते हैं।

2026 के एक अध्ययन में पाया गया कि आधे से अधिक (51.5%) खोज क्वेरी Google AI अवलोकन को ट्रिगर करती हैं।

प्यू रिसर्च सेंटर के डेटा से पता चलता है कि एआई अवलोकन के बिना खोज पृष्ठों पर, लिंक पर क्लिक करने वाले उपयोगकर्ताओं का अनुपात 15% है। जब एआई अवलोकन होता है, तो यह सीधे 8% तक गिर जाता है; जहां तक ​​एआई अवलोकन द्वारा उद्धृत लिंक का सवाल है... क्लिक-थ्रू दर केवल 1% दयनीय है।

पहले से ही ऐसे प्लेटफ़ॉर्म हैं जो वास्तविक धन खो रहे हैं।

सितंबर 2025 में, अमेरिकी प्रकाशन समूह पेंसके मीडिया ने Google को अदालत में ले जाया। पेंसके मीडिया के पास "रोलिंग स्टोन", "हॉलीवुड रिपोर्टर" और "बिलबोर्ड" जैसे प्रसिद्ध मीडिया ब्रांड हैं, जिनके 120 मिलियन से अधिक मासिक आगंतुक हैं, और इसके राजस्व का एक बड़ा हिस्सा वेबसाइट विज़िट से आता है। हालाँकि, जब से Google ने अपना AI अवलोकन लॉन्च किया है, संबद्ध लिंक से पेंसके मीडिया का राजस्व एक तिहाई से अधिक गिर गया है।

यह सिर्फ समंदर पार की कहानी नहीं है। ज़ियाओहोंगशू ने 2025 में "आस्क" नामक एक एआई खोज फ़ंक्शन लॉन्च किया। तर्क बिल्कुल Google एआई अवलोकन के समान है: एआई द्वारा क्रमबद्ध परिणाम सीधे खोज के शीर्ष पर प्रदर्शित होते हैं।

इसका प्रभाव बिल्कुल Google जैसा ही है: अतीत में, उपयोगकर्ता कीवर्ड खोजते थे, एक-एक करके नोट्स ब्राउज़ करते थे, और जानकारी को स्वयं फ़िल्टर करते थे; अब उपयोगकर्ता प्रश्न पूछते हैं, और एआई प्रासंगिक नोट सामग्री को एकीकृत करता है और सीधे उत्तर देता है। उपयोगकर्ता अब एक-एक करके नोट्स पर क्लिक नहीं करते हैं, और ब्लॉगर देखे जाने, अनुसरण किए जाने और रूपांतरित होने का अवसर खो देते हैं।

मीडिया रिपोर्टों के अनुसार, ज़ियाहोंगशू ने शुरू में आंतरिक रूप से केवल 1%-2% खोज अनुरोधों को कवर करने के लिए "प्रश्न पूछें" की अनुमति दी थी। कारण यह था कि "बॉस को बहुत अधिक प्रभाव पड़ने का डर था", और बाद में इसे बढ़ाकर 3%-4% कर दिया गया। जाहिर है प्लेटफॉर्म खुद जानता है कि इस घटना का क्रिएटर्स पर कितना असर होगा.

पुराना युग ख़त्म होता है और नया युग शुरू होता है

क्लाउडफ्लेयर और गूगल के बीच के खेल का अभी तक कोई जवाब नहीं है। लेकिन एक बात निश्चित है:

''ट्रैफ़िक के बदले में मुफ़्त सामग्री'' की मौन समझ जो इंटरनेट पर तीस वर्षों से चली आ रही है, अब वापस नहीं जा सकती

.

वास्तव में, चीनी इंटरनेट पहले ही इस रास्ते से गुजर चुका है। आप Baidu पर WeChat सार्वजनिक खातों से लेख नहीं खोज सकते, और आप ज़ियाहोंगशू से सामग्री नहीं खोज सकते। ऐसा नहीं है कि खोज इंजन तकनीक ऐसा नहीं कर सकती है, लेकिन प्लेटफ़ॉर्म ने सक्रिय रूप से अपने स्वयं के पारिस्थितिकी तंत्र में सामग्री को फंसाने के लिए दीवारें बनाई हैं। अब क्लाउडफ्लेयर एआई को मुफ्त में सामग्री प्राप्त करने से रोकने के लिए वेबसाइटों के लिए एक "पेवॉल" बना रहा है। तरीके अलग-अलग हैं, लेकिन परिणाम एक ही हैं।

यदि अधिक से अधिक वेबसाइटें एआई क्रॉलर को ब्लॉक करती हैं, तो एआई खोज कम और कम उच्च गुणवत्ता वाली सामग्री प्राप्त करेगी, और दिए गए उत्तरों की गुणवत्ता में गिरावट आएगी; और यदि वेबसाइट खोज ट्रैफ़िक खो देती है तो उसे बनाए रखना मुश्किल हो जाएगा। अंततः, दोनों पक्ष एक साथ ढह जाएंगे, जिसके परिणामस्वरूप "सामग्री रेगिस्तान" बन जाएगा।

एआई खोज वास्तव में सुविधाजनक है, तीन सेकंड में उत्तर के साथ। लेकिन सभी सारांश मूल पाठ लिखने वाले किसी व्यक्ति पर आधारित हैं।

यदि वे लोग अब नहीं लिख सकते हैं, तो AI द्वारा संक्षेपित की जा सकने वाली चीज़ें कम और कम होती जाएंगी

. देर-सबेर किसी न किसी को यह बिल चुकाना ही होगा।