क्लाउडफ्लेयर ने हाल ही में घोषणा की कि वह अपनी सेवाओं का उपयोग करने वाली वेबसाइटों के डिफ़ॉल्ट कॉन्फ़िगरेशन में महत्वपूर्ण समायोजन करेगा, जिससे संपूर्ण कृत्रिम बुद्धिमत्ता उद्योग के लिए एक नई "समय सीमा" निर्धारित होगी: एआई कंपनियों को इस साल 15 सितंबर तक एआई एजेंटों और मॉडल प्रशिक्षण के लिए उपयोग किए जाने वाले क्रॉलर से पारंपरिक खोज के लिए उपयोग किए जाने वाले वेब क्रॉलर को स्पष्ट रूप से अलग करने की आवश्यकता होगी, अन्यथा ये "मिश्रित-उपयोग" क्रॉलर बड़ी संख्या में विज्ञापन पृष्ठों पर डिफ़ॉल्ट रूप से अवरुद्ध हो जाएंगे।
क्लाउडफ्लेयर द्वारा घोषित विवरण के अनुसार, कोई भी डेटा क्रॉलर जो एक ही समय में खोज, एआई एजेंट आमंत्रण और मॉडल प्रशिक्षण के लिए उपयोग किया जाता है, उसे डिफ़ॉल्ट रूप से क्रॉल करने से अवरुद्ध कर दिया जाएगा यदि वह विज्ञापनों को होस्ट करने वाले वेब पेज तक पहुंचता है, जब तक कि वेबसाइट मालिक सक्रिय रूप से प्रासंगिक सेटिंग्स नहीं बदलता है। ये नई डिफ़ॉल्ट सेटिंग्स नए क्लाउडफ़ेयर ग्राहकों, मौजूदा ग्राहकों द्वारा बनाई गई नई साइटों और सभी मौजूदा मुफ्त उपयोगकर्ता साइटों पर लागू होंगी। यह कदम एआई मॉडल प्रदाताओं के प्रशिक्षण और सेवा निर्माण के लिए वेब सामग्री प्राप्त करने के तरीके को सीधे प्रभावित करेगा, और एआई एजेंट सेवाओं के पीछे डेटा आपूर्ति पैटर्न को भी बदल देगा।
क्लाउडफ्लेयर ने बताया कि अधिकांश वेबसाइट मालिकों को उम्मीद है कि उनकी सामग्री पारंपरिक खोज इंजनों के माध्यम से खोजी जा सकती है, और कुछ शर्तों के तहत एआई सेवाओं द्वारा उद्धृत किए जाने से भी खुश हैं, लेकिन वे नहीं चाहते हैं कि उनके बौद्धिक संपदा अधिकारों का मुफ्त में और बिना प्राधिकरण के बड़े पैमाने पर दुरुपयोग किया जाए। क्लाउडफ़ेयर ने अपने विवरण में "दुनिया का सबसे बड़ा खोज इंजन" (स्पष्ट रूप से Google की ओर इशारा करते हुए) का नाम दिया है, और कहा है कि अन्य AI कंपनियों की तुलना में इसमें "लगभग दोगुनी मात्रा में सुलभ जानकारी" है। इसका कारण यह है कि खोज दिग्गज साइटों के लिए एआई के उपयोग से पूरी तरह बचते हुए खोज दृश्यता बनाए रखना कठिन बना देता है।
Google ने हमेशा इसी तरह के सामान्य आरोपों का खंडन किया है, इस बात पर जोर देते हुए कि वह साइटों को चुनने के लिए "Google एक्सटेंडेड" नामक एक रोबोट प्रदान करता है, जिसका उपयोग AI प्रशिक्षण और AI उत्पादों और सेवाओं जैसे जेमिनी ऐप्स और वर्टेक्स एपीआई के लिए उपयोग की जाने वाली वेबसाइट सामग्री को स्पष्ट रूप से अस्वीकार करने के लिए किया जाता है, Google खोज में वेबसाइट के समावेशन को प्रभावित किए बिना। हालाँकि, जबकि Google का मुख्य क्रॉलर Googlebot खोज के लिए पृष्ठों को अनुक्रमित करता है, यह AI ओवरव्यू और AI मोड जैसे खोज-एम्बेडेड AI कार्यों के लिए डेटा समर्थन भी प्रदान करता है।
क्लाउडफ़ेयर के सह-संस्थापक और सीईओ मैथ्यू प्रिंस ने घोषणा में कहा कि जैसे-जैसे इंटरनेट ट्रैफ़िक संरचना बदलती है, "आज इंटरनेट पर अधिकांश ट्रैफ़िक तक मनुष्यों की पहुंच नहीं रह गई है।" उद्योग ने पहले उम्मीद की थी कि विभक्ति बिंदु जहां "रोबोट यातायात मानव यातायात से अधिक है" अगले वर्ष तक नहीं होगा। उन्होंने जोर दिया: "इस मामले में, हमें आगे बढ़ना चाहिए और वास्तव में एक स्थायी पारिस्थितिकी तंत्र बनाने के लिए तेजी से आगे बढ़ना चाहिए।"
प्रिंस ने कहा कि क्लाउडफ्लेयर के नए टूल और साझेदारियां वेबसाइट मालिकों को एआई युग में अधिक दृश्यता और व्यावसायिक अवसर प्रदान करेंगी, साथ ही स्पष्ट उपयोग और पारदर्शी इरादों वाले एआई क्रॉलर्स को भी लाभान्वित करेंगी। उन्हें उम्मीद है कि डिफ़ॉल्ट नीति को समायोजित करके, वह "मिश्रित-उद्देश्य क्रॉलर" को एजेंट कॉल और प्रशिक्षण उद्देश्यों से पारंपरिक खोज को स्पष्ट रूप से अलग करने के लिए मजबूर कर सकते हैं। बाहरी व्यावसायिक स्तर पर, क्लाउडफ़ेयर उपयोगकर्ताओं को अपने स्वयं के एआई सिस्टम बनाने में मदद करने के लिए विभिन्न प्रकार के उत्पाद प्रदान करता है। दूसरी ओर, इसने हाल के वर्षों में प्रकाशकों और सामग्री पक्षों के लिए "नियंत्रण वृद्धि" टूल की एक श्रृंखला भी लॉन्च की है।
2024 की शुरुआत में, क्लाउडफ्लेयर ने विशेष रूप से एआई क्रॉलर का मुकाबला करने के लिए एक टूल लॉन्च किया, और फिर 2025 में "पे पर क्रॉल" नामक एक बाजार लॉन्च किया, जिससे वेबसाइटों को क्रॉलिंग शुल्क के लिए एआई क्रॉलर से शुल्क लेने की अनुमति मिल गई। नवीनतम समाचार से पता चलता है कि यह मॉडल आगे "भुगतान प्रति उपयोग" में विकसित हो रहा है, यानी, यह अब केवल "क्रॉलिंग व्यवहार" के आधार पर शुल्क नहीं लेता है, बल्कि एआई सिस्टम में सामग्री के वास्तविक "मूल्य निर्माण" के आधार पर एआई कंपनियों से शुल्क लेता है।
क्लाउडफ्लेयर ने बताया कि यह "पे-पर-यूज़" मॉडल न केवल प्रकाशकों को नए राजस्व चैनल प्रदान करता है, बल्कि उनके बैंडविड्थ और कंप्यूटिंग संसाधनों को बचाने में भी मदद करता है, क्योंकि इसके आंतरिक डेटा से पता चलता है कि एआई क्रॉलर क्रॉलिंग ट्रैफ़िक का 50% से अधिक बार-बार क्रॉल करने वाले पृष्ठों पर खर्च किया जाता है जिन्हें अपडेट नहीं किया गया है। नए बिलिंग और नियंत्रण तंत्र के माध्यम से, प्रकाशक "अप्रभावी डुप्लिकेट क्रॉल" पर वित्तीय प्रतिबंध लगाते हुए वास्तव में मूल्यवान अनुरोधों पर सीमित संसाधनों को प्राथमिकता दे सकते हैं।
विशिष्ट कार्यान्वयन सहयोग के संदर्भ में, क्लाउडफ्लेयर ने वर्तमान में दो भागीदारों, सिरेमिक.एआई और यू.कॉम के साथ पायलट परियोजनाएं शुरू की हैं। जब प्रकाशक कार्यक्रम में शामिल होना चुनते हैं, तो उन्हें तब तक उचित मुआवज़ा मिलेगा जब तक उनकी सामग्री सिरेमिक के एआई खोज परिणामों में दिखाई देती है या You.com द्वारा "भुगतान की गई प्रीमियम सामग्री" के एक हिस्से के रूप में एक्सेस की जाती है। क्लाउडफ्लेयर ने कहा कि अन्य एआई कंपनियां भी इस भुगतान मॉडल को अपने उत्पाद रूपों के अनुसार अनुकूलित और विस्तारित कर सकती हैं।
एआई क्रॉलिंग और कॉपीराइट मुद्दों पर नियामक और जनता के बढ़ते ध्यान की पृष्ठभूमि के खिलाफ, क्लाउडफ्लेयर के नीति समायोजन और बिजनेस मॉडल अपग्रेड का उद्देश्य स्पष्ट रूप से प्रकाशकों के लिए अधिक कहने और लाभ की जगह हासिल करना है, साथ ही एआई कंपनियों पर नई पारदर्शिता और अनुपालन का दबाव भी डालना है। एआई उद्योग के लिए, विभिन्न बुद्धिमान एजेंटों को प्रशिक्षित करने और चलाने के लिए बड़े पैमाने पर वेब सामग्री पर भरोसा करना जारी रखते हुए, तकनीकी सुविधा और सामग्री मालिकों के अधिकारों और हितों के बीच संतुलन कैसे बनाया जाए, यह भविष्य में एक अपरिहार्य मुख्य मुद्दा बन जाएगा।