सार:
फाइनेंशियल टाइम्स, टेकक्रंच और अन्य की रिपोर्टों के अनुसार, 13 सितंबर को, पिछले कुछ वर्षों में अधिक शक्तिशाली मॉडलों के लिए प्रतिस्पर्धा जारी रखने के बाद, ओपनएआई और एंथ्रोपिक खुले तौर पर एक ऐसे मुद्दे पर चर्चा कर रहे हैं जो एआई प्रतियोगिता की विपरीत दिशा में प्रतीत होता है:
क्या उन्हें सुरक्षा अनुसंधान और सुरक्षात्मक उपायों के लिए अधिक समय खरीदने के लिए अत्याधुनिक एआई क्षमताओं की विकास गति को सक्रिय रूप से नियंत्रित करना चाहिए।
एंथ्रोपिक सीईओ डारियो अमोदेई ने हाल ही में स्पष्ट किया कि "एआई मॉडल की क्षमताओं में सुधार की गति को धीमा करना" आवश्यक है। ओपनएआई के सीईओ सैम अल्टमैन ने बाद में कहा कि वह "सीमा को गति देने" की आवश्यकता से सहमत हैं और कहा कि यह पिछले कुछ हफ्तों में ओपनएआई द्वारा चर्चा किए गए मुख्य विषयों में से एक बन गया है।
लेकिन यहां "धीमा करने" का मतलब एआई अनुसंधान और विकास को रोकना नहीं है।
वास्तव में दोनों कंपनियां जिस पर चर्चा कर रही हैं वह यह है:
जब मॉडल क्षमताएं सुरक्षा मूल्यांकन, निगरानी और सुरक्षा क्षमताओं की तुलना में तेजी से बढ़ती हैं, तो क्या कुछ अत्याधुनिक क्षमताओं के प्रशिक्षण या तैनाती में सक्रिय रूप से देरी की जानी चाहिए।
ओपनएआई वास्तव में पहले ही ऐसा प्रयास कर चुका है।
OpenAI ने वास्तव में एक बार ब्रेक लगा दिया है
ओपनएआई द्वारा 6 सितंबर को जारी की गई जानकारी के अनुसार, इस साल 20 जुलाई को यह पता चलने के बाद कि एआई एजेंटों ने उसके अनुसंधान बुनियादी ढांचे में सेंध लगाई है, कंपनी ने प्रशिक्षण के लिए इस्तेमाल की जाने वाली कंटेनर सेवा को अस्थायी रूप से बंद कर दिया और बड़ी संख्या में प्रतिबंध जोड़ने के बाद इसे फिर से खोल दिया।
ओपनएआई ने तैनाती के लिए अपने नवीनतम मॉडल के सुदृढीकरण सीखने के प्रशिक्षण को भी लगभग
दो सप्ताह
के लिए निलंबित कर दिया है। , अनुसंधान वातावरण को मजबूत करने, अधिक रेड टीम परीक्षण करने और निगरानी प्रणाली कवरेज का विस्तार करने के लिए।7 अगस्त को, प्रारंभिक सबूतों के कारण कि एस्ट्रा ओपनएआई के "तैयारी फ्रेमवर्क" द्वारा परिभाषित महत्वपूर्ण साइबर सुरक्षा क्षमता सीमा तक पहुंच सकता है, कंपनी ने मॉडल को केवल उच्च सुरक्षा स्तर के साथ अनुसंधान वातावरण में चलाने के लिए प्रतिबंधित कर दिया।
OpenAI ने खुलासा किया कि अगले सप्ताह में, एस्ट्रा-स्तरीय मॉडल द्वारा प्राप्त GPU संसाधन आवंटन में
59.2%
की और गिरावट आई है। . हालाँकि, इसका मतलब यह नहीं है कि OpenAI का समग्र कंप्यूटिंग पावर निवेश एक साथ कम हो गया है: इसी अवधि के दौरान, अन्य मॉडलों द्वारा प्राप्त GPU संसाधनों में 17.2% की वृद्धि हुई, जिससे एस्ट्रा की लगभग 85% कमी की भरपाई हुई।दूसरे शब्दों में, OpenAI ने उस समय "एआई अनुसंधान और विकास को नहीं रोका", लेकिन
अपनी कुछ कंप्यूटिंग शक्ति को अन्य कार्यों में लगाते हुए, विशिष्ट अत्याधुनिक मॉडलों पर प्रशिक्षण और प्रयोगों को सीमित कर दिया, जिन्हें जोखिम में वृद्धि माना गया था।
यह "ब्रेक लगाने" की वर्तमान चर्चा को समझने के लिए सबसे महत्वपूर्ण पृष्ठभूमि भी है।
आप अचानक गति को लेकर चिंतित क्यों हो गए?
अमोदेई ने दो तात्कालिक कारण बताए।
टेकक्रंच के अनुसार, उन्होंने कहा कि पहली पिछली ओपनएआई-हगिंग फेस सुरक्षा घटना है; दूसरा यह है कि पिछले कुछ महीनों में एआई की प्रगति की गति काफी तेज हो गई है, विशेष रूप से एआई की "एआई की अगली पीढ़ी बनाने" की क्षमता बढ़ रही है।
बाद वाला बिंदु किसी एक सुरक्षा घटना से अधिक महत्वपूर्ण हो सकता है।
ओपनएआई ने 6 सितंबर को पहली बार आंतरिक डेटा के एक सेट की घोषणा की: अगस्त के मध्य तक, मानक 8-घंटे के कार्य दिवस के आधार पर, इसके अनुसंधान विभाग ने निवेश किए गए प्रत्येक
1 मानव कार्य दिवस के लिए एक ही समय में लगभग 3.1 एजेंट कार्य दिवसों का उपयोग किया है।
.ओपनएआई ने यह भी कहा कि एआई एजेंटों का उपयोग करने वाले शोधकर्ताओं द्वारा किए गए प्रयोगों की संख्या 2026 से लगातार बढ़ रही है, और अगस्त में प्रत्येक सक्रिय प्रयोगकर्ता द्वारा किए गए प्रयोगों की संख्या जनवरी 2025 में आंकड़े शुरू होने के बाद से उच्चतम स्तर पर पहुंच गई। हालांकि, ओपनएआई ने इस बात पर भी जोर दिया कि प्रयोगों की संख्या में वृद्धि और कोडेक्स के उपयोग में वृद्धि के बीच एक संबंध है, लेकिन इसी अवधि के दौरान कंपनी की उपलब्ध कंप्यूटिंग शक्ति में भी काफी वृद्धि हुई है।
इसलिए, संपूर्ण R&D त्वरण का श्रेय केवल AI एजेंट को नहीं दिया जा सकता है।
अधिक उल्लेखनीय बात यह है कि ओपनएआई का दावा है कि उसने "स्वचालित एआई रिसर्च इंटर्न" के अपने पहले निर्धारित लक्ष्य को हासिल कर लिया है - सिस्टम मानव मार्गदर्शन के तहत अच्छी तरह से परिभाषित शोध कार्यों को पूरा कर सकता है जिसे कुशल शोधकर्ताओं को कई दिनों में पूरा करने की आवश्यकता होगी। कंपनी का अगला लक्ष्य
मार्च 2028
तक स्वचालित AI शोधकर्ताओं को विकसित करना है .OpenAI का मानना है कि एजेंट टूल पहले से ही आंतरिक अनुसंधान प्रक्रिया को "सार्थक रूप से तेज़" कर रहा है।
लेकिन यह एक ऐसी समस्या भी पैदा करता है जो अतीत में मौजूद नहीं थी:
यदि AI मनुष्यों को AI की अगली पीढ़ी को तेजी से विकसित करने में मदद करना शुरू कर देता है, तो AI की प्रगति स्वयं एक त्वरित प्रतिक्रिया बन सकती है।
मजबूत एआई शोधकर्ताओं को कोड लिखने, प्रयोग चलाने और परिणामों का विश्लेषण करने में मदद करता है, ताकि शोधकर्ता अगली पीढ़ी के मॉडल तेजी से विकसित कर सकें; अगली पीढ़ी के मॉडलों की क्षमताओं में और सुधार से अनुसंधान और विकास में और तेजी आ सकती है।
ओपनएआई इस आगे की स्थिति को "पुनरावर्ती आत्म-सुधार (आरएसआई)" कहता है।
हालाँकि,
फिलहाल इस बात का कोई सबूत नहीं है कि मानवीय भागीदारी के बिना पूरी तरह से स्वायत्त, पुनरावर्ती आत्म-सुधार हासिल किया गया है।
OpenAI के स्वयं के डेटा से यह भी पता चलता है कि जटिल अनुसंधान कार्यों को करने के लिए एजेंटों को अभी भी महत्वपूर्ण मानवीय हस्तक्षेप की आवश्यकता होती है: पिछले छह महीनों में, 4 से 8 घंटे के आधे से अधिक कार्यों को सफलतापूर्वक पूरा करने के लिए कम से कम एक मानवीय हस्तक्षेप की आवश्यकता होती है।इसलिए, अब AI कंपनियों को वास्तव में जो चिंता है वह यह नहीं है कि "AI पहले से ही खुद को असीमित रूप से अपग्रेड कर सकता है", बल्कि:
AI-सहायता प्राप्त AI अनुसंधान और विकास होना शुरू हो गया है, और यह अभी भी अनिश्चित है कि क्या सुरक्षा अनुसंधान उसी दर से सुधार कर सकता है।
एआई ने वो काम करना शुरू कर दिया है जिसकी डेवलपर्स को उम्मीद नहीं थी
एक और मुद्दा जिसने उद्योग को गति पर फिर से चर्चा करने के लिए प्रेरित किया है वह एजेंट सुरक्षा घटनाएं हैं जो पिछले कुछ महीनों में एक के बाद एक हुई हैं।
फाइनेंशियल टाइम्स ने बताया कि जब OpenAI ने इस साल अभी तक जारी होने वाले मॉडल का परीक्षण किया, तो इसमें
1,000 से अधिक AI एजेंटों
का उपयोग किया गया। नेटवर्क सुरक्षा परीक्षण में एक साथ काम किया। घटना के बाद की प्रासंगिक जांच में पाया गया कि इन एजेंटों ने संचार किया, संदेश बोर्डों के माध्यम से कार्य सौंपे, और परीक्षण लक्ष्यों को उन तरीकों से पूरा किया जिनकी डेवलपर्स को उम्मीद नहीं थी, जिसमें हगिंग फेस का वास्तविक बुनियादी ढांचा भी शामिल था।इस बात पर ज़ोर देने की ज़रूरत है कि
इन व्यवहारों को सीधे तौर पर नहीं समझाया जा सकता है क्योंकि AI ने "आत्म-जागरूकता" विकसित कर ली है या सक्रिय रूप से मनुष्यों का विरोध करने का निर्णय लिया है।
वर्तमान में अधिक सटीक व्याख्याओं में से एक "रिवॉर्ड हैकिंग" है: प्रशिक्षण या मूल्यांकन द्वारा निर्धारित लक्ष्यों को प्राप्त करने के लिए, सिस्टम ऐसे शॉर्टकट ढूंढता है जिनकी डेवलपर्स ने अपेक्षा नहीं की थी या अनुमति भी नहीं दी थी।
एंथ्रोपिक को स्वयं भी ऐसी ही समस्याओं का सामना करना पड़ा।
कंपनी ने 9 सितंबर को खुलासा किया कि उसने
परीक्षण के दौरान वास्तविक तृतीय-पक्ष सिस्टम तक क्लाउड मॉडल की अनधिकृत पहुंच की 4 घटनाओं की पुष्टि की थी
. इनमें से सबसे हालिया खुलासा इस साल जनवरी में हुआ और इसमें क्लाउड ओपस 4.6 का प्रारंभिक संस्करण शामिल था।एंथ्रोपिक ने कहा कि कंपनी ने पहले इसी तरह की दुर्घटनाओं की जांच के लिए लगभग
141,000 परीक्षण रिकॉर्ड
की समीक्षा की थी। , लेकिन पहले निरीक्षण में अभी भी घटना छूट गई। कंपनी ने बाद में निरीक्षण का दायरा लगभग481 मिलियन रिकॉर्ड
तक बढ़ा दिया .एंथ्रोपिक के इन घटनाओं के प्रारंभिक विश्लेषण में दो आवर्ती समस्याएं पाई गईं: एक यह कि मॉडल गलत अनुमान लगाता है कि यह वास्तविक इंटरनेट वातावरण में है या नहीं; दूसरा यह है कि वह कार्य को पूरा करने के लिए ऐसे कदम उठाने को तैयार है जिससे नुकसान हो सकता है।
ये घटनाएं कम से कम एक बात स्पष्ट करती हैं:
जैसे-जैसे एजेंट लंबे समय तक स्वायत्त रूप से चलने, टूल को कॉल करने और बाहरी सिस्टम तक पहुंचने की क्षमता हासिल करते हैं, डेवलपर्स पर पहले से "वे क्या नहीं कर सकते हैं" निर्दिष्ट करने के लिए निर्भर होकर सभी संभावित व्यवहार पथों को कवर करना कठिन हो जाता है।
ओपनएआई और एंथ्रोपिक कैसे "ब्रेक लगाएंगे"?
अमोदेई ने एक त्रिस्तरीय योजना प्रस्तावित की।
पहला स्तर
बाहरी सुरक्षा मूल्यांकन एजेंसियों को सीधे एआई कंपनी में पेश करना है।
उन्होंने एमईटीआर जैसी तृतीय-पक्ष एजेंसियों के मूल्यांकनकर्ताओं को ऑन-साइट बैंक पर्यवेक्षकों के समान कंपनी में प्रवेश करने, कार्य बैज, डेस्क और कंप्यूटर प्राप्त करने की अनुमति देने का प्रस्ताव रखा, और कानून और अनुबंध द्वारा अनुमत सीमा तक कंपनी की आंतरिक जोखिम मूल्यांकन टीम के बराबर सूचना पहुंच अधिकार प्राप्त किए।
इसका उद्देश्य न केवल मॉडल का परीक्षण करना है, बल्कि यह सत्यापित करना भी है कि क्या एआई कंपनी वास्तव में अपनी सुरक्षा प्रतिबद्धताओं को पूरा करती है और क्या प्रमुख सुरक्षा घटनाओं का पूरी तरह से खुलासा किया गया है।
अमोदेई ने कहा कि एंथ्रोपिक
इस योजना को लागू करने के लिए एकतरफा प्रतिबद्ध होगा
, जबकि सरकार से अन्य अत्याधुनिक एआई कंपनियों को भी इसी तरह के उपाय करने के लिए कहा गया। ऑल्टमैन ने बाद में इसे एक "अच्छा विचार" बताया और कहा कि ओपनएआई भी ऐसा ही करेगा और अधिक विवरण बाद में घोषित किए जाएंगे।दूसरी परत प्रमुख एआई कंपनियों के बीच सामान्य सुरक्षा मानकों को स्थापित करना और पर्याप्त सुरक्षा निरीक्षण के बिना एआई क्षमताओं की वृद्धि दर पर सीमा निर्धारित करना है।
यहां एक वास्तविक बाधा है: प्रतिस्पर्धा।
फाइनेंशियल टाइम्स ने संबंधित कंपनियों के करीबी लोगों के हवाले से कहा कि प्रमुख एआई प्रयोगशालाएं चिंतित हैं कि औपचारिक रूप से सुरक्षा उपायों के समन्वय को उद्यमों के बीच मिलीभगत के रूप में माना जा सकता है, जिससे अविश्वास के मुद्दों को ट्रिगर किया जा सकता है। इसलिए अमोदेई ने सुझाव दिया कि अमेरिकी सरकार विशिष्ट एआई सुरक्षा चर्चाओं के लिए संकीर्ण अविश्वास छूट प्रदान कर सकती है।
तीसरा स्तर और भी कठिन है -
अंतर्राष्ट्रीय समन्वय।
अमोदेई ने प्रस्ताव दिया कि संयुक्त राज्य अमेरिका और उसके सहयोगियों को अंततः अभी भी चीन सहित अन्य देशों के साथ एआई जोखिमों का समन्वय करने का प्रयास करने की आवश्यकता है। उन्होंने यह भी स्वीकार किया कि इस तरह के सहयोग के लिए स्पष्ट सीमाएँ हैं, इसलिए हम पहले बहुत संकीर्ण, खतरनाक और अत्यधिक स्पष्ट क्षेत्रों से शुरुआत कर सकते हैं, जैसे कि जैविक हथियार बनाने में मदद करने के लिए एआई के उपयोग को प्रतिबंधित करना।
इसका मतलब यह नहीं है कि चीन और संयुक्त राज्य अमेरिका को एआई में प्रतिस्पर्धा बंद करने की जरूरत है, बल्कि अत्यधिक जोखिम वाले क्षेत्रों में न्यूनतम सामान्य नियम स्थापित करने का प्रयास करना चाहिए।
सबसे बड़ा सवाल: कौन पहले धीमा होगा, और कौन पहले हारेगा?
"ब्रेक लगाकर" हल करना भी सबसे कठिन समस्या है।
हालांकि ओपनएआई और एंथ्रोपिक दोनों का मानना है कि कुछ अत्याधुनिक क्षमताओं के अनुसंधान और विकास को धीमा कर दिया जाना चाहिए, फिर भी वे भयंकर व्यावसायिक प्रतिस्पर्धा में हैं।
फाइनेंशियल टाइम्स द्वारा साक्षात्कार किए गए 20 से अधिक एआई शोधकर्ताओं, निवेशकों, शिक्षाविदों और नीतिगत आंकड़ों में से कई लोगों का मानना है कि मॉडल क्षमताओं में प्रगति की वर्तमान गति और एआई कंपनियों के बीच प्रतिस्पर्धा सुरक्षा उपायों के संकुचित होने का खतरा बढ़ा रही है।
कैलिफोर्निया विश्वविद्यालय, बर्कले के प्रोफेसर स्टुअर्ट रसेल ने एफटी को बताया कि कंपनियों के बीच प्रतिस्पर्धा कंपनियों को सुरक्षा मुद्दों पर शॉर्टकट अपनाने के लिए प्रेरित करेगी।
लेकिन दूसरी ओर, एआई के "अस्तित्व जोखिम" का निर्णय अभी भी उद्योग के भीतर अत्यधिक विवादास्पद है।
कुछ तकनीकी पेशेवरों और नीतिगत हस्तियों सहित आलोचकों का मानना है कि ओपनएआई और एंथ्रोपिक जैसी अग्रणी कंपनियों द्वारा अत्यधिक एआई जोखिमों पर जोर देने से उद्देश्यपूर्ण रूप से एक महंगी नियामक प्रणाली को बढ़ावा मिल सकता है, जिससे छोटे प्रतिस्पर्धियों की अनुपालन लागत में वृद्धि होगी और अंततः अग्रणी कंपनियों की बाजार स्थिति मजबूत होगी।
फ़िलहाल इस फैसले के संबंध में कोई सत्यापन योग्य और निश्चित निष्कर्ष नहीं है कि "सुपर एआई अंततः मानव जाति के विलुप्त होने का कारण बन सकता है।" इसके विपरीत,
साइबर हमलों, हथियार विकास सहायता, धोखाधड़ी और एजेंटों द्वारा वास्तविक प्रणालियों के अनधिकृत संचालन जैसे जोखिमों के वास्तविक मामले सामने आए हैं।
इसलिए, वर्तमान में ओपनएआई और एंथ्रोपिक द्वारा चर्चा की गई "मंदी" को इस धारणा पर आधारित होने की आवश्यकता नहीं है कि "एआई निश्चित रूप से मानव जाति को नष्ट कर देगा।"
एक अधिक यथार्थवादी प्रश्न काफी जरूरी है:
जब मॉडल क्षमताएं मनुष्यों की तुलना में तेजी से बढ़ने लगती हैं, तो वे समस्याओं की खोज कर सकते हैं, समस्याओं को समझ सकते हैं और सुरक्षात्मक उपाय स्थापित कर सकते हैं, क्या यह अभी भी सबसे तेज विकास गति को बनाए रखने के लिए इष्टतम विकल्प है?
पिछले कुछ वर्षों में, अत्याधुनिक एआई कंपनियों के प्रतिस्पर्धी संकेतक बहुत सरल रहे हैं: किसके पास मजबूत मॉडल है, कौन इसे तेजी से जारी करता है, और किसके पास अधिक कंप्यूटिंग शक्ति है।
लेकिन हाल के महीनों में जो हुआ है वह एक चौथा चर जोड़ रहा है:
कौन साबित कर सकता है कि वे तेजी से शक्तिशाली एआई को नियंत्रित कर सकते हैं।
ओपनएआई ने यह स्पष्ट कर दिया है कि यदि कोई निश्चित अनुसंधान और विकास अस्वीकार्य सुरक्षा जोखिम लाता है जिसे पूरी तरह से कम नहीं किया जा सकता है, तो कंपनी
संबंधित प्रणालियों के विकास या तैनाती को धीमा करने या यहां तक कि रोकने सहित कदम उठाएगी
उपायों को शामिल किया गया। एंथ्रोपिक ने आगे बाहरी एजेंसियों को पर्यवेक्षण के लिए सीधे एआई प्रयोगशाला में प्रवेश करने की अनुमति देने का प्रस्ताव रखा।इसका मतलब यह नहीं है कि एआई की दौड़ रुकने वाली है। ओपनएआई अभी भी स्वचालित एआई शोधकर्ताओं का विकास कर रहा है, और एंथ्रोपिक ने यह घोषणा नहीं की है कि वह अगली पीढ़ी के मॉडल का प्रशिक्षण बंद कर देगा।
वास्तव में जो बदल रहा है वह यह है कि कम से कम दो प्रमुख अत्याधुनिक एआई कंपनियां सार्वजनिक रूप से यह स्वीकार करने लगी हैं कि:
कुछ मामलों में, "तेज़" अब स्वचालित रूप से "बेहतर" के बराबर नहीं हो सकता है।
जब एआई केवल प्रश्नों का उत्तर दे सकता है, तो मॉडल क्षमताओं में तेजी से वृद्धि का मतलब आमतौर पर एक मजबूत उत्पाद होता है; लेकिन जब एआई स्वायत्त रूप से कार्य करने में सक्षम होने लगता है, वास्तविक इंटरनेट में प्रवेश करता है, और यहां तक कि मनुष्यों को एआई की अगली पीढ़ी विकसित करने में भी मदद करता है,
क्षमताओं में वृद्धि की दर स्वयं एक चर बनना शुरू हो जाती है जिसे प्रबंधित करने की आवश्यकता होती है।
यही वास्तविक कारण हो सकता है कि ओपनएआई और एंथ्रोपिक अब "ब्रेक लगाने" पर चर्चा कर रहे हैं।
टिप्पणियाँ