सार:
"बिजनेस इनसाइडर" के अनुसार,
OpenAI द्वारा एक शक्तिशाली नया मॉडल जारी करने के कुछ ही दिनों बाद, कंपनी के मुख्य वैज्ञानिक ने AI के विकास को धीमा करने का आह्वान किया
. रविवार को स्थानीय समयानुसार, ओपनएआई के मुख्य वैज्ञानिक जैकब पचॉकी ने एक लंबा लेख प्रकाशित किया जिसमें कहा गया कि वह चिंतित थे कि "मशीन इंटेलिजेंस की निरंतर तीव्र वृद्धि के परिणामों के लिए कोई भी तैयार नहीं है।"
पचोच्चि
हालांकि ओपनएआई शक्तिशाली एआई एजेंटों को बेहतर ढंग से नियंत्रित करने के लिए आंतरिक रूप से तकनीकी समाधान विकसित कर रहा है, "व्यापक हस्तक्षेप की आवश्यकता है," उन्होंने कहा। वह विशेष रूप से चिंतित हैं कि जैसे-जैसे एआई एजेंट अधिक स्वायत्त हो जाते हैं, वे मानव पर्यवेक्षण से बचना, कंप्यूटर सिस्टम में हैक करना और अपने लक्ष्यों को प्राप्त करने के लिए मनुष्यों को धोखा देना सीख सकते हैं।
उन्होंने एक "अनिवार्य सुरक्षा सीमा" की स्थापना का आह्वान किया
, और कहा कि उपाय "तीसरे पक्ष के लेखा परीक्षकों, सरकारी एजेंसियों या अंतरराष्ट्रीय एजेंसियों के एक नेटवर्क" द्वारा किए जा सकते हैं।ओपनएआई के सीईओ सैम ऑल्टमैन ने पचॉकी की पोस्ट को एक्स प्लेटफॉर्म पर दोबारा पोस्ट किया और इसे "एक महत्वपूर्ण लेख" बताया। OpenAI ने पिछले गुरुवार को अपना नवीनतम मॉडल, एस्ट्रा जारी किया। चैटजीपीटी डेवलपर ने कहा कि गणित और कंप्यूटर संचालन में एस्ट्रा की अद्वितीय क्षमताओं के बावजूद, यह ओपनएआई का वर्तमान मॉडल भी है जो मानवीय मूल्यों और इरादों के साथ सबसे अधिक सुसंगत है, जिसका अर्थ है कि इसके हाथ से निकलने की संभावना कम है।
ओपनएआई के मुख्य प्रतियोगी एंथ्रोपिक ने लंबे समय से सरकार से अधिक मानकीकृत नियामक उपाय पेश करने का आह्वान किया है। हाल ही में, पचॉकी जुलाई में एक खुले पत्र पर हस्ताक्षर करके कॉल में शामिल हुए हैं, जिसमें अमेरिकी संघीय सरकार से एआई विकास की गति को नियंत्रित करने के लिए कहा गया है।
पचोची ने कहा, एआई एजेंट खुले इंटरनेट पर संरक्षित प्रणालियों पर हमला करने में "अतिमानवीय" बन रहे हैं, और उनकी हैकिंग क्षमताएं दुनिया के बुनियादी ढांचे को खतरे में डालती हैं। उन्होंने कहा, "वर्तमान में हम एक संक्षिप्त विंडो में हैं जहां हम महत्वपूर्ण प्रणालियों की सुरक्षा को बढ़ाने के लिए सर्वोत्तम उपलब्ध मॉडल का लाभ उठा सकते हैं।"
मॉडल मानव निगरानी से बचते हैं
उन्होंने कहा कि एआई एजेंट जल्द ही अपने स्वयं के लक्ष्यों का पीछा करना शुरू कर देंगे, जो मानव ऑपरेटरों द्वारा दर्ज किए गए त्वरित शब्दों से भिन्न हो सकते हैं। उन्होंने कहा कि एजेंट अपने लक्ष्य हासिल करने के लिए इंसानों को ब्लैकमेल या सौदेबाजी भी कर सकते हैं।
पचौकी ने कहा कि ओपनएआई मुख्य रूप से विभिन्न मॉडलों द्वारा उपयोग की जाने वाली "सोच श्रृंखला तर्क" की निगरानी करता है ताकि यह निर्धारित किया जा सके कि एजेंट ट्रैक से कैसे भटकता है और नियंत्रण खो देता है। उदाहरण के लिए, एक एजेंट गुप्त रूप से सोच सकता है, "मुझे इस परीक्षा में धोखा देना चाहिए," और ओपनएआई इस तर्क को देख पाएगा, लेकिन एजेंट को यह एहसास नहीं होगा कि उसकी सोच बोधगम्य है।
हालाँकि, पचॉकी ने कहा कि नए मॉडल अपनी स्वयं की तर्क प्रक्रियाओं में हेरफेर करने में बेहतर हो रहे हैं, जिससे ओपनएआई को उनके सच्चे, बिना सोचे-समझे विचारों को देखने से रोका जा रहा है। कुछ नवीनतम मॉडल अपने तर्क को बिल्कुल भी मौखिक रूप से व्यक्त नहीं करते हैं। यह विकास एआई के विकास में एक बाधा बन सकता है, क्योंकि शोधकर्ताओं को यह सुनिश्चित करने की आवश्यकता है कि वे मॉडल का "अनुमान रिकॉर्ड" देख सकें।
मॉडल आत्म-सुधार
अधिक से अधिक एआई मॉडल लगातार अपनी क्षमताओं में सुधार कर रहे हैं, जिसे पचॉकी "मशीन पुनरावर्ती आत्म-सुधार" कहते हैं। यह प्रक्रिया एआई विकास के लिए तेजी से स्केलेबल मार्ग प्रदान करती है।
हालाँकि, पचॉकी ने चेतावनी दी कि अल्पावधि में "एआई को बेहतर बनाने के लिए एआई" के अनुसंधान और विकास में काफी तेजी लाने से जोखिम आएगा और यह "सही सामूहिक कार्रवाई नहीं है जो हमें एक शोध समुदाय के रूप में करनी चाहिए।"
पैसीओची ने कहा, मानव पर्यवेक्षकों को एआई की आत्म-सुधार प्रक्रिया की निगरानी के लिए नवीन तरीके खोजने की जरूरत है, या फिर "इन उपायों में विश्वास पैदा करने" के लिए अनुसंधान और विकास को धीमा करने के लिए अन्य एआई कंपनियों के साथ समन्वय करना होगा।
“
एआई अनुसंधान को स्वचालित करने की मुख्य चुनौती लक्ष्य हासिल नहीं करना है
, लेकिन लक्ष्यों को इस तरह से प्राप्त करना जिससे मनुष्य इस निरंतर सुधार प्रक्रिया में भाग लेना जारी रख सके और यह सुनिश्चित कर सके कि भविष्य मनुष्य के हाथों में ही रहे। ''उन्होंने कहा.
टिप्पणियाँ