OpenAI का लक्ष्य एक AI टूल विकसित करना है जो स्वयं को अनुकूलित कर सके। अब कंपनी इसके साथ आने वाले जोखिमों के लिए तैयारी कर रही है। पिछले छह महीनों में ओपनएआई और एंथ्रोपिक के प्रोग्रामिंग टूल में भारी प्रगति के बाद तथाकथित "पुनरावर्ती आत्म-सुधार" के लिए एआई सिस्टम की क्षमता एआई उद्योग के नेताओं का ध्यान केंद्रित हो गई है।
डेमिस हसाबिस ने इस सप्ताह कहा कि मानवता अब "विलक्षणता" के पायदान पर खड़ी है - वह क्षण जब एआई अपने आप विकसित होना शुरू कर देता है और मानव बुद्धि से आगे निकल जाता है।
ओपनएआई, जो इस साल सार्वजनिक होने की योजना बना रही है, ने हाल ही में एक असामान्य नौकरी की घोषणा की: कंपनी परिणामों का अध्ययन करने के लिए एक सुरक्षा शोधकर्ता की तलाश कर रही है "जब एआई खुद का एक बेहतर संस्करण प्रशिक्षित कर सकता है।"
ओपनएआई की तैयारी सुरक्षा टीम के लिए इस महीने नौकरी की पोस्टिंग पोस्ट की गई थी। पद के लिए कुल वार्षिक वेतन 250,000 और 380,000 यूरो के बीच है, और भर्ती का लक्ष्य "पुनरावर्ती आत्म-सुधार की तैयारियों में सहायता के लिए अनुभवी तकनीकी विशेषज्ञ" हैं।
भर्ती जानकारी पढ़ती है:
"यह कार्य उन समस्याओं के बारे में सोचने पर आधारित है जो अभी मौजूद नहीं हैं लेकिन भविष्य में उत्पन्न हो सकती हैं।"
"इसलिए इस पद के लिए एक नपी-तुली और रणनीतिक मानसिकता का होना विशेष रूप से महत्वपूर्ण है।"
शीर्ष एआई प्रयोगशालाएं "स्व-प्रशिक्षण" मॉडल विकसित करने के लिए दौड़ रही हैं
हाल ही में, ओपनएआई और एंथ्रोपिक जैसी प्रयोगशालाओं ने आश्चर्यजनक दर से अपनी मॉडल क्षमताओं में सुधार जारी रखा है - एक सुधार जो उन समस्याओं की जटिलता में परिलक्षित होता है जिन्हें वे हल कर सकते हैं।
मॉडल क्षमताओं का अध्ययन करने वाली प्रयोगशाला एमईटीआर के शोधकर्ताओं ने इस साल मार्च में लिखा था: एआई मॉडल द्वारा पूरा किए जा सकने वाले कार्यों की लंबाई लगभग हर सात महीने में दोगुनी हो रही है - ये मॉडल उन कार्यों को करने में तेजी से सक्षम हो रहे हैं जिन्हें पूरा करने में पहले इंसानों को काफी समय लगता था।
उन्होंने निष्कर्ष निकाला कि एआई एजेंट सॉफ्टवेयर विकास कार्य का एक "महत्वपूर्ण हिस्सा" लेने में सक्षम होंगे, जिसमें अन्यथा मानव प्रोग्रामर को दिन या सप्ताह भी लगेंगे।
OpenAI सक्रिय रूप से इस दृष्टिकोण को बढ़ावा दे रहा है - उद्यमों को अपने कोडेक्स प्रोग्रामिंग टूल बेचना राजस्व का एक महत्वपूर्ण स्रोत बन गया है।
कंपनी को अपने स्वयं के अनुसंधान कार्य को स्वचालित करने की भी उम्मीद है। सीईओ सैम अल्टमैन ने पिछले साल अक्टूबर में कहा था कि कंपनी का लक्ष्य इस साल सितंबर तक सैकड़ों हजारों चिप्स पर चलने वाला "स्वचालित एआई रिसर्च इंटर्न" बनाना है; और मार्च 2028 तक "सच्चा स्वचालित एआई शोधकर्ता" हासिल करना है।
"यह पूरी तरह से संभव है कि हम इस लक्ष्य पर विफल हो जाएंगे," ऑल्टमैन ने एक्स पर लिखा, "लेकिन विशाल संभावित प्रभाव को देखते हुए, हमारा मानना है कि इस मामले पर खुले तौर पर और पारदर्शी तरीके से चर्चा करना सार्वजनिक हित में है।"
इस साल अप्रैल में, एंथ्रोपिक ने एक अध्ययन जारी किया: अधिक शक्तिशाली एआई मॉडल की निगरानी के लिए एआई मॉडल का उपयोग करना। परिणाम उत्साहवर्धक हैं, लेकिन स्पष्ट सीमाएँ हैं।
इस साल मई में, एंथ्रोपिक के सह-संस्थापक और नीति निदेशक जैक क्लार्क ने कहा कि उनका मानना है कि 2028 के अंत तक "मानव भागीदारी के बिना एआई आर एंड डी" प्राप्त करने की संभावना लगभग 60% थी।
OpenAI "स्व-सुधार AI" की तैयारी कर रहा है
यदि एआई मॉडल खुद को प्रशिक्षित कर सकते हैं, तो एक विज्ञान-फाई डायस्टोपिया उभर सकता है: उनकी क्षमताएं तेजी से बढ़ती हैं, नियंत्रण से बचती हैं, और व्यापक नुकसान पहुंचाती हैं - एआई सुरक्षा आंदोलन की एक लंबे समय से चली आ रही चिंता।
एलिजाबेथ बार्न्स ने शुक्रवार को लिखा कि उनके विचार में, "कोई भी 'तर्कसंगत' सभ्यता एआई विकास को काफी धीमी और अधिक सतर्क तरीके से आगे बढ़ाएगी।"
ओपनएआई की भर्ती जानकारी से यह भी पता चलता है कि कंपनी एक ऐसी दुनिया के लिए कैसे तैयारी कर रही है जहां "एआई मॉडल तेजी से खुद को बेहतर बना सकते हैं।"
जॉब पोस्टिंग में उल्लेख किया गया है कि शोधकर्ता ओपनएआई मॉडल को "डेटा पॉइज़निंग" हमलों से बचाने पर ध्यान केंद्रित कर सकते हैं - हेरफेर किए गए प्रशिक्षण डेटा के माध्यम से एआई मॉडल को भ्रष्ट करने का कार्य।
कर्मचारी मॉडल की विचार प्रक्रिया को समझाने के लिए उपकरण भी विकसित कर सकता है या इन मॉडलों की सुरक्षा और संभावित खतरों को समझने के लिए प्रयोग कर सकता है।
नौकरी पोस्टिंग में यह भी उल्लेख किया गया है कि शोधकर्ता को "तकनीकी पदों में स्वचालन की प्रगति को ट्रैक करने" की आवश्यकता हो सकती है - जिसमें एआई प्रोग्रामिंग टूल के उपयोग को मापना भी शामिल है।
ओपनएआई की तैयारी टीम एआई को गंभीर नुकसान पहुंचाने से रोकने के लिए जिम्मेदार है। टीम की अन्य भूमिकाओं में साइबर सुरक्षा, जैविक और रासायनिक जोखिमों और "एजेंट एआई" द्वारा उत्पन्न खतरों का आकलन करने के लिए स्वचालित रेड टीम परीक्षण शामिल है।
प्रिपेयर्डनेस टीम की ओर से जॉब पोस्टिंग में लिखा है:
"यह अत्यावश्यक, तेज़ गति वाला काम है जिसका प्रभाव कंपनी और पूरे समाज पर पड़ेगा।"