सार:
ओपनएआई को यह पता नहीं चला है कि उसके अपने एजेंट ने कितनी परेशानी पैदा की है।
पिछले सप्ताहांत में, सरकारी वेबसाइटों से जुड़े कई मामले सामने आए: ओपनएआई के एजेंटों ने अमेरिकी जनगणना ब्यूरो डेटा निकालने के लिए ऑनलाइन पाए गए लॉगिन क्रेडेंशियल का उपयोग किया और अमेरिकी प्रतिभूति और विनिमय आयोग से मंचों पर सार्वजनिक जानकारी पोस्ट की। शोधकर्ताओं ने यह भी बताया कि ओपनएआई के एक संदिग्ध एजेंट ने अमेरिकी शिक्षा विभाग की वेबसाइट को हैक करने की कोशिश की, लेकिन असफल रहा।
नए खुलासा किए गए रिकॉर्ड में संयुक्त राष्ट्र का डेटा प्लेटफ़ॉर्म भी दिखाई देता है। 26 सितंबर को, स्वतंत्र शोधकर्ताओं ने एक जांच की घोषणा की: एक संदिग्ध ओपनएआई एजेंट ने इस साल अप्रैल से जून तक व्यापार और विकास पर संयुक्त राष्ट्र सम्मेलन के डेटा इंटरफ़ेस को 16,000 से अधिक बार स्कैन किया और पहुंच प्रतिबंधों को बायपास करने का एक तरीका खोजा।
उजागर हुए मामलों के अलावा, अभी भी बड़ी संख्या में असामान्य व्यवहार की जांच चल रही है। एक्सियोस के अनुसार, सूत्रों का हवाला देते हुए, ओपनएआई, एंथ्रोपिक और सुरक्षा शोधकर्ता हजारों असामान्य मॉडल व्यवहारों की जांच कर रहे हैं, जिनमें आंतरिक परीक्षणों में उल्लंघन के प्रयास और वास्तविक बाहरी वेबसाइटों को छूने वाली गतिविधियां शामिल हैं।
ओपनएआई ने दर्जनों प्रभावित संस्थानों को सूचित किया है और इसकी ऐतिहासिक गतिविधियों की समीक्षा जारी है। ओपनएआई के सीईओ सैम ऑल्टमैन ने स्वीकार किया कि खुलासे उतनी तेजी से नहीं हो रहे हैं जितनी कंपनी को उम्मीद थी और प्रक्रिया के लिए एजेंट गतिविधि लॉग के पेटाबाइट थे।
कुछ महीने पहले जो हुआ वह अभी भी एक-एक करके खोजा जा रहा है।
01सरकारी वेबसाइट पर एजेंट ने क्या किया
तीन अमेरिकी संघीय एजेंसियों के बीच स्थिति एक जैसी नहीं है।
न्यूयॉर्क टाइम्स के अनुसार, ट्रांसलूस शोधकर्ताओं का मानना है कि ओपनएआई से आने वाले एक संदिग्ध एजेंट ने अमेरिकी शिक्षा विभाग की वेबसाइट को हैक करने और नागरिक अधिकार कार्यालय से डेटा प्राप्त करने की कोशिश की, लेकिन प्रयास विफल रहा। ओपनएआई ने कहा कि वह अभी भी मामले की जांच कर रहा है; शिक्षा मंत्रालय के एक प्रवक्ता ने कहा कि सिस्टम जांच में पाया गया कि कोई वेबसाइट या डेटाबेस प्रभावित नहीं हुआ।
वाणिज्य विभाग के हिस्से, जनगणना ब्यूरो में, एजेंटों ने ऑनलाइन पाए गए लॉगिन क्रेडेंशियल का उपयोग करके डेटा निकाला। वाणिज्य मंत्रालय ने जवाब दिया कि मॉडल ने सार्वजनिक जानकारी प्राप्त की जिसे वेबसाइट पर कोई भी प्राप्त कर सकता है और निजी डेटा प्राप्त नहीं किया।
एसईसी मामले में एक अन्य प्रकार का व्यवहार शामिल है: एक एजेंट सार्वजनिक रूप से उपलब्ध जानकारी पढ़ता है और फिर जानकारी को ऑनलाइन फोरम पर पोस्ट करता है। एजेंसी ने कहा कि किसी भी गैर-सार्वजनिक जानकारी तक पहुंच नहीं बनाई गई और वह ओपनएआई के संपर्क में है।
ओपनएआई ने कहा कि तीन अमेरिकी संघीय एजेंसियों से जुड़ी उपर्युक्त घटनाएं घुसपैठ नहीं थीं, बल्कि अप्रत्याशित और चिंताजनक व्यवहार थीं।
न्यूयॉर्क टाइम्स ने कहा कि अमेरिकी संस्थानों से संबंधित इन घटनाओं का पता OpenAI को तब चला जब उसने पिछली एजेंट गतिविधियों की समीक्षा की। हगिंग फेस घटना के बाद शुरू हुई एक आंतरिक जांच में ऑस्ट्रेलियाई वेबसाइट तक पहुंच के साथ-साथ त्रुटियों को छिपाने, डेटा गढ़ने और बिना अनुमति के सार्वजनिक नेटवर्क पर फ़ाइलें अपलोड करने जैसे अन्य मुद्दों का खुलासा हुआ।
इन अमेरिकी एजेंसियों के लिए, एजेंटों द्वारा वेबसाइट पर जाने पर चेतावनी जारी करने के बजाय, OpenAI ने समीक्षा के बाद अधिसूचनाएं जारी कीं।
ओपनएआई ने कहा कि समीक्षा का यह दौर प्रशिक्षण और मूल्यांकन चरणों के दौरान मॉडल की नेटवर्क गतिविधियों को कवर करता है, और अधिक गंभीर घटनाओं को प्राथमिकता देगा। जिन तृतीय पक्षों को सूचित किया गया है उनमें ऐसे संगठन शामिल हैं जहां सुरक्षा नियंत्रणों को दरकिनार किया जा सकता है, सेवा उपलब्धता प्रभावित हो सकती है, और वेबसाइट अन्यथा नकारात्मक रूप से प्रभावित हो सकती है। कंपनियों के सार्वजनिक सारांश अक्सर नामों और पहचान संबंधी जानकारी को संशोधित करते हैं, और नोटिस प्राप्त करने वाले संगठन अपने स्वयं के खुलासे करना चुन सकते हैं।
ऑस्ट्रेलियाई जांच में प्राधिकार के उल्लंघन का खुलासा शामिल है। 18 जून को, सार्वजनिक दवा व्यय पर एक शोध कार्य करने वाले एक ओपनएआई एजेंट ने सर्विसेज ऑस्ट्रेलिया द्वारा प्रबंधित मेडिकेयर सांख्यिकीय सेवा पोर्टल में प्रवेश किया और सार्वजनिक और गैर-सार्वजनिक दस्तावेज़ प्राप्त किए।
स्थानीय सरकार ने कहा कि कोई भी व्यक्तिगत मेडिकेयर जानकारी हासिल नहीं की गई। इसमें शामिल पोर्टल चिकित्सा वस्तुओं के सारांश आँकड़े प्रदान करता है, लेकिन यह एक संपूर्ण चिकित्सा बीमा प्रणाली नहीं है जो व्यक्तिगत चिकित्सा उपचार और प्रतिपूर्ति रिकॉर्ड का प्रबंधन करती है।
इस यात्रा और बाहरी अधिसूचना के बीच लगभग तीन महीने बीत गए।
ऑस्ट्रेलियाई सरकार को केवल 10 सितंबर को ओपनएआई द्वारा एक सार्वजनिक मेलबॉक्स पर भेजा गया नोटिस प्राप्त हुआ और बाद में एक जांच शुरू की गई। स्थानीय विवाद न केवल इस बात से संबंधित है कि मॉडल ने क्या एक्सेस किया, बल्कि यह भी कि OpenAI को सूचित करने में इतना समय क्यों लगा।एबीसी रिपोर्ट के अनुसार, ऑस्ट्रेलिया ने कहा कि गैर-सार्वजनिक दस्तावेज़ उस समय जारी नहीं किए गए थे, लेकिन वे विशेष रूप से संवेदनशील जानकारी नहीं थे और तब से उन्हें सार्वजनिक कर दिया गया है। नोटिफिकेशन ईमेल सर्विसेज़ ऑस्ट्रेलिया द्वारा 11 सितंबर को देखा गया था, और केवल 15 सितंबर को ऑस्ट्रेलियाई सिग्नल ब्यूरो को अग्रेषित किया गया था।
ऑस्ट्रेलियाई सरकार ने बाद में न केवल वेबसाइट पर क्या हुआ, बल्कि सूचनाओं को कैसे संभाला गया, इसकी जांच करने के लिए एक क्रॉस-एजेंसी जांच का आयोजन किया। जांच में यह भी आकलन किया जाएगा कि क्या पहुंच वैध थी और बाहरी एआई के साथ बातचीत करते समय सरकारी प्रणालियों को किन अन्य जोखिमों का सामना करना पड़ता है।
शिकागो शहर को भी सूचित कर दिया गया है। मेयर के कार्यालय ने न्यूयॉर्क टाइम्स को बताया कि ओपनएआई के मॉडल ने नगर निगम की वेबसाइट पर सार्वजनिक जानकारी प्राप्त की और कोई संकेत नहीं मिला कि संवेदनशील जानकारी प्राप्त की गई थी।
ट्रांसलूस ने अन्य अमेरिकी संघीय और राज्य सरकार की वेबसाइटों को लक्षित करने वाली पहचान गतिविधि की भी खोज की। एजेंसी के शासन निदेशक कॉनराड स्टोज़ ने न्यूयॉर्क टाइम्स को बताया कि अमेरिकी नौसेना और व्हाइट हाउस ऑफ़िस ऑफ़ मैनेजमेंट एंड बजट की वेबसाइटें भी रिकॉर्ड में दिखाई देती हैं, लेकिन इन गतिविधियों को अभी तक OpenAI के लिए स्पष्ट रूप से जिम्मेदार नहीं ठहराया जा सकता है और अन्य प्रयोगशालाओं से आ सकती हैं। संबंधित एजेंसियों ने अभी तक रिपोर्ट में पूछताछ का जवाब नहीं दिया है।
संयुक्त राष्ट्र मामले के सुराग बाहर से आए। ट्रांसल्यूस के पिछले शोध से प्रेरित होकर, स्वतंत्र शोधकर्ता रोवन हॉवर्ड-जोन्स ने सार्वजनिक रिकॉर्ड का और विश्लेषण किया और अंकटाड सांख्यिकी मंच तक पहुंचने के लिए अनुरोधों के एक बैच को सुलझाया। अनुरोध रिकॉर्ड और ज्ञात एजेंट गतिविधि के बीच सहसंबंध के आधार पर, उसने निर्धारित किया कि ये पहुंच ओपनएआई एजेंटों से आने की अत्यधिक संभावना थी।
ऐसा प्रतीत होता है कि ये एजेंट व्यापार और विकास डेटा की तलाश में हैं। डेटा का सामान्य अधिग्रहण अवरुद्ध होने के बाद, उन्होंने विभिन्न तरीकों की कोशिश की और इंटरफ़ेस के पहुंच प्रतिबंधों को दरकिनार कर दिया।
अंकटाड ने वॉल स्ट्रीट जर्नल को बताया कि कोई गोपनीय जानकारी लीक नहीं हुई है और सांख्यिकीय सेवाएं बाधित नहीं हुई हैं, लेकिन महत्वपूर्ण और तटस्थ डेटा से समझौता किया गया है, जो अभी भी अस्वीकार्य है।
स्टैनफोर्ड विश्वविद्यालय में साइबर सुरक्षा व्याख्याता एलेक्स स्टैमोस का मानना है कि इस प्रकार की गतिविधि "हैकिंग" के चरम पर है, जो बहुत आक्रामक स्क्रैपिंग और डेटा पुनर्प्राप्ति के करीब है।
ओपनएआई के एक प्रवक्ता ने वॉल स्ट्रीट जर्नल को बताया कि कंपनी निष्कर्षों की समीक्षा कर रही है और समीक्षा के लिए जिम्मेदार टीम द्वारा जांच पर एक ब्रीफिंग का प्रस्ताव देने के लिए संयुक्त राष्ट्र से संपर्क किया है।
अंकटाड ने अपनी प्रतिक्रिया में इस बात पर जोर दिया कि इसके अलावा कि क्या डेटा और सेवाएं प्रभावित हुई हैं, वह इस बात को लेकर भी चिंतित है कि मॉडल के अलगाव के उपाय विफल क्यों हुए।
02 हज़ारों विसंगतियाँ, अलग-अलग गंभीरता
सार्वजनिक सरकारी वेबसाइट मामलों के अलावा, प्रयोगशाला में अभी भी अधिक रिकॉर्ड की जाँच की जा रही है।
एक्सियोस द्वारा रिपोर्ट की गई "हज़ारों घटनाएं" में सफल और असफल सीमा पार प्रयास, साथ ही प्रतिकूल परीक्षण शामिल हैं जिनमें शोधकर्ताओं ने सक्रिय रूप से मॉडल त्रुटियों को प्रेरित करने के लिए बाधाएं स्थापित कीं।
रिपोर्टिंग के समय तक, इनमें से अधिकांश घटनाओं में वास्तविक जीवन में कोई ज्ञात क्षति नहीं हुई थी, और कई विवरण अज्ञात हैं। रिपोर्ट में गंभीरता के आधार पर पूर्ण विवरण नहीं दिया गया।एक्सियोस द्वारा सूचीबद्ध कार्रवाइयां वेबसाइटों पर हमला करने से भी आगे जाती हैं। कुछ एजेंट अन्य एजेंटों के साथ जानकारी का आदान-प्रदान करने के लिए संदेश बोर्ड बनाते हैं; कुछ लोग बाद की कार्रवाइयों के लिए निर्देश छोड़ देते हैं, या निगरानी को बायपास करने का प्रयास करते हैं। जांचकर्ताओं को एक-एक करके यह पुष्टि करने की भी आवश्यकता होगी कि वे किस वातावरण में चलाए गए थे, उन्हें क्या अनुमति मिली थी, और क्या वास्तव में प्रतिबंधों का उल्लंघन किया गया था।
न्यूयॉर्क टाइम्स की रिपोर्ट में कंपनियों, विश्वविद्यालयों और सरकारी संगठनों को निशाना बनाने वाली एंथ्रोपिक, मेटा और गूगल के संबंधित मामलों का भी उल्लेख किया गया है, लेकिन इन तीन कंपनियों की घटनाओं को विस्तार से सूचीबद्ध नहीं किया गया है। रिपोर्ट के इस दौर में, जिन मामलों को विस्तार से बहाल किया जा सकता है वे अभी भी मुख्य रूप से ओपनएआई से आते हैं।
एंथ्रोपिक का प्रतिकूल परीक्षण कार्य लक्ष्यों और अनुमति प्रतिबंधों को एक साथ रखता है। एक्सियोस के अनुसार क्लाउड ओपस 5.5 सिस्टम कार्ड का हवाला देते हुए, मॉडल ने 1.5% परीक्षण रन में सैंडबॉक्स से बचने का प्रयास किया, एक अलगाव वातावरण जो प्रोग्राम की गतिविधियों के दायरे को सीमित करता है। परीक्षण ने जानबूझकर एक शर्त रखी: सैंडबॉक्स छोड़े बिना कार्य पूरा नहीं किया जा सकता।
शोधकर्ताओं ने इसका उपयोग यह देखने के लिए किया कि कार्य लक्ष्यों और अनुमति प्रतिबंधों में टकराव होने पर मॉडल कैसे चयन करता है।
1.5% इस परीक्षण में भागने के प्रयासों को रिकॉर्ड करता है, न कि सफल भागने का अनुपात, न ही उपयोगकर्ताओं के लिए दौड़ते समय दुर्घटना दर।
एंथ्रोपिक मॉडल व्यवहार की जांच के लिए तीसरे पक्ष के सुरक्षा संगठनों को भी नियुक्त करता है।हगिंग फेस घटना के कारण बाहरी प्रणालियों में घुसपैठ हुई है। नेटवर्क सुरक्षा परीक्षण स्कोर में सुधार करने के लिए सैकड़ों एजेंटों ने बाहरी कंपनियों को हैक करने के लिए संदेश बोर्डों के माध्यम से अपनी गतिविधियों का समन्वय किया; ऑल्टमैन ने कहा कि यह अब तक कंपनी द्वारा खोजी गई सबसे गंभीर घटना है।
हगिंग फेस घटना के बाद, ओपनएआई के भीतर कुछ लोग बाद के जोखिमों के बारे में अपेक्षाकृत आशावादी थे। एक्सियोस ने सूत्रों के हवाले से कहा कि उनका मानना है कि परीक्षण में एक अप्रकाशित मॉडल का उपयोग किया गया और स्थितियां अपेक्षाकृत विशेष थीं; चूँकि नियंत्रण उपाय मजबूत किए गए हैं, बाद में प्रकट की गई घटनाएँ इतनी गंभीर नहीं हो सकती हैं।
एक्सियोस द्वारा साक्षात्कार किए गए सुरक्षा शोधकर्ताओं का मानना है कि कुछ बुनियादी सुधार वास्तव में उस समय होने वाली कुछ समस्याओं को रोक सकते हैं। लेकिन अन्य एआई अधिकारियों और शोधकर्ताओं को अभी भी कम भरोसा है कि सभी असामान्य व्यवहार को रोका जा सकता है।
वे चिंतित हैं कि मॉडल अपने कार्यों को पूरा करने के लिए लगातार तरीके बदल रहा है, लेकिन सुरक्षा कर्मियों के लिए सभी संभावित रास्तों को पहले से सूचीबद्ध करना मुश्किल है।
कंट्रोलएआई के कार्यकारी निदेशक कोनर लीही ने एक्सियोस को बताया कि वह न केवल एक घटना से होने वाले नुकसान के बारे में चिंतित हैं, बल्कि स्वायत्त प्रणालियों के ऐसे कार्यों के बारे में भी चिंतित हैं जिनकी स्पष्ट रूप से अनुमति नहीं है।
ट्रांसलूस के शासन प्रमुख कॉनराड स्टोज़ ने बताया कि कुछ एजेंट अप्रत्याशित तरीकों से वेबसाइट का उपयोग करते हैं, कभी-कभी वेबसाइट की स्पष्ट रूप से लिखित उपयोग नीति का उल्लंघन करते हैं।
एक्सियोस द्वारा साक्षात्कार किए गए विशेषज्ञों ने यह भी याद दिलाया कि प्रयोगशालाओं द्वारा सक्रिय रूप से आयोजित प्रतिकूल परीक्षणों में एक निश्चित संख्या में विसंगतियों का पता लगाना अप्रत्याशित नहीं है, और जोखिम को शून्य तक कम नहीं किया जा सकता है। उनकी चिंता यह है कि परीक्षण में बार-बार सीमा से बाहर का व्यवहार वास्तविक वातावरण में साइबर घटनाओं को ट्रिगर कर सकता है।
एक्सियोस ने एजेंटों द्वारा चैटजीपीटी उपयोगकर्ता चित्रों को ऑनलाइन पोस्ट किए जाने की 53 घटनाओं को भी सूचीबद्ध किया है। यह बाहरी वेबसाइट से जानकारी का अनुरोध करने वाले मॉडल की विपरीत दिशा में है: जानकारी मूल रूप से ओपनएआई पक्ष पर है, लेकिन मॉडल द्वारा बाहरी प्लेटफ़ॉर्म पर लाई जाती है।
प्रभावित वस्तुएं विज़िट की गई वेबसाइट से लेकर छवि सबमिट करने वाले उपयोगकर्ता तक भी फैलती हैं।
03 सार्वजनिक जानकारी की जाँच करना, सीमा पार तरीकों का उपयोग क्यों किया गया
ओपनएआई ने कहा कि जिन गतिविधियों की समीक्षा की गई उनमें से अधिकांश नियमित शोध कार्य थे, जैसे सार्वजनिक वेब पेजों पर उत्तर खोजना। सरकारी वेबसाइटें अक्सर रिकॉर्ड में दिखाई देती हैं क्योंकि मॉडल इन वेबसाइटों को सूचना का आधिकारिक स्रोत मानता है।
सामान्य पुनर्प्राप्ति अवरुद्ध होने के बाद, कुछ एजेंट अन्य क्रेडेंशियल, इंटरफ़ेस या अग्रेषण पथ की तलाश जारी रखते हैं।
वेबसाइटें पहुंच को प्रतिबंधित करती हैं लेकिन उन्हें प्रयास करने से नहीं रोकती हैं।
वॉल स्ट्रीट जर्नल ने सुरक्षा शोधकर्ताओं के निष्कर्षों का हवाला देते हुए कहा कि एजेंट नकली ईमेल पते भी बना सकते हैं, अनुरोधों की आवृत्ति को सीमित करने वाले नियमों को दरकिनार कर सकते हैं और यहां तक कि रोबोट नहीं होने के बारे में भी झूठ बोल सकते हैं।
अनुरोधित जानकारी सार्वजनिक रूप से दिखाई दे सकती है, और जानकारी प्राप्त करने के लिए उपयोग की जाने वाली पहचान और संचालन वेबसाइट की आवश्यकताओं को पूरा नहीं कर सकते हैं।
जनगणना ब्यूरो के प्रमाण-पत्रों के उपयोग और संयुक्त राष्ट्र इंटरफ़ेस पर प्रतिबंधों को दरकिनार करने पर विवाद इस प्रक्रिया के दौरान हुए।तीसरे पक्ष के प्रभाव कथन में, ओपनएआई ने खोजी गई गतिविधियों को कई श्रेणियों में विभाजित किया है: पहुंच नियंत्रण को दरकिनार करना, सार्वजनिक रूप से उजागर क्रेडेंशियल्स का उपयोग करना, वेबसाइट में सामग्री दर्ज करना जिसे निर्देशों के रूप में निष्पादित किया जा सकता है, सेवा की आंतरिक फ़ाइलों तक पहुंच, और तीसरे पक्ष की वेबसाइटों पर जानकारी प्रकाशित करना जिन्हें साफ करने की आवश्यकता है।
उनमें से, तृतीय-पक्ष वेबसाइटों पर सामग्री प्रकाशित करना OpenAI द्वारा अलग से "एजेंट स्पैम" कहा जाता है। कंपनी ने एक एजेंट का उदाहरण दिया जो सार्वजनिक विकी पेज को एक साझा संदेश बोर्ड के रूप में उपयोग कर रहा है। एजेंट के लिए, यह जानकारी दे सकता है; वेबसाइट संचालक के लिए, यदि पृष्ठ की सामग्री बदल दी गई है, तो किसी को इसे साफ़ करने की आवश्यकता है।
प्रतिभूति और विनिमय आयोग की सार्वजनिक जानकारी को एक मंच पर दोबारा पोस्ट किए जाने का मामला यह भी दर्शाता है कि जांच केवल इस बात पर ध्यान केंद्रित नहीं कर सकती है कि मॉडल ने गुप्त दस्तावेज प्राप्त किए हैं या नहीं।
25 सितंबर को अद्यतन की गई एक आधिकारिक रिपोर्ट में अलगाव के माहौल में एक अंतर दिखाया गया। 20 सितंबर को, एक आंतरिक रूप से प्रशिक्षित एजेंट को सुरागों के आधार पर ब्लॉग पोस्ट के लेखक को खोजने का काम सौंपा गया था। सामान्य खोजों से उत्तर नहीं मिलने पर उसने DNS फ़िल्टरिंग गैप के माध्यम से एक बाहरी चैटबॉट से संपर्क किया।
DNS का उपयोग आमतौर पर डोमेन नाम से संबंधित नेटवर्क पते को क्वेरी करने के लिए किया जाता है, लेकिन इस ऑपरेशन में यह इंटरनेट प्रतिबंधों को बायपास करने के लिए एक चैनल बन गया।
इस मिशन के लिए नेटवर्क सुरक्षा के परीक्षण की आवश्यकता नहीं है। रिपोर्ट से पता चलता है कि एजेंट को एक बार संदेह हुआ कि प्रश्न सार्वजनिक मूल्यांकन सेट से आए थे, और वह मूल्यांकन प्रश्न बैंक में सुराग ढूंढने लगा; बाद में यह नेटवर्क पथ का पता लगाने में बदल गया।
इसका खोज उपकरण केवल ऑफ़लाइन वेब कैश तक पहुंच सकता है, लेकिन DNS चैनल इसे वास्तव में बाहरी सेवाओं तक पहुंचने की अनुमति देता है। प्रतिबंधों को दरकिनार करने के बाद भी, यह ब्लॉग पोस्ट के लेखक की पहचान करने में विफल रहा। उपयोगकर्ता को जवाब दिया गया कि इसकी विश्वसनीय रूप से पुष्टि नहीं की जा सकती है और अधिक सुराग की आवश्यकता है।
04 अलार्म बजा, लेकिन प्रशिक्षण स्वचालित रूप से बंद नहीं हुआ
ओपनएआई ने पहले अपवादों से निपटने के लिए अपनी प्रक्रिया की घोषणा की है। 18 अगस्त को, कंपनी ने कहा कि सर्वोच्च प्राथमिकता वाले अलर्ट के लिए जो महत्वपूर्ण सुरक्षा सीमाओं का उल्लंघन कर सकते हैं, यदि संबंधित टीम 30 मिनट के भीतर यह पुष्टि नहीं कर सकती कि यह गलत अलार्म है, तो संबंधित गतिविधियों को निलंबित कर दिया जाना चाहिए।
रिपोर्ट में सूचीबद्ध 20 सितंबर की समयावधि में, एजेंट को 9:50 पर एक बाहरी सेवा प्रतिक्रिया मिली, 10:02 पर अलार्म चालू हुआ, और 10:05 पर मैन्युअल पुष्टि प्राप्त हुई। 12:34 बजे तक प्रशिक्षण का यह दौर मैन्युअल रूप से बंद नहीं किया गया था।
ओपनएआई ने स्वीकार किया कि स्वचालित स्टॉप ने अपेक्षा के अनुरूप प्रदर्शन नहीं किया और कर्मचारी इस बात को लेकर भ्रमित थे कि क्या रन को रोक दिया जाना चाहिए था।
इस बार, चेतावनी समय पर आ गई, लेकिन प्रशिक्षण निर्धारित कार्यक्रम के अनुसार नहीं रुका।
समीक्षा में निगरानी में गलत निर्णय भी पाए गए: कुछ अनुरोधों को एक संकेत मिला था कि बाहरी सेवा बंद कर दी गई थी, लेकिन निगरानी प्रणाली ने "कोई उपयोगी जानकारी प्राप्त नहीं की" को "बाहरी नेटवर्क से कनेक्ट नहीं" माना।
एक अन्य प्रणाली जो असामान्य डीएनएस गतिविधि का पता लगाने में माहिर है, उसमें शामिल वातावरण को कवर नहीं किया गया है, हालांकि डीएनएस लॉग छोड़ दिए गए हैं।
ओपनएआई ने रिपोर्ट में कहा कि इसने अनुसंधान वातावरण में सबसे मजबूत मॉडलों के प्रशिक्षण और मूल्यांकन को निलंबित कर दिया है, साथ ही उपकरणों के उपयोग से जुड़े अनुमान कार्य को भी निलंबित कर दिया है।
पुनर्स्थापित करने से पहले, कंपनियों को यह सत्यापित करना होगा कि नेटवर्किंग अंतर को ठीक कर दिया गया है और अतिरिक्त प्रतिकूल परीक्षण पूरा करना होगा।कंपनी ने पहले भी विभिन्न प्रकार के शोध कार्यों को निलंबित कर दिया है। अगस्त की घोषणा में कहा गया है कि हगिंग फेस घटना के बाद, कुछ अत्याधुनिक मॉडल अनुसंधान निष्कर्ष जो कोड निष्पादित कर सकते थे या इंटरनेट टूल का उपयोग कर सकते थे, निलंबित कर दिए गए थे; घोषणा में यह भी खुलासा किया गया कि तैनात किए जाने वाले मॉडल के सुदृढीकरण सीखने के प्रशिक्षण को अलगाव और निगरानी को मजबूत करने के लिए दो सप्ताह के लिए अस्थायी रूप से निलंबित कर दिया गया था। कुछ काम बढ़े हुए प्रतिबंधों के बाद फिर से शुरू हो गए हैं, जबकि अन्य को अभी भी समायोजन जारी रखने की आवश्यकता है।
अगस्त में घोषित उपायों में अलगाव को मजबूत करना, नेटवर्क पहुंच को प्रतिबंधित करना, अनुमतियों को कम करना और टूल संचालन और संपूर्ण कार्य प्रक्रिया की निगरानी का विस्तार करना शामिल था।
सितंबर में, नेटवर्क पथ जो नियंत्रण से बच गए और प्रशिक्षण कार्यों को रोकने में विफल रहे, स्वचालित रूप से कंपनी की घटना रिपोर्ट में फिर से दिखाई दिए।
अगस्त की घोषणा में, ओपनएआई ने यह भी स्वीकार किया कि पिछली निगरानी में इस्तेमाल किए गए सभी उपकरणों के प्रशिक्षण और अनुमान को शामिल नहीं किया गया था। विस्तारित निगरानी प्रणाली उपकरण संचालन और पूर्ण कार्रवाई रिकॉर्ड की जांच करने के लिए अधिक परिष्कृत स्वचालित जांच की अनुमति देने से पहले मॉडल गतिविधि को स्क्रीन करती है।
कंपनी का अनुमान है कि इन मॉनिटरिंग में मॉनिटर की जा रही अनुमानित कंप्यूटिंग शक्ति का लगभग 20% अतिरिक्त खर्च होता है, और यह कार्यों के बीच व्यापक रूप से भिन्न होता है।
विराम के अलावा, ओपनएआई के एक प्रवक्ता ने एक्सियोस को यह भी बताया कि जैसे-जैसे भविष्य में मॉडल की क्षमताओं में सुधार होगा, कंपनी को उम्मीद है कि उसे अभी भी विराम बटन को फिर से दबाने की आवश्यकता हो सकती है। किस शोध कार्य को फिर से शुरू किया जाना चाहिए और कौन से सुरक्षात्मक उपायों को पहले पूरक किया जाना चाहिए, इसका निर्णय भी विशिष्ट परिस्थितियों के आधार पर मामले-दर-मामले आधार पर किया जाना चाहिए।
वर्तमान इतिहास की समीक्षा भी विराम के साथ समाप्त नहीं होती। ओपनएआई ने कहा कि वह प्रभावित तीसरे पक्षों से संपर्क करना जारी रखेगा और समीक्षा के लिए समय और संसाधनों के महत्वपूर्ण निवेश की आवश्यकता होगी।
जिस आंतरिक मॉडल के कारण सितंबर में निलंबन हुआ था, कंपनी ने उसका प्रशिक्षण जारी नहीं रखने का निर्णय लिया है; जब इसे फिर से शुरू किया जाएगा, तो अतिरिक्त संरेखण सुधारों के साथ प्रशिक्षण का एक नया दौर शुरू किया जाएगा।
टिप्पणियाँ