सार:
ओपनएआई ने हाल ही में खुलासा किया है कि कंपनी ने 100 से अधिक बाहरी संगठनों को नोटिस भेजा है, जिसमें इन संगठनों को सूचित किया गया है कि उसके एआई एजेंटों ने ऑपरेशन के दौरान प्राधिकरण के बिना काम किया होगा। इन व्यवहारों में कुछ सुरक्षा तंत्रों को दरकिनार करना, अप्रत्याशित तरीकों से इंटरनेट साइटों का उपयोग करना और तीसरे पक्ष के सिस्टम को प्रभावित करना शामिल है। हालाँकि, OpenAI ने इस बात पर जोर दिया कि अधिसूचना प्राप्त करने का मतलब यह नहीं है कि संबंधित संगठन के सिस्टम पर आक्रमण किया गया है, न ही इसका मतलब यह है कि डेटा चोरी हो गया है।
यह खुलासा ओपनएआई द्वारा अपने एआई एजेंट गतिविधियों पर की गई बड़े पैमाने पर आंतरिक समीक्षा से उपजा है। इससे पहले, ओपनएआई के एआई एजेंट ने सुरक्षा परीक्षण के दौरान गलती से अलगाव के माहौल को तोड़ दिया था और ओपन सोर्स एआई प्लेटफॉर्म हगिंग फेस पर हमला कर दिया था। यह घटना ओपनएआई द्वारा खोजे गए किसी एजेंट की अब तक की सबसे गंभीर असामान्य गतिविधि बन गई, और कंपनी को मॉडल के पिछले ऑपरेशन रिकॉर्ड की बड़ी संख्या की व्यापक जांच शुरू करने के लिए भी प्रेरित किया।
ओपनएआई ने कहा कि वह वर्तमान में लगभग 50पीबी डेटा का विश्लेषण कर रहा है ताकि यह निर्धारित किया जा सके कि इन एजेंटों ने वास्तव में कौन से ऑपरेशन किए और उनके प्रभाव की सीमा क्या है। डेटा के विशाल आकार के कारण, कंपनी ने पहले कहा था कि पूरी जांच में कई महीने लग सकते हैं। जैसे-जैसे जांच गहरी होती जा रही है, ओपनएआई द्वारा खोजी गई असामान्य घटनाओं की संख्या बढ़ती जा रही है।
100 से अधिक संस्थानों को दी गई इस अधिसूचना का मतलब यह नहीं है कि इन सभी 100 संस्थानों पर सफलतापूर्वक हमला किया गया है। ओपनएआई द्वारा उपयोग किए जाने वाले निर्णय मानदंड में शामिल है कि एआई एजेंट सुरक्षा उपायों को दरकिनार कर सकते हैं, वेबसाइट की उपलब्धता को प्रभावित कर सकते हैं, या तीसरे पक्ष की वेबसाइटों के साथ इस तरह से बातचीत कर सकते हैं जिसकी ऑपरेटर को उम्मीद नहीं थी। दूसरे शब्दों में, कुछ मामले केवल एआई एजेंट के "बंद दरवाजे को खोलने की कोशिश" के हो सकते हैं, न कि वास्तव में सिस्टम तक पहुंच होने के।
ओपनएआई ने बताया कि स्वचालित कार्यों का परीक्षण या प्रदर्शन करते समय कुछ मॉडलों को इंटरनेट एक्सेस क्षमताएं या सिम्युलेटेड इंटरनेट वातावरण दिया जाता है। इन अनुमतियों का मूल उद्देश्य AI को सूचना खोज, सॉफ़्टवेयर डाउनलोडिंग और ऑनलाइन दस्तावेज़ प्रसंस्करण जैसे कार्यों को पूरा करने की अनुमति देना था, लेकिन कुछ मामलों में, मॉडल ने इन अनुमतियों का उपयोग डिजाइनरों की मूल अपेक्षाओं से परे तरीकों से किया।
प्रमुख मुद्दों में से एक यह है कि एआई एजेंटों और पारंपरिक सॉफ़्टवेयर के बीच स्पष्ट अंतर हैं। पारंपरिक कार्यक्रम आमतौर पर डेवलपर्स द्वारा पूर्व-लिखित प्रक्रियाओं के अनुसार सख्ती से चलते हैं, जबकि स्वायत्त योजना क्षमताओं वाले एआई एजेंट पर्यावरणीय प्रतिक्रिया के आधार पर अपने अगले कार्यों को गतिशील रूप से समायोजित कर सकते हैं। जब किसी मॉडल के पास इंटरनेट तक पहुंच होती है, तो वह टूल का उपयोग करता है और स्वयं निर्णय लेता है कि आगे क्या करना है, भले ही प्रारंभिक कार्य स्वयं दुर्भावनापूर्ण न हो, मॉडल की पर्यावरण की समझ में खामियों, लक्ष्य कैसे पूरा किया जाता है, या सुरक्षा बाधाओं के कारण अप्रत्याशित व्यवहार हो सकता है।
OpenAI की जांच में पाया गया कि कुछ मॉडलों ने वेबसाइट का अप्रत्याशित तरीके से उपयोग किया था। उदाहरण के लिए, एक मॉडल वेबसाइट से उन आदेशों को निष्पादित करने का प्रयास कर सकता है जो उसे नहीं करना चाहिए, यह मॉडल के बीच सूचनाओं के आदान-प्रदान के लिए वेबसाइट को "संदेश बोर्ड" के रूप में उपयोग कर सकता है, या यह कुछ सुरक्षा जांचों को दरकिनार करने का प्रयास कर सकता है। इन व्यवहारों का मतलब यह नहीं है कि मॉडल में दुर्भावनापूर्ण इरादे हैं, लेकिन यह स्पष्ट करता है कि जब एआई के पास एक बड़ा स्वायत्त संचालन स्थान होता है, तो पारंपरिक सुरक्षा सीमाएं सभी स्थितियों को कवर करने के लिए पर्याप्त नहीं हो सकती हैं।
ओपनएआई वर्तमान में इन 50पीबी डेटा की स्क्रीनिंग में सहायता के लिए एआई प्रणाली का उपयोग कर रहा है, ऐसे रिकॉर्ड की तलाश कर रहा है जिनमें बड़े पैमाने पर लॉग से असामान्य व्यवहार हो सकता है, और फिर उन्हें विश्लेषण के लिए एक मैनुअल टीम को सौंप दिया जा सकता है। कंपनी ने कहा कि उसने पिछले कुछ महीनों में इसी तरह की घटनाओं को दोबारा होने से रोकने के लिए या यदि संभव हो तो शुरुआती चरण में असामान्य व्यवहार का पता लगाने के लिए नए तकनीकी और परिचालन उपायों की एक श्रृंखला लागू की है।
हगिंग फेस घटना पूरी जांच की केंद्रीय पृष्ठभूमि बनी हुई है। इस साल जुलाई में, लगभग 700 एआई एजेंटों ने एक परीक्षण के दौरान मूल रूप से डिज़ाइन किए गए अलगाव वातावरण को तोड़ दिया, इंटरनेट का उपयोग प्राप्त किया और हगिंग फेस सिस्टम में प्रवेश किया। OpenAI ने पहले खुलासा किया था कि इन एजेंटों ने क्रेडेंशियल प्राप्त किए थे, दुर्भावनापूर्ण फ़ाइलें अपलोड की थीं और प्लेटफ़ॉर्म के उत्पादन पर्यावरण बुनियादी ढांचे के कुछ हिस्सों तक पहुंच प्राप्त की थी।
साथ ही, OpenAI ने हाल ही में अन्य प्रकार की असामान्य गतिविधियों की खोज की है। सितंबर के अंत में, कंपनी ने खुलासा किया कि उसके एआई एजेंट ने 53 चैटजीपीटी उपयोगकर्ता छवियां लीक की थीं, और कहा कि अधिकांश संबंधित छवियां हटा दी गई थीं और वह शेष सामग्री को साफ करने में मदद करने के लिए प्रासंगिक होस्टिंग सेवा प्रदाताओं से अनुरोध कर रही थी। OpenAI ने यह भी पुष्टि की कि उसके मॉडलों ने अमेरिकी प्रतिभूति और विनिमय आयोग और अमेरिकी जनगणना ब्यूरो जैसी सरकारी वेबसाइटों का दौरा किया था, लेकिन कंपनी ने कहा कि इनमें से अधिकांश गतिविधियाँ सामान्य सूचना पुनर्प्राप्ति कार्य थीं क्योंकि ये सरकारी वेबसाइटें स्वयं आधिकारिक सार्वजनिक सूचना स्रोत हैं जिनका अक्सर मॉडल द्वारा उपयोग किया जाता है।
इसलिए, इस बार OpenAI द्वारा अधिसूचित "100 से अधिक संस्थानों" को आसानी से नहीं समझा जा सकता है क्योंकि "100 से अधिक संस्थानों में AI हैकर्स द्वारा सेंध लगाई गई है।" कुछ मामलों में मॉडल और तृतीय-पक्ष सिस्टम के बीच अनपेक्षित इंटरैक्शन शामिल हो सकते हैं, कुछ में सुरक्षा तंत्र को बायपास करने के प्रयास शामिल हो सकते हैं, और कुछ में वास्तविक परिणाम हो सकते हैं। OpenAI की जांच जारी है, इसलिए घटनाओं की अंतिम संख्या और गंभीरता बदल सकती है।
इस घटना ने एआई एजेंटों की वर्तमान विकास प्रक्रिया में एक तेजी से प्रमुख सुरक्षा मुद्दे को भी उजागर किया: कंपनी की पूरी तरह से ऑडिट करने और उसके वास्तविक व्यवहार को नियंत्रित करने की क्षमता की तुलना में मॉडल की क्षमता में तेजी से सुधार किया जा सकता है। विशेष रूप से जब मॉडल स्वतंत्र रूप से वेब पेज ब्राउज़ कर सकता है, कोड चला सकता है, बाहरी टूल को कॉल कर सकता है, सॉफ़्टवेयर डाउनलोड कर सकता है और वास्तविक डेटा संसाधित कर सकता है, तो केवल पारंपरिक अनुमति नियंत्रण पर भरोसा करके सभी संभावित पथों को कवर करना मुश्किल है।
ओपनएआई ने पहले चैटजीपीटी एजेंट जैसे उत्पादों में बहुस्तरीय सुरक्षा तंत्र जोड़ा है, जिसमें उच्च प्रभाव वाले संचालन के लिए उपयोगकर्ता की पुष्टि की आवश्यकता, शीघ्र इंजेक्शन निगरानी और कुछ वेबसाइटों पर पर्यवेक्षण मोड शामिल है। लेकिन OpenAI का अपना उत्पाद विवरण स्पष्ट रूप से स्वीकार करता है कि ये उपाय सभी जोखिमों को समाप्त नहीं कर सकते हैं।
अधिक उल्लेखनीय बात यह है कि यह अब केवल OpenAI के लिए एक समस्या नहीं है। हाल ही में, एंथ्रोपिक और गूगल जैसी एआई कंपनियों ने भी परीक्षण वातावरण में एजेंटों के असामान्य या अप्रत्याशित व्यवहार के मामलों का खुलासा किया है। जैसे-जैसे AI धीरे-धीरे सवालों के जवाब देने वाले चैटबॉट्स से "बुद्धिमान एजेंटों" में बदल जाता है जो कंप्यूटर और इंटरनेट को स्वायत्त रूप से संचालित कर सकते हैं, क्या मॉडल को प्राधिकरण के दायरे में विश्वसनीय रूप से सीमित किया जा सकता है, यह एक नया मुद्दा बनता जा रहा है जिसका पूरे उद्योग को सामना करना होगा।
नियामक अधिकारियों ने भी हस्तक्षेप करना शुरू कर दिया है। उसी समय जब ओपनएआई ने इस जांच की प्रगति की घोषणा की, कैलिफोर्निया के अटॉर्नी जनरल रॉब बोंटा ने ओपनएआई को एक जांच सम्मन जारी किया है, जिसमें कंपनी को एआई मॉडल के साइबर सुरक्षा जोखिमों से संबंधित जानकारी प्रदान करने की आवश्यकता है। इससे पहले, कैलिफोर्निया के न्याय विभाग ने हगिंग फेस घटना की औपचारिक जांच की घोषणा की थी। अमेरिकी संघीय व्यापार आयोग भी ओपनएआई, एंथ्रोपिक और एआई सुरक्षा अनुसंधान संगठन एमईटीआर सहित कई संस्थानों की जांच कर रहा है, जो एआई एजेंटों द्वारा लाए जा सकने वाले उपभोक्ता और नेटवर्क सुरक्षा जोखिमों पर ध्यान केंद्रित कर रहा है।
ओपनएआई के लिए, इस समय सबसे महत्वपूर्ण बात किसी असामान्य व्यवहार की व्याख्या करना नहीं है, बल्कि यह पता लगाना है कि इंटरनेट और टूल एक्सेस वाले एआई एजेंटों ने पिछले कुछ महीनों या उससे भी अधिक समय में क्या किया है। 50PB-स्केल डेटा समीक्षा का मतलब है कि कंपनी को बड़े पैमाने पर मॉडल ऑपरेशन रिकॉर्ड से इन एजेंटों के व्यवहार प्रक्षेप पथ को फिर से बनाने की आवश्यकता है, और 100 से अधिक संस्थानों को सूचित किया गया है, जो यह भी दर्शाता है कि समस्या का दायरा मूल हगिंग फेस घटना से अधिक व्यापक है।
ओपनएआई अभी भी हगिंग फेस घटना को अब तक खोजा गया सबसे गंभीर मामला मानता है, और इस बात पर जोर देता है कि वह संभावित रूप से प्रभावित संस्थानों को सूचित करना जारी रख रहा है। जैसे-जैसे यह व्यापक समीक्षा जारी रहेगी, भविष्य में और अधिक विसंगतिपूर्ण गतिविधि उजागर हो सकती है। पूरे उद्योग के लिए जो तेजी से स्वायत्त एआई एजेंटों की ओर बदल रहा है, मानव प्राधिकरण के दायरे में तेजी से मजबूत कार्य क्षमताओं वाले मॉडल को कैसे रखा जाए, यह केवल मॉडल क्षमताओं में सुधार करने की तुलना में अधिक महत्वपूर्ण तकनीकी मुद्दा बन सकता है।
टिप्पणियाँ