सार:
2 सितंबर को, ओपनएआई के मुख्य वैज्ञानिक जैकब पचॉकी ने "अनमॉनिटरेबल" नए मॉडल एस्ट्रा के हालिया विवाद के जवाब में सोशल प्लेटफॉर्म पर एक संदेश पोस्ट किया। विवाद उस दिन से शुरू हुआ जब खबर आई कि ओपनएआई का आगामी एस्ट्रा मॉडल रिकरंट डेप्थ नामक एक अनुमान तकनीक का उपयोग करता है।
इस मोड में, ट्रांसफार्मर परतों के एक ही सेट की बार-बार गणना की जाती है, और तर्क प्रक्रिया का कुछ हिस्सा मॉडल के अंदर होता है, और सभी को एक सोच श्रृंखला के रूप में प्रस्तुत करने की आवश्यकता नहीं होती है, इसलिए इसे "अपारदर्शी लूप" भी कहा जाता है।
पचोकी ने गलत जानकारी के कारण होने वाली एक अनियंत्रित स्थिति की ओर हथियारों की होड़ से बचने की आशा व्यक्त की - यानी, प्रमुख प्रयोगशालाएं ऐसे मॉडल विकसित करने के लिए प्रतिस्पर्धा कर रही हैं जो मनुष्यों द्वारा निगरानी और समीक्षा करने के लिए बहुत शक्तिशाली हैं, जिससे सुरक्षा नियंत्रण पूरी तरह से विफल हो जाता है।
उन्होंने इस बात पर जोर दिया कि एस्ट्रा सहित अत्याधुनिक मॉडलों की कम्प्यूटेशनल ग्राफ गहराई जीपीटी-4 की तुलना में दोगुनी से अधिक नहीं है, यह दर्शाता है कि मॉडल आर्किटेक्चर ने जटिलता में उछाल का अनुभव नहीं किया है जैसा कि बाहरी दुनिया को डर था।
यहां गणना ग्राफ की गहराई गणना चरणों की सबसे लंबी श्रृंखला को संदर्भित करती है जिसे एक अनुमान कार्य को पूरा करने के लिए क्रमिक रूप से निष्पादित किया जाना चाहिए और समानांतर में त्वरित नहीं किया जा सकता है। अतीत में, सामान्य ट्रांसफार्मर आर्किटेक्चर के तहत इंट्रा-लेयर गणना बड़े पैमाने पर समानांतर हो सकती थी, और क्रमबद्धता की गहराई लगभग मॉडल परतों की संख्या के बराबर थी।
बाजार की अफवाहों की चक्र गहराई सोच के कई दौरों के लिए मॉड्यूल के एक ही सेट को दोहरा सकती है, जिससे अगले टोकन (शब्द तत्व) को आउटपुट करने से पहले आंतरिक तर्क की गहराई बढ़ जाती है, बजाय केवल लंबे समय तक दिखाई देने वाली पाठ सोच श्रृंखला पर निर्भर रहने के, जो गणित, कोडिंग और अन्य प्रदर्शन में सुधार कर सकती है और लागत को कम कर सकती है।
इस आर्किटेक्चर का अंतर्निहित सुरक्षा जोखिम यह है कि जब गणना ग्राफ की गहराई बेहद अधिक होती है, तो मॉडल आउटपुट में सोच की पूरी श्रृंखला को बाहर किए बिना आंतरिक रूप से बड़ी संख्या में तर्क चरणों को पूरा कर सकता है। मनुष्य सोचने, योजना बनाने और कमियां ढूंढने की प्रक्रिया को नहीं देख पाएंगे और फिर एक अनियंत्रित स्थिति में प्रवेश कर जाएंगे। सुरक्षा ऑडिटिंग और सोच की श्रृंखला की निगरानी सभी विफल हो जाएंगी।
संबंधित समाचार का खुलासा होने के बाद, एआई सुरक्षा समुदाय ने कड़ी प्रतिक्रिया व्यक्त की। गैर-लाभकारी एआई सुरक्षा संगठन, रेडवुड रिसर्च के सीईओ बक श्लेगेरिस ने लिखा कि वह "बेहद चिंतित" थे। ओपनएआई मॉडल द्वारा हगिंग फेस समुदाय पर हमला करने की पिछली घटना के आधार पर, उन्होंने कहा कि उन्हें यकीन नहीं है कि एस्ट्रा की सोच श्रृंखला की निगरानी पिछले मॉडल की तुलना में बहुत खराब है, लेकिन अगर इस तकनीक को और बढ़ावा दिया जाता है और चक्रों की संख्या बहुत बढ़ जाती है, तो सोच श्रृंखला की निगरानी पूरी तरह से नष्ट हो जाएगी। यह विशेष रूप से चिंताजनक है क्योंकि यदि जांचकर्ता विचार श्रृंखला नहीं देख सकते हैं, तो संबंधित सुरक्षा घटनाओं की जांच करना अधिक कठिन होगा, जो वास्तव में डरावना है।
रेडवुड रिसर्च के मुख्य वैज्ञानिक रयान ग्रीनब्लाट, जो हगिंग फेस सुरक्षा घटना की जांच में शामिल थे, ने भी कहा कि यह एआई सुरक्षा में अब तक का सबसे गंभीर झटका हो सकता है। लंबे समय से एआई सुरक्षा के बारे में चिंतित रहने वाले लेखक ज़वी मोशोवित्ज़ ने इस तकनीक की "आग से खेलना" कहकर आलोचना की और यहां तक कहा कि एआई प्रयोगशालाओं के बीच निम्न मानकों की प्रतिस्पर्धा को रोकने के लिए कानूनों की आवश्यकता है।
पचोकी ने अपनी प्रतिक्रिया में स्वीकार किया कि विचार श्रृंखला की निगरानी वास्तव में नाजुक है और अधिक कठिन दिशा में विकसित हो रही है, लेकिन यह वास्तुशिल्प परिवर्तनों के कारण नहीं है। ओपनएआई अपने पहले अनुमान मॉडल के बाद से विचार श्रृंखला निगरानी को बनाए रखने और उपयोग करने के लिए प्रतिबद्ध है, और मानता है कि यह तकनीक यह देखने में मदद कर सकती है कि प्रशिक्षण वितरण से मॉडल संरेखण क्षमताएं कैसे सामान्य होती हैं। विचार श्रृंखलाओं की निगरानी को मजबूत करना वर्तमान अनुसंधान परियोजनाओं का मुख्य लक्ष्य बना हुआ है।
ओपनएआई ने कहा कि वह संभावित कदाचार का तुरंत पता लगाने और उस पर अंकुश लगाने के लिए एस्ट्रा के लिए अतिरिक्त विचार श्रृंखला निगरानी तैनात करेगा। बाजार समाचार के अनुसार, एस्ट्रा की लूप डेप्थ तकनीक का उपयोग सीमित है, और मॉडल सोच श्रृंखला अभी भी पठनीय रहने की उम्मीद है। उद्योग में एंथ्रोपिक और गूगल डीपमाइंड जैसे प्लेटफॉर्म पहले से ही इसी तरह की प्रौद्योगिकियों पर चर्चा कर रहे हैं।
टिप्पणियाँ