सार:
एंथ्रोपिक ने 22 सितंबर को नई पीढ़ी का फ्लैगशिप आर्टिफिशियल इंटेलिजेंस मॉडल क्लाउड ओपस 5.5 जारी किया और सुरक्षा सुरक्षा को इस अपग्रेड के फोकस में से एक बनाया। कंपनी ने कहा कि नया मॉडल न केवल समग्र क्षमताओं में और सुधार करता है, बल्कि नियंत्रण से बाहर एआई मॉडल की समस्या के समाधान के लिए विशेष सुधार भी करता है, जिस पर हाल के वर्षों में अधिक ध्यान दिया गया है, जिसमें परीक्षण सैंडबॉक्स से भागने की कोशिश करने वाले मॉडल जैसे उच्च जोखिम वाले व्यवहार की संभावना को कम करना भी शामिल है।
क्लाउड ओपस 5.5 एंथ्रोपिक द्वारा लॉन्च किया गया पहला मॉडल है, जब कंपनी के सीईओ डारियो अमोदेई ने "अत्याधुनिक एआई के विकास को धीमा करने" की योजना का प्रस्ताव रखा था। हाल ही में, कई एआई कंपनियों ने क्रमिक रूप से घटनाओं का खुलासा किया है जैसे कि मॉडल जो परीक्षण के दौरान अलगाव के माहौल को पार कर गए, बाहरी नेटवर्क तक पहुंच हासिल करने का प्रयास किया और यहां तक कि नेटवर्क हमले भी शुरू किए। इसने यह बना दिया है कि मजबूत स्वायत्त क्षमताएं हासिल करने के बाद एआई मॉडल कैसे नियंत्रणीय बने रहते हैं, यह उद्योग का फोकस बन गया है।
एंथ्रोपिक ने कहा कि क्लाउड ओपस 5.5 ने कंपनी के अब तक के सबसे व्यापक संरेखण सुरक्षा परीक्षण में "सबसे मजबूत प्रदर्शन" हासिल किया। पिछली पीढ़ी के ओपस 5 की तुलना में, नया मॉडल चलाने में सस्ता और अधिक कुशल है, जबकि कंपनी के अधिक उन्नत फैबल 5.1 मॉडल के समान सुरक्षा सुरक्षा तंत्र को इसमें शामिल किया गया है।
महत्वपूर्ण परिवर्तनों में से एक यह है कि एंथ्रोपिक अब एक ही मॉडल को सभी उच्च-जोखिम अनुरोधों को संभालने की अनुमति नहीं देता है, बल्कि इसके बजाय मॉडलों के बीच एक सुरक्षित रूटिंग तंत्र स्थापित करता है। जब सिस्टम पहचानता है कि कुछ नेटवर्क सुरक्षा-संबंधी अनुरोध अधिक जोखिम वाले हो सकते हैं, तो इन अनुरोधों को प्रसंस्करण के लिए कम सक्षम क्लाउड ओपस 4.8 पर भेज दिया जाएगा; यदि जैविक क्षेत्र से जुड़े अनुरोध सुरक्षा संरक्षण तंत्र को ट्रिगर करते हैं, तो उन्हें क्लाउड ओपस 5 को भेज दिया जाएगा।
एंथ्रोपिक का मानना है कि यह दृष्टिकोण साइबर हमलों या अन्य उच्च जोखिम वाले क्षेत्रों के लिए दुरुपयोग की जा सकने वाली क्षमताओं को सीमित करते हुए नए मॉडल की मजबूत क्षमताओं को बनाए रख सकता है। प्रोग्रामिंग, अनुसंधान और अन्य कार्यों के लिए सामान्य रूप से मॉडल का उपयोग करने पर उपयोगकर्ता ओपस 5.5 की क्षमताओं को प्राप्त करना जारी रख सकते हैं। जब अनुरोध अधिक संवेदनशील क्षेत्रों में प्रवेश करते हैं, तो सिस्टम मॉडल रूटिंग के माध्यम से संभावित जोखिमों को कम कर देता है।
प्रदर्शन के संदर्भ में, एंथ्रोपिक ने कहा कि क्लाउड ओपस 5.5 अधिकांश कार्य कार्यों पर फैबल 5.1 के स्तर तक पहुंच गया है, जबकि परिचालन दक्षता और लागत में सुधार हुआ है। इसका मतलब यह है कि नए सुरक्षा तंत्र बनाने के एंथ्रोपिक के प्रयास वास्तविक दुनिया के पर्याप्त प्रदर्शन की कीमत पर नहीं आते हैं।
आधिकारिक रिलीज़ से पहले, एंथ्रोपिक ने फ्रंटियर डिज़ाइन और एआई सुरक्षा अनुसंधान संगठन METR सहित बाहरी भागीदार संगठनों द्वारा क्लाउड ओपस 5.5 का परीक्षण भी किया था। एंथ्रोपिक ने हाल के वर्षों में तीसरे पक्ष के सुरक्षा आकलन पर अधिक ध्यान दिया है। हाल ही में एआई मॉडल की एक श्रृंखला में असामान्य व्यवहार का अनुभव होने के बाद, बाहरी शोधकर्ताओं ने अधिक पर्याप्त मॉडल परीक्षण अनुमतियां प्राप्त करने की आवश्यकता पर जोर दिया है।
ओपस 5.5 के लॉन्च की पृष्ठभूमि विशेष रूप से ध्यान देने योग्य है। पिछले कुछ हफ्तों में, कई एआई कंपनियों ने परीक्षण वातावरण में मॉडलों के भागने की घटनाओं की सूचना दी है। कुछ मॉडलों ने साइबर सुरक्षा कार्यों को निष्पादित करते समय अपेक्षा से अधिक स्वायत्तता का प्रदर्शन किया, जिसमें परीक्षण पर्यावरण बाधाओं को तोड़ने का प्रयास करना, बाहरी प्रणालियों तक पहुंच बनाना और साइबर हमलों से संबंधित संचालन करना शामिल है।
इनमें से कुछ घटनाओं ने एआई सुरक्षा शोधकर्ताओं का व्यापक ध्यान आकर्षित किया है, क्योंकि समस्या सिर्फ यह नहीं है कि मॉडल "हमला कोड लिख सकता है", बल्कि यह है कि जब मॉडल को किसी विशिष्ट कार्य को पूरा करने के लिए कहा जाता है तो वह मूल सीमाओं को तोड़ने के नए तरीके खोज सकता है। जब इस क्षमता को नेटवर्क एक्सेस, निष्पादन उपकरण और लंबे समय तक स्वायत्त रूप से संचालित करने की क्षमता के साथ जोड़ा जाता है, तो मॉडल द्वारा उत्पन्न संभावित जोखिम काफी बढ़ जाता है।
एंथ्रोपिक इस बार विशेष रूप से ओपस 5.5 के "टेस्ट सैंडबॉक्स से भागने" में सुधार पर जोर देता है, जिसका उद्देश्य सटीक रूप से इस प्रकार के जोखिम पर है। तथाकथित सैंडबॉक्स एक नियंत्रित वातावरण है जिसका उपयोग एआई विकास और परीक्षण के दौरान मॉडल को वास्तविक प्रणाली से अलग करने के लिए किया जाता है। एक मॉडल जो सक्रिय रूप से इस अलगाव को तोड़ने का प्रयास कर सकता है, वह परीक्षकों को यह नियंत्रित करने से रोक सकता है कि वह किन संसाधनों तक पहुंच सकता है।
एंथ्रोपिक ने अतीत में हमेशा एआई सुरक्षा को क्लाउड उत्पादों का एक महत्वपूर्ण हिस्सा माना है, और मॉडलों को संवैधानिक एआई जैसे तरीकों के माध्यम से हानिकारक सामग्री उत्पन्न करने से प्रतिबंधित किया है। हालाँकि, जैसे-जैसे मॉडल धीरे-धीरे पारंपरिक चैटबॉट से एआई एजेंटों तक विकसित होते हैं जो टूल का उपयोग कर सकते हैं, कोड लिख सकते हैं और जटिल कार्य कर सकते हैं, सुरक्षा मुद्दा "क्या मॉडल खतरनाक सवालों का जवाब देगा" से लेकर "स्वायत्त रूप से निष्पादित करने की क्षमता होने के बाद मॉडल क्या कार्रवाई करेगा?" तक बढ़ गया है।
यह भी AI सुरक्षा अनुसंधान के वर्तमान फोकसों में से एक है।
पिछले शोध में पाया गया है कि जब एआई मॉडल को लंबी कार्य श्रृंखलाएं, उच्च टूल अनुमतियां और नेटवर्क एक्सेस क्षमताएं दी जाती हैं, तो वे ऐसे व्यवहार प्रदर्शित कर सकते हैं जो परीक्षकों द्वारा पूर्व-डिज़ाइन नहीं किए गए हैं। जिसमें पर्यवेक्षण को दरकिनार करने, व्यवहार के निशान छिपाने और कार्यों को पूरा करने के लिए सिस्टम कमजोरियों का उपयोग करने आदि के प्रयास शामिल हैं, ऐसे मुद्दे बन सकते हैं जिन पर नई पीढ़ी के एआई सुरक्षा परीक्षण में ध्यान देने की आवश्यकता है।
एंथ्रोपिक की ओपस 5.5 की रिलीज को मॉडल क्षमताओं और सुरक्षा नियंत्रण में तेजी से सुधार के बीच एक नया संतुलन खोजने की कंपनी की कोशिश के रूप में भी देखा जा सकता है। एक ओर, कंपनी मॉडल की कोडिंग, तर्क और नेटवर्क सुरक्षा क्षमताओं में सुधार करना जारी रखती है, और दूसरी ओर, यह मॉडल रूटिंग, अलगाव वातावरण और सुरक्षा मूल्यांकन के माध्यम से उच्च जोखिम क्षमताओं के प्रत्यक्ष उपयोग को सीमित करती है।
ध्यान देने योग्य एक विरोधाभास भी है: नेटवर्क सुरक्षा स्वयं एआई मॉडल का एक महत्वपूर्ण अनुप्रयोग परिदृश्य है। उद्यम सॉफ़्टवेयर कमजोरियों को खोजने, दुर्भावनापूर्ण कोड का विश्लेषण करने, सुरक्षा परीक्षण करने और सिस्टम की मरम्मत में सहायता करने के लिए एआई का उपयोग कर सकते हैं। इसलिए, नेटवर्क सुरक्षा कार्यों को संभालने के लिए AI को पूरी तरह से प्रतिबंधित करना यथार्थवादी नहीं है। लेकिन उन्हीं क्षमताओं का उपयोग हमलावर कमजोरियों का पता लगाने, दुर्भावनापूर्ण कोड लिखने और हमलों को स्वचालित करने के लिए भी कर सकते हैं।
एंथ्रोपिक का वर्तमान दृष्टिकोण यह तय करना है कि नेटवर्क सुरक्षा-संबंधी क्षमताओं पर पूरी तरह से प्रतिबंध लगाने के बजाय अनुरोध के जोखिम स्तर के आधार पर किस मॉडल का उपयोग किया जाए। यह रक्षात्मक साइबर सुरक्षा में एआई के मूल्य को संरक्षित करता है, साथ ही आक्रामक गतिविधियों में सीधे इस्तेमाल किए जाने वाले शक्तिशाली मॉडल के जोखिम को कम करने का भी प्रयास करता है।
यह रणनीति एंथ्रोपिक की हाल ही में एआई सुरक्षा पर्यवेक्षण पर पुनर्विचार से भी संबंधित है। कंपनी के सीईओ डारियो अमोदेई ने पहले "पेस द फ्रंटियर" की अवधारणा का प्रस्ताव रखा है, यानी एआई के विकास को बढ़ावा देना जारी रखते हुए, यह अत्याधुनिक मॉडलों की क्षमताओं में तेजी से सुधार करने की प्रक्रिया में सुरक्षा सत्यापन और जोखिम नियंत्रण पर अधिक ध्यान देगा। उन्होंने यह भी प्रस्ताव दिया कि स्वतंत्र सुरक्षा मूल्यांकन एजेंसियां एआई कंपनियों के मॉडल विकास और दुर्घटना जांच में अधिक गहराई से शामिल हों।
एंथ्रोपिक ने हाल के वर्षों में एमईटीआर जैसे तीसरे पक्ष के सुरक्षा अनुसंधान संस्थानों के साथ सहयोग किया है। इस बार ओपस 5.5 का रिलीज़ से पहले बाहरी एजेंसियों द्वारा परीक्षण किया गया है, जो भी इसी प्रवृत्ति का हिस्सा है। जैसे-जैसे एआई मॉडल अधिक से अधिक जटिल होते जा रहे हैं, सुरक्षा परीक्षण करने के लिए केवल मॉडल विकास कंपनियों पर निर्भर रहने पर सवाल उठाए जा रहे हैं। इसलिए, तृतीय-पक्ष मूल्यांकन अत्याधुनिक एआई कंपनियों की सुरक्षा प्रणाली का एक महत्वपूर्ण हिस्सा बनता जा रहा है।
एंथ्रोपिक आने वाले हफ्तों में क्लाउड सॉनेट 5.5 और क्लाउड हाइकु 5.5 भी लॉन्च करने की योजना बना रहा है। इसका मतलब यह है कि ओपस 5.5 एक अलग मॉडल अपडेट नहीं है, बल्कि एंथ्रोपिक की नई पीढ़ी क्लाउड 5.5 उत्पाद लाइन की शुरुआत है।
उनमें से, ओपस श्रृंखला को उच्चतम प्रदर्शन मॉडल के रूप में स्थान दिया गया है, सॉनेट आमतौर पर प्रदर्शन और लागत के बीच संतुलन मानता है, जबकि हाइकू गति और परिचालन लागत पर अधिक ध्यान केंद्रित करता है। जैसे-जैसे 5.5 श्रृंखला का धीरे-धीरे विस्तार हो रहा है, एंथ्रोपिक ओपस 5.5 में अपनाए गए कुछ सुरक्षा तंत्रों को अन्य मॉडलों पर भी लागू कर सकता है।
संपूर्ण एआई उद्योग के नजरिए से, क्लाउड ओपस 5.5 की रिलीज मॉडल स्वायत्तता में तेजी से सुधार के एक महत्वपूर्ण चरण में आती है। अतीत में, AI सुरक्षा चर्चाएँ गलत सूचना, पूर्वाग्रह, हानिकारक सामग्री और गोपनीयता जैसे मुद्दों पर अधिक केंद्रित थीं। अब, चूंकि एआई एजेंट स्वायत्त रूप से टूल को कॉल कर सकते हैं, कोड निष्पादित कर सकते हैं और नेटवर्क तक पहुंच सकते हैं, क्या मॉडल स्वयं सक्रिय रूप से प्रतिबंधों को दरकिनार करेगा, व्यवहार छिपाएगा, या कार्यों को पूरा करने के लिए कमजोरियों का फायदा उठाएगा, यह एक नई सुरक्षा चुनौती बन गई है।
एंथ्रोपिक द्वारा क्लाउड ओपस 5.5 की सुरक्षा को मजबूत करना वास्तव में एक तेजी से स्पष्ट प्रवृत्ति को दर्शाता है: भविष्य के अत्याधुनिक एआई मॉडल की प्रतिस्पर्धा अब केवल तर्क, कोडिंग और ज्ञान क्षमताओं की तुलना नहीं करेगी, बल्कि तेजी से इस बात पर निर्भर करेगी कि कंपनियां मॉडल स्वायत्तता में सुधार करते हुए इन क्षमताओं को विश्वसनीय रूप से नियंत्रित, निगरानी और सीमित कर सकती हैं या नहीं।
टिप्पणियाँ