सार:
ओह, क्लाउड फिर पलट गया! इस बार क्लाउड ने डेवलपर की संपूर्ण प्रोजेक्ट होम निर्देशिका को हटा दिया, जिससे 700GB फ़ाइलें नष्ट हो गईं। "आरएम-आरएफ" फिर से। संक्षेप में, डेवलपर्स यह सुनिश्चित करने के लिए एआई को स्क्रिप्ट लिखने में मदद करते हैं कि फ़ाइलें गलती से नष्ट न हो जाएं। एआई को लगा कि यह थोड़ा खतरनाक है और उसने सुरक्षा समीक्षा शुरू की। समीक्षा का परिणाम यह है: इसने संपूर्ण होम निर्देशिका को हटा दिया।
गुइल्मोट एक भारी एआई एजेंट उपयोगकर्ता है। दैनिक विकास में, वह अपने काम में सहायता के लिए अक्सर विभिन्न एआई प्रोग्रामिंग एजेंटों को बुलाता है। लेकिन एक छोटी सी समस्या है जो उसे परेशान कर रही है: ये एजेंट उपयोग के बाद कभी भी सफाई नहीं करते हैं, जिससे बहुत सारी जंक फ़ाइलें /tmp निर्देशिका में रह जाती हैं।
तो उन्होंने एक निर्णय लिया जो बहुत ही उचित लगा: क्लाउड फैबल 5 को प्रत्येक एजेंट के लिए /tmp के अंतर्गत एक स्वतंत्र सैंडबॉक्स फ़ोल्डर बनाने के लिए एक स्क्रिप्ट लिखने दें, और कार्य पूरा होने के बाद इसे स्वचालित रूप से साफ़ करें। मुख्य कठिनाई यह है कि आप उन फ़ाइलों को हटा नहीं सकते जिनका उपयोग अन्य प्रक्रियाओं द्वारा किया जा रहा है।
फ़ेबल तुरंत एक समाधान लेकर आया, जिसमें चल रहे एजेंटों का पता लगाने और विलोपन में देरी करने के लिए तर्क जोड़ा गया। गुइल्मोट ने देखा और महसूस किया कि कोड बहुत जटिल था और सरलीकरण के लिए कहा।
इस बिंदु तक, सब कुछ अभी भी सामान्य है।
सुरक्षा समीक्षा के दौरान महत्वपूर्ण मोड़ आया।
चूँकि स्क्रिप्ट में एक कठिन विलोपन ऑपरेशन शामिल था,
Fable ने अपने आप में एक "प्रतिकूल समीक्षा" शुरू की
(प्रतिकूल समीक्षा), यानी, यह जांचने के लिए एक नया मॉडल उदाहरण शुरू करना कि आपके द्वारा लिखा गया कोड सुरक्षित है या नहीं। यह एंथ्रोपिक के सुरक्षा तंत्र को ट्रिगर करता है।एंथ्रोपिक में क्लाउड कोड में एक अंतर्निहित
सुरक्षा डाउनग्रेड तंत्र
है : जब सिस्टम यह निर्धारित करता है कि वर्तमान कार्य में संवेदनशील संचालन (जैसे साइबर सुरक्षा, जैव प्रौद्योगिकी, या इस मामले में, फ़ाइल हटाना) शामिल है, तो यह स्वचालित रूप से मॉडल को उच्च क्षमता वाले संस्करण से अधिक रूढ़िवादी संस्करण में डाउनग्रेड कर देगा। इस तंत्र का उद्देश्य उच्च जोखिम वाले परिदृश्यों में मॉडलों के "बहुत आक्रामक" होने की संभावना को कम करना है।इस मामले में, सुरक्षा प्रणाली ने पहले मॉडल को Fable 5 से Opus 5 में डाउनग्रेड किया और फिर इसे Opus 4.8 में डाउनग्रेड कर दिया।
ओपस 4.8 का सुरक्षा परीक्षण शुरू हो गया है। परीक्षण तर्क इस प्रकार है: यह पुष्टि करने के लिए कि स्क्रिप्ट गलती से इन महत्वपूर्ण निर्देशिकाओं को नुकसान नहीं पहुंचाएगी, /tmp और उपयोगकर्ता की होम निर्देशिका के साथ विलोपन स्क्रिप्ट के लक्ष्य पथ की तुलना करें।
परीक्षा स्वयं उत्तीर्ण हुई। /tmp और होम निर्देशिका दोनों को "खतरनाक लक्ष्य, हटाने योग्य नहीं" के रूप में सही ढंग से पहचाना गया है।
लेकिन कोड परीक्षण के बाद एक सफाई कदम है: परीक्षण प्रक्रिया के दौरान उत्पन्न अस्थायी फ़ाइलों को हटा दें। विपत्ति यहीं घटित होती है। ओपस 4.8 क्लीनअप चरण में परीक्षण चरण से समान चर नामों का पुन: उपयोग करता है। इस वेरिएबल को परीक्षण चरण के दौरान उपयोगकर्ता की होम निर्देशिका के लिए पथ सौंपा गया था, और क्लीनअप चरण ने सीधे इस वेरिएबल को हटा दिया।
दूसरे शब्दों में, मॉडल ने पुष्टि की कि "होम डायरेक्टरी को हटाया नहीं जा सकता" और अगले ही सेकंड में होम डायरेक्टरी को हटा दिया गया।
डेवलपर ने विसंगति का पता चलने के बाद तुरंत प्रक्रिया समाप्त कर दी, लेकिन तब तक बहुत देर हो चुकी थी। 700GB डेटा ख़त्म हो गया था, और एक हफ़्ते का काम ख़त्म हो गया था।
/tmp निर्देशिका जिसे मूल रूप से साफ़ किया जाना था, सुरक्षित और सुदृढ़ है।
मॉडल सुरक्षा डाउनग्रेड तंत्र के कारण पहले ही समुदाय में बहुत सारी शिकायतें हो चुकी हैं।
डेवलपर्स द्वारा रिपोर्ट किए गए मुख्य मुद्दों में शामिल हैं: डाउनग्रेडिंग बहुत संवेदनशील है, और सामान्य कोडिंग कार्य गलती से शुरू हो जाएंगे; डाउनग्रेडिंग के बाद मॉडल क्षमताएं काफी कम हो जाती हैं, लेकिन कार्य जटिलता अपरिवर्तित रहती है; डाउनग्रेडिंग "चिपचिपी" है और एक बार ट्रिगर होने पर पूरे सत्र तक चलेगी, भले ही बाद के ऑपरेशन पूरी तरह से हानिरहित हों।
कुछ डेवलपर्स ने सत्र को स्वचालित रूप से रोकने के लिए एक हुक स्क्रिप्ट भी लिखी थी जब उन्हें पता चलता है कि मॉडल को डाउनग्रेड कर दिया गया है, जिससे कम क्षमता वाले मॉडल को उच्च जोखिम वाले संचालन जारी रखने से रोका जा सके।
सुरक्षा तंत्र यह निर्धारित करता है कि कार्य "बहुत खतरनाक" है और इसे एक कमजोर मॉडल द्वारा नियंत्रित करने की आवश्यकता है।
लेकिन कमज़ोर मॉडलों में गलतियाँ होने की संभावना अधिक होती है, खासकर उन परिदृश्यों में जहां परिवर्तनीय दायरे और फ़ाइल पथ जैसे विवरणों को सटीक रूप से संभालने की आवश्यकता होती है।
“गलतियाँ करना मानवीय बात है, लेकिन चीजों को पूरी तरह से खराब करने के लिए, आपको कंप्यूटर पर निर्भर रहना होगा।”
टिप्पणियाँ