जेनेरिक एआई के बारे में कई चिंताओं में से एक मूल निर्माता की अनुमति के बिना इंटरनेट से स्क्रैप की गई छवियों का उपयोग करके छवियां उत्पन्न करने की उनकी क्षमता है। लेकिन एक नया उपकरण मॉडल को प्रशिक्षित करने के लिए उपयोग किए गए डेटा को "जहर" देकर इस समस्या को हल कर सकता है।
एमआईटी टेक्नोलॉजी रिव्यू शिकागो विश्वविद्यालय के शोधकर्ताओं द्वारा बनाए गए नाइटशेड नामक एक नए टूल पर प्रकाश डालता है। यह छवि पिक्सेल में बहुत छोटे परिवर्तन करके काम करता है जो अपलोड करने से पहले नग्न आंखों के लिए अदृश्य होते हैं। यह DALL-E, स्टेबलडिफ्यूजन और मिडजर्नी जैसे उपकरणों द्वारा उपयोग किए जाने वाले प्रशिक्षण डेटा को विषाक्त कर देता है, जिससे मॉडल अप्रत्याशित तरीके से क्रैश हो जाता है।
जेनरेटर एआई कैसे नाइटशेड से जहर खाए लोगों की छवियों की गलत व्याख्या कर सकता है, इसके कुछ उदाहरणों में कुत्तों को बिल्लियों में, कारों को गायों में, टोपी को केक में और हैंडबैग को टोस्टर में बदलना शामिल है। यह विभिन्न कला शैलियों को इंगित करने के लिए भी बहुत अच्छा है: क्यूबिज्म एनीमे बन जाता है, कार्टून प्रभाववाद बन जाता है, वैचारिक कला अमूर्त बन जाती है।
arXiv पर शोधकर्ताओं द्वारा हाल ही में प्रकाशित एक पेपर में नाइटशेड को एक संकेत-विशिष्ट विषाक्तता हमले के रूप में वर्णित किया गया है। लाखों छवियों को विषाक्त करने के बजाय, नाइटशेड लगभग 50 नमूनों के साथ स्थिर प्रसार संकेतों को नष्ट कर सकता है, जैसा कि नीचे दी गई छवि में दिखाया गया है।
शोधकर्ताओं ने लिखा है कि उपकरण न केवल "कुत्ते" जैसे विशिष्ट त्वरित शब्दों को जहर दे सकता है, बल्कि "पिल्ला," "हाउंड," और "हस्की" जैसी संबंधित अवधारणाओं में "घुसपैठ" भी कर सकता है। यह अप्रत्यक्ष रूप से संबंधित छवियों को भी प्रभावित करता है; उदाहरण के लिए, "फैंटेसी आर्ट" को जहर देने से "एक ड्रैगन," "लॉर्ड ऑफ द रिंग्स का एक महल," और "माइकल व्हेलन की एक पेंटिंग" के संकेत कुछ अलग हो जाएंगे।
नाइटशेड बनाने वाली टीम का नेतृत्व करने वाले शिकागो विश्वविद्यालय के प्रोफेसर बेन झाओ ने कहा कि उन्हें उम्मीद है कि यह टूल एआई कंपनियों के लिए एक निवारक के रूप में काम करेगा जो कलाकारों के कॉपीराइट और बौद्धिक संपदा अधिकारों का सम्मान नहीं करते हैं। उन्होंने दुर्भावनापूर्ण उपयोग की संभावना को स्वीकार किया, लेकिन बड़े, अधिक शक्तिशाली मॉडलों को वास्तविक नुकसान पहुंचाने के लिए, हमलावरों को हजारों छवियों को जहर देने की आवश्यकता होगी क्योंकि ये सिस्टम अरबों डेटा नमूनों पर प्रशिक्षित हैं।
जेनरेटिव एआई मॉडल प्रशिक्षक इस अभ्यास के खिलाफ बचाव का भी उपयोग कर सकते हैं, जैसे उच्च-नुकसान डेटा को फ़िल्टर करना, आवृत्ति विश्लेषण और अन्य पता लगाने/हटाने के तरीके, लेकिन बेन झाओ ने कहा कि वे बहुत मजबूत नहीं हैं।
कुछ बड़ी एआई कंपनियां कलाकारों को एआई प्रशिक्षण डेटासेट में अपने काम का उपयोग न करने का विकल्प दे रही हैं, लेकिन यह एक कठिन प्रक्रिया हो सकती है और यह ऐसे किसी भी काम को संबोधित नहीं करती है जिसे खत्म कर दिया गया हो। कई लोगों का मानना है कि कलाकारों को बाहर निकलने के बजाय इसमें शामिल होने में सक्षम होना चाहिए।