रोबॉक्स एक कृत्रिम बुद्धिमत्ता प्रणाली लॉन्च कर रहा है जिसका दावा है कि यह ऑनलाइन चैट में संभावित बाल शोषण के शुरुआती संकेतों का पता लगा सकता है। यह कदम तब उठाया गया है जब मंच को अपने सुरक्षा उपायों के लिए बढ़ती आलोचना और कानूनी चुनौतियों का सामना करना पड़ रहा है। सेंटिनल नामक उपकरण, उपयोग करने के लिए मुफ़्त है और खुला स्रोत होगा, जिससे अन्य प्लेटफ़ॉर्म इसे अपने स्वयं के मॉडरेशन सिस्टम में एकीकृत कर सकेंगे।
Roblox 111 मिलियन से अधिक मासिक सक्रिय उपयोगकर्ताओं की रिपोर्ट करता है, और कंपनी का कहना है कि इसकी कृत्रिम बुद्धिमत्ता ने कानून प्रवर्तन को सैकड़ों संभावित बाल शोषण मामलों की रिपोर्ट करने में मदद की है। रोबॉक्स के मुख्य सुरक्षा अधिकारी मैट कॉफमैन ने एसोसिएटेड प्रेस को बताया कि हालांकि कंपनी लंबे समय से "अपवित्रता और विभिन्न प्रकार की अपमानजनक भाषा को रोकने के लिए फिल्टर ..." का उपयोग कर रही है, लेकिन वे सुरक्षा "पाठ की एक या कुछ पंक्तियों के भीतर की सामग्री" तक ही सीमित थीं।
कॉफमैन ने कहा, "लेकिन जब आप बच्चों को खतरे में डालने या बच्चों की देखभाल से संबंधित चीजों के बारे में सोचते हैं, तो आप जिस प्रकार के व्यवहार देखते हैं, वे लंबे समय में खुद को प्रकट करते हैं।"
रोबॉक्स का कहना है कि सेंटिनल को अलग-अलग शब्दों या वाक्यांशों को चिह्नित करने के बजाय समय के साथ बातचीत में पैटर्न का पता लगाने के लिए डिज़ाइन किया गया है। सिस्टम हर दिन प्लेटफ़ॉर्म पर लगभग 6 बिलियन चैट संदेशों के एक मिनट के स्नैपशॉट का विश्लेषण करता है और संदर्भ में उनका मूल्यांकन करता है।
इसे प्राप्त करने के लिए, इंजीनियरों ने दो अलग-अलग इंडेक्स बनाए: एक में हानिरहित चैट के उदाहरण थे, और दूसरे में ऐसे संदेश थे जो बाल सुरक्षा दिशानिर्देशों का उल्लंघन करते थे। कंपनी के अनुसार, एआई मॉडल को बेहतर बनाने में मदद के लिए दोनों इंडेक्स में लगातार नई सामग्री जोड़ी जाती है।
रोब्लॉक्स में ट्रस्ट और सुरक्षा इंजीनियरिंग के उपाध्यक्ष, नरेन कोनेरू ने कहा: "जैसे-जैसे हमें अधिक से अधिक बुरे अभिनेता मिलेंगे, यह सूचकांक अधिक से अधिक सटीक हो जाएगा, और हम सूचकांक को अपडेट करना जारी रखेंगे। इस तरह, हम एक और नमूना ले सकते हैं और देख सकते हैं कि औसत उपयोगकर्ता क्या करेगा।"
कोनेरू ने बताया कि सिस्टम यह निर्धारित करने के लिए उपयोगकर्ता की चल रही गतिविधि पर नज़र रखता है कि उनका व्यवहार सुरक्षित बातचीत या जोखिम भरे व्यवहार की ओर झुक रहा है या नहीं। उन्होंने कहा, "ऐसा इसलिए नहीं होता क्योंकि आप सिर्फ एक संदेश भेजते हैं, ऐसा इसलिए होता है क्योंकि हर दिन आपकी बातचीत उन दो व्यवहारों में से एक की ओर इशारा करती है।"
यदि एआई किसी उपयोगकर्ता को आगे की समीक्षा के लिए चिह्नित करता है, तो मानव मॉडरेटर उपयोगकर्ता के पूर्ण चैट इतिहास, मित्रों की सूची और उनके द्वारा खेले गए गेम की जांच करते हैं। रोबॉक्स ने कहा कि वह जरूरत पड़ने पर कानून प्रवर्तन और नेशनल सेंटर फॉर मिसिंग एंड एक्सप्लॉइटेड चिल्ड्रेन को मामलों की रिपोर्ट करेगा।
एक हाई-प्रोफ़ाइल कानूनी चुनौती के बीच प्लेटफ़ॉर्म के सुरक्षा उपायों की घोषणा की गई। आयोवा में पिछले महीने दायर एक मुकदमे में आरोप लगाया गया है कि एक 13 वर्षीय लड़की जिसने रोबॉक्स के माध्यम से एक वयस्क विकृत व्यक्ति से संपर्क किया था, उसका अपहरण कर लिया गया और कई राज्यों में उसकी तस्करी की गई। मुकदमे में कंपनी पर अपने गेम के डिज़ाइन के माध्यम से "पीडोफाइल के लिए आसान शिकार" बनाने का आरोप लगाया गया है।
रोबॉक्स का कहना है कि यह चैट में व्यक्तिगत जानकारी, चित्र और वीडियो साझा करने पर प्रतिबंध लगाता है, और 13 वर्ष से कम उम्र के उपयोगकर्ताओं के लिए निजी संदेशों को प्रतिबंधित करता है, जब तक कि माता-पिता स्पष्ट रूप से इसकी अनुमति न दें। चैट एंड-टू-एंड एन्क्रिप्टेड नहीं हैं, जो कंपनी को सुरक्षा उल्लंघनों के लिए बातचीत की निगरानी करने की अनुमति देती है।
कंपनी का कहना है कि कोई भी सिस्टम पूर्ण सुरक्षा की गारंटी नहीं दे सकता है, लेकिन उसका मानना है कि सेंटिनल जैसी एआई प्रगति से शीघ्र पता लगाने की संभावना में काफी सुधार होता है।