मेटा कॉरपोरेशन अपने कृत्रिम बुद्धिमत्ता सहायक मेटा एआई के लिए एक नई सुरक्षा प्रणाली पेश कर रहा है। जब किशोर मेटा एआई का उपयोग करके चैट कर रहे हैं, तो सिस्टम उनके माता-पिता को अलर्ट भेजने में सक्षम होगा यदि बातचीत से पता चलता है कि वे आत्मघाती या खुद को नुकसान पहुंचाने वाले हो सकते हैं। इससे पहले, मेटा एआई ने किशोरों को ऐसे विषयों का सामना करने पर संकटकालीन सहायता लाइनों का निर्देश दिया था और उन्हें माता-पिता, परामर्शदाताओं या अन्य विश्वसनीय वयस्कों के साथ संवाद करने के लिए प्रोत्साहित किया था। अब, इनमें से कुछ वार्तालाप सीधे पर्यवेक्षण करने वाले माता-पिता को सूचनाएं भेजेंगे।
मेटा के अनुसार, माता-पिता और मानसिक स्वास्थ्य विशेषज्ञों के सहयोग से नया तंत्र विकसित किया गया था ताकि यह निर्धारित किया जा सके कि कौन सी बातचीत से अलर्ट ट्रिगर होना चाहिए। प्रणाली उन स्थितियों की पहचान करने में सक्षम है जहां किशोर स्पष्ट रूप से बातचीत में खुद को नुकसान पहुंचाने का उल्लेख करते हैं, भले ही शब्द बहुत सूक्ष्म हों, और एक विशेष कृत्रिम बुद्धिमत्ता प्रणाली इन लाल झंडों की तलाश करती है। हालाँकि, मेटा ने इस बात पर जोर दिया कि माता-पिता को आधिकारिक तौर पर अलर्ट भेजने से पहले सिस्टम द्वारा चिह्नित प्रत्येक बातचीत की मैन्युअल रूप से समीक्षा की जाएगी। जब स्थिति अस्पष्ट हो जाएगी, तो मेटा का कहना है कि वह अधिक सतर्क रुख अपनाएगा और माता-पिता को सूचित करेगा। इसका मतलब यह है कि कुछ माता-पिता को तत्काल कोई खतरा न होने पर भी अलर्ट प्राप्त हो सकता है। तकनीकी दिग्गज का मानना है कि यह सही दृष्टिकोण है क्योंकि यह सिस्टम में सुधार जारी रखता है। यह नया फीचर इंस्टाग्राम के मौजूदा सिस्टम पर भी बनाया गया है, जो पहले से ही माता-पिता को सतर्क रहने की अनुमति देता है जब किशोर अक्सर कम समय के भीतर आत्महत्या या खुद को नुकसान पहुंचाने से संबंधित शब्द खोजते हैं।
माता-पिता को अलर्ट भेजने के अलावा, मेटा एक अन्य सिस्टम पर भी काम कर रहा है। यदि मेटा एआई के साथ बातचीत से संकेत मिलता है कि कोई व्यक्ति आत्महत्या के आसन्न जोखिम में है, तो सिस्टम स्वचालित रूप से आपातकालीन सेवाओं से संपर्क कर सकता है। इसके अतिरिक्त, मेटा के लिए फोकस का एक अन्य क्षेत्र यह अनुकूलित करना है कि उपयोगकर्ताओं को संसाधनों का समर्थन करने के लिए निर्देशित करने से पहले एआई कैसे प्रतिक्रिया देता है। मेटा ने कहा कि चैटबॉट्स को अचानक बातचीत बंद नहीं करनी चाहिए, बल्कि किशोरों को मदद लेने के लिए प्रोत्साहित करते हुए उनकी भावनाओं को समझना और पहचानना चाहिए। वर्तमान में, कंपनी अपनी एआई वेलबीइंग विशेषज्ञ समिति, आत्महत्या और आत्म-नुकसान सलाहकार समूह और कई युवा सलाहकारों के साथ परामर्श करना जारी रख रही है।
इस बीच, मेटा अपनी अधिक प्रतिबंधात्मक "प्रतिबंधित सामग्री" सेटिंग्स को मेटा एआई की बातचीत तक भी बढ़ा रहा है। युवा खाते डिफ़ॉल्ट रूप से 13 वर्ष से अधिक उम्र वालों के लिए सामग्री सेटिंग सक्षम करते हैं। इस सेटिंग में, मेटा एआई स्वचालित रूप से कुछ प्रकार की बातचीत से बचता है, जैसे कि किशोरों के साथ यौन या भावनात्मक बातचीत से इनकार करना और मादक पेय व्यंजनों जैसे अनुरोधों को अस्वीकार करना। यदि माता-पिता किसी किशोर के इंस्टाग्राम अकाउंट के लिए सख्त "प्रतिबंधित सामग्री" सेटिंग्स चालू करते हैं, तो वे अतिरिक्त प्रतिबंध मेटा एआई पर भी लागू होंगे।
बताया गया है कि ये अलर्ट फ़ंक्शन वर्तमान में संयुक्त राज्य अमेरिका, यूनाइटेड किंगडम, ऑस्ट्रेलिया और कनाडा में इंस्टाग्राम के अभिभावकीय निगरानी टूल का उपयोग करने वाले माता-पिता के लिए उपलब्ध हैं, और 2026 के अंत तक दुनिया भर में पर्यवेक्षित माता-पिता के लिए पूरी तरह से शुरू करने की योजना है।