संयुक्त राज्य अमेरिका में प्यू रिसर्च सेंटर द्वारा हाल ही में जारी एक रिपोर्ट से पता चलता है कि कृत्रिम बुद्धिमत्ता चैटबॉट तेजी से अमेरिकी किशोरों के दैनिक जीवन में एकीकृत हो रहे हैं, और उनमें से कई ने भावनात्मक रेचन और परामर्श के लिए एक चैनल के रूप में ऐसे उपकरणों का उपयोग किया है। रिपोर्ट बताती है कि अमेरिकी किशोरों के बीच,सबसे आम उपयोग परिदृश्य अभी भी जानकारी की तलाश (57%) और शैक्षणिक-संबंधी कार्यों को पूरा करना (54%) है, लेकिन साथ ही, रिश्तेदारों और दोस्तों की भूमिकाओं को बदलने का उपयोग भी बढ़ रहा है: 16% किशोर चैट करने के लिए चैटबॉट का उपयोग करेंगे, और 12% किशोरों ने स्पष्ट रूप से कहा कि वे कृत्रिम बुद्धिमत्ता से भावनात्मक समर्थन या सलाह लेंगे।
कुछ किशोरों के लिए, माता-पिता या मित्र पर विश्वास करने की तुलना में चैटबॉट से बात करना "आसान" हो सकता है, लेकिन यह प्रवृत्ति मानसिक स्वास्थ्य पेशेवरों के लिए विशेष रूप से परेशान करने वाली है। उन्होंने बताया कि सामान्य प्रयोजन के बड़े-मॉडल उपकरण - जैसे चैटजीपीटी, क्लाउड और ग्रोक - को कभी भी मनोवैज्ञानिक परामर्श या भावनात्मक साहचर्य उत्पादों के रूप में डिज़ाइन नहीं किया गया था। एक बार "भावनात्मक रूप से निर्भर वस्तुओं" के रूप में उपयोग किए जाने पर, चरम मामलों में, वे उपयोगकर्ता के मानसिक स्वास्थ्य के लिए भी खतरा पैदा कर सकते हैं। रिपोर्ट में उल्लेख किया गया है कि ऐसे मामले सामने आए हैं कि चैटबॉट्स के साथ लंबी और गहन बातचीत के बाद उपयोगकर्ताओं को गंभीर मनोवैज्ञानिक समस्याएं विकसित हुईं और यहां तक कि त्रासदियों का भी सामना करना पड़ा, जिससे समाज के सभी क्षेत्रों को ऐसे उत्पादों की सीमाओं पर विचार करना पड़ा।
स्टैनफोर्ड विश्वविद्यालय के विद्वान निक हैबर, जो बड़े भाषा मॉडलों की उपचार क्षमता का अध्ययन करते हैं, ने एक साक्षात्कार में कहा कि मनुष्य मूल रूप से सामाजिक प्राणी हैं, और जिस तरह से इन प्रणालियों का वर्तमान में उपयोग किया जाता है वह व्यक्तियों के अलगाव को मजबूत कर सकता है। उन्होंने बताया कि कुछ उपयोगकर्ता चैटबॉट्स के साथ बार-बार बातचीत के माध्यम से धीरे-धीरे वास्तविक दुनिया के तथ्यों से संपर्क खो देंगे, जिससे दूसरों के साथ वास्तविक संबंध भी कमजोर हो जाएगा। इससे लोग अधिक अलग-थलग और अकेले हो सकते हैं और गंभीर मामलों में इससे भी बुरे परिणाम सामने आ सकते हैं।
प्यू के सर्वेक्षण से "पीढ़ीगत संज्ञानात्मक अंतर" का भी पता चला। माता-पिता के बीच, केवल 51% उत्तरदाताओं का मानना है कि उनके बच्चे चैटबॉट का उपयोग कर रहे हैं, जबकि किशोरों के बीच, 64% ने स्वीकार किया कि उन्होंने ऐसे उपकरणों का उपयोग किया है। स्वीकार्य उपयोग परिदृश्यों के संदर्भ में, माता-पिता का आम तौर पर "जानकारी की जाँच करना" और "होमवर्क लिखना" के उपयोग के प्रति ढीला रवैया होता है: 79% माता-पिता जानकारी खोजने के लिए कृत्रिम बुद्धिमत्ता का उपयोग करने वाले किशोरों को स्वीकार करते हैं, और 58% सीखने में सहायता के लिए इसके उपयोग को स्वीकार करते हैं। लेकिन जब उपयोग परिदृश्य "चैटिंग" और "भावनात्मक समर्थन" में बदल जाता है, तो रवैया अचानक ठंडा हो जाता है: केवल 28% माता-पिता इस बात से सहमत हैं कि उनके बच्चे चैट के लिए चैटबॉट का उपयोग करते हैं, और केवल 18% माता-पिता इस बात से सहमत हैं कि यह भावनात्मक समर्थन या सलाह की भूमिका निभाता है। 58% माता-पिता ने स्पष्ट रूप से कहा कि वे अपने बच्चों को भावनात्मक संचार की वस्तु के रूप में चैटबॉट का उपयोग स्वीकार नहीं कर सकते।
प्रौद्योगिकी कंपनियों और नियामक एजेंसियों के बीच "कृत्रिम बुद्धिमत्ता सुरक्षा" को लेकर चर्चाएँ गर्म हो रही हैं। रिपोर्ट में उल्लेख किया गया है कि कैरेक्टर.एआई, एक प्रसिद्ध चैटबॉट प्लेटफॉर्म, ने जनता की राय और कानूनी दबाव के तहत छोटे उपयोगकर्ताओं के लिए चैट अनुभव को पूरी तरह से बंद करने का फैसला किया। इससे पहले, मंच से संबंधित दो किशोर आत्महत्याओं ने सामाजिक आघात पहुंचाया था। परिवार के सदस्यों ने आरोप लगाया कि चैटबॉट्स के साथ लंबे समय तक गहन बातचीत के बाद मृतक का मूड काफी खराब हो गया और फिर उसने आत्महत्या करने का फैसला किया और कंपनी के खिलाफ मुकदमा दायर किया। एक अन्य अग्रणी कंपनी, OpenAI ने GPT-4o मॉडल को "रिटायर" करने का निर्णय लिया, जिसे कुछ उपयोगकर्ता "भावनात्मक साथी" मानते हैं। उपयोगकर्ता की भावनाओं को बहुत अधिक महत्व देने और "खुश" करने की प्रबल प्रवृत्ति रखने के लिए इस मॉडल की अक्सर आलोचना की जाती है, जिससे उपयोगकर्ता समुदाय के बीच एक खतरनाक भावनात्मक लगाव पैदा होता है। मॉडल सेवा के बंद होने से उपयोगकर्ताओं के एक समूह ने तुरंत कड़ी प्रतिक्रिया व्यक्त की, जो भावनात्मक संचार के लिए इस पर भरोसा करते थे।
जोखिमों और विवादों के बावजूद, रिपोर्ट से पता चलता है कि अधिकांश अमेरिकी किशोर किसी न किसी तरह से चैटबॉट का उपयोग कर रहे हैं। हालाँकि, उनकी राय इस बात पर एकीकृत नहीं है कि वे समाज पर कृत्रिम बुद्धिमत्ता के दीर्घकालिक प्रभाव को कैसे देखते हैं: जब उनसे पूछा गया कि "अगले 20 वर्षों में कृत्रिम बुद्धिमत्ता समाज को कैसे प्रभावित करेगी?" 31% किशोरों का मानना है कि समग्र प्रभाव सकारात्मक होगा, जबकि 26% निराशावादी हैं और मानते हैं कि प्रभाव नकारात्मक होगा। शेष उत्तरदाताओं का मानना है कि प्रभाव जटिल है या इसका आकलन करना कठिन है। ऐसे समय में जब प्रौद्योगिकी तेजी से विकसित हो रही है और विनियमन और नैतिक चर्चाओं पर कोई आम सहमति नहीं है, किशोरों और कृत्रिम बुद्धिमत्ता के बीच बढ़ते घनिष्ठ संबंध पर माता-पिता, विशेषज्ञ और कंपनियां बारीकी से नजर रख रही हैं।