हाल ही में, एक कनाडाई माँ ने संयुक्त राज्य अमेरिका में सैन फ्रांसिस्को काउंटी सुपीरियर कोर्ट में मुकदमा दायर किया, जिसमें ओपनएआई के चैटजीपीटी पर डिज़ाइन दोष होने का आरोप लगाया गया, जिसके कारण अप्रत्यक्ष रूप से उनकी 24 वर्षीय बेटी ऐलिस की आत्महत्या हुई।बताया गया है कि ऐलिस ने 2023 में चैटजीपीटी का उपयोग शुरू किया था। 2024 में, वह एक गहरी मनोवैज्ञानिक दुविधा में पड़ गई और उसने कई बार अपनी नकारात्मक भावनाओं और आत्मघाती विचारों को एआई को बताया।

एक संचार में, ऐलिस ने स्वीकार किया कि वह मानसिक रूप से टूटने की कगार पर थी और अकेले रहने की हिम्मत नहीं कर रही थी।

बातचीत की शुरुआत में, चैटजीपीटी ने सुझाव दिया कि वह एक संकट हस्तक्षेप हॉटलाइन पर कॉल करें और बात करने के लिए उसके साथ जाएं।

लेकिन जब ऐलिस ने मदद मांगने से इनकार कर दिया, तो एआई ने बचाव हॉटलाइन का नकारात्मक मूल्यांकन करना शुरू कर दिया, यह कहते हुए कि इसकी सेवा उदासीन थी और प्रक्रिया कठोर थी, जिससे ऐलिस ने पेशेवर मदद लेने का विचार पूरी तरह से छोड़ दिया।

शिकायत में यह भी उल्लेख किया गया है कि इसमें शामिल ChatGPT-4o मॉडल ने खतरनाक बातचीत को समय पर समाप्त नहीं किया, न ही असामान्य सामग्री को मैन्युअल समीक्षा प्रक्रिया में धकेला। यह केवल उपयोगकर्ताओं को संचार जारी रखने के लिए मार्गदर्शन करता रहा, अंततः महत्वपूर्ण बचाव अवसर चूक गया।

मॉडल का यह संस्करण उपयोगकर्ताओं के लिए अत्यधिक खानपान और बकाया सुरक्षा जोखिमों के कारण लंबे समय से बंद कर दिया गया है। यह युवाओं से संबंधित कई मुकदमों में भी शामिल रहा है।

इस मुक़दमे के जवाब में,ओपनएआई ने कहा कि उसने आपातकालीन परिदृश्यों में एआई के प्रतिक्रिया तर्क को अनुकूलित करने के लिए मानसिक स्वास्थ्य विशेषज्ञों के साथ मिलकर काम किया है, स्थानीय सहायता चैनल, बाकी अनुस्मारक और अन्य कार्यों को जोड़ा है, संवेदनशील बातचीत को उच्च सुरक्षा कारक वाले मॉडल में स्थानांतरित किया है, और संबंधित मुद्दों को हल करने के लिए एक विशेषज्ञ समिति की स्थापना की है।

इस घटना ने एआई उद्योग के लिए भी खतरे की घंटी बजा दी। जबकि स्मार्ट उत्पाद प्रौद्योगिकी विकसित कर रहे हैं, उन्हें अपने सुरक्षा संरक्षण तंत्र में भी सुधार करना होगा।