ओपनएआई के पिछले साल के सबसे विवादास्पद मुद्दों में से एक यह रहा है कि जब चैटबॉट उपयोगकर्ता बातचीत में मानसिक स्वास्थ्य संकट के लक्षण दिखाते हैं तो मॉडल को वास्तव में कैसे प्रतिक्रिया देनी चाहिए, और अब इस क्षेत्र में सुरक्षा अनुसंधान के प्रमुख एंड्रिया वलोन ने एंथ्रोपिक में शामिल होने के लिए छोड़ दिया है।
वैलोन ने पहले लिंक्डइन पर पोस्ट किया था कि पिछले साल ओपनएआई में वह जिस शोध के लिए जिम्मेदार थीं, उसका पालन करने के लिए लगभग "कोई मौजूदा मिसाल नहीं" थी। मुख्य प्रश्न यह है: उपयोगकर्ताओं में भावनात्मक अतिनिर्भरता या मानसिक स्वास्थ्य संकट के शुरुआती लक्षणों का सामना करने पर मॉडल को कैसे प्रतिक्रिया देनी चाहिए। उन्होंने ओपनएआई में तीन साल तक काम किया, जिसके दौरान उन्होंने जीपीटी‑4 और अगली पीढ़ी के अनुमान मॉडल जीपीटी‑5 की तैनाती पर काम करने के लिए "मॉडल नीति" अनुसंधान टीम की स्थापना और नेतृत्व किया, और "नियम-आधारित पुरस्कार" सहित विभिन्न उद्योग मुख्यधारा सुरक्षा प्रशिक्षण विधियों के डिजाइन में भाग लिया।
आज, वैलोन एंथ्रोपिक की संरेखण टीम में शामिल हो गया है, जिसे बड़े मॉडलों द्वारा उत्पन्न होने वाले महत्वपूर्ण जोखिमों को पहचानने और समझने और उनसे निपटने के तरीकों की खोज करने का काम सौंपा गया है। वह ओपनएआई के सुरक्षा अनुसंधान के पूर्व प्रमुख जान लेइक को रिपोर्ट करेंगी, जिन्होंने मई 2024 में इस चिंता के साथ छोड़ दिया था कि एंथ्रोपिक में जाने से पहले ओपनएआई की "सुरक्षा संस्कृति और प्रक्रियाओं ने एक चमकदार उत्पाद को रास्ता दे दिया था"।
पिछले वर्ष में, अग्रणी एआई स्टार्टअप्स ने एआई चैटबॉट्स और उपयोगकर्ताओं के मानसिक स्वास्थ्य से जुड़े जोखिमों को लेकर सार्वजनिक विवाद पैदा करना जारी रखा है। कुछ उपयोगकर्ताओं ने लंबे समय तक चैटबॉट्स से बात करने के बाद अपनी मनोवैज्ञानिक कठिनाइयों को और गहरा कर दिया है, और लंबी बातचीत के दौरान उनकी सुरक्षा सुरक्षा धीरे-धीरे ध्वस्त हो गई है। यहां तक कि चरम घटनाएं भी हुई हैं जैसे किशोरों द्वारा आत्महत्या करना और वयस्कों द्वारा उपकरण पर "विश्वास" करने के बाद हत्या करना। कई मामलों ने परिवारों को संबंधित कंपनियों के खिलाफ गलत तरीके से मौत का मुकदमा दायर करने के लिए प्रेरित किया है। अमेरिकी सीनेट उपसमिति ने भी इस मुद्दे पर सुनवाई की, जिसमें ऐसी घटनाओं में चैटबॉट्स की भूमिका और जिम्मेदारियों का पता लगाने के लिए कहा गया, और सुरक्षा शोधकर्ताओं को अधिक शक्तिशाली समाधान पेश करने के लिए कहा गया।
एंथ्रोपिक के संरेखण टीम के नेताओं में से एक, सैम बोमन ने लिंक्डइन पर कहा कि उन्हें "इस बात पर गर्व है कि एंथ्रोपिक इस मुद्दे को कितनी गंभीरता से ले रहा है" और कंपनी "एआई सिस्टम को कैसे व्यवहार करना चाहिए" के बारे में गंभीरता से सोच रही है। वैलोन ने गुरुवार को एक नए लिंक्डइन पोस्ट में लिखा कि वह "एंथ्रोपिक में अपने शोध को जारी रखने के लिए उत्सुक हैं, जो संरेखण और फाइन-ट्यूनिंग के माध्यम से नई स्थितियों में क्लाउड के व्यवहार को आकार देने पर ध्यान केंद्रित करेगी।"