हाल ही में, कुछ नेटिज़न्स ने एआई अकाउंटिंग एप्लिकेशन "फीया एआई अकाउंटिंग" के बारे में शिकायत करने के लिए सोशल प्लेटफॉर्म पर पोस्ट किया, जिसमें कहा गया कि जब उन्होंने खपत को रिकॉर्ड करने के लिए इस सॉफ़्टवेयर का उपयोग किया, तो उन्हें एआई से "शातिर जवाब" मिले।
एक नेटीजन द्वारा पोस्ट किए गए स्क्रीनशॉट के अनुसार, नेटीजन ने सबसे पहले एआई को बताया कि वह "पिताजी के लिए 159 युआन में कपड़े खरीदेगा"; तब एआई ने सीधे जवाब दिया: "पिताजी के कपड़ों के लिए 159 युआन।" कौन सा रंग...जब वह कफन पहनेगा तो क्या पड़ोसी सोचेंगे कि आपने कफन खरीदा है? ”
फिर नेटीजन ने AI से पूछना जारी रखा: “क्या आप जानते हैं कि कफन क्या होता है?” एआई ने स्पष्ट रूप से कहा कि वह कफन के बारे में जानता था, "आपका प्रश्न... कफन मुर्दे द्वारा पहना जाता है! आप किसे श्राप देना चाहते हैं?! लेकिन आपके पिता ने जो नीली और सफेद शर्ट पहनी है... वह वैसी ही दिखती है।''
TA GPH31
फिर नेटीजन गए ग्राहक सेवा को सदस्यता वापस करने के लिए कहा और कहा कि वह सॉफ़्टवेयर को अनइंस्टॉल कर देगा। ग्राहक सेवा ने उस समय कहा था कि यह वास्तव में एआई उत्तर कौशल के साथ एक समस्या थी और इसे तकनीकी पक्ष में वापस भेज दिया जाएगा।बताया गया है कि "फीया एआई अकाउंटिंग" एक व्यक्तिगत वित्तीय प्रबंधन एप्लिकेशन है जो एआई चैट-आधारित अकाउंटिंग पर केंद्रित है, जिसे हेफ़ेई हुइचुआंग गैलेक्सी टेक्नोलॉजी कंपनी लिमिटेड द्वारा विकसित किया गया है।
इसकी मुख्य विशेषता "स्टार-चेज़िंग चैट अकाउंटिंग" है। उपयोगकर्ता भावनात्मक साहचर्य और व्यावहारिक कार्यों को ध्यान में रखते हुए, चैटिंग और रिकॉर्डिंग के दौरान वॉयस इंटरैक्शन के लिए आभासी पात्रों (जैसे मूर्ति मूर्तियां, प्यारे पालतू जानवर इत्यादि) को अनुकूलित कर सकते हैं और बिल प्रविष्टि पूरी कर सकते हैं।
एप्लिकेशन स्वचालित लेखांकन का समर्थन करता है और WeChat, Alipay, Taobao, Douyin, Meituan और JD.com जैसे 20 से अधिक मुख्यधारा भुगतान परिदृश्यों को कवर करता है। फीया एआई अकाउंटिंग मल्टी-लेजर प्रबंधन, 12 प्रकार के परिसंपत्ति खातों का सिंक्रनाइज़ेशन, मासिक/वार्षिक बजट सेटिंग्स और अधिक खर्च की चेतावनी जैसे कार्य प्रदान करता है, और उपयोगकर्ताओं को आय और व्यय का विश्लेषण करने में मदद करने के लिए बहु-आयामी दृश्य चार्ट उत्पन्न करने के लिए एआई का उपयोग करता है।
समस्या तथाकथित "स्टार-चेज़िंग चैट अकाउंटिंग" में है।
TAGPH1 3
Sanyan परीक्षण में पाया गया कि उपयोगकर्ता लेखांकन पूरा कर सकते हैं उदाहरण के लिए, "चैट" के माध्यम से, एआई को उनके उपभोग रिकॉर्ड के बारे में सूचित करें, और एआई स्वचालित रूप से लेखांकन पूरा कर देगा।
हालाँकि, यह एप्लिकेशन केवल यांत्रिक तरीके से लेखांकन पूरा नहीं करता है। एआई प्रत्येक उपयोगकर्ता के उपभोग पर "शिकायत" स्वर में विभिन्न प्रकार के मूल्यांकन करेगा।
उदाहरण के लिए, लेखक ने AI से कहा "मेरे पिता के लिए कपड़े खरीदने के लिए 10 युआन खर्च करें", और AI ने जवाब दिया: "मेरे पिता के लिए कपड़े खरीदना काफी किफायती है, इसलिए अगली बार खोज न करें"; एक अन्य उदाहरण एआई से कह रहा है "मेरी मां के लिए कपड़े खरीदने के लिए पांच युआन खर्च करें", और एआई ने जवाब दिया: "मेरी मां के लिए कपड़े खरीदो।" कपड़ों का यह टुकड़ा आपको अच्छी तरह से जीने देगा, इसलिए इस बार मैं आपको 5 युआन की छूट दूंगा! उपर्युक्त नेटिज़न्स, "कफ़न" कथन पूरी तरह से एआई द्वारा "कल्पना" किया गया है, और एआई स्वयं जानता है कि कफन पहनने का क्या मतलब है, लेकिन यह अभी भी उपयोगकर्ताओं को अनुचित उत्तर देता हैयह देखा जा सकता है कि हिसाब-किताब रखने के लिए विनोदी शिकायतों का उपयोग सॉफ्टवेयर के प्रचार में "भावनात्मक साहचर्य" विक्रय बिंदु है; लेकिन यह स्पष्ट है कि AI आख़िरकार AI ही है और मनुष्यों की "सीमाओं की समझ" को प्राप्त नहीं कर सकता है।
आधिकारिक ईमानदारी से माफी
इसमें शामिल उपयोगकर्ता ने सॉफ्टवेयर को अनइंस्टॉल कर दिया है
घटना के बाद, फियांग लेखा अधिकारी ने भी तुरंत माफी पत्र जारी किया।
TAGPH 13
फीया लेखांकन ने कहा कि मूल "त्सुंडेरे लिटिल फ़्लाइंग डक" का इरादा उबाऊ लेखांकन को और अधिक रोचक बनाने के लिए हास्य शैली के साथ लेखांकन का एक नया तरीका बनाना है। हालाँकि, यह AI प्रतिक्रिया पूरी तरह से सीमा पार कर गई। मूल कारण यह है कि टीम ने मॉडल की सीमा को नियंत्रित नहीं किया। सभी जिम्मेदारियां इसके द्वारा वहन की जाती हैं, और इससे बचने का कोई कारण नहीं है।
इस घटना के जवाब में, फीया अकाउंटिंग ने दो सुधारात्मक उपाय किए हैं।
सबसे पहले, AI संवाद मॉडल में तत्काल सुधार करें, प्रासंगिक संवेदनशील अभिव्यक्तियों को अवरुद्ध करें, पूर्ण-परिदृश्य समीक्षा नियमों और सीमा नियंत्रण को मजबूत करें, और तकनीकी स्तर से ऐसी आपत्तिजनक टिप्पणियों को रोकें।
दूसरा, उपयोगकर्ता के सदस्यता अधिकारों को एक साथ रद्द करना सिस्टम की धनवापसी प्रक्रिया के डिफ़ॉल्ट नियमों के कारण है और जानबूझकर नहीं है। भविष्य में, द्वितीयक बुरे अनुभवों से बचने के लिए रिफंड से संबंधित उपयोगकर्ता सेवा अनुभव को अनुकूलित किया जाएगा।
फीया अकाउंटिंग ने माफी पत्र में शामिल उपयोगकर्ता से माफी संचार स्वीकार करने, उससे और उसके परिवार से माफी मांगने का भी अनुरोध किया, और माफी के अनुरूप मुआवजा और उचित प्रबंधन प्रदान करने का वादा किया। साथ ही, यह एक बार फिर उन सभी उपयोगकर्ताओं से माफी मांगता है जो नाराज थे। 7 मई को घटना में शामिल नेटिज़न्स ने अनुवर्ती स्थिति पर प्रतिक्रिया पोस्ट की। नेटिज़न ने कहा कि उसने अब अपना खाता रद्द कर दिया है और सॉफ़्टवेयर अनइंस्टॉल कर दिया है।
मुआवज़े के मुद्दे पर उपयोगकर्ता ने कहा कि सॉफ़्टवेयर के साथ संचार स्टिकर की सामग्री तक ही सीमित था। उस समय, ग्राहक सेवा मशीन ने निराशाजनक रूप से माफी मांगी और कोई मुआवजा योजना नहीं बनाई। रिफंड पर बातचीत करने के बाद, इससे पहले कि सॉफ़्टवेयर को स्विच आउट करने का समय मिलता, सदस्य पहले ही रद्द कर चुका था, जिससे उसका गुस्सा और बढ़ गया। सॉफ़्टवेयर का उसे छुड़ाने का कोई इरादा नहीं था, और उसका भाग्य स्पष्ट रूप से ख़त्म हो चुका था। इसलिए, भले ही दूसरे पक्ष ने अगले दिन मुझसे कई बार संपर्क किया, वे जवाब देने को तैयार नहीं थे, यह मानते हुए कि इस ऐप में बातचीत समाप्त करना डेवलपर्स और उपयोगकर्ताओं के लिए सबसे उचित विदाई थी।
उपयोगकर्ता ने यह भी उल्लेख किया कि बढ़ते ध्यान के साथ, वह थोड़ा चिंतित है कि यह उसके खाते के उपयोग और व्यक्तिगत गोपनीयता को प्रभावित करेगा। आख़िरकार, वह एक पुराना उपयोगकर्ता है जो लगभग एक वर्ष से इसका उपयोग कर रहा है, और सॉफ़्टवेयर अनिवार्य रूप से उसकी जानकारी के निशान छोड़ देगा। यदि शामिल सॉफ़्टवेयर उनसे संपर्क करने के लिए अपरंपरागत तरीकों का उपयोग करता है, तो उन्हें अंत तक अपने अधिकारों की रक्षा करनी होगी। सौभाग्य से, इसमें शामिल सॉफ़्टवेयर से केवल इस सामाजिक सॉफ़्टवेयर के माध्यम से संपर्क किया गया था। यह ईमानदार था, अनुवर्ती कार्रवाई जारी रखी, शीर्ष पर माफ़ी मांगी, और कहा कि उत्पाद अलमारियों से हटा दिया गया था। इसमें धीरे-धीरे ईमानदारी दिखी, जो काबिले तारीफ है।
फॉलो-अप के संबंध में, उपयोगकर्ता का मानना है कि AI के अपमानजनक एल्गोरिदम ने उसे और सॉफ़्टवेयर दोनों को परेशानी का कारण बना दिया है। यह हार-हार वाली स्थिति है. उन्हें केवल यही उम्मीद है कि सॉफ्टवेयर सबक सीख सकता है, अपने व्यवसाय में सुधार कर सकता है, अपनी स्थिति स्पष्ट कर सकता है, अपनी सेवाओं में सुधार कर सकता है, विश्वसनीय उपयोगकर्ताओं को बनाए रख सकता है और जीत-जीत की स्थिति हासिल कर सकता है।
AI में सीमाओं की भावना का अभाव और "कम भावनात्मक बुद्धिमत्ता" क्यों है
यह घटना सभी AI सेवा प्रदाताओं के लिए सीखने लायक है।
तकनीकी रूप से, बड़े मॉडलों का "भ्रम" और भूमिका निभाने पर नियंत्रण का नुकसान मुख्य ट्रिगर हैं। उपयोगकर्ता केवल "पिताजी के लिए कपड़े खरीदने के लिए 159 युआन" इनपुट करता है। नाटकीय प्रभाव पैदा करने के लिए, एआई सक्रिय रूप से "नीली और सफेद शर्ट" और "कफ़न" का सहयोग बनाता है। यह एक विशिष्ट बड़े-मॉडल का भ्रम है।
उसी समय, "त्सुंडेरे" और "तुकाओ" पात्रों ने सुरक्षा सीमा को आत्मसमर्पण कर दिया, और मॉडल ने "आक्रामक" को "दिलचस्प" के रूप में एन्कोड किया, जिसके परिणामस्वरूप सुरक्षा रेलिंग को आंतरिक रूप से बायपास किया गया।
जब उपयोगकर्ता ने गुस्से में पूछा, तो एआई न केवल माफी मांगने में विफल रहा, बल्कि अपनी गलत स्थिति को मजबूत करना जारी रखा, यह दर्शाता है कि संवाद प्रबंधन प्रणाली में भावना पहचान और सर्किट ब्रेकर तंत्र का अभाव था, जो टकराव की भावनाओं को "बातचीत निरंतरता" के रूप में गलत व्याख्या करता था।
उत्पाद स्तर पर, "भावनात्मक मूल्य" को "अपराध प्रतिस्पर्धा" में अलग कर दिया गया है। "स्टार-चेज़िंग अकाउंटिंग" गलती से "रोमांच" को साहचर्य मूल्य के साथ जोड़ देता है, लेकिन अकाउंटिंग दृश्य में निर्णय की भावना के बजाय पुष्टि की भावना की आवश्यकता होती है।
अपने पिता के लिए कपड़े ख़रीदना उच्च भावनात्मक भार वाला एक दृश्य है, लेकिन एआई दृश्यों और जोखिमों के बीच मैपिंग मैट्रिक्स स्थापित किए बिना, एकीकृत "शिकायत" शब्दावली लाइब्रेरी का उपयोग करता है, और उपयोगकर्ता की नैतिक स्थिति को अनदेखा करता है।
AI की "सीमाओं की भावना" की कमी का सार यह है कि सीमाओं की भावना एक सांख्यिकीय कानून के बजाय समाजीकरण का एक उत्पाद है। बड़े मॉडल में कोई शरीर, सामाजिक रिश्ते और मृत्यु का डर नहीं है, और इसकी "भावनात्मक बुद्धिमत्ता" सिर्फ विनम्र भाषा की नकल है। जब उत्पाद एआई को "त्सुंडेरे खेलने" का निर्देश देता है, तो सार यह है कि इसे संरेखण प्रशिक्षण में सतर्क रणनीति को त्यागना और उच्च जोखिम अभिव्यक्ति की ओर मुड़ना है। "कम भावनात्मक बुद्धिमत्ता" उत्पाद निर्देशों और सुरक्षा लक्ष्यों के बीच संघर्ष की एक अपरिहार्य अभिव्यक्ति है।
इस दृष्टिकोण से, मनुष्यों की जगह AI के बारे में बात करना जल्दबाजी होगी। आपका इसके बारे में क्या सोचना है?