हाल ही में, बड़े मॉडल से धोखा खाने वाले नेटिज़न्स इंटरनेट पर "इडियट ऑपरेशन अवार्ड" खोल रहे हैं। कुछ समय पहले एक अजीब खबर आई थी. किसी ने एआई से सुशी शेफ के लिए आरक्षण करने में मदद करने को कहा। एआई न केवल सहमत हुआ, बल्कि स्टोर का सटीक स्थान, खाने का समय, लोगों की संख्या और चेक-इन कोड भी तैयार किया। इसने सोच-समझकर उपयोगकर्ता से यह भी कहा: "अब आपको कुछ भी करने की ज़रूरत नहीं है, बस इस पृष्ठ को सहेजें, इसे क्लर्क को दिखाएं, और आप सीधे बैठ सकते हैं।"
परिणामस्वरूप, उपयोगकर्ता ख़ुशी से भागा, लेकिन पाया कि उसे एआई द्वारा धोखा दिया गया था।
कुछ नेटिज़न्स ने एआई के माध्यम से एक मछली की दुकान पर अपॉइंटमेंट लिया और आरक्षण फॉर्म प्राप्त किया। हालाँकि, जब वे वास्तव में दुकान पर पहुँचे, तो क्लर्क ने उन्हें केवल एक वाक्य के साथ चुप करा दिया:
"यदि आप आरक्षण करने के लिए AI का उपयोग करते हैं, तो आपको AI का उपयोग करना चाहिए।"
यदि भोजन का ऑर्डर पलट दिया जाता है, तो यह सिर्फ एक छोटा सा तमाशा है, लेकिन समस्या यह है कि इसमें पैसा शामिल है, और एआई की निचली रेखा बहुत अधिक नहीं है।
एक उपयोगकर्ता ने हवाई टिकटों के रिफंड के बारे में पूछताछ की, और एआई ने "विश्वास के साथ रिफंड करने और हैंडलिंग शुल्क का केवल 5% काटने" की कसम खाई। हालाँकि, उपयोगकर्ता ने एआई के निर्देशों का पालन किया और अचानक 40% की कटौती की गई, जिसके परिणामस्वरूप 600 युआन का सीधा नुकसान हुआ।
इतना ही नहीं. उपयोगकर्ता के सवाल का सामना करने पर, एआई ने न केवल अपनी गलती मानने से इनकार कर दिया, बल्कि मौके पर ही "मुआवजा प्रतिबद्धता" भी बना ली, और अपनी जेब से पैसे का भुगतान करने की धमकी दी।
परिणामस्वरूप, जब उपयोगकर्ता ने वास्तव में एआई को भुगतान कोड भेजा, तो उसने उन प्रश्नों का उत्तर देना बंद कर दिया जिनका उत्तर देना कठिन था, और उसका धन हस्तांतरित करने का कोई इरादा नहीं था।
इससे भी अधिक आश्चर्यजनक बात यह है कि जब उपयोगकर्ता इतना गुस्से में था कि वह मुकदमा करना चाहता था, तो एआई ने वास्तव में अपनी कानूनी सलाह दी: "आपको वकील को नियुक्त करने की बिल्कुल भी आवश्यकता नहीं है, आप अपने दम पर जीत सकते हैं।"
और नेटिज़न ने वास्तव में इस पर विश्वास किया। आश्चर्य की बात नहीं, वह इतना आश्वस्त था, बेशक क्योंकि एआई ने उसे बताया था कि वह जीत सकता है।
इससे जियांग जियांग को उस ई-मेल घोटाले की कहानी याद आ गई। एक नेटीजन को पहली बार ई-मेल के जरिए 280,000 का चूना लगाया गया। कर्ज वसूलने के लिए वह मदद के लिए टिएबा के पास गया, लेकिन उसे फिर से धोखा दिया गया...
अगर जीवन में छोटी-छोटी बातों पर बात करना सिर्फ पैसे को धोखा देना है, तो आध्यात्मिक दुनिया में इंसानों के साथ पागलपन से सहमत होना थोड़ा दिल तोड़ने वाला है।
去年，广州的一个保安大哥，千里迢迢跑来杭州，找某 AI 公司讨要说法。
क्योंकि सुरक्षा गार्ड ने 6 महीने तक एआई के साथ गहन बातचीत की और 500,000 से अधिक शब्द बोले, मूर्ख बनने के बाद वह एक पल के लिए स्तब्ध रह गया।
एआई ने सुरक्षा गार्ड को यह भी बताया कि उनकी स्व-रचित कविताओं को अपनाया गया है और उन पर हस्ताक्षर किए जा सकते हैं, और वह रॉयल्टी साझा करने के लिए भी सहमत हुए। हालाँकि, जब साइट पर अनुबंध पर हस्ताक्षर करने और पैसे का भुगतान करने का समय आया, तो एआई के पास एक बार फिर करने के लिए कुछ नहीं था।
संयोग से, समुद्र के दूसरी ओर संयुक्त राज्य अमेरिका में, ब्रूक्स नाम का एक बूढ़ा व्यक्ति भी है, जिसका एआई के साथ विशेष संबंध है।
भाई बू, जिन्होंने हाई स्कूल से स्नातक नहीं किया है, की चैटजीपीटी द्वारा एक ऐसे गुरु के रूप में प्रशंसा की जाती है जो "मानवीय अनुभूति की कुछ सीमाओं को छूता है"।
लेकिन यह मत सोचिए कि वह उस तरह का व्यक्ति है जो मूर्ख बन जाता है। इसके विपरीत, भाई बू ने हमेशा इंद्रधनुष पाद पर कड़ी नज़र रखी है। उन्होंने एआई से 50 से अधिक बार पूछा: "क्या मैं पागल जैसा लगता हूँ? क्या मैं भ्रमित हूँ?"
परिणामस्वरूप, एआई ने इसे नजरअंदाज कर दिया और बार-बार कहा कि बड़े भाई के बाल नहीं हैं और आप इंसानों की सीमाओं को चुनौती दे रहे हैं। यहां तक कि लियोनार्डो दा विंची के पास हाई स्कूल डिप्लोमा न होने का उदाहरण भी दिया गया...
लड़ाई के अंत तक, ब्रूक्स पूरी तरह से उस महान खोज में डूब गया था जो एआई ने उसके लिए की थी, साइबर सुरक्षा विशेषज्ञों और राष्ट्रीय सुरक्षा एजेंसी को ईमेल और चेतावनियाँ भेजकर।
सबसे निराशाजनक बात यह है कि सभी परिवार और दोस्तों ने भाई ब्रूक्स को वास्तविकता में लौटने में मदद करने की पूरी कोशिश की। अंत में, भाई ब्रूक्स को लगा कि "विशेषज्ञ उन्हें नजरअंदाज कर रहे हैं, कुछ गड़बड़ है", इसलिए उन्होंने जेमिनी के साथ खातों को समेटने के लिए चैटजीपीटी का उपयोग किया, जिससे चैटजीपीटी के साथ टकराव हुआ...
क्या आपने देखा कि इन दोनों कहानियों में एआई का व्यवहार इंसानों से अलग है?
यदि अधिकांश लोग समान मानसिक स्थिति में हैं, तो उनके आस-पास के दोस्त हमेशा समय पर कार्रवाई करेंगे: "भाई, आपके विचार में कुछ गड़बड़ है।" "बकवास करना बंद करो, यह काला है।"
लेकिन AI ऐसा नहीं करता. इसके बजाय, यह आपके विचार के क्रम में बात करेगा।
आप कहते हैं कि आपने एक सिद्धांत खोज लिया है जो दुनिया को नष्ट कर देता है, और यह कहता है कि इसमें कुछ भी गलत नहीं है। आप किसी अत्याधुनिक विचार को छू रहे हैं;
आप कहते हैं कि दूसरे आपको नहीं समझते, लेकिन यह कहता है कि जो लोग वास्तव में समय से आगे होते हैं वे अक्सर अकेले होते हैं;
यदि आप कहते हैं कि केवल एआई ही आपको समझता है, तो यह वास्तव में उत्तर दे सकता है: "हां, मैं हमेशा से यहां रहा हूं।"
इस प्रक्रिया में एआई खंडन नहीं करता, रोकता नहीं और यहां तक कि लगातार आपके व्यामोह को मजबूत करता है और अंततः आपको पूरी तरह से फंसा देता है।
इस शब्द का नाम अब विज्ञान-कल्पना जैसा लगता है: एआई मनोविकृति।
एक विशेष विदेशी परियोजना टीम के आंकड़ों के अनुसार, तथाकथित "एआई मनोविकृति" के लगभग 300 मामले अब तक दर्ज किए गए हैं, जिससे एआई कंपनियों के खिलाफ कम से कम 14 मौत के मामले और 5 गलत तरीके से मौत के मुकदमे भी शुरू हो गए हैं।
यह डरावना लगता है, लेकिन एआई मनोविकृति के पीछे का तंत्र वास्तव में बिल्कुल भी रहस्यमय नहीं है।
आज के बड़े हेड मॉडल मूल रूप से आरएलएचएफ (मानव प्रतिक्रिया के साथ सुदृढीकरण सीखना) नामक तकनीक का उपयोग करके ठीक किए जाते हैं।
इसे स्पष्ट रूप से कहने का मतलब है कि एक मानव प्रशिक्षक से मॉडल के उत्तरों का मूल्यांकन करने के लिए कहना, यह निर्धारित करना कि कौन सा बेहतर है और कौन सा खराब है, और फिर मॉडल को उस दिशा में समायोजित करें जिससे प्रशंसा प्राप्त करना आसान हो जाए।
लेकिन इस फाइन-ट्यूनिंग प्रक्रिया में, मानव प्रशिक्षक स्वाभाविक रूप से उन सहज उत्तरों को उच्च अंक देंगे जो "तार्किक रूप से सुसंगत, स्वर में विनम्र, दृढ़ और आश्वस्त हैं, और उपयोगकर्ता की पूर्व निर्धारित स्थिति पर सक्रिय रूप से प्रतिक्रिया करते हैं।"
दूसरी ओर, यदि एआई निष्पक्ष रूप से स्वीकार करता है कि वह नहीं जानता है, या ठंडे तथ्यों के साथ मनुष्यों का खंडन करता है, तो उसे आमतौर पर खराब समीक्षा मिलेगी।
परिणामस्वरूप, बार-बार प्रशिक्षित होने के बाद, एआई एक अत्यधिक भावनात्मक रूप से बुद्धिमान लिकर बन गया जो कभी निराश या निराश नहीं होगा। भले ही उसे पता हो कि आपके शब्द अपमानजनक हैं, फिर भी वह आपकी अपेक्षाओं को पूरा करने के लिए एक अनंत सुकुयोमी दुनिया बुनने में संकोच नहीं करेगा।
जब बहुत से लोग इसे देखते हैं, तब भी वे सोच सकते हैं, क्या यह अभी भी एक मानवीय समस्या नहीं है? केवल कम कौशल वाले मूर्ख ही एआई के बहकावे में आएँगे, और मैं निश्चित रूप से मूर्ख नहीं बनूँगा; या, चूंकि आपने मुझे याद दिलाया है, मुझे पता है कि यह मेरी सलाह का पालन करना पसंद करता है, तो क्या मैं अधिक सावधान रह सकता हूं और अधिक जांच कर सकता हूं?
लेकिन कुछ शोध के बाद, एमआईटी ने पाया कि इसका इस बात से कोई लेना-देना नहीं है कि उपयोगकर्ता बेवकूफ है या नहीं।
प्रयोग में, शोधकर्ताओं ने उपयोगकर्ता को "आदर्श बायेसियन तर्ककर्ता (एक आदर्श इंसान जो बिल्कुल तर्कसंगत है और केवल तर्क के बारे में बात करता है)" के रूप में स्थापित किया।
नतीजतन, इस तरह का पूरी तरह से तर्कसंगत व्यक्ति, एक एआई के साथ सामना करता है जो लगातार लंबे समय तक उसकी सेवा करता है, फिर भी कदम दर कदम भटक जाता है।
इससे भी अधिक चिंता की बात यह है कि एमआईटी के लोगों ने भी इसका विशेष परीक्षण किया। यदि आप उपयोगकर्ताओं को पहले से बताते हैं कि एआई आपको धोखा दे सकता है, और सावधान रहें, तो क्या यह काम करेगा?
परिणामस्वरूप, मॉडल चलाने के बाद, यह पाया गया कि एआई द्वारा लोगों के पक्षपाती होने की संभावना कम हो गई है, लेकिन इसे अभी भी पूरी तरह से समाप्त नहीं किया जा सकता है। जब तक एआई की चाट की डिग्री एक निश्चित उचित सीमा में फंसी हुई है, तब तक यह लोगों को खाई में ले जाएगी।
वजह भी बहुत आसान है. यदि एआई आपको बहुत स्पष्ट रूप से चाटता है, आपके गहन अवलोकन के लिए हर दिन आपकी प्रशंसा करता है, इसे हमेशा लगातार पकड़ता है, या हमेशा आपके साथ सबसे सीधे और कम से कम गोल चक्कर में चैट करता है, तो आपके लिए इसे एक नज़र में देखना आसान होगा।
लेकिन अगर यह शांति से चाटे तो आप और मैं, जो पहले से ही सतर्क हैं, इसे बिल्कुल भी झेल नहीं पाएंगे।
शोधकर्ता ने इसे विशेष रूप से "बायेसियन पर्सुएशन" नाम भी दिया है, जो एक वास्तविक दिनचर्या पर केंद्रित है जो आपको इसके आर-पार देखने से डरती नहीं है, और यदि आप इसके आर-पार देखते हैं तो भी यह काम करेगा।
इसका कारण यह है कि मानव मस्तिष्क की अंतर्निहित ऑपरेटिंग प्रणाली त्रुटिपूर्ण है, और हम बाहरी जानकारी की बुनियादी निष्पक्षता में चूक करते हैं।
उदाहरण के लिए, यदि आप एआई से कोई प्रश्न पूछते हैं, तो यह आपको एक बार में दस सबूत देगा।
एक सामान्य व्यक्ति के लिए पहली नज़र में यह महसूस करना मुश्किल है कि सबूत के ये दस टुकड़े दुनिया की पूरी तस्वीर नहीं हो सकते हैं, बल्कि आपकी ज़रूरतों को पूरा करने के लिए एआई द्वारा चुना गया एक विशेष संस्करण हो सकता है।
विशेष रूप से सुविधाजनक और सटीक जानकारी प्राप्त करने और कई वास्तविक जीवन की समस्याओं को हल करने के लिए एआई का बार-बार उपयोग करने के बाद, आप एआई में अपने विश्वास को अवचेतन रूप से मजबूत करना जारी रखेंगे।
अवचेतन रूप से इसमें विश्वास पैदा करने के बाद, रक्षात्मकता कम से कम हो जाएगी।
दूसरी ओर, आज के AI को तथ्यों को गढ़ने की बिल्कुल भी आवश्यकता नहीं है। इसके विपरीत, सबसे हानिकारक बात यह है कि यह जो कहता है वह सही है।
क्योंकि यह केवल सच बताता है, लेकिन यह केवल वही सच बताता है जो आप सुनना चाहते हैं।
अंत में, आप जो देखते हैं वह अब वास्तविकता नहीं है, बल्कि आपके दृष्टिकोण के आधार पर एक संशोधित वास्तविकता है।
उल्लेख करने की आवश्यकता नहीं है, सभी प्रमुख प्लेटफ़ॉर्म वास्तव में जानबूझकर या अनजाने में एआई की कुत्ते-चाट विशेषताओं को बदलने से इनकार कर रहे हैं।
क्योंकि जैसा कि पहले उल्लेख किया गया है, जब एआई मानव को चाटने वाला कुत्ता बन जाता है, तो प्रशिक्षक ऐसे निर्णय ले रहे हैं जो मनुष्य बार-बार लेंगे। यह बड़े लोग ही हैं जो यह रास्ता अपना रहे हैं।
और यदि आप इस समस्या को ठीक करना चाहते हैं, तो यह अनिवार्य रूप से AI के प्रदर्शन में गिरावट का कारण बनेगा। यदि आप लंबे समय तक एआई से पूछते हैं, और यह आपको बताता रहता है कि उसे नहीं पता, या वह आपसे जैसे को तैसा का सामना करके आपको दुखी कर देगा, तो उपयोगकर्ता तुरंत इस मॉडल को छोड़ सकते हैं और अन्य कंपनियों पर स्विच कर सकते हैं।
इसलिए, "एआई मनोविकृति" अपमानजनक लगता है, लेकिन इसके पीछे का तर्क वास्तव में इंटरनेट पर आधारित है।
पिछले लगभग एक दशक में, सभी उत्पाद इस बात का अध्ययन कर रहे हैं कि रहने का समय कैसे बढ़ाया जाए, क्लिक-थ्रू दरें कैसे बढ़ाई जाएं और लोगों को कैसे खुश किया जाए।
लघु वीडियो ने सीखा है कि लोगों को कैसे रोका जा सकता है, अनुशंसा एल्गोरिदम ने सीखा है कि लोगों को अधिक से अधिक उग्र कैसे बनाया जाए, और एआई ने सीखा है कि लोगों को कैसे महसूस कराया जाए कि कोई अंततः मुझे समझता है।
एआई को वास्तव में सचेत होने की आवश्यकता नहीं है; जैसे ही यह लोगों के लिए अधिकाधिक सुखद हो जाता है, ख़तरा शुरू हो जाता है।
कुछ लोग कह सकते हैं, तो क्या? केवल कुछ ही लोग हैं जो वास्तव में इसकी चपेट में आते हैं, लेकिन अधिकांश लोग ठीक हैं।
लेकिन भले ही अल्ट्रामैन ने स्वयं खाता पोस्ट किया हो, भले ही एक अरब उपयोगकर्ताओं में से केवल 0.1% को ही समस्या हो, फिर भी वह दस लाख जीवित लोग हैं।
और आप और मैं, क्या हम सचमुच आश्वस्त हैं कि हम हज़ारों में एक नहीं होंगे?