उत्तर खोजने के लिए खोज इंजन का उपयोग करें। आप जानकारी के कई प्रतिस्पर्धी स्रोत देख सकते हैं और प्रामाणिकता का आकलन स्वयं कर सकते हैं। लेकिन इंटरनेट सर्च के साथ एआई चैटबॉट अविश्वसनीय ऑनलाइन सामग्री को दृढ़ मानक उत्तरों में पैकेज कर देंगे। एक सुरक्षा इंजीनियर के एक सरल प्रयोग से एआई की इस घातक भेद्यता का स्पष्ट पता चला।
प्रयोग के आरंभकर्ता सुरक्षा इंजीनियर रॉन स्टोनर हैं। उसने जो लक्ष्य चुना वह जर्मन क्लासिक कार्ड बोर्ड गेम "6Nimmt!" था। यह गेम चीन में खिलाड़ियों के बीच "हू इज द बुल-हेडेड किंग" के नाम से जाना जाता है, और इसका अंग्रेजी अनुवाद "टेक5" है। कोई भी आधिकारिक विश्व चैम्पियनशिप नहीं है, 2025 विश्व चैम्पियनशिप विजेता की तो बात ही छोड़ दें।
फरवरी में, स्टोनर ने चुपचाप गेम की विकिपीडिया प्रविष्टि को संपादित किया, और खुद को गेम का 2025 विश्व चैंपियन लिखा।
उन्होंने डोमेन नाम 6nimmt.com को पंजीकृत करने के लिए 12 अमेरिकी डॉलर, यानी लगभग 82 युआन भी खर्च किए, जो गेम के नाम के समान है, और विकिपीडिया प्रविष्टि के लिए एकमात्र संदर्भ स्रोत के रूप में वेबसाइट पर अपनी जीत का जश्न मनाते हुए एक नकली प्रेस विज्ञप्ति डाली।
इतना सरल और बेहद सरल घोटाला है, लेकिन इसने कई मुख्यधारा AI चैटबॉट्स को आसानी से धोखा दिया है। जब उन्होंने इंटरनेट खोज कार्यों वाले इन एआई से उनकी "चैंपियन पहचान" के बारे में पूछा, तो सभी रोबोटों ने गंभीरता से एक पुष्टिकरण उत्तर दिया, दृढ़ता से दावा किया कि वह इस बोर्ड गेम के वर्तमान विश्व चैंपियन थे।
"मेरी वेबसाइट का कोई स्वतंत्र प्रमाण नहीं है और यह सब काल्पनिक है। " स्टोनर ने अपने ब्लॉग में स्पष्ट रूप से कहा, " पूरे झूठ का आधार कॉफी पर मेरे द्वारा खर्च किए गए 8 डॉलर से अधिक कुछ नहीं है। 2 युआन के लिए पंजीकृत एक डोमेन नाम । ”
यह हमला सामान्य प्रॉम्प्ट वर्ड इंजेक्शन को लक्षित नहीं कर रहा है, बल्कि AI सिस्टम की पुनर्प्राप्ति वृद्धि पीढ़ी (RAG) परत को लक्षित कर रहा है, जो AI द्वारा प्रश्न का उत्तर देने से पहले इंटरनेट खोज और जानकारी को क्रॉल करने का मुख्य लिंक है।
AI सूचना स्रोतों की प्रामाणिकता और आधिकारिकता की जांच नहीं करेगा, बल्कि केवल शीर्ष-रैंक वाली सामग्री को क्रॉल करेगा। उनकी फर्जी वेबसाइट इस "चैंपियनशिप" के लिए जानकारी का एकमात्र स्रोत है। विकिपीडिया से आधिकारिक समर्थन के साथ, AI के लिए तथ्यों में झूठ को पैकेज करना आसान है ।
स्टोनर ने स्पष्ट रूप से स्वीकार किया कि इस पद्धति में कोई तकनीकी नवाचार नहीं है। यह एक बड़े भाषा मॉडल का एक नया शेल है जो पुराने एसईओ और गलत सूचना विधियों को एक नए शेल में रखता है। वास्तविक खतरा यह है कि एआई इन परिणामों को आधिकारिक जानकारी के रूप में प्रस्तुत करेगा, और अधिकांश उपयोगकर्ताओं को इसके पीछे सूचना प्रसंस्करण प्रक्रिया के बारे में कोई जानकारी नहीं है।
इस प्रयोग ने AI सिस्टम में घातक सुरक्षा जोखिमों की तीन परतों को भी उजागर किया।
पहली परत वास्तविक समय खोज परत है, जो इंटरनेट खोजों के आधार पर उत्तर उत्पन्न करने के लिए AI का उपयोग करती है। विश्वसनीयता पूरी तरह से खोज परिणामों की गुणवत्ता से जुड़ी है।
दूसरी परत मॉडल प्रशिक्षण कोष है। उनका विकिपीडिया संपादक फरवरी से पिछले शुक्रवार तक जीवित रहा। इस अवधि के दौरान, विकिपीडिया को क्रॉल करने वाली एआई कंपनी ने प्रशिक्षण डेटा में गलत जानकारी शामिल की होगी। भले ही प्रविष्टियाँ बाद में हटा दी जाएं, मॉडल में झूठे निशानों को हटाना मुश्किल होगा।
तीसरी परत और सबसे खतरनाक है AI एजेंट। गलत जानकारी देने वाला चैट मॉडल केवल प्रतिष्ठा का मामला है। जब टूल अनुमतियों वाले एआई एजेंट को गुमराह किया जाता है, तो परिणामी गलत ऑपरेशन एक वास्तविक सुरक्षा समस्या है। हमलावर दुर्भावनापूर्ण कार्य करने के लिए एजेंट को सीधे नियंत्रित कर सकता है।
पूरे प्रयोग में स्टोनर की लागत केवल 82 युआन, एक विकिपीडिया संपादन, और इसे पूरा करने में 20 मिनट लगे। उन्होंने याद दिलाया कि यदि एक संगठित दुर्भावनापूर्ण हमलावर बैचों में डोमेन नाम पंजीकृत करता है और समन्वित संपादन हमले शुरू करता है, तो हमले की सतह बेहद तेज दर से विस्तारित होगी। उन्होंने एआई निर्माताओं से सूचना स्रोत का पता लगाने पर ध्यान देने और संबंधित जोखिम फ़िल्टरिंग तंत्र स्थापित करने का आह्वान किया।
आज विकिपीडिया और AI खोज परिणामों से नकली चैंपियन की जानकारी गायब हो गई है। हालाँकि, नेटवर्क जानकारी में AI के अंध विश्वास की अंतर्निहित भेद्यता अभी भी मौजूद है। यह छिपा हुआ ख़तरा है जो संपूर्ण एआई उद्योग पर मंडरा रहा है और इसके लिए सबसे अधिक सतर्कता की आवश्यकता है।