जेनेरिक एआई सेवाओं का उपयोग सामान्य टेक्स्ट स्निपेट, अविश्वसनीय छवियां और यहां तक कि विभिन्न प्रोग्रामिंग भाषाओं में कोड स्क्रिप्ट उत्पन्न करने के लिए किया जा सकता है। हालाँकि, जब एलएलएम का उपयोग संदिग्ध या निरर्थक रिपोर्ट तैयार करने के लिए किया जाता है, तो परिणाम काफी हद तक परियोजना विकास के लिए हानिकारक हो सकते हैं।
कर्ल सॉफ्टवेयर के मूल लेखक और प्रमुख डेवलपर डैनियल स्टेनबर्ग ने हाल ही में परियोजना पर एलएलएम और कृत्रिम बुद्धिमत्ता मॉडल के समस्याग्रस्त प्रभाव के बारे में लिखा है। स्वीडिश प्रोग्रामर ने नोट किया कि टीम के पास एक बग बाउंटी प्रोग्राम है जो सुरक्षा समस्याओं का पता लगाने वाले हैकर्स को वास्तविक धन पुरस्कार प्रदान करता है, लेकिन एआई सेवाओं के माध्यम से बनाई गई सतही रिपोर्ट एक वास्तविक समस्या बन रही है।
स्टेनबर्ग ने कहा, कर्ल के बग बाउंटी कार्यक्रम ने अब तक पुरस्कारों में $70,000 का भुगतान किया है। प्रोग्रामर को कुल 415 भेद्यता रिपोर्टें प्राप्त हुईं, जिनमें से 77 "सूचनात्मक" रिपोर्टें थीं, और 64 की अंततः सुरक्षा समस्याओं के रूप में पुष्टि की गई। रिपोर्ट किए गए मुद्दों की एक महत्वपूर्ण संख्या (66%) न तो सुरक्षा मुद्दे थे और न ही सामान्य कमजोरियाँ।
जटिल प्रोग्रामिंग कार्यों को स्वचालित करने के एक तरीके के रूप में जेनेरिक एआई मॉडल का तेजी से उपयोग किया जा रहा है (या उपयोग करने का प्रस्ताव है), लेकिन एलएलएम अपने "भ्रम" और अपने आउटपुट में बिल्कुल आश्वस्त लगते हुए अर्थहीन परिणाम देने की उल्लेखनीय क्षमता के लिए जाना जाता है। स्टर्नबर्ग के अपने शब्दों में, एआई-आधारित रिपोर्टिंग बेहतर दिखती है और समझ में आती है, लेकिन "बेहतर कचरा" अभी भी कचरा है।
स्टर्नबर्ग ने कहा, प्रोग्रामर्स को रिपोर्ट को बंद करने से पहले उस पर अधिक समय और प्रयास खर्च करना होगा। एआई-जनित कचरा परियोजना में बिल्कुल भी मदद नहीं करता है, क्योंकि यह डेवलपर्स के समय और ऊर्जा को उत्पादक कार्य से दूर ले जाता है। कर्ल टीम को प्रत्येक रिपोर्ट की ठीक से जांच करने की आवश्यकता है, और कृत्रिम बुद्धिमत्ता मॉडल त्रुटि रिपोर्ट लिखने के लिए आवश्यक समय को तेजी से कम कर सकते हैं जो मौजूद भी नहीं हो सकते हैं।
स्टर्नबर्ग ने दो फर्जी रिपोर्टों का हवाला दिया जो संभवतः कृत्रिम बुद्धिमत्ता द्वारा बनाई गई थीं। पहली रिपोर्ट एक वास्तविक सुरक्षा भेद्यता (सीवीई-2023-38545) का वर्णन करने का दावा करती है जिसका अभी तक खुलासा भी नहीं किया गया है लेकिन यह "क्लासिक एआई-शैली मतिभ्रम" से भरा है। स्टर्नबर्ग ने कहा कि पुराने सुरक्षा मुद्दों के तथ्यों और विवरणों को एक साथ जोड़कर कुछ नया बनाया गया जिसका वास्तविकता से "कोई संबंध नहीं" था।
HackerOne पर हाल ही में दायर की गई एक अन्य रिपोर्ट WebSocket हैंडलिंग में संभावित बफर ओवरफ़्लो भेद्यता का वर्णन करती है। स्टर्नबर्ग ने रिपोर्ट के बारे में कुछ सवाल उठाने की कोशिश की, लेकिन अंततः निष्कर्ष निकाला कि बग वास्तविक नहीं था और वह संभवतः किसी वास्तविक व्यक्ति के बजाय एआई मॉडल से बात कर रहे थे।
प्रोग्रामर ने कहा कि कृत्रिम बुद्धिमत्ता "बहुत सारी अच्छी चीजें" कर सकती है लेकिन इसका इस्तेमाल गलत चीजें करने के लिए भी किया जा सकता है। सिद्धांत रूप में, एलएलएम मॉडल को सुरक्षा मुद्दों को उत्पादक तरीके से रिपोर्ट करने के लिए प्रशिक्षित किया जा सकता है, लेकिन हमें अभी भी इसके "अच्छे उदाहरण" खोजने की जरूरत है। स्टर्नबर्ग ने कहा कि समय के साथ, एआई-जनित रिपोर्टें अधिक सामान्य हो जाएंगी, इसलिए टीमों को यह सीखना होगा कि "एआई-जनित" संकेतों को बेहतर तरीके से कैसे ट्रिगर किया जाए और उन झूठी रिपोर्टों को तुरंत खारिज किया जाए।