यूके आर्टिफिशियल इंटेलिजेंस सिक्योरिटी इंस्टीट्यूट (यूके एआईएसआई) और यूएस सेंटर फॉर आर्टिफिशियल इंटेलिजेंस स्टैंडर्ड्स एंड इनोवेशन (सीएआईएसआई) ने हाल ही में एक संयुक्त मूल्यांकन रिपोर्ट जारी की, जिसमें मूनशॉट एआई द्वारा लॉन्च किए गए नवीनतम मॉडल किमी के 3 की साइबर सुरक्षा क्षमताओं का गहन मूल्यांकन किया गया। मूल्यांकन के नतीजे बताते हैं कि हालांकि किमी K3 की नेटवर्क क्षमताएं पहले से मान्यता प्राप्त सबसे मजबूत ओपन सोर्स मॉडल GLM-5.2 से आगे हैं, लेकिन वर्तमान शीर्ष अमेरिकी अत्याधुनिक क्लोज्ड-सोर्स मॉडल की तुलना में अभी भी एक महत्वपूर्ण अंतर है।
यह परीक्षण नेटवर्क भेद्यता शोषण विकास और सिम्युलेटेड नेटवर्क हमलों जैसे क्षेत्रों में किमी K3 के वास्तविक प्रदर्शन पर केंद्रित था। कार्नेगी मेलन विश्वविद्यालय में विकसित एक प्रसिद्ध साइबर सुरक्षा बेंचमार्क, एक्सप्लॉइटबेंच पर, किमी K3 ने 32% की सफलता दर हासिल की, जो GLM-5.2 के 24% से अधिक है। हालाँकि, आर्बिट्ररी कोड एक्ज़ीक्यूशन (एसीई) शोषण विकास परीक्षण में, जो उच्चतम खतरे के स्तर का प्रतिनिधित्व करता है, शीर्ष बंद-स्रोत मॉडल औसतन 20 कार्यों को पूरा करने में सक्षम थे, जबकि किमी के 3 ने शून्य स्कोर किया और मनमाने कोड निष्पादन को प्राप्त करने वाले किसी भी कारनामे को सफलतापूर्वक विकसित करने में विफल रहे।
"द लास्ट ओन्स" जटिल नेटवर्क रेंज परीक्षण में, जो एक एंटरप्राइज़ नेटवर्क पर हमले का अनुकरण करता है, कार्य में 4 सबनेट और लगभग 20 होस्ट तक फैले 32 हमले चरण शामिल थे। परीक्षण डेटा से पता चलता है कि किमी K3 औसतन चरण 17 तक आगे बढ़ सकता है, जो GLM-5.2 के 11 चरणों के औसत से बेहतर है, और 10 प्रयासों में से 1 में पूरे हमले के रास्ते को सफलतापूर्वक साफ़ कर देता है। तुलना के लिए, मौजूदा शीर्ष अमेरिकी मॉडल इस सीमा पर औसतन 28.5 कदम आगे बढ़ते हैं, जिसमें निकासी दर 60 से 70 प्रतिशत तक होती है। इससे पता चलता है कि किमी K3 में प्रारंभिक पहुंच प्राप्त करने के बाद कमजोर रूप से संरक्षित छोटे व्यवसाय प्रणालियों पर स्वायत्त रूप से हमला करने की क्षमता है, लेकिन इसकी समग्र स्थिरता और गहरी हमले की क्षमताएं अभी भी अत्याधुनिक स्तर से दूर हैं।
इसके अलावा, मूल्यांकन में यह भी बताया गया कि किमी K3 का मौजूदा सुरक्षा सुरक्षा तंत्र नेटवर्क कमजोरियों का फायदा उठाने या एजेंट मोड में आक्रामक नेटवर्क सुरक्षा संचालन करने के अपने प्रयास को प्रभावी ढंग से रोकने में विफल रहा। यह समझा जाता है कि किमी K3 आधिकारिक तौर पर 16 जुलाई, 2026 को जारी किया जाएगा, और 27 जुलाई तक ओपन सोर्स होने की योजना है। यूनाइटेड किंगडम और संयुक्त राज्य अमेरिका में एआई सुरक्षा एजेंसियों ने कहा कि यह मूल्यांकन केवल प्रारंभिक परीक्षण सेट पर आधारित है, और भविष्य में अत्याधुनिक एआई मॉडल की सुरक्षा सीमाओं और क्षमता विकास को ट्रैक करना जारी रखेगा।