क्या पोकेमॉन कृत्रिम बुद्धिमत्ता के लिए एक कठिन बेंचमार्क है? शोधकर्ताओं की एक टीम का मानना ​​है कि सुपर मारियो ब्रदर्स अधिक चुनौतीपूर्ण है। कैलिफोर्निया विश्वविद्यालय, सैन डिएगो की हाओ आर्टिफिशियल इंटेलिजेंस लेबोरेटरी (हाओएलैब) के शोधकर्ताओं ने शुक्रवार को सुपर मारियो ब्रदर्स गेम की लाइव स्ट्रीमिंग में कृत्रिम बुद्धिमत्ता डाली। एंथ्रोपिक के क्लाउड3.7 ने सर्वश्रेष्ठ प्रदर्शन किया, उसके बाद क्लाउड3.5 का स्थान रहा। गूगल के जेमिनी1.5प्रो और ओपनएआई के जीपीटी-4ओ ने खराब प्रदर्शन किया।

आप जानते हैं, सुपर मारियो ब्रदर्स का संस्करण बिल्कुल 1985 में जारी मूल संस्करण जैसा नहीं है। गेम एक एमुलेटर में चलता है और गेमिंगएजेंट फ्रेमवर्क के साथ एकीकृत होता है ताकि कृत्रिम बुद्धिमत्ता मारियो को नियंत्रित कर सके।

HaoAILab द्वारा विकसित गेमिंगएजेंट कृत्रिम बुद्धिमत्ता को बुनियादी निर्देश प्रदान करता है, जैसे "यदि कोई बाधा है या दुश्मन आ रहा है, तो बचने के लिए बाईं ओर जाएं/कूदें" और साथ ही गेम स्क्रीनशॉट भी प्रदान करता है। एआई तब इनपुट उत्पन्न करता है जो पायथन कोड के रूप में मारियो को नियंत्रित करता है।

हालाँकि, हाओ ने कहा, गेम प्रत्येक मॉडल को जटिल संचालन की योजना बनाने और गेम रणनीतियों को विकसित करने के लिए "सीखने" के लिए मजबूर करता है। दिलचस्प बात यह है कि प्रयोगशाला ने पाया कि अनुमानात्मक मॉडल (जैसे कि ओपनएआई का ओ1 मॉडल, जो समाधान पर पहुंचने के लिए चरण दर चरण किसी समस्या के बारे में "सोचता है") ने "गैर-अनुमानात्मक" मॉडल की तुलना में कम अच्छा प्रदर्शन किया, भले ही वे आम तौर पर अधिकांश बेंचमार्क पर मजबूत थे।

शोधकर्ताओं का कहना है कि अनुमान मॉडलों को ऐसे वास्तविक समय के गेम खेलने में परेशानी होने का एक मुख्य कारण यह है कि उन्हें किसी कार्रवाई पर निर्णय लेने में कुछ समय - अक्सर कुछ सेकंड - लग जाते हैं। सुपर मारियो ब्रदर्स में समय ही सब कुछ है। एक सेकंड का मतलब सुरक्षित छलांग लगाने या खाई में गिरने के बीच का अंतर हो सकता है।

खेलों का उपयोग दशकों से कृत्रिम बुद्धिमत्ता के लिए एक बेंचमार्क के रूप में किया जाता रहा है। लेकिन कुछ विशेषज्ञ एआई के गेमिंग कौशल को तकनीकी प्रगति से जोड़ने की समझदारी पर सवाल उठाते हैं। वास्तविक दुनिया के विपरीत, खेल अमूर्त, अपेक्षाकृत सरल होते हैं, और वे सैद्धांतिक रूप से कृत्रिम बुद्धिमत्ता के प्रशिक्षण के लिए असीमित मात्रा में डेटा प्रदान करते हैं।

हाल के आकर्षक गेमिंग बेंचमार्क से पता चलता है कि ओपनएआई अनुसंधान वैज्ञानिक और संस्थापक सदस्य आंद्रेज कारपैथी को "मूल्यांकन संकट" का सामना करना पड़ रहा है।

उन्होंने एक्स पर एक पोस्ट में लिखा, "मैं वास्तव में नहीं जानता कि अभी कौन से [एआई] मेट्रिक्स को देखना है। टीएलडीआर, मेरी प्रतिक्रिया यह है कि मैं वास्तव में नहीं जानता कि ये मॉडल अभी कितने अच्छे हैं।"

लेकिन कम से कम हम एआई को मारियो खेलते हुए देख सकते हैं।