मिनीमैक्स के नए मॉडल को "रैंकिंग में गड़बड़ी" को लेकर संदेह का सामना करना पड़ रहा है। शोधकर्ताओं को संदेह है कि इसने मूल्यांकन प्रश्न पहले ही प्राप्त कर लिए थे

सार:

चीनी कृत्रिम बुद्धिमत्ता कंपनी मिनीमैक्स ने 19 अक्टूबर, 2026 को नई पीढ़ी का मॉडल M3.1 फ्लैश जारी किया, जिसमें दावा किया गया कि मॉडल ने एजेंट कार्यों, प्रोग्रामिंग और नेटवर्क सुरक्षा जैसे क्षेत्रों में महत्वपूर्ण प्रगति हासिल की है, जबकि ऑनलाइन अनुमान गति को पिछली पीढ़ी की तुलना में लगभग 3 गुना बढ़ा दिया है और उपयोग की लागत को लगभग 70% कम कर दिया है। हालाँकि, मॉडल जारी होने के तुरंत बाद, इसके स्वतंत्र मूल्यांकन परिणामों से जुड़े विवाद ने तुरंत ध्यान आकर्षित किया:

कुछ शोधकर्ताओं को संदेह है कि मिनीमैक्स को मूल्यांकन एजेंसी आर्टिफिशियल एनालिसिस द्वारा उपयोग किए गए कुछ परीक्षण प्रश्नों के संपर्क में लाया गया होगा जब पिछली पीढ़ी के एम 3 मॉडल का मूल्यांकन किया गया था, और एम 3.1 फ्लैश को प्रशिक्षित करने के लिए प्रासंगिक सामग्री का उपयोग किया गया था, जिससे नए मॉडल को विशिष्ट बेंचमार्क परीक्षणों में असाधारण उत्कृष्ट परिणाम प्राप्त करने की अनुमति मिली।

इस बात पर जोर दिया जाना चाहिए कि प्रासंगिक रिपोर्टों के जारी होने के समय तक, यह अभी भी सीमित घटनाओं पर आधारित आरोप है, और यह साबित करने के लिए कोई सार्वजनिक सबूत नहीं है कि मिनीमैक्स ने वास्तव में मूल्यांकन प्रश्न चुराए या उनका इस्तेमाल किया। विवाद के केंद्र में कृत्रिम बुद्धिमत्ता उद्योग में एक लंबे समय से चली आ रही पहेली है: क्या बेंचमार्क परीक्षणों में किसी मॉडल के उच्च स्कोर सामान्य क्षमताओं में वास्तविक सुधार दर्शाते हैं, या क्या वे आंशिक रूप से परीक्षण के अनुकूलन से आते हैं।

इस विवाद की कुंजी कृत्रिम विश्लेषण की एए-सर्वज्ञता समीक्षा में निहित है। यह एक परीक्षण है जो तथ्यात्मक ज्ञान और उत्तर विश्वसनीयता पर केंद्रित है। प्रश्न बैंक में प्रश्नों की कुल संख्या लगभग 6,000 है, जिनमें से केवल लगभग 600 ही सार्वजनिक हैं, और शेष प्रश्न सार्वजनिक रूप से जारी नहीं किए जाते हैं। पारंपरिक समझ के अनुसार, अज्ञात प्रश्न विशेष प्रशिक्षण के माध्यम से मॉडल के परीक्षण स्कोर में सुधार की संभावना को कम कर सकते हैं, लेकिन यदि मॉडल डेवलपर्स के पास मूल्यांकन प्रक्रिया के दौरान इन प्रश्नों तक पहुंच है, तो इस सुरक्षा तंत्र को चुनौती दी जा सकती है।

विवाद की समयरेखा अटकलों के लिए एक प्रवेश बिंदु प्रदान करती है। मिनीमैक्स ने 1 जून, 2026 को एपीआई के माध्यम से एम3 मॉडल जारी किया; कृत्रिम विश्लेषण ने 4 जून को प्रासंगिक मूल्यांकन परिणामों की घोषणा की; मिनीमैक्स ने केवल 12 जून को मॉडल वजन का खुलासा किया था। उस चरण में जब मॉडल वजन अभी तक खुला नहीं है, तीसरे पक्ष आमतौर पर केवल मॉडल डेवलपर द्वारा प्रदान की गई एपीआई के माध्यम से परीक्षण कर सकते हैं, और एपीआई अनुरोध डेवलपर द्वारा संचालित अनुमान सर्वर के माध्यम से जाएंगे।

प्रश्न करने वाले शोधकर्ताओं का मानना ​​है कि यह व्यवस्था सैद्धांतिक रूप से जोखिम ला सकती है: यदि मूल्यांकन एजेंसी मॉडल एपीआई को निजी परीक्षण प्रश्नों वाले अनुरोध भेजती है, और मॉडल डेवलपर्स इन अनुरोधों की पहचान कर सकते हैं, तो डेवलपर्स के पास उन प्रश्नों और उनके संदर्भ तक पहुंच हो सकती है जो मूल रूप से सार्वजनिक नहीं थे। हालाँकि, एपीआई अनुरोधों तक पहुंच होने का मतलब यह नहीं है कि किसी ने इन अनुरोधों को एकत्र, सहेजा या उपयोग किया है। मौजूदा सार्वजनिक जानकारी यह साबित नहीं करती है कि मिनीमैक्स ने ऐसी कार्रवाई की है।

बिंकग नाम के एक कृत्रिम बुद्धिमत्ता शोधकर्ता द्वारा सोशल मीडिया पर साझा किए गए एक परीक्षण के कारण विवाद और गरमा गया। उन्होंने कहा कि उन्होंने एक एए-सर्वज्ञता प्रश्न चुना जो प्रकाशित हो चुका था और प्रश्न की शर्तों को थोड़ा संशोधित किया ताकि इसका सूत्रीकरण मूल प्रश्न के समान हो, लेकिन सही उत्तर बदल गया। उनके अनुसार, अन्य परीक्षण किए गए मॉडल संशोधित प्रश्नों के उत्तर देने में सक्षम थे, लेकिन मिनीमैक्स एम3.1 फ्लैश अभी भी मूल बेंचमार्क परीक्षण में उत्तर देता है, भले ही मॉडल की अनुमान तीव्रता को उच्चतम स्तर पर समायोजित किया गया हो।

यदि इस घटना को स्वतंत्र रूप से दोहराया जा सकता है, तो यह वास्तव में चिंता का कारण होगा। एक मॉडल के लिए जो समस्याओं को हल करने के लिए तर्क पर निर्भर करता है, जब समस्या की स्थिति बदलती है और सही उत्तर बदलता है, तो मॉडल को पहले देखे गए उत्तरों को यांत्रिक रूप से दोहराने के बजाय स्थितियों का पुनर्विश्लेषण करना चाहिए। यदि मॉडल मूल प्रश्न के अनुरूप उत्तर आउटपुट करता रहता है, तो इसका मतलब यह हो सकता है कि उसने एक विशिष्ट प्रश्न और उसका उत्तर याद कर लिया है और संशोधित प्रश्न को सही ढंग से संभाल नहीं रहा है।

हालाँकि, एक भी मामला यह साबित करने के लिए पर्याप्त नहीं है कि मॉडल डेवलपर ने प्रश्न बैंक चुरा लिया है। मॉडल मूल उत्तर भी दे सकता है क्योंकि प्रशिक्षण डेटा में समान प्रश्न हैं, प्रश्न कथन के साथ अति-संबद्धता है, या स्थितियों में परिवर्तन को संभालते समय तर्क संबंधी त्रुटियां हैं। यह पुष्टि करने के लिए कि क्या समस्या प्रशिक्षण डेटा संदूषण, मॉडल में अनुमान की खामियों या अन्य कारकों से आती है, अधिक स्वतंत्र परीक्षण, पूर्ण प्रयोगात्मक रिकॉर्ड और मॉडल प्रदर्शन की तुलना की आवश्यकता है।

इस विवाद में शामिल एक अन्य अवधारणा "बेंचमैक्सिंग" है। इस शब्द का उपयोग अक्सर उन मॉडल डेवलपर्स के व्यवहार का वर्णन करने के लिए किया जाता है जो किसी विशिष्ट बेंचमार्क के लिए अति-अनुकूलन करते हैं। उदाहरण के लिए, डेवलपर्स विशेष प्रशिक्षण के लिए सार्वजनिक परीक्षण प्रश्नों का उपयोग कर सकते हैं, त्वरित शब्दों या अनुमान रणनीतियों को समायोजित कर सकते हैं, या विशिष्ट रैंकिंग पर उच्च अंक प्राप्त करने के लिए बेंचमार्क परीक्षण परिणामों के आधार पर मॉडल में बार-बार सुधार कर सकते हैं, लेकिन जरूरी नहीं कि एक साथ वास्तविक कार्यों में इसकी सामान्य क्षमता में सुधार हो।

रैंकिंग को ब्रश करना मॉडल डेवलपर्स से सीधे निजी परीक्षण प्रश्न प्राप्त करने के समान नहीं है। सार्वजनिक बेंचमार्क के विरुद्ध अनुकूलन करने का तकनीकी रूप से आवश्यक रूप से उल्लंघन नहीं है; हालाँकि, यदि डेवलपर्स प्रशिक्षण के लिए मूल्यांकन एजेंसियों से अप्रकाशित परीक्षण प्रश्नों का उपयोग करते हैं, तो यह स्वतंत्र मूल्यांकन की प्रभावशीलता को कमजोर कर सकता है। उन व्यवसायों और डेवलपर्स के लिए जो तीसरे पक्ष के लीडरबोर्ड तुलना मॉडल की क्षमता पर भरोसा करते हैं, दोनों परिदृश्य चिंता का कारण हैं, लेकिन निर्णय लेने के लिए अलग-अलग साक्ष्य की आवश्यकता होती है।

इस बार MiniMax M3.1 फ़्लैश को जो ध्यान मिला, वह इसके रिलीज़ होने पर घोषित परिणामों से भी संबंधित है। मिनीमैक्स ने कहा कि मॉडल ने जटिल एजेंट कार्यों, प्रोग्रामिंग, कंप्यूटर संचालन और नेटवर्क सुरक्षा जैसे क्षेत्रों में महत्वपूर्ण प्रगति की है। कंपनी का दावा है कि मॉडल की ऑनलाइन तर्क गति पिछली पीढ़ी की तुलना में लगभग तीन गुना तक पहुंच गई है, और एजेंट कार्यों के लिए कुल उपयोग लागत में 70% की गिरावट आई है।

कीमत के संदर्भ में, एम3.1 फ्लैश के लिए मिनीमैक्स का एपीआई इनपुट मूल्य यूएस$0.15 प्रति मिलियन टोकन है, आउटपुट मूल्य यूएस$0.60 प्रति मिलियन टोकन है, और कैश इनपुट मूल्य यूएस$0.015 प्रति मिलियन टोकन है। मॉडल में 428 बिलियन पैरामीटर हैं, जिनमें से प्रत्येक अनुमान के लिए लगभग 23 बिलियन सक्रिय हैं। इस विरल सक्रियण डिज़ाइन का उपयोग करके बड़ी मॉडल क्षमता को बनाए रखते हुए गणना के अनुसार वास्तव में बुलाए गए मापदंडों की संख्या को कम किया जा सकता है।

कृत्रिम विश्लेषण के स्वतंत्र मूल्यांकन से यह भी पता चलता है कि पिछली पीढ़ी के M3 की तुलना में M3.1 फ्लैश का व्यापक खुफिया सूचकांक काफी बेहतर हुआ है। प्रासंगिक रिपोर्टों के अनुसार, उच्चतम अनुमान तीव्रता पर एम3.1 फ्लैश का खुफिया सूचकांक स्कोर 42 अंक था, जो एम3 ​​के 29 अंक से 13 अंक अधिक है; सूचकांक मूल्यांकन में प्रत्येक कार्य को पूरा करने की औसत लागत भी लगभग US$0.51 से घटकर लगभग US$0.22 हो गई। प्रासंगिक परिणाम इसे कम लागत वाले मॉडलों के बीच अत्यधिक प्रतिस्पर्धी बनाते हैं।

हालाँकि, व्यापक सूचकांक मॉडल की सभी क्षमताओं को पूरी तरह से प्रतिबिंबित नहीं करता है। कृत्रिम विश्लेषण ने एए-ऑम्निसाइंस परीक्षण में यह भी पाया कि एम3.1 फ्लैश में स्पष्ट तथ्यात्मक विश्वसनीयता संबंधी समस्याएं हैं। हालाँकि मॉडल ने तथ्यात्मक ज्ञान के आधे से अधिक प्रश्नों का सही उत्तर दिया, लेकिन यह अक्सर उन प्रश्नों के गलत उत्तर देने की प्रवृत्ति रखता था जिनका वह सही उत्तर नहीं दे सका, यह स्वीकार करने के बजाय कि वह अनिश्चित था। इस समीक्षा में प्रयुक्त सांख्यिकीय परिभाषा के अनुसार, मतिभ्रम दर 93% तक पहुँच जाती है।

इस संख्या का मतलब यह नहीं है कि सभी मॉडल के 93% उत्तर गलत थे। यह संकेतक गलत उत्तरों के अनुपात पर ध्यान केंद्रित करता है जिसमें मॉडल आंशिक उत्तर या इनकार के बजाय सीधे गलत उत्तर देता है। यह उन प्रश्नों को दर्शाता है जिनका मॉडल सभी आउटपुट में समग्र त्रुटि दर के बजाय अनिश्चितता के तहत उत्तर देना जारी रखता है।

इससे यह भी पता चलता है कि जटिल तर्क, सॉफ्टवेयर विकास और एजेंट वर्कफ़्लो में मॉडल के उच्च प्रदर्शन का मतलब यह नहीं है कि यह सभी तथ्यात्मक कार्यों में समान रूप से विश्वसनीय है। ऐसे व्यवसायों के लिए जिन्हें व्यावसायिक रिकॉर्ड को स्वचालित रूप से संशोधित करने, वित्तीय दस्तावेजों को संसाधित करने, ग्राहक जानकारी पर शोध करने या बहु-चरणीय संचालन करने की आवश्यकता होती है, किसी मॉडल की अपने ज्ञान की सीमाओं की पहचान करने की क्षमता उसके व्यापक खुफिया सूचकांक जितनी महत्वपूर्ण हो सकती है।

मौजूदा सार्वजनिक सामग्रियों ने यह पुष्टि करने के लिए पर्याप्त स्वतंत्र जांच निष्कर्ष प्रदान नहीं किए हैं कि मिनीमैक्स ने निजी समीक्षा प्रश्न प्राप्त किए हैं या उनका उपयोग किया है, और मिनीमैक्स ने सार्वजनिक रूप से इस विशिष्ट आरोप का जवाब नहीं दिया है।

यह विवाद दर्शाता है कि जैसे-जैसे एआई मॉडल प्रतियोगिता तेजी से तीसरे पक्ष की रैंकिंग पर निर्भर हो रही है, मूल्यांकन एजेंसियों और मॉडल डेवलपर्स के बीच विश्वास तंत्र तेजी से महत्वपूर्ण हो गया है। बस कुछ प्रश्नों को गैर-सार्वजनिक के रूप में सेट करने से मूल्यांकन प्रक्रिया के दौरान परीक्षण सामग्री के गलती से उजागर होने का जोखिम पूरी तरह से समाप्त नहीं हो जाता है। भविष्य में, मूल्यांकन एजेंसियों को नियमित रूप से प्रश्न बैंकों को बदलने, अस्थायी रूप से उत्पन्न प्रश्नों का उपयोग करने, प्रतिकूल परीक्षण आयोजित करने और विशिष्ट प्रश्नों के लिए मॉडल को याद रखने या अनुकूलित करने की संभावना को कम करने के लिए प्रश्नों में सूक्ष्म परिवर्तनों के लिए मॉडल की प्रतिक्रिया की समीक्षा करने जैसे तरीकों को अपनाने की आवश्यकता हो सकती है।

मिनीमैक्स एम3.1 फ्लैश के लिए, वास्तव में जिस बात का उत्तर देने की आवश्यकता है वह सिर्फ यह नहीं है कि क्या यह लीडरबोर्ड पर उच्च अंक प्राप्त कर सकता है, बल्कि यह भी है कि क्या ये परिणाम अनदेखी समस्याओं, बदलती परिस्थितियों वाले कार्यों और वास्तविक व्यावसायिक परिदृश्यों में सही रह सकते हैं। वर्तमान आरोपों को अभी भी सत्यापित करने की आवश्यकता है, लेकिन मूल्यांकन डेटा सुरक्षा, मॉडल मेमोरी और तर्क क्षमताओं के बीच की सीमाओं के बारे में चर्चा एक बार फिर कृत्रिम बुद्धिमत्ता उद्योग में एक अपरिहार्य मुद्दा बन गई है।