सार:
मेटा ने 15 अक्टूबर को ओपन वेट आर्टिफिशियल इंटेलिजेंस मॉडल म्यूज़ स्पार्क ओपन जारी किया, और मैक स्टूडियो के लिए मॉडल के स्थानीय रनिंग समाधान को अनुकूलित करने के लिए ऐप्पल के साथ सहयोग किया।
मेटा ने कहा कि मॉडल में कुल 816 बिलियन पैरामीटर हैं, जिनमें से लगभग 42 बिलियन वास्तव में प्रत्येक अनुमान के लिए सक्रिय हैं, 1 मिलियन टोकन तक की संदर्भ विंडो का समर्थन करता है, और प्रोग्रामिंग, जटिल तर्क और एआई एजेंट कार्यों पर केंद्रित है। M5 अल्ट्रा चिप्स से लैस दो मैक स्टूडियो और प्रत्येक 512GB की एकीकृत मेमोरी से लैस, उपयोगकर्ता इस बड़े पैमाने के मॉडल को पूरी तरह से क्लाउड AI सेवाओं पर निर्भर हुए बिना डेस्कटॉप वातावरण में चला सकते हैं।
यह सहयोग काफी आकर्षक है। Apple और Meta के बीच अतीत में गोपनीयता नीतियों, प्लेटफ़ॉर्म नियमों और एप्लिकेशन पारिस्थितिकी में महत्वपूर्ण अंतर थे, लेकिन इस बार दोनों पक्षों ने संयुक्त रूप से Apple हार्डवेयर पर ओपन वेट मॉडल के संचालन को बढ़ावा दिया। मेटा के सीईओ मार्क जुकरबर्ग ने सहयोग में भाग लेने के लिए एप्पल के सीईओ जॉन टर्नस को धन्यवाद दिया। टर्नस ने सार्वजनिक रूप से यह भी कहा कि म्यूज़ स्पार्क ओपन डेस्कटॉप डिवाइस पर कुशलतापूर्वक चल सकता है, जो स्थानीय एआई कंप्यूटिंग में मैक स्टूडियो की क्षमता को प्रदर्शित करता है।
म्यूज़ स्पार्क ओपन मेटा म्यूज़ मॉडल परिवार का ओपन-वेटेड संस्करण है। बंद मॉडलों के विपरीत, जिन्हें केवल दूरस्थ सेवाओं के माध्यम से एक्सेस किया जा सकता है, खुले वजन वाले मॉडल उपयोगकर्ताओं को लाइसेंस शर्तों के अधीन मॉडल वजन प्राप्त करने और उन्हें स्वयं तैनात करने की अनुमति देते हैं। यह डेवलपर्स, शोधकर्ताओं और उद्यमों को ऑपरेटिंग वातावरण पर अधिक नियंत्रण देता है और उनकी अनुमान प्रक्रियाओं को उनकी आवश्यकताओं के अनुरूप बनाने की क्षमता देता है।
मॉडल में कुल 816 बिलियन पैरामीटर हैं, लेकिन एक विरल सक्रियण डिज़ाइन का उपयोग किया जाता है, जिसमें प्रत्येक अनुमान के लिए केवल लगभग 42 बिलियन पैरामीटर सक्रिय होते हैं। दूसरे शब्दों में, मॉडल को प्रत्येक टोकन को संसाधित करते समय गणना में सभी मापदंडों को शामिल करने की आवश्यकता नहीं होती है, लेकिन कार्य और इनपुट सामग्री के अनुसार संबंधित भाग को कॉल करता है। यह डिज़ाइन अनुमान गणना की मात्रा को कम करने में मदद करता है, लेकिन इसका मतलब यह नहीं है कि मॉडल को केवल 42 बिलियन मापदंडों के लिए आवश्यक मेमोरी का उपयोग करके चलाया जा सकता है, क्योंकि पूर्ण मॉडल के वजन को अभी भी संग्रहीत या अन्यथा प्रबंधित करने की आवश्यकता है।
संदर्भ विंडो म्यूज़ स्पार्क ओपन का एक और महत्वपूर्ण संकेतक है। यह मॉडल 1 मिलियन टोकन संदर्भों का समर्थन करता है और सैद्धांतिक रूप से एक कार्य में बहुत लंबे टेक्स्ट, कोड बेस या कई दस्तावेज़ों को संसाधित कर सकता है। सॉफ़्टवेयर इंजीनियरिंग कार्यों के लिए, इसका मतलब है कि मॉडल के पास बड़ी मात्रा में स्रोत कोड और संबंधित सामग्रियों को एक साथ संदर्भित करने का अवसर है, जिससे अपर्याप्त संदर्भ के कारण महत्वपूर्ण जानकारी गायब होने का जोखिम कम हो जाता है। हालाँकि, वास्तविक उपलब्ध संदर्भ लंबाई, प्रसंस्करण गति और मेमोरी फ़ुटप्रिंट अभी भी विशिष्ट चल रहे कॉन्फ़िगरेशन और अनुमान ढांचे पर निर्भर करते हैं।
मेटा ने कहा कि म्यूज़ स्पार्क ओपन को मैक स्टूडियो के लिए अनुकूलित किया गया है और यह ऐप्पल चिप्स के एकीकृत मेमोरी आर्किटेक्चर का उपयोग करके चल सकता है। पारंपरिक असतत ग्राफिक्स सिस्टम को आमतौर पर वीडियो मेमोरी में मॉडल वेट रखने की आवश्यकता होती है, जबकि ऐप्पल की एकीकृत मेमोरी आर्किटेक्चर सीपीयू और जीपीयू को समान मेमोरी पूल साझा करने की अनुमति देती है। मैक स्टूडियो पर जो बड़ी क्षमता वाली एकीकृत मेमोरी का समर्थन करता है, GPU 512GB तक एकीकृत मेमोरी तक पहुंच सकता है, जो बड़े ओपन-वेट मॉडल को चलाने के लिए एक हार्डवेयर आधार प्रदान करता है।
मेटा के अनुसार, दो मैक स्टूडियो संबंधित सॉफ्टवेयर फ्रेमवर्क के माध्यम से मॉडल को सहयोगात्मक रूप से चला सकते हैं, ताकि सिस्टम में लगभग 1TB एकीकृत मेमोरी हो। प्रत्येक डिवाइस पर सुसज्जित M5 अल्ट्रा चिप की मेमोरी बैंडविड्थ 1.2TB/s तक है। मेटा का मानना है कि यह कॉन्फ़िगरेशन प्रत्येक टोकन अनुमान के लिए आवश्यक कुछ मापदंडों को पढ़ने के लिए विरल सक्रियण तंत्र का उपयोग करते हुए स्थानीय रूप से म्यूज़ स्पार्क ओपन चला सकता है।
इस समाधान की कुंजी केवल दो कंप्यूटरों को कनेक्ट करना नहीं है, बल्कि एक एकीकृत मेमोरी आर्किटेक्चर, मॉडल शार्डिंग और अनुमान ढांचे के माध्यम से एक साथ काम करना है, ताकि जिन मॉडलों को मूल रूप से बड़े पैमाने पर कंप्यूटिंग बुनियादी ढांचे की आवश्यकता होती है उन्हें डेस्कटॉप डिवाइस पर चलाया जा सके। Apple का MLX मशीन लर्निंग फ्रेमवर्क Apple सिलिकॉन पर मॉडल निष्पादन को शक्ति प्रदान करता है, और मेटा को म्यूज़ स्पार्क ओपन के अनुसार ट्यून किया गया है।
हालाँकि, मॉडल के लोड होने और चलने में सक्षम होने और मॉडल के तेज़ गति से चलने में सक्षम होने की दो अवधारणाओं के बीच अंतर करना आवश्यक है। पर्याप्त मेमोरी होने से बहुत बड़े मॉडलों की तैनाती में केवल एक बड़ी बाधा हल हो जाती है। मॉडल शार्डिंग, क्रॉस-डिवाइस संचार, मेमोरी बैंडविड्थ, कंप्यूट यूनिट उपयोग और संदर्भ लंबाई सभी अंतिम अनुमान गति को प्रभावित करते हैं। इस बार मेटा द्वारा जारी की गई जानकारी में मॉडल की रननेबिलिटी और हार्डवेयर कॉन्फ़िगरेशन पर जोर दिया गया, लेकिन पूर्ण बेंचमार्क परीक्षण डेटा प्रदान नहीं किया गया जो वास्तविक प्रदर्शन को पूरी तरह से आंकने के लिए पर्याप्त है।
कीमत भी इस योजना की एक महत्वपूर्ण सीमा है। Apple ने अभी तक आधिकारिक तौर पर 512GB की एकीकृत मेमोरी से लैस मैक स्टूडियो लॉन्च नहीं किया है, जिसके अक्टूबर के अंत में उपलब्ध होने की उम्मीद है। 256GB एकीकृत मेमोरी वाले मौजूदा हाई-एंड मैक स्टूडियो मॉडल की कीमत पहले से ही $10,000 से अधिक है, इसलिए दो 512GB संस्करणों वाले सिस्टम में एक महंगा निवेश होने की उम्मीद है। सामान्य व्यक्तिगत उपयोगकर्ताओं के लिए, यह स्पष्ट रूप से कम लागत वाला स्थानीय एआई समाधान नहीं है, लेकिन विकास टीमों और अनुसंधान संस्थानों के लिए जिन्हें बड़े मॉडल चलाने और मूल्य डेटा नियंत्रण की आवश्यकता होती है, यह पारंपरिक सर्वर का विकल्प प्रदान करता है।
मेटा ने कहा कि म्यूज़ स्पार्क ओपन न केवल मैक स्टूडियो पर चल सकता है, बल्कि बेसटेन, फायरवर्क्स एआई, ग्रोक, मोडल, नेबियस, ओपनराउटर और टुगेदर एआई सहित कई क्लाउड एआई प्लेटफार्मों के माध्यम से भी कॉल किया जा सकता है। जो उपयोगकर्ता स्वयं मॉडल वेट डाउनलोड करना चाहते हैं, उनके लिए प्रासंगिक फ़ाइलें अमेज़ॅन सेजमेकर एआई, Google क्लाउड मॉडल गार्डन, हगिंग फेस और माइक्रोसॉफ्ट फाउंड्री मॉडल के माध्यम से प्राप्त की जा सकती हैं।
यह मॉडल एक ऐसे लाइसेंस का उपयोग करता है जो बिना किसी प्रतिबंध वाले सामान्य ओपन सोर्स लाइसेंस के बजाय सीमित व्यावसायिक उपयोग की अनुमति देता है। इसलिए, वाणिज्यिक उत्पादों में इसका उपयोग करने से पहले, डेवलपर्स और उद्यमों को अभी भी विशिष्ट लाइसेंस शर्तों को ध्यान से पढ़ने और पुष्टि करने की आवश्यकता है कि क्या उनकी तैनाती विधि, उपयोगकर्ता पैमाने और एप्लिकेशन परिदृश्य आवश्यकताओं को पूरा करते हैं।
यह सहयोग स्थानीय एआई कंप्यूटिंग की उभरती नई विकास दिशा को भी दर्शाता है। अतीत में, सैकड़ों अरब मापदंडों के साथ बड़े मॉडल चलाने के लिए आमतौर पर कई पेशेवर जीपीयू, बड़ी मात्रा में वीडियो मेमोरी और जटिल सर्वर क्लस्टर की आवश्यकता होती थी। ऐप्पल हाई-एंड डेस्कटॉप कंप्यूटर को बड़े पैमाने के मॉडल होस्ट करने में सक्षम बनाने के लिए एकीकृत मेमोरी आर्किटेक्चर और हाई-बैंडविड्थ चिप्स का उपयोग करने की कोशिश कर रहा है। हालांकि यह दृष्टिकोण लागत और अनुमान प्रदर्शन के मामले में अभी भी सीमित है, यह उन उपयोगकर्ताओं के लिए नई संभावनाएं खोलता है जो अपना सारा डेटा क्लाउड पर नहीं भेजना चाहते हैं।
एप्पल के लिए, म्यूज़ स्पार्क ओपन एआई विकास के क्षेत्र में मैक स्टूडियो की स्थिति को प्रदर्शित करने में भी मदद करता है। जैसे-जैसे अधिक से अधिक डेवलपर्स स्थानीय स्तर पर मॉडल चलाने की कोशिश करते हैं, एकीकृत मेमोरी क्षमता और बैंडविड्थ धीरे-धीरे उच्च-स्तरीय कंप्यूटरों की एआई क्षमताओं को मापने के लिए महत्वपूर्ण संकेतक बन गए हैं। Apple को उम्मीद है कि M5 Ultra और MLX इकोसिस्टम के माध्यम से, Mac न केवल वीडियो संपादन, 3D डिज़ाइन और संगीत उत्पादन के लिए उपयुक्त होगा, बल्कि एक स्थानीय AI विकास और तर्क मंच भी बन जाएगा।
मेटा के लिए, एक ओपन वेट मॉडल जारी करने और ऐप्पल हार्डवेयर पर चलने का समर्थन करने से म्यूज़ श्रृंखला के डेवलपर कवरेज का विस्तार करने में मदद मिलेगी। उपयोगकर्ता अपनी आवश्यकताओं के अनुसार क्लाउड एपीआई या स्थानीय परिनियोजन चुन सकते हैं, और मेटा मॉडल के आसपास एप्लिकेशन और टूल बनाने के लिए अधिक डेवलपर्स को भी आकर्षित कर सकता है।
कुल मिलाकर, म्यूज़ स्पार्क ओपन का महत्व न केवल 816 बिलियन मापदंडों की संख्या में निहित है, बल्कि इसमें भी है कि यह उच्च-स्तरीय डेस्कटॉप हार्डवेयर के साथ बड़े पैमाने पर खुले वजन वाले मॉडल के संयोजन की संभावना को प्रदर्शित करता है। 512GB एकीकृत मेमोरी से लैस दो मैक स्टूडियो मॉडल के लिए लगभग 1TB मेमोरी स्पेस प्रदान कर सकते हैं, जो इसे स्थानीय चलाने के लिए उपयुक्त बनाता है, लेकिन वास्तविक अनुभव अभी भी अनुमान गति, हार्डवेयर लागत और सॉफ़्टवेयर अनुकूलन पर निर्भर करता है।
यह सहयोग यह साबित करने के लिए पर्याप्त नहीं है कि साधारण पर्सनल कंप्यूटर आसानी से बहुत बड़े पैमाने के मॉडल चला सकते हैं, लेकिन यह दर्शाता है कि स्थानीय एआई हार्डवेयर उच्च मेमोरी क्षमता और मजबूत सहयोगी कंप्यूटिंग क्षमताओं की दिशा में विकसित हो रहा है। जैसे-जैसे मॉडल आर्किटेक्चर और अनुमान सॉफ्टवेयर को अनुकूलित किया जाना जारी है, कुछ एआई मॉडल जिन्हें अतीत में केवल बड़े डेटा केंद्रों में तैनात किया जा सकता था, भविष्य में धीरे-धीरे स्टूडियो, प्रयोगशालाओं और डेवलपर डेस्कटॉप वातावरण में प्रवेश कर सकते हैं।
टिप्पणियाँ