MLPerf का नवीनतम GPT बड़े मॉडल अनुमान परीक्षण जारी किया गया है! यह घरेलू कंप्यूटिंग पावर कंपनी NVIDIA H100 के 1.8 गुना प्रदर्शन के साथ फिर से दुनिया में पहले स्थान पर है।जैसे ही चैटजीपीटी जैसे एआईजीसी अनुप्रयोगों ने बड़े मॉडलों की एक लहर शुरू की, कंप्यूटिंग पावर परत, बुनियादी ढांचे के रूप में, लाभान्वित होने वाला पहला उद्योग बन गया।
हालाँकि, कंप्यूटिंग शक्ति की उच्च मांग और उच्च लागत जैसी समस्याएं बड़े मॉडलों को लागू करने वाले उद्यमों के लिए आम समस्या बन गई हैं, और एआई के विकास को प्रतिबंधित करने की अधिक संभावना है: बड़े मॉडलों के पैरामीटर दिन-ब-दिन बढ़ रहे हैं, और कंप्यूटिंग बिजली आपूर्ति की बाधा आसन्न है, जिससे दोनों के बीच एक बड़ा विरोधाभास पैदा हो रहा है।
बेहतर बड़े मॉडल कंप्यूटिंग पावर समाधानों का पता कैसे लगाया जाए, यह उद्योग में एक आम फोकस है।
हाल ही में, दुनिया के आधिकारिक मूल्यांकन MLPerf ने नवीनतम अनुमान मूल्यांकन परिणामों की घोषणा की। यह पहली बार है कि MLPerf ने GPT बड़े मॉडल अनुमान परीक्षण की शुरुआत की है। एनवीडिया, इंटेल, गूगल, क्वालकॉम और अन्य कंपनियों द्वारा प्रस्तुत 13,500 से अधिक प्रदर्शन परिणामों के साथ भागीदारी दर एक नए रिकॉर्ड पर पहुंच गई है।
MLPerfInference3.1 में, MoffetAI S30 कंप्यूटिंग कार्ड बड़े मॉडल GPT-J (6 बिलियन पैरामीटर) पर सिंगल कार्ड, 4 कार्ड और 8 कार्ड की कंप्यूटिंग शक्ति में पहले स्थान पर है।
यह MLPerf पर मो शिन का लगातार तीसरा ख़िताब बचाव है।
इससे पहले, इंक कोर ने लगातार दो वर्षों तक MLPerfInference2.0 और 2.1 में पहला स्थान जीता था।
इंक कोर S30 कंप्यूटिंग कार्ड
इंक कोर की उपलब्धियों ने बड़े पैमाने पर मॉडल कंप्यूटिंग पावर समाधानों के लिए व्यवहार्य नवाचार दिशाएं ला दी हैं।
तथ्यों ने साबित कर दिया है कि हार्डवेयर और सॉफ्टवेयर का सहयोगात्मक नवाचार जो एआई मॉडल को कंप्यूटिंग प्लेटफॉर्म के साथ जोड़ता है, अधिक कंप्यूटिंग शक्ति क्षमता को उजागर कर सकता है।यह एक बार फिर साबित करता है कि विरल कंप्यूटिंग द्वारा प्रस्तुत नवीन प्रौद्योगिकियां बड़े मॉडलों के युग में कंप्यूटिंग शक्ति के विकास की कुंजी होंगी।
इंक कोर एमएलपर्फ ओपन डिवीजन में भाग लेता है, जिसका उद्देश्य आयोजक एमएलकॉमन्स के अनुसार नवाचार को प्रोत्साहित करना है। इसलिए, प्रतियोगी सॉफ्टवेयर और हार्डवेयर सहयोग के माध्यम से कंप्यूटिंग शक्ति में सुधार के तरीके तलाश सकते हैं।
MLPerf में GPT-J बड़े मॉडल पर, 4nm प्रक्रिया के H100 शुद्ध हार्डवेयर त्वरण समाधान की तुलना में, 12nm प्रक्रिया का इंक कोर S30 कंप्यूटिंग कार्ड पारित हुआ"मूल डबल विरल एल्गोरिथ्म + हार्डवेयर सहयोग" विधि,1.8 गुना तक का फायदा हासिल किया.
इस मूल्यांकन में GPT-J मॉडल एक जेनरेटिव AI मॉडल है। 8-कार्ड, 4-कार्ड और सिंगल-कार्ड मोड में इंक कोर एस30 कंप्यूटिंग कार्ड का प्रदर्शन क्रमशः 170.59, 91.57 और 23.28 (सैंपल/एस) है, जो एनवीआईडीआईए एच100 के प्रदर्शन से 1.6 गुना, 1.8 गुना और 1.8 गुना तक पहुंचता है, जो एआईजीसी कार्यों में इंक कोर उत्पादों की क्षमताओं को प्रदर्शित करता है।
तीन बार जीतते हुए, बड़े मॉडल कंप्यूटिंग शक्ति "परीक्षण में हाथ" डालने वाले पहले व्यक्ति थे, और सॉफ्टवेयर और हार्डवेयर के बीच सहयोग में नवाचार जारी रहा। इंक कोर की उत्पाद शक्ति का MLPerf द्वारा कई बार कठोरता से परीक्षण किया गया है, और इसने बड़े मॉडल कंप्यूटिंग शक्ति के विकास के लिए एक नया रास्ता भी खोजा है।
01
विरल कंप्यूटिंग - बड़े मॉडलों के "संभावित स्टॉक" को बाजार में पहचान मिलती है
इंक कोर के निरंतर उत्कृष्ट परिणाम मुख्य रूप से स्पार्सिफिकेशन एल्गोरिदम पर आधारित सॉफ्टवेयर और हार्डवेयर के सहयोगात्मक डिजाइन के कारण हैं।
बड़े मॉडलों के युग में, विरल कंप्यूटिंग का महत्व स्वयं स्पष्ट है: एआई मॉडल का आकार सीधे इसकी विरल क्षमता के समानुपाती होता है।
दूसरे शब्दों में, जब मॉडल बड़ा होता है, तो एल्गोरिदम में विरलता की अधिक संभावना होती है, और विरल गणनाओं के त्वरण की डिग्री भी अधिक होती है। सामान्य बड़े भाषा मॉडल के लिए, विरल कंप्यूटिंग दर्जनों गुना त्वरण ला सकती है।
इंककोर का मूल डुअल स्पार्स एल्गोरिदम, सॉफ्टवेयर और हार्डवेयर सहयोगात्मक डिजाइन के साथ मिलकर, इंककोर एंटौम® चिप को दुनिया की पहली उच्च-विरल आवर्धन एआई चिप बनाता है, जो 32 गुना तक विरलता का समर्थन करता है - यह इस एमएलपर्फ में इंककोर के रिकॉर्ड-ब्रेकिंग रिकॉर्ड की कुंजी है।
मॉडल जितना बड़ा होगा, विरल कंप्यूटिंग का लाभ उतना ही अधिक स्पष्ट होगा - विशेष रूप से वर्तमान स्थिति में जहां जीपीटी जैसे बड़े मॉडल के पैरामीटर अक्सर दसियों अरबों या सैकड़ों अरबों तक पहुंचते हैं, जो स्याही कोर की खाई को अधिक स्थिर बनाता है।
इंक कोर की उत्पाद शक्ति और विरल कंप्यूटिंग की सामान्य प्रवृत्ति को भी उद्योग द्वारा मान्यता दी गई है:स्याही कोर व्यावसायीकरण प्रक्रिया ने क्रमिक रूप से महत्वपूर्ण सफलताएं हासिल की हैं, जिससे उद्यमों को एआई अनुप्रयोगों में तेजी लाने में मदद मिली है।
अभी हाल ही में, इंक कोर आधिकारिक तौर पर ByteMLPerf का समर्थन करने वाले आपूर्तिकर्ताओं में से एक बन गया है।
स्रोत: ByteMLPerf वेबसाइट
प्रोजेक्ट का पता: https://github.com/bytedance/ByteMLPerf/blob/main/README.md
वर्तमान में, इंक कोर एआई कंप्यूटिंग प्लेटफॉर्म विभिन्न पैरामीटर स्तरों के बड़े मॉडल का समर्थन कर सकता है, जिसमें ब्लूम, ओपीटी, जीपीटी-जे, एलएलएएमए, स्टेबलडिफ्यूजन आदि शामिल हैं।
साथ ही, इसमें उच्च थ्रूपुट, कम विलंबता और कम बिजली की खपत की विशेषताएं हैं, जो कंप्यूटिंग शक्ति की कठिनाई को कम करती है और वास्तव में उद्यमों के लिए "उपयोग में आसान" और "किफायती" बड़े-मॉडल कंप्यूटिंग पावर समाधान लाती है।
02
कंप्यूटिंग शक्ति में मूलभूत परिवर्तन लाते हुए, विरल कंप्यूटिंग बड़े मॉडलों के विकास में मदद करती है
इंक कोर का विरल कंप्यूटिंग समाधान न केवल वर्तमान कंप्यूटिंग शक्ति की समस्या को कम कर सकता है, बल्कि एआई के निरंतर विकास के लिए नई जगह भी खोल सकता है।
विरल कंप्यूटिंग एआई मॉडल की गणना मात्रा को कम कर देती है, जिसका अर्थ है कि बड़े मॉडल अत्यधिक गणना मात्रा उत्पन्न किए बिना परिमाण के कई आदेशों तक मापदंडों की संख्या बढ़ा सकते हैं। बड़े मॉडलों के पैरामीटर विकास और कंप्यूटिंग पावर बाधा के बीच विरोधाभासइसका बुनियादी समाधान निकलने की उम्मीद है.
साथ ही गणना राशि में भी कमी आने सेउच्च कंप्यूटिंग शक्ति आवश्यकताओं, उच्च बिजली की खपत और उच्च लागत जैसे बड़े मॉडलों की समस्या बिंदुओं को भी हल किया गया है, जिससे "जीत-जीत" प्रभाव प्राप्त हुआ है।
इंक कोर एंटौम चिप: दुनिया की पहली उच्च-विरल आवर्धन एआई चिप, 32 गुना तक विरलता का समर्थन करती है
लगातार तीन MLPerfs के उत्कृष्ट परिणाम न केवल स्याही कोर उत्पादों की ताकत साबित करते हैं, बल्कि उद्योग में नए खुलासे भी करते हैं:विरल कंप्यूटिंग जैसी प्रौद्योगिकियों की मदद से, बड़े मॉडलों के विकास और अनुप्रयोग से विकास के लिए एक व्यापक स्थान की शुरुआत होने की उम्मीद है, जिससे जीवन के सभी क्षेत्रों में एआईजीसी और अन्य अनुप्रयोगों के प्रसार में तेजी आएगी।
03
एमएलपर्फ के बारे में
MLPerf की स्थापना ट्यूरिंग पुरस्कार विजेता डेविड पैटरसन द्वारा Google, स्टैनफोर्ड और हार्वर्ड विश्वविद्यालय के शीर्ष शैक्षणिक संस्थानों के साथ मिलकर की गई थी। यह तेजी से बढ़ती एआई कंप्यूटिंग आवश्यकताओं और प्रदर्शन की समय पर ट्रैकिंग और मूल्यांकन करने के लिए सबसे आधिकारिक और प्रभावशाली अंतरराष्ट्रीय एआई प्रदर्शन बेंचमार्क परीक्षण है।