सार:
आपूर्ति श्रृंखला विश्लेषक मिंग-ची कुओ के अनुसार, NVIDIA का पहले बंद कर दिया गया "रुबिन सीपीएक्स" एआई एक्सेलेरेटर प्रोजेक्ट अब फिर से शुरू कर दिया गया है और मेमोरी आर्किटेक्चर को फिर से डिजाइन किया गया है। इस उत्पाद को मूल रूप से 128GB GDDR7 वीडियो मेमोरी से लैस करने की योजना थी, लेकिन अब यह 168GB HBM4 हाई-बैंडविड्थ मेमोरी से लैस है।
एनवीडिया ने पिछले साल के अंत में घोषणा की थी कि उसने रुबिन जीपीयू परिवार पर आधारित एक समर्पित त्वरक विकसित करने की योजना बनाई है, मुख्य रूप से बड़े पैमाने पर एजेंट कृत्रिम बुद्धिमत्ता वर्कलोड के लिए। परियोजना की घोषणा के बाद, यह बताया गया कि इसे अस्थायी रूप से स्थगित कर दिया गया था, लेकिन ऐसा लगता है कि एनवीडिया ने फिर से योजना पूरी कर ली है। रुबिन सीपीएक्स को स्वतंत्र रैक में तैनात किया जाएगा, प्रत्येक रैक को 64 से 256 स्वतंत्र सीपीएक्स जीपीयू के साथ कॉन्फ़िगर किया जा सकता है।
डिकोडिंग कार्यों के लिए जिम्मेदार पारंपरिक रूबिन जीपीयू से अलग, सीपीएक्स जीपीयू मुख्य रूप से बड़े भाषा मॉडल की अनुमान प्रक्रिया में "प्री-फिलिंग" चरण के लिए उपयोग किया जाता है और इनपुट संदर्भ और केवी कैश को संसाधित करने के लिए जिम्मेदार होता है। एनवीआईडीआईए प्री-फिलिंग और डिकोडिंग कार्यों को अलग करने की कोशिश कर रहा है, जिसमें सीपीएक्स जीपीयू प्री-फिलिंग कार्य का ख्याल रखता है, और फिर नियमित रूबिन जीपीयू डिकोडिंग का ख्याल रखता है, जिससे समग्र अनुमान दक्षता में सुधार होता है।
8 सीपीएक्स जीपीयू से सुसज्जित एक रैक ट्रे 1.34टीबी तक लंबे संदर्भ प्री-पॉपुलेशन डेटा और संबंधित केवी कैश को संभाल सकती है, जो सभी एचबीएम4 मेमोरी पर निर्भर है। HBM4 उच्च मेमोरी बैंडविड्थ प्रदान कर सकता है, जिससे लंबे संदर्भ डेटा के प्रसंस्करण को तेज करने में मदद मिलती है। चूँकि पिछले डिज़ाइन में एकीकृत HBM4 की आवश्यकता नहीं थी, इसलिए Nvidia को चिप पैकेजिंग को भी फिर से डिज़ाइन करना होगा, और यह TSMC की CoWoS-S या CoWoS-L उन्नत पैकेजिंग तकनीक का उपयोग करने की उम्मीद है।
कंप्यूटिंग प्रदर्शन के संदर्भ में, रुबिन सीपीएक्स एक मोनोलिथिक चिप डिजाइन को अपनाता है और एनवीएफपी4 कंप्यूटिंग प्रदर्शन के 30 गीगाफ्लॉप या 30 पीएफएलओपीएस प्रदान कर सकता है। चिप 4 एनवीईएनसी वीडियो एन्कोडिंग इंजन और 4 एनवीडीईसी वीडियो डिकोडिंग इंजन को भी एकीकृत करता है, जिससे यह बाहरी प्रोसेसर पर भरोसा किए बिना अधिक कुशल मल्टीमीडिया-संबंधित वर्कलोड को पूरा करने की अनुमति देता है।
जैसे-जैसे बड़े भाषा मॉडल का पैरामीटर स्केल खरबों के स्तर तक पहुंचता है, प्री-फिलिंग कार्यों और डिकोडिंग कार्यों को अलग-अलग रैक पर सौंपने से टोकन उत्पादन और वितरण की गति में उल्लेखनीय वृद्धि होने की उम्मीद है। एनवीडिया डिकोडिंग रैक में नियमित रूबिन जीपीयू के लिए सीपीएक्स जीपीयू का 1:1 अनुपात बनाए रखने की भी सिफारिश करता है।
टिप्पणियाँ