इस साल मेमोरी की कीमतें 3-5 गुना बढ़ गई हैं, जिसने पीसी और मोबाइल फोन का उपभोग करने की हर किसी की इच्छा को गंभीर रूप से प्रभावित किया है। मेमोरी की कीमतों में इस भारी वृद्धि का कारण एआई की मजबूत मांग है। हर कोई जानता है कि मेमोरी की क्षमता और बैंडविड्थ (जीपीयू पर वीडियो मेमोरी सहित) के लिए एआई की बहुत अधिक आवश्यकताएं हैं, लेकिन यह कितनी अधिक हो सकती है? कुछ दिन पहले Google द्वारा जारी आठवीं पीढ़ी का TPU इसका सबसे अच्छा उदाहरण है।
इस वर्ष का TPU v8 पहली बार प्रशिक्षण और तर्क के बीच अंतर करता है। V8T AI प्रशिक्षण पर केंद्रित है। हालाँकि Google का कहना है कि वह तर्क-वितर्क भी कर सकता है, लेकिन इसका उपयोग मुख्य रूप से प्रशिक्षण के लिए किया जाता है।प्रत्येक पॉड नोड 9,600 V8T चिप्स से सुसज्जित है, और FP4 प्रदर्शन 121EFlops तक पहुंच जाता है।, मेमोरी बैंडविड्थ 19.2TB/s है, और आंतरिक चिप बैंडविड्थ 400GB/s है, जो लगभग 2-4 गुना परिवर्तन है।
V8i का लक्ष्य मुख्य रूप से AI अनुमान भार है, और विशिष्टताओं को बहुत कम करना होगा। प्रत्येक नोड में केवल 1152 V8i चिप्स हैं, कंप्यूटिंग शक्ति 11.6EFlops तक कम हो गई है, और मेमोरी बैंडविड्थ 19.2TB/s पर अपरिवर्तित बनी हुई है।
गौर करने वाली बात यह है कि इस बार मेमोरी क्षमता में काफी बढ़ोतरी हुई है।V8i 331.8TB HBM मेमोरी तक भी पहुंचता है, और V8T में अतिरंजित 2PB HBM मेमोरी है। प्रत्येक V8T चिप 216GB HBM मेमोरी से सुसज्जित है।
इस बार Google की डिज़ाइन अवधारणा AI बाधाओं की मेमोरी दीवार को तोड़ने के लिए है। 2पीबी एचबीएम न केवल एक बहुत बड़ी कुल क्षमता है, बल्कि एक नोड के भीतर एकल वैश्विक पते के रूप में भी उपयोग किया जाता है। हालाँकि NVIDIA का GPU पहले NVLink जैसी तकनीकों के माध्यम से PB-स्तरीय HBM मेमोरी को स्टैक करने में सक्षम रहा है, कनेक्शन पारंपरिक डेटा सेंटर नेटवर्क को बायपास नहीं कर सकता है, जो प्रदर्शन और विलंबता बाधाओं का कारण बनेगा।
रोबस्टक्लाउड के मुख्य सलाहकार लैरी कार्वाल्हो ने कहा कि "मेमोरी वॉल" को तोड़ना एआई चिप्स के क्षेत्र में Google के लिए एक संभावित प्रमुख प्रतिस्पर्धी बदलाव का प्रतीक है।
लेकिन आम लोगों के लिए Google का 2PB HBM मेमोरी लॉन्च करना अच्छा संकेत नहीं है, क्योंकि इसका मतलब है कि AI की मेमोरी की मांग अभी भी बढ़ रही है।आपको पता होना चाहिए कि HBM मेमोरी आमतौर पर पारंपरिक DDR मेमोरी की तुलना में 2-4 गुना अधिक DRAM चिप उत्पादन क्षमता की खपत करती है।जितना अधिक HBM का उपयोग किया जाता है, उतनी ही अधिक DDR मेमोरी क्षमता व्याप्त होती है।
भले ही मांग बढ़ती है, सैमसंग, एसके हाइनिक्स, माइक्रोन और अन्य कंपनियां एचबीएम मांग सुनिश्चित करने को प्राथमिकता देंगी, लेकिन उन्होंने पहले ही स्पष्ट कर दिया है कि वे चिप उत्पादन क्षमता में उल्लेखनीय वृद्धि नहीं करेंगी। जाहिर है, मेमोरी चिप्स की कमी और अधिक गंभीर हो जाएगी, और कीमतों में तेजी से गिरावट की उम्मीद नहीं की जा सकती है।
