सार:
DRAM की निरंतर तंग आपूर्ति से प्रभावित होकर, AI उद्योग "कंप्यूटिंग पावर सीमित" से "मेमोरी सीमित" की ओर स्थानांतरित हो रहा है। रिपोर्टों के अनुसार, Google ने निष्क्रिय सर्वरों को नष्ट करना, DDR4 मेमोरी मॉड्यूल को रीसायकल करना शुरू कर दिया है जिनका अभी भी उपयोग किया जा सकता है, और उन्हें कुछ नव निर्मित AI सर्वरों में पुन: उपयोग करना शुरू कर दिया है, धीरे-धीरे एक आंतरिक मेमोरी रीसाइक्लिंग आपूर्ति श्रृंखला की स्थापना की है।
Google के आपूर्ति श्रृंखला बुनियादी ढांचे के वरिष्ठ निदेशक, निखिल चेरियन ने हाल ही में एक शिखर सम्मेलन में खुलासा किया कि उच्च-प्रदर्शन मेमोरी वर्तमान में AI सर्वर की सामग्री लागत के बिल का लगभग 75% है। मेमोरी बाधा को दूर करने के लिए, Google सॉफ़्टवेयर और हार्डवेयर-स्तर के समाधानों को बढ़ावा दे रहा है, जिसमें निष्क्रिय सर्वरों को नष्ट करना और उपयोग योग्य घटकों को पुनर्चक्रित करना शामिल है।
Google ने पिछली पीढ़ी के मेमोरी समाधान जैसे DDR4 को नई पीढ़ी के AI सर्वर से कनेक्ट करने में सक्षम बनाने के लिए विशेष रूप से हार्डवेयर एडाप्टर भी डिज़ाइन किए हैं। चेरियन ने यह भी स्वीकार किया कि Google विशेष रूप से DDR4 मेमोरी मॉड्यूल को हटाने के लिए कुछ सेवानिवृत्त सर्वरों को वापस लाएगा।
साथ ही, Google कंप्यूटिंग पावर की प्रति यूनिट आवश्यक मेमोरी क्षमता को कम करने के लिए अंतर्निहित फ़ंक्शन लाइब्रेरी, मॉडल आर्किटेक्चर और केवी कैश संपीड़न तकनीक को अनुकूलित करना भी जारी रख रहा है।
Google ने इस वर्ष दो TPU ASIC संस्करण लॉन्च किए, जिनमें से TPU8t का उपयोग मुख्य रूप से AI मॉडल प्रशिक्षण के लिए किया जाता है, जबकि TPU8i को अनुमान कार्यों के लिए अनुकूलित किया गया है। प्रदर्शन संबंधी बाधाओं को दूर करने के लिए, TPU8i एक अत्यधिक अनुकूलित मल्टी-लेयर मेमोरी डिज़ाइन को अपनाता है।
प्रत्येक TPU 8i चिप 288GB HBM3e मेमोरी से लैस है, जो 8.6TB प्रति सेकंड की अल्ट्रा-हाई मेमोरी बैंडविड्थ प्रदान कर सकती है। बाहरी सिस्टम मेमोरी तक बार-बार पहुंच से बचने के लिए सक्रिय कुंजी-मूल्य कैश को संग्रहीत करने के लिए चिप 384 एमबी ऑन-चिप एसआरएएम को भी एकीकृत करता है।
सर्वर होस्ट भाग में, TPU 8i सर्वर पारंपरिक x86 मुख्य प्रोसेसर को पूरी तरह से रद्द कर देता है और आर्म आर्किटेक्चर के आधार पर Google के स्वयं के अनुकूलित Axion प्रोसेसर का उपयोग करता है। एक्सियन प्रोसेसर हाई-स्पीड DDR5 मेमोरी आर्किटेक्चर पर निर्भर करता है और मुख्य रूप से डेटा प्रीप्रोसेसिंग जैसे होस्ट-स्तरीय कार्यों के लिए जिम्मेदार है।
हालाँकि, चेरियन के नवीनतम बयान के आधार पर, ऐसा लगता है कि Google ने DDR5 मॉड्यूल को बदलने के लिए कुछ नए AI सर्वरों में पुरानी DDR4 मेमोरी का उपयोग किया है, जिन्हें मूल रूप से सुसज्जित किया जाना था। विशिष्ट सर्वर रेंज और शामिल DDR4 मॉड्यूल की संख्या का अभी तक खुलासा नहीं किया गया है।
टिप्पणियाँ