जैसे-जैसे एआई मॉडल का विस्तार जारी है, एचबीएम वीडियो मेमोरी क्षमता की भविष्य की मांगों को पूरा करने में असमर्थ हो सकता है, जिससे उद्योग जीपीयू-संचालित स्टोरेज आर्किटेक्चर को संभावित अगली प्रौद्योगिकी सीमा के रूप में देखने के लिए प्रेरित हो सकता है। पिछले साल, खबर आई थी कि एनवीडिया एआई एसएसडी के विकास को बढ़ावा देने और जीपीयू मेमोरी विस्तारक के रूप में एचबीएम को बदलने के लिए दर्जी एसएसडी भागों का उपयोग करने के लिए क्रमशः एसके हाइनिक्स और कियॉक्सिया के साथ काम कर रहा था। इसके अलावा, इस साल एसके हाइनिक्स ने भी इसी समस्या को हल करने के लिए एआई अनुमान युग के लिए अगली पीढ़ी के मेमोरी समाधान एचबीएफ (हाई बैंडविड्थ फ्लैश) लाने के लिए सैनडिस्क के साथ सहयोग किया।
ट्रेंडफोर्स की रिपोर्ट के अनुसार, एनवीडिया जीपीयू डायरेक्ट एक्सेस स्टोरेज आर्किटेक्चर के विकास को आगे बढ़ा रहा है और इसे वेरा रुबिन प्लेटफॉर्म से पेश करने और जीआईडीएस (जीपीयू-इनिशिएटेड डायरेक्ट स्टोरेज एक्सेस) फ़ंक्शन को सक्रिय करने की योजना बना रहा है। बाहरी लोगों का मानना है कि इस बदलाव से एचबीएफ के विकास में तेजी आ सकती है।
जीआईडीएस मौजूदा जीडीएस (जीपीयू डायरेक्ट स्टोरेज) फ़ंक्शन से अलग है। दोनों के बीच अंतर है: जीडीएस में, सीपीयू डेटा को जीपीयू में ट्रांसमिट करने से पहले स्टोरेज डिवाइस पर डेटा रिक्वेस्ट भेजता है। जीआईडीएस में, जीपीयू सीधे स्टोरेज डिवाइस तक पहुंचता है, सीपीयू और डीआरएएम को बीच में छोड़ देता है।
जीआईडीएस और जीडीएस दोनों का लक्ष्य पारंपरिक कंप्यूटिंग आर्किटेक्चर में डेटा ट्रांसमिशन बाधाओं को दूर करना है, और अफवाह है कि माइक्रोसॉफ्ट और एएमडी समान दृष्टिकोण तलाश रहे हैं। मुख्य समस्या यह है कि पारंपरिक डेटा ट्रांसमिशन विधि अक्षम है। थ्रेड प्रोसेसिंग में सीपीयू की एक सीमित संरचना होती है, जबकि जीपीयू हजारों समानांतर थ्रेड उत्पन्न कर सकता है। वर्तमान में, GPU-HBM डेटा ट्रांसमिशन कुल सिस्टम बिजली खपत का लगभग आधा हिस्सा है, जो HBF आर्किटेक्चर का समर्थन करता है और भविष्य में AI बाधाओं से निपटने के लिए अल्ट्रा-हाई-स्पीड NAND फ्लैश मेमोरी को GPU के करीब लाता है।
जीआईडीएस के उद्भव से क्षमता के मामले में एचबीएम पर दबाव कम होने के साथ-साथ NAND फ्लैश को AI स्टोरेज सिस्टम में अधिक महत्वपूर्ण भूमिका निभाने की अनुमति मिल सकती है। इस बदलाव के लिए GPU प्रसंस्करण गति को बनाए रखने के लिए उच्च-प्रदर्शन वाली NAND फ़्लैश मेमोरी की आवश्यकता होती है। NAND फ्लैश मेमोरी का लाभ इसकी बिट घनत्व है, जो DRAM से लगभग 30 गुना अधिक है, जिससे समान स्थान में अधिक भंडारण क्षमता प्राप्त होती है।
हालाँकि, NAND फ्लैश मेमोरी में सीमित स्थायित्व होता है, जबकि DRAM में लगभग असीमित लिखने की क्षमता होती है। इसलिए, एचबीएफ को एआई मॉडल मापदंडों को संग्रहीत करने के लिए अधिक उपयुक्त माना जाता है, क्योंकि डेटा का यह हिस्सा अनुमान प्रक्रिया के दौरान मूल रूप से अपरिवर्तित रहता है और इसका उपयोग केवल-पढ़ने के लिए वर्कलोड के रूप में किया जाता है।