वैश्विक एआई कंप्यूटिंग शक्ति प्रतियोगिता एक प्रमुख तकनीकी मोड़ पर पहुंच गई है! हाल ही में, Google ने नई AI मेमोरी कम्प्रेशन तकनीक "टर्बोक्वांट" की घोषणा की, जिसने उद्योग में बहुत ध्यान आकर्षित किया है। यह तकनीक मॉडल सटीकता का त्याग किए बिना जेनरेटिव एआई अनुमान चरण में सबसे अधिक संसाधन-गहन "कुंजी मूल्य कैश" (केवी कैश) की स्थान आवश्यकताओं को मूल के 1/6 तक कम करने और गणना की गति को 8 गुना बढ़ाने में सक्षम होने का दावा करती है।
इस सफल तकनीक ने पूरे बाजार में यह चिंता भी पैदा कर दी है कि मेमोरी की मांग में भारी गिरावट आएगी। स्टोरेज से संबंधित अमेरिकी स्टॉक जैसे माइक्रोन, सैंडिस्क और वेस्टर्न डिजिटल में गिरावट आई है।
टर्बोक्वांट वास्तव में क्या है?
एलएलएम (बड़े भाषा मॉडल) अनुमान प्रक्रिया के दौरान, लंबे पाठों को संसाधित करने के लिए, सिस्टम को पिछली बातचीत की जानकारी को केवी कैश में संग्रहीत करना होगा, जो एआई "पोर्टेबल नोटबुक" की तरह है। जैसे-जैसे बातचीत की लंबाई बढ़ती है, इस नोटबुक में संग्रहीत की जाने वाली जानकारी तेजी से एआई जीपीयू की हाई-बैंडविड्थ मेमोरी (एचबीएम) पर हावी हो जाएगी, जो एआई ऑपरेशन में सबसे बड़ी बाधा बन जाएगी।
Google की TurboQuant तकनीक का मुख्य लाभ पारंपरिक मेमोरी कम्प्रेशन तकनीक द्वारा उत्पन्न "मेमोरी शोर" (ओवरहेड) को हल करना है। प्रौद्योगिकी में दो प्रमुख भाग होते हैं:
पोलरक्वांट (ध्रुवीय समन्वय परिमाणीकरण): पारंपरिक वैक्टर को XYZ निर्देशांक के साथ चिह्नित किया जाता है, और ऑपरेशन बोझिल है। इसके बजाय Google जटिल अभिविन्यासों को "त्रिज्या" और "कोण" में सरल बनाने के लिए "ध्रुवीय निर्देशांक" तर्क का उपयोग करता है। यह उस जानकारी को सरल बनाने जैसा है जिसे मूल रूप से "3 किलोमीटर पूर्व और 4 किलोमीटर उत्तर की ओर चलें" से "37 डिग्री के कोण पर 5 किलोमीटर चलें" के रूप में लेबल किया जाना था। ज्यामितीय संरचनाओं का यह परिवर्तन डेटा प्रोसेसिंग भार को बहुत कम कर देता है।
क्यूजेएल (क्वांटाइज्ड जॉनसन-लिंडेनस्ट्रॉस): यह एक अत्यंत सुव्यवस्थित 1-बिट गणितीय सुधार तंत्र है। संपीड़न प्रक्रिया में अवशिष्ट त्रुटि को सटीक रूप से ठीक करने के लिए केवल अतिरिक्त 1 बिट का उपयोग किया जाता है, ताकि भले ही मॉडल केवल 3 बिट तक संपीड़ित हो, फिर भी यह लॉन्गबेंच जैसे कई बेंचमार्क परीक्षणों में "शून्य सटीक हानि" प्राप्त कर सकता है।
△ लामा-3.1-8बी-इंस्ट्रक्ट मॉडल पर, टर्बोक्वांट ने लॉन्गबेंच बेंचमार्क परीक्षण में मजबूत केवी कैश संपीड़न प्रदर्शन का प्रदर्शन किया, विभिन्न संपीड़न विधियों से बेहतर प्रदर्शन किया (बिट चौड़ाई कोष्ठक में इंगित की गई है)।
Google ने प्रौद्योगिकियों के इस सेट को पूरी तरह से खुला स्रोत बनाना चुना जो मुख्य प्रतिस्पर्धात्मकता बन गया है। यह न केवल जेमिनी जैसे बड़े मॉडलों की पुनर्प्राप्ति दक्षता को अनुकूलित करता है, बल्कि अन्य बड़े मॉडलों के लिए मेमोरी पर निर्भरता को भी कम करता है और एंड-साइड एआई के विकास में तेजी लाने का मार्ग प्रशस्त करता है।
वास्तविक माप के अनुसार, NVIDIA H100 त्वरक पर, टर्बोक्वांट का प्रदर्शन असम्पीडित समाधान की तुलना में 8 गुना तक बेहतर होता है, और मॉडल को पुनः प्रशिक्षण के बिना सीधे माउंट किया जा सकता है। एआई तैनाती में लागत कम करने और दक्षता बढ़ाने के लिए इसे "जादुई हथियार" कहा जा सकता है।
△ NVIDIA H100 त्वरक पर, TurboQuant कुंजी-मूल्य कैश में ध्यान तर्क मूल्यों की गणना करने में महत्वपूर्ण प्रदर्शन सुधार दिखाता है, विभिन्न बिटविड्थ स्तरों पर अत्यधिक अनुकूलित JAX बेसलाइन से बेहतर प्रदर्शन करता है।
△TurboQuant विभिन्न अत्याधुनिक परिमाणीकरण बेसलाइनों के सापेक्ष GloVe डेटासेट (d=200) पर सर्वोत्तम 1@k रिकॉल प्राप्त करते हुए, मजबूत पुनर्प्राप्ति प्रदर्शन प्रदर्शित करता है।
क्लाउडफ्लेयर के सीईओ मैथ्यू प्रिंस और अन्य ने टर्बोक्वांट को Google का "डीपसीक मोमेंट" कहा है और उनका मानना है कि यह डीपसीक की तरह, अत्यधिक उच्च दक्षता लाभ के माध्यम से एआई की परिचालन लागत को काफी कम करने की उम्मीद है, जबकि परिणामों के मामले में प्रतिस्पर्धी बना हुआ है।
क्या मेमोरी आवश्यकताएं कम हो जाएंगी, या अधिक आवश्यकताएं पैदा हो जाएंगी?
टर्बोक्वांट तकनीक के संबंध में, जिसने पूरे बाजार में मेमोरी की मांग में भारी गिरावट के बारे में चिंता पैदा कर दी है, उद्योग विशेषज्ञों और अनुसंधान संस्थानों ने भी पूरी तरह से अलग विचार दिए हैं:
वेल्स फ़ार्गो के विश्लेषक एंड्रयू रोचा ने कहा:"जब संदर्भ विंडो (संदर्भ विंडो) बड़ी और बड़ी होती जा रही है, केवी कैश की विस्फोटक वृद्धि मूल रूप से मेमोरी मांग को बढ़ाने की गारंटी थी। लेकिन टर्बोक्वांट सीधे इस लागत वक्र पर हमला कर रहा है। एक बार व्यापक रूप से अपनाए जाने के बाद, डेटा केंद्रों में मेमोरी क्षमता के लिए विनिर्देश आवश्यकताओं को बड़े सवालों के साथ चिह्नित किया जाएगा।"
हालाँकि, प्रसिद्ध निवेश बैंक मॉर्गन स्टेनली और अनुसंधान संगठन लिंक्स इक्विटी स्ट्रैटेजीज़ ने पूरी तरह से अलग विचार दिए।
मॉर्गन स्टैनली का मानना है कि बाजार ने आर्थिक कानून को नजरअंदाज कर दिया है कि "दक्षता में सुधार से समग्र विकास होता है।"जब एआई कंप्यूटिंग के लिए आवश्यक मेमोरी लागत मूल के 1/6 तक कम हो जाती है, तो इससे एआई अनुप्रयोगों की मांग में भारी विस्फोट हो जाएगा जो पहले ऑनलाइन जाने में असमर्थ थे क्योंकि मेमोरी बहुत महंगी थी (जैसे लंबे पाठ अनुवाद, जटिल कोड पीढ़ी), और इसके बजाय संपीड़ित मेमोरी गैप को भर देगी या उससे भी अधिक कर देगी।
यह जेवॉन का विरोधाभास है, जो यह है कि जब तकनीकी प्रगति संसाधनों के उपयोग की दक्षता में सुधार करती है (किसी एक उपयोग के लिए आवश्यक मात्रा को कम करती है), लेकिन लागत में कमी से मांग में वृद्धि होती है, तो संसाधन खपत की गति कम होने के बजाय बढ़ जाती है।
मॉर्गन स्टेनली के विश्लेषक जोसेफ मूर और उनकी टीम ने गुरुवार को जारी एक निवेशक नोट में कहा: "ऐसी खबरें हैं कि Google का टर्बोक्वांट मेमोरी उपयोग को मूल के 1/6 तक कम कर देगा, लेकिन यह इस बात को नजरअंदाज करता है कि वे केवल केवी कैश का उल्लेख कर रहे हैं, समग्र मेमोरी उपयोग का नहीं।
"यह ध्यान देने योग्य है कि Google के जेमिनी 3 और 2.5 प्रो मॉडल दोनों में 1 मिलियन टोकन की संदर्भ विंडो हैं, लेकिन Google ने खुलासा किया है कि उन्होंने जेमिनी 1.5 प्रो का उपयोग करके 10 मिलियन टोकन तक की संदर्भ विंडो का परीक्षण किया है और बहुत अच्छे परिणाम प्राप्त किए हैं, लेकिन अनुमान की उच्च लागत के कारण, उन्होंने अंततः मॉडल जारी नहीं किया," मूर ने कहा। "परिणामस्वरूप, हम उम्मीद करते हैं कि जैसे-जैसे इस प्रकार के नवाचार और अन्य प्रौद्योगिकियां सामने आएंगी, लागत कम हो जाएगी और इस तकनीक का उपयोग स्मार्ट, गणना-गहन उत्पादों की सेवा के लिए किया जाएगा।"
मॉर्गन स्टेनली ने आगे बताया कि टर्बोक्वांट मुख्य रूप से "अनुमान चरण" में कैश को अनुकूलित करता है, न कि "प्रशिक्षण चरण" में मॉडल भार को। इसलिए, एआई कोर प्रशिक्षण का समर्थन करने वाले एचबीएम (उच्च बैंडविड्थ मेमोरी) खरीद तर्क पर प्रभाव अपेक्षाकृत सीमित है।
इसके विपरीत, मोबाइल फोन और लैपटॉप जैसे टर्मिनल उपकरणों पर कृत्रिम बुद्धिमत्ता की तैनाती के लिए टर्बोक्वांट अधिक सार्थक है। चूंकि मोबाइल उपकरणों में सीमित मेमोरी होती है, इस प्रकार की कुशल संपीड़न तकनीक अधिक शक्तिशाली एआई मॉडल को मोबाइल फोन पर चलाने की अनुमति देती है, जो बदले में विभिन्न टर्मिनल उपकरणों में मेमोरी विशिष्टताओं के व्यापक उन्नयन को प्रोत्साहित करेगी।
लिंक्स इक्विटी स्ट्रैटेजीज़ के अनुसार,जबकि एआई प्रदाताओं को टोकन संदर्भ लंबाई बढ़ने के कारण उत्पन्न होने वाली बाधाओं को दूर करने के लिए नवाचार की आवश्यकता होगी, इससे आपूर्ति बाधाओं के कारण अगले तीन से पांच वर्षों में मेमोरी और फ्लैश की मांग कम नहीं होगी।