सार:
एक Google DeepMind इंजीनियर ने हाल ही में एक रचनात्मक प्रयोग प्रदर्शित किया: उसने Google के Gemma 3 270M छोटे भाषा मॉडल को सीधे एक साधारण कार्यालय लेजर प्रिंटर में सफलतापूर्वक चलाया। इस मॉडल के मापदंडों की संख्या लगभग 270 मिलियन है, और प्रयोग में उपयोग किए गए प्रिंटर में केवल 14.1 एमबी उपलब्ध मेमोरी है, लेकिन यह अभी भी 60 शब्द प्रति सेकंड से अधिक की पीढ़ी गति प्राप्त करता है।

इस नतीजे की घोषणा इंजीनियर उमर संसेवियरो ने सोशल प्लेटफॉर्म एक्स पर की। उन्होंने कहा कि कार्बन प्रोजेक्ट की मदद से उन्होंने जेम्मा मॉडल को सीधे ऑफिस प्रिंटर पर चलाया। पूरे प्रयोग में प्रिंटर फर्मवेयर को संशोधित नहीं किया गया, न ही इसमें बाहरी कंप्यूटिंग बोर्ड या अन्य हार्डवेयर का उपयोग किया गया। इसके बजाय, यह पूरी तरह से आधुनिक लेजर प्रिंटर में निर्मित पोस्टस्क्रिप्ट पेज विवरण भाषा पर निर्भर था।
पोस्टस्क्रिप्ट एक ट्यूरिंग-पूर्ण पृष्ठ विवरण भाषा है जिसका उपयोग आमतौर पर यह नियंत्रित करने के लिए किया जाता है कि प्रिंटर टेक्स्ट, ग्राफिक्स और पेज लेआउट कैसे प्रस्तुत करते हैं। प्रायोगिक टीम ने कार्बन, एक हल्के ट्रांसफार्मर अनुमान इंजन का उपयोग किया, और अंततः एक मूल पोस्टस्क्रिप्ट प्रिंट फ़ाइल उत्पन्न करने के लिए इसे परिमाणित जेम्मा 3 270M मॉडल के साथ जोड़ा। जब प्रिंटर फ़ाइल को निष्पादित करता है, तो यह वास्तव में अपने पोस्टस्क्रिप्ट दुभाषिया के अंदर भाषा मॉडल की अनुमान गणना को पूरा करता है।
मॉडल अनुमान के दौरान प्रिंटर मेमोरी खत्म होने से बचने के लिए, प्रयोग में गतिशील लामिना प्रवाह लोडिंग तकनीक को अपनाया गया। सिस्टम लगातार मॉडल की विभिन्न परतों को मेमोरी के अंदर और बाहर लोड करता है, अधिकतम मेमोरी उपयोग को केवल 14.1 एमबी पर रखता है, जबकि प्रिंटर 244.6 एमबी पोस्टस्क्रिप्ट वर्चुअल मेमोरी आवंटित करता है। फिर भी, जेम्मा 3 270एम ने अभी भी प्रिंटर के सीपीयू पर 61.3 टोकन/सेकेंड की पीढ़ी गति हासिल की।
प्रयोग में कैप्चर की गई हार्डवेयर जानकारी के अनुसार, यह रिको प्रिंटर मूल रूप से पोस्टस्क्रिप्ट लेवल 3 दुभाषिया के भीतर 18-लेयर ट्रांसफार्मर गणना करता है। जब केवल चार टोकन वाले प्रॉम्प्ट "रीड द फाइन" को इनपुट किया जाता है, तो प्री-फिलिंग चरण में 184 सेकंड लगते हैं, जबकि एक टोकन उत्पन्न करने के लिए डिकोडिंग का समय केवल 0.1 सेकंड होता है, और पूरी प्रसंस्करण प्रक्रिया कुल 184 सेकंड होती है।
गणना पूरी होने के बाद, प्रिंटर अंततः तीन शब्दों वाले उत्तर "रीड द फाइन प्रिंट" को सीधे कागज पर प्रिंट करता है। यह परिणाम न केवल साबित करता है कि मॉडल वास्तव में प्रिंटर के अंदर तर्क को पूरा करता है, बल्कि यह भी दिखाता है कि सॉफ्टवेयर स्तर पर दैनिक कार्यालय उपकरण की क्षमता लोगों की अपेक्षाओं से कहीं अधिक है। यद्यपि ऑपरेशन का यह तरीका वास्तविक उत्पादन वातावरण के लिए उपयुक्त नहीं है, यह छोटे मात्रात्मक मॉडल, अनुमान इंजन और मौजूदा हार्डवेयर क्षमताओं को संयोजित करते समय क्या संभव है इसकी सीमाओं को प्रदर्शित करता है।
टिप्पणियाँ