सार:
सोनी PlayStation 5 को मूल रूप से वीडियो गेम के लिए एक कंसोल के रूप में डिज़ाइन किया गया था, लेकिन एक ओपन सोर्स डेवलपमेंट प्रोजेक्ट इस गेमिंग डिवाइस के लिए एक और उपयोग खोजने की कोशिश कर रहा है: स्थानीय कृत्रिम बुद्धिमत्ता बड़े भाषा मॉडल चलाना। PS5 की सिस्टम सीमाओं को तोड़कर, डेवलपर्स ने ओपन सोर्स इंट्रेंस इंजन llama.cpp को कंसोल में ट्रांसप्लांट किया और बड़े मॉडल चलाने के लिए इसके GPU का उपयोग किया। नवीनतम प्रदर्शन से पता चलता है कि एक टूटा हुआ साधारण PS5 पहले से ही 27 बिलियन मापदंडों के साथ क्वेन 3.8 मॉडल चला सकता है। निम्न-बिट परिमाणीकरण का उपयोग करते हुए, पाठ निर्माण की गति लगभग 20 टोकन प्रति सेकंड तक पहुँच जाती है।
इसका मतलब यह है कि मूल रूप से गेम चलाने के लिए उपयोग किया जाने वाला होस्ट क्लाउड एआई सेवाओं पर भरोसा किए बिना स्थानीय बड़े भाषा मॉडल सर्वर के रूप में भी कार्य कर सकता है। उपयोगकर्ता उसी LAN में कंप्यूटर या मोबाइल फोन के माध्यम से होस्ट पर सेवाओं तक पहुंच सकते हैं और मॉडल से बात कर सकते हैं। हालाँकि, यह सोनी द्वारा आधिकारिक तौर पर प्रदान की गई सुविधा नहीं है, बल्कि एक प्रायोगिक एप्लिकेशन है जो सिस्टम की कमजोरियों, अनौपचारिक सॉफ़्टवेयर और सामुदायिक विकास परिणामों पर निर्भर करता है।
प्रोजेक्ट को PS5LM कहा जाता है और इसे GitHub डेवलपर कोबानोव द्वारा शुरू किया गया था। परियोजना का मुख्य विचार स्क्रैच से एक नया कृत्रिम बुद्धिमत्ता तर्क ढांचा लिखना नहीं है, बल्कि ओपन सोर्स टूल llama.cpp को ट्रांसप्लांट करना है, जिसका व्यापक रूप से स्थानीय बड़े मॉडलों को चलाने के लिए PS5 प्लेटफॉर्म पर उपयोग किया जाता है, और फिर धीरे-धीरे होस्ट ऑपरेटिंग सिस्टम, मेमोरी आवंटन और GPU कंप्यूटिंग इंटरफ़ेस में संगतता मुद्दों को हल करना है।
PS5 AMD के कस्टम प्रोसेसर का उपयोग करता है। सीपीयू ज़ेन 2 आर्किटेक्चर का उपयोग करता है और इसमें 8 कोर हैं; GPU AMD RDNA आर्किटेक्चर पर आधारित है। होस्ट 16GB GDDR6 एकीकृत मेमोरी से सुसज्जित है, और CPU और GPU को इन संसाधनों को साझा करने की आवश्यकता है। हालाँकि PS5 विशेष रूप से कृत्रिम बुद्धिमत्ता अनुमान के लिए डिज़ाइन किया गया उपकरण नहीं है, लेकिन इसकी GPU और उच्च-बैंडविड्थ वीडियो मेमोरी स्थानीय भाषा मॉडल चलाने के लिए हार्डवेयर आधार प्रदान करती है।
PS5LM ने शुरू में अपेक्षाकृत सरल ऑपरेशन मोड अपनाया, जिससे भाषा मॉडल को होस्ट सीपीयू के माध्यम से अनुमान लगाने और चैट इंटरफ़ेस प्रदान करने के लिए PS5 के स्वयं के ब्राउज़र का उपयोग करने की अनुमति मिली। उपयोगकर्ता होस्ट पर मॉडल डाउनलोड कर सकते हैं, डुअलसेंस कंट्रोलर और ऑन-स्क्रीन कीबोर्ड के माध्यम से प्रश्न दर्ज कर सकते हैं, और फिर मॉडल द्वारा उत्पन्न उत्तर देख सकते हैं।
इस प्रारंभिक निर्माण ने बड़े भाषा मॉडल चलाने के लिए PS5 की क्षमता का प्रदर्शन किया, लेकिन जल्दी ही प्रदर्शन और मेमोरी सीमाओं में आ गया। चूँकि प्रोग्राम पेलोड के रूप में चलता है, उपयोग की जा सकने वाली मेमोरी सिस्टम वातावरण द्वारा प्रतिबंधित है। प्रारंभ में, केवल छोटे मॉडल ही स्थिर रूप से चलाए जा सकते हैं। प्रोजेक्ट दस्तावेज़ दिखाते हैं कि प्रारंभिक संस्करण मुख्य रूप से लगभग 0.8B और 2B के पैरामीटर आकार वाले मॉडल का समर्थन करता है, 2B मॉडल की उत्पादन गति लगभग 9 टोकन प्रति सेकंड है।
उन डेवलपर्स के लिए जो PS5 पर बड़े मॉडल चलाना चाहते हैं, केवल प्रोग्राम को CPU पर चलने देना पर्याप्त नहीं है। होस्ट के हार्डवेयर प्रदर्शन का पूरी तरह से उपयोग करने के लिए, अनुमान इंजन को GPU को कॉल करने और मॉडल पैरामीटर, कैश और अन्य चल रहे डेटा को संग्रहीत करने के लिए पर्याप्त मेमोरी स्थान प्राप्त करने में सक्षम होना चाहिए।
असली सफलता GPU त्वरण से आती है। डेवलपर्स ने PS5 पर एक देशी एप्लिकेशन रनिंग वातावरण लागू किया है, और समुदाय द्वारा विकसित ग्राफिक्स ड्राइवर और वल्कन कंप्यूटिंग इंटरफ़ेस के माध्यम से, llama.cpp तंत्रिका नेटवर्क गणना करने के लिए होस्ट GPU को कॉल कर सकता है। पहले के समाधान की तुलना में जो केवल सीपीयू पर निर्भर हो सकता था, यह परिवर्तन न केवल अनुमान की गति में सुधार करता है, बल्कि प्रोग्राम को बड़े मॉडल चलाने की कोशिश करने के लिए अधिक उपलब्ध मेमोरी प्राप्त करने की भी अनुमति देता है।
नवीनतम प्रदर्शन में, PS5 ने अलीबाबा टोंगी कियानवेन टीम द्वारा लॉन्च किए गए Qwen 3.8 27B मॉडल को सफलतापूर्वक चलाया। मॉडल में 27 बिलियन पैरामीटर हैं और यह हाइब्रिड अटेंशन आर्किटेक्चर का उपयोग करता है। डिज़ाइन का लक्ष्य अपेक्षाकृत सीमित हार्डवेयर संसाधनों पर मजबूत भाषा समझ, तर्क और कोड निर्माण क्षमताएं प्रदान करना है।
हालाँकि, PS5 27 बिलियन पैरामीटर्स को पूरी सटीकता के साथ सीधे मेमोरी में लोड नहीं करता है। मॉडल को होस्ट की हार्डवेयर स्थितियों के अनुकूल बनाने के लिए, डेवलपर्स ने मॉडल मापदंडों को एक छोटे भंडारण स्थान में संपीड़ित करने के लिए कम-बिट क्वांटिज़ेशन तकनीक का उपयोग किया। प्रदर्शन IQ2_XXS जैसे परिमाणित संस्करणों का उपयोग करता है, और मॉडल फ़ाइल लगभग कई जीबी से 7 जीबी है, और विशिष्ट आकार परिमाणीकरण योजना पर निर्भर करता है।
बड़े स्थानीय मॉडल चलाने में परिमाणीकरण एक प्रमुख तकनीक है। आमतौर पर, मॉडल पैरामीटर को उच्च-परिशुद्धता डेटा प्रारूप का उपयोग करके संग्रहीत किया जाता है, लेकिन इसमें बहुत अधिक मेमोरी की खपत होती है। मापदंडों को कम बिट-चौड़ाई मानों में संपीड़ित करके, आप मेमोरी आवश्यकताओं को काफी कम कर सकते हैं और अनुमान के दौरान डेटा स्थानांतरण की मात्रा को कम कर सकते हैं। लागत यह है कि कुछ सटीक जानकारी खो जाएगी, जो मॉडल की उत्तर गुणवत्ता, तर्क क्षमता या विशिष्ट कार्य प्रदर्शन को प्रभावित कर सकती है। इसलिए, 27 बिलियन पैरामीटर मॉडल को चलाने में सक्षम होने का मतलब यह नहीं है कि PS5 पूर्ण सटीकता के साथ समान आकार के मॉडल को चला सकता है।
डेवलपर द्वारा जारी परीक्षण डेटा से पता चलता है कि अनुमान लगाने के लिए GPU का उपयोग करते समय, Qwen 3.8 27B की टेक्स्ट जेनरेशन गति लगभग 20 टोकन प्रति सेकंड तक पहुंच सकती है। टोकन बड़े भाषा मॉडलों के लिए पाठ को संसाधित करने की मूल इकाई है। यह पूरी तरह से चीनी अक्षर या अंग्रेजी शब्द के समकक्ष नहीं है। इसलिए, प्रति सेकंड 20 टोकन को केवल प्रति सेकंड 20 चीनी अक्षर उत्पन्न करने के रूप में नहीं समझा जा सकता है। फिर भी, इंटरैक्टिव बातचीत के लिए यह इतना तेज़ है कि इसमें कुछ व्यावहारिकता हो, बजाय इसके कि यह साबित करने के लिए एक तकनीकी प्रदर्शन हो कि कोई मॉडल ज़मीन पर उतर सकता है।
क्वेन मॉडल के अलावा, इसी परियोजना ने अन्य मॉडलों के परीक्षण परिणामों की भी घोषणा की। जेम्मा 4 ई4बी प्रति सेकंड लगभग 61 टोकन उत्पन्न करता है, जबकि लामा 3.2 3बी प्रति सेकंड लगभग 124 टोकन तक पहुंचता है। छोटे मॉडल में कम पैरामीटर होते हैं, कम गणना और डेटा पढ़ने की आवश्यकता होती है, और इसलिए आम तौर पर उच्च पीढ़ी की गति प्राप्त होती है।
इन परिणामों को अभी भी एकीकृत परीक्षण प्लेटफ़ॉर्म द्वारा सत्यापित उद्योग बेंचमार्क के बजाय विशिष्ट सॉफ़्टवेयर और हार्डवेयर कॉन्फ़िगरेशन के तहत डेवलपर्स द्वारा प्रकाशित परीक्षण परिणाम माना जाना चाहिए। विभिन्न मॉडलों में अलग-अलग पैरामीटर स्केल, परिमाणीकरण विधियां, संदर्भ लंबाई और कंप्यूटिंग कार्य होते हैं। उनकी व्यापक क्षमताओं का आकलन केवल प्रति सेकंड उत्पन्न टोकन की संख्या के आधार पर नहीं किया जा सकता है।
परियोजना PS5 को LAN AI सर्वर में बदलने की संभावना को भी प्रदर्शित करती है। होस्ट पर ओपनएआई एपीआई-संगत सेवा इंटरफ़ेस चलाकर, अन्य डिवाइस उसी नेटवर्क पर अनुरोध भेज सकते हैं और मॉडल द्वारा उत्पन्न उत्तर प्राप्त कर सकते हैं। इस तरह, उपयोगकर्ताओं को कंसोल को संचालित करने के लिए हमेशा टीवी स्क्रीन का सामना नहीं करना पड़ता है, और कंप्यूटर या मोबाइल फोन के माध्यम से PS5 पर स्थानीय मॉडल को भी कॉल कर सकते हैं।
यह दृष्टिकोण उन उपयोगकर्ताओं के लिए आकर्षक है जो अपने घरेलू नेटवर्क में स्थानीय एआई सेवाओं को तैनात करना चाहते हैं। जब मॉडल स्थानीय रूप से चल रहा होता है, तो दैनिक वार्तालाप सामग्री को सैद्धांतिक रूप से तृतीय-पक्ष क्लाउड एआई सेवाओं को भेजने की आवश्यकता नहीं होती है, और उपयोगकर्ताओं को कॉल की संख्या के आधार पर क्लाउड अनुमान शुल्क का भुगतान नहीं करना पड़ता है। हालाँकि, वास्तविक गोपनीयता सुरक्षा अभी भी स्थापित सॉफ़्टवेयर, नेटवर्क कॉन्फ़िगरेशन और डिवाइस में अन्य डेटा ट्रांसमिशन व्यवहार है या नहीं पर निर्भर करती है। केवल "स्थानीय रूप से चलने" से सिस्टम को बिल्कुल सुरक्षित नहीं माना जा सकता है।
उसी समय, PS5LM विकास अभी भी अनौपचारिक प्रौद्योगिकियों की एक श्रृंखला पर निर्भर करता है। उपयोगकर्ताओं के पास एक PS5 होना चाहिए जो प्रासंगिक क्रैकिंग प्रोग्राम चला सके और संगत सिस्टम फ़र्मवेयर और पेलोड लोडिंग टूल का उपयोग कर सके। प्रोजेक्ट दस्तावेज़ में सूचीबद्ध लागू फ़र्मवेयर रेंज 7.00 से 13.60 है, लेकिन होस्ट मॉडल और सॉफ़्टवेयर संस्करण के आधार पर विशिष्ट कार्य, प्रदर्शन और संगतता भिन्न हो सकती है।
कंसोल को क्रैक करने का मतलब यह नहीं है कि सभी PS5 उपयोगकर्ता सीधे प्रोग्राम इंस्टॉल कर सकते हैं। PS5 का सामान्य खुदरा संस्करण नियमित गेम की तरह PlayStation स्टोर के माध्यम से PS5LM को डाउनलोड और चला नहीं सकता है। उपयोगकर्ताओं को पहले सिस्टम एक्सेस अनुमतियाँ, अनौपचारिक प्रोग्राम लोडिंग और ऑपरेटिंग वातावरण जैसी समस्याओं को हल करने की आवश्यकता है, जो अभी भी उन उपयोगकर्ताओं के लिए एक निश्चित सीमा है जो होस्ट क्रैकिंग और सॉफ़्टवेयर विकास से परिचित नहीं हैं।
इसके अलावा, होस्ट सिस्टम को संशोधित करने से सुरक्षा और स्थिरता जोखिम आ सकता है, ऑनलाइन सेवाओं का उपयोग भी प्रभावित हो सकता है और इसमें सोनी की प्रासंगिक सेवा की शर्तें शामिल हो सकती हैं। डेवलपर्स केवल उन उपकरणों पर शोध करने की सलाह देते हैं जो उनके स्वामित्व में हैं या जिन्हें उन्होंने अधिकृत किया है। कंसोल उपयोगकर्ताओं के लिए जो मुख्य रूप से सामान्य गेमिंग के लिए इसका उपयोग करते हैं, विशेष रूप से वे जो अक्सर PlayStation नेटवर्क से कनेक्ट होते हैं, केवल स्थानीय AI चलाने के लिए डिवाइस को जल्दबाजी में हैक करने की कोई आवश्यकता नहीं है।
हार्डवेयर परिप्रेक्ष्य से, इस प्रयोग का महत्व केवल गेम कंसोल को सवालों के जवाब देने की अनुमति देना नहीं है। यह आगे दर्शाता है कि उपभोक्ता-स्तर के गेमिंग उपकरणों में स्थापित जीपीयू और हाई-स्पीड वीडियो मेमोरी उचित सॉफ्टवेयर अनुकूलन के बाद समर्पित एआई कंप्यूटिंग उपकरण द्वारा सामान्य रूप से पूरा किए गए कुछ काम भी कर सकते हैं।
बड़े भाषा मॉडल का अनुमान अक्सर मेमोरी क्षमता और बैंडविड्थ से काफी प्रभावित होता है। जब मॉडल टेक्स्ट उत्पन्न करता है, तो उसे लगातार बड़ी संख्या में पैरामीटर पढ़ने और संदर्भ-संवेदनशील कैश बनाए रखने की आवश्यकता होती है। PS5 का एकीकृत मेमोरी आर्किटेक्चर सीपीयू और जीपीयू को हाई-स्पीड मेमोरी संसाधनों को साझा करने की अनुमति देता है, लेकिन सिस्टम को स्वयं भी इसका कुछ हिस्सा लेने की आवश्यकता होती है, इसलिए मॉडलों के लिए उपलब्ध स्थान 16 जीबी की नाममात्र क्षमता से बहुत कम है।
यही कारण है कि डेवलपर्स को एक साथ परिमाणीकरण, मेमोरी प्रबंधन और जीपीयू कंप्यूटिंग इंटरफेस जैसे मुद्दों को हल करना होगा। केवल पर्याप्त शक्तिशाली जीपीयू होने से यह गारंटी नहीं मिलती कि कोई मॉडल सुचारू रूप से चलेगा; क्या मॉडल आर्किटेक्चर समर्थित है, क्या ड्राइवर आवश्यक गणना संचालन कर सकता है, और क्या सिस्टम अनुमान कार्यक्रम के लिए पर्याप्त मेमोरी प्रदान कर सकता है, ये सभी अंतिम परिणाम को प्रभावित करेंगे।
यह परिणाम स्थानीय एआई हार्डवेयर के चयन के लिए एक दिलचस्प संदर्भ भी प्रदान करता है। परंपरागत रूप से, जो उपयोगकर्ता घर पर बड़े भाषा मॉडल चलाना चाहते थे, उन्हें अक्सर अलग ग्राफिक्स कार्ड वाला कंप्यूटर खरीदने और मेमोरी क्षमता और समग्र मशीन लागत के लिए अतिरिक्त भुगतान करने की आवश्यकता होती थी। PS5 में पहले से ही अपेक्षाकृत शक्तिशाली GPU और हाई-स्पीड मेमोरी है, इसलिए डेवलपर्स यह साबित करने की उम्मीद करते हैं कि मौजूदा गेम हार्डवेयर को समर्पित AI वर्कस्टेशन खरीदे बिना भी पुन: उपयोग किया जा सकता है।
लेकिन इसका मतलब यह नहीं है कि PS5 पूरी तरह से AI कंप्यूटर की जगह ले सकता है। इसके हार्डवेयर संसाधन अभी भी निश्चित कॉन्फ़िगरेशन, सिस्टम फ़ुटप्रिंट और अनौपचारिक सॉफ़्टवेयर वातावरण द्वारा सीमित हैं। बड़े ग्राफिक्स मेमोरी, परिपक्व ड्राइवरों और समृद्ध विकास उपकरणों वाले कंप्यूटरों की तुलना में, PS5 को बड़े मॉडल चलाने के लिए अधिक अंतर्निहित अनुकूलन कार्य की आवश्यकता होती है, और उपयोगकर्ता सामान्य एआई कंप्यूटरों की तरह ग्राफिक्स कार्ड को स्वतंत्र रूप से अपग्रेड नहीं कर सकते हैं या ग्राफिक्स मेमोरी का विस्तार नहीं कर सकते हैं।
व्यावहारिक दृष्टिकोण से, इस प्रकार की परियोजना वर्तमान में प्रौद्योगिकी उत्साही, ओपन सोर्स डेवलपर्स और स्थानीय एआई में रुचि रखने वाले उपयोगकर्ताओं के लिए मॉडल रीजनिंग, जीपीयू कंप्यूटिंग और एम्बेडेड ऑपरेटिंग वातावरण का अध्ययन करने के लिए अधिक उपयुक्त है। उन उद्यमों के लिए जिन्हें उत्पादन-स्तर की AI सेवाओं को स्थिर रूप से चलाने की आवश्यकता है, समर्पित GPU सर्वर या परिपक्व सॉफ़्टवेयर स्टैक द्वारा अनुकूलित कंप्यूटर अभी भी अधिक उपयुक्त हैं।
पीएस5एलएम का विकास ओपन सोर्स एआई इकोसिस्टम में एक प्रवृत्ति को भी दर्शाता है: मॉडल इंट्रेंस फ्रेमवर्क और ओपन वेट मॉडल ने कृत्रिम बुद्धिमत्ता को चलाने के लिए सीमा को धीरे-धीरे कम कर दिया है, जबकि सामुदायिक डेवलपर्स इन उपकरणों को विभिन्न हार्डवेयर प्लेटफार्मों पर पोर्ट करने का प्रयास जारी रखते हैं। अतीत में, गेम कंसोल को मुख्य रूप से बंद मनोरंजन उपकरणों के रूप में देखा जाता था; अब, क्रैकिंग और रिवर्स इंजीनियरिंग समुदायों के प्रयासों के लिए धन्यवाद, वे जीपीयू कंप्यूटिंग और देशी कृत्रिम बुद्धिमत्ता अनुप्रयोगों की खोज के लिए भी मंच बन गए हैं।
सामान्य तौर पर, यह एक टूटे हुए PS5 को लगभग 20 टोकन प्रति सेकंड की गति से 27 बिलियन मापदंडों के साथ एक बड़े भाषा मॉडल को चलाने देने का एक प्रतिनिधि तकनीकी प्रयास है। यह गेम कंसोल हार्डवेयर के संभावित उपयोग को प्रदर्शित करता है और यह भी साबित करता है कि सॉफ्टवेयर अनुकूलन और मॉडल संपीड़न के माध्यम से, एक निश्चित पैमाने के भाषा मॉडल गैर-पारंपरिक एआई उपकरणों पर चलाए जा सकते हैं। हालाँकि, यह उपलब्धि अभी भी एक सामुदायिक परियोजना है जो एक टूटे हुए वातावरण पर निर्भर करती है, और इसके और आधिकारिक कार्यों के बीच अभी भी काफी दूरी है जिसे सामान्य उपयोगकर्ता जटिल संचालन के बिना उपयोग कर सकते हैं।
टिप्पणियाँ