लाइनस टोरवाल्ड्स लिनक्स कर्नेल को अनुकूलित करने के लिए क्लाउड कोड का उपयोग करता है। मल्टी-थ्रेडेड फ़ाइल पढ़ने के प्रदर्शन में काफी सुधार होने की उम्मीद है।

सार:

लिनक्स कर्नेल के संस्थापक लिनस टोरवाल्ड्स कृत्रिम बुद्धिमत्ता प्रोग्रामिंग टूल क्लाउड कोड की मदद से लिनक्स कर्नेल प्रदर्शन अनुकूलन समाधान विकसित कर रहे हैं।

यह कार्य लिनक्स कर्नेल मेमोरी प्रबंधन तंत्र में एक प्रदर्शन बाधा को लक्षित करता है। लक्ष्य मेमोरी पेज रेफरेंस काउंटिंग के कारण होने वाली प्रतिस्पर्धा को कम करना है जब कई थ्रेड एक ही समय में एक ही फ़ाइल को पढ़ते हैं, जिससे फ़ाइल पढ़ने की दक्षता में सुधार होता है।

लिनक्स 7.3-आरसी7 के रिलीज की प्रतीक्षा करते समय, टोरवाल्ड्स ने हाल ही में अपने लिनक्स कर्नेल गिट कोड रिपॉजिटरी को रीफ्रेश किया और पाया कि रिपॉजिटरी में एक असामान्य नई शाखा दिखाई दी थी। मुख्य शाखा को बनाए रखने की उनकी सामान्य प्रथा के विपरीत, "noref-filemap-read-with-llm" नामक यह शाखा कर्नेल सुधार पैच की एक श्रृंखला विकसित करने के लिए समर्पित है। जैसा कि शाखा के नाम में एलएलएम से देखा जा सकता है, यह कार्य बड़े भाषा मॉडल-सहायता प्राप्त प्रोग्रामिंग से संबंधित है।

टोर्वाल्ड्स ने बाद में प्रासंगिक पैच नोट्स में स्पष्ट किया कि यह काम उनके मार्गदर्शन में और क्लाउड कोड की मदद से पूरा किया गया था। एआई ने न केवल कोड कार्यान्वयन में भाग लिया, बल्कि परीक्षण कार्यक्रम लिखने, कोड समीक्षा आयोजित करने और पैच श्रृंखला दस्तावेज़ीकरण के प्रारंभिक संस्करण का मसौदा तैयार करने में भी सहायता की। प्रासंगिक प्रदर्शन माप टोरवाल्ड्स के अपने कंप्यूटर पर किए गए थे।

यह अनुकूलन मुख्य रूप से लिनक्स कर्नेल फ़ाइल रीडिंग पथ में एक विशिष्ट समस्या को लक्षित करता है। जब कई थ्रेड एक ही समय में एक ही फ़ाइल से डेटा के छोटे हिस्से को पढ़ते हैं, तो वे फ़ाइल पेज कैश में मेमोरी पेजों की संदर्भ संख्या के आसपास प्रतिस्पर्धा कर सकते हैं, जिससे थ्रेड संबंधित डेटा संरचनाओं के लिए एक-दूसरे के साथ प्रतिस्पर्धा कर सकते हैं, जिससे पढ़ने का प्रदर्शन सीमित हो जाता है।

इस समस्या को समझने के लिए, आपको पहले यह समझना होगा कि लिनक्स कर्नेल फ़ाइल रीडिंग को कैसे संभालता है।

लिनक्स स्टोरेज डिवाइस से पढ़े गए फ़ाइल डेटा को सहेजने के लिए पेज कैश (पेज कैश) का उपयोग करेगा। जब कोई प्रोग्राम मेमोरी में कैश्ड फ़ाइल की सामग्री को दोबारा एक्सेस करता है, तो कर्नेल अक्सर डिस्क या अन्य स्टोरेज डिवाइस पर हर बार दोबारा जाने के बिना सीधे मेमोरी से डेटा प्रदान कर सकता है। इसलिए फाइल एक्सेस दक्षता में सुधार के लिए पेज कैशिंग लिनक्स के लिए एक महत्वपूर्ण तंत्र है।

इन कैश्ड डेटा को प्रबंधित करने के लिए, कर्नेल को संबंधित मेमोरी ऑब्जेक्ट के जीवन चक्र को ट्रैक करने की आवश्यकता होती है। पारंपरिक कार्यान्वयन में संदर्भ गिनती तंत्र कर्नेल को यह निर्धारित करने में मदद कर सकता है कि मेमोरी ऑब्जेक्ट अभी भी उपयोग में है या नहीं और यह संबंधित संसाधनों को सुरक्षित रूप से कब जारी कर सकता है।

हालाँकि, जब बड़ी संख्या में थ्रेड बार-बार एक ही फ़ाइल तक पहुँचते हैं, भले ही उनके द्वारा पढ़ा गया डेटा पहले से ही मेमोरी में हो, तब भी संबंधित संदर्भ गिनती संचालन में अतिरिक्त सिंक्रनाइज़ेशन ओवरहेड लग सकता है। मल्टी-कोर प्रोसेसर सिस्टम में, यदि कई थ्रेड लगातार समान साझा गणना मान को अपडेट करते हैं, तो कैश सुसंगतता ट्रैफ़िक में वृद्धि और प्रोसेसर कोर के एक-दूसरे की प्रतीक्षा करने जैसी समस्याएं हो सकती हैं।

एकल-थ्रेडेड या कम-संगामिति परिदृश्यों के लिए, यह ओवरहेड ध्यान देने योग्य नहीं हो सकता है। लेकिन अत्यधिक समवर्ती सर्वर, डेटाबेस, बिल्ड सिस्टम और अन्य वर्कलोड में जिन्हें एक साथ बड़ी संख्या में फ़ाइल पढ़ने के अनुरोधों को संभालने की आवश्यकता होती है, आवर्ती सिंक्रनाइज़ेशन ऑपरेशन धीरे-धीरे एक प्रदर्शन बाधा बन सकते हैं।

टोरवाल्ड्स जिस पैच श्रृंखला का विकास कर रहा है, उसे अनावश्यक संदर्भ गणना कार्यों को कम करने के लिए डिज़ाइन किया गया है। मुख्य विचार फ़ाइल पढ़ने के पथ को समायोजित करना है ताकि कर्नेल प्रत्येक प्रासंगिक पहुंच के लिए पारंपरिक फोलियो संदर्भ प्रबंधन संचालन किए बिना कुछ शर्तों के तहत सीधे पेज कैश से डेटा पढ़ सके।

यहां फोलियो लिनक्स कर्नेल द्वारा सन्निहित या संबंधित मेमोरी पेजों के एक सेट को प्रबंधित करने के लिए उपयोग किए जाने वाले बुनियादी अमूर्त तत्वों में से एक है। हाल के वर्षों में, मेमोरी प्रबंधन कार्यों को अधिक कुशलता से संभालने के लिए लिनक्स कर्नेल ने धीरे-धीरे कुछ पुराने सिंगल-पेज प्रबंधन तरीकों को बदलने के लिए फोलियो तंत्र का उपयोग किया है। इसलिए फोलियो संदर्भ गिनती के कारण होने वाले ओवरहेड को कैसे कम किया जाए यह कर्नेल प्रदर्शन अनुकूलन में एक महत्वपूर्ण कार्य बन गया है।

तकनीकी दृष्टिकोण से, इस प्रकार का अनुकूलन केवल संदर्भ गणना को नहीं हटाता है। कर्नेल को अभी भी यह सुनिश्चित करना होगा कि मेमोरी ऑब्जेक्ट्स को एक्सेस करते समय समय से पहले जारी नहीं किया जाता है, और सिंक्रनाइज़ेशन ऑपरेशंस को कम करके डेटा भ्रष्टाचार या मेमोरी सुरक्षा समस्याओं को पेश नहीं करना चाहिए। इसलिए, पैच को शुद्धता, समवर्ती पहुंच सुरक्षा और प्रदर्शन के बीच संतुलन बनाने की आवश्यकता है।

इस अनुकूलन के परिणामस्वरूप लक्ष्य कार्यभार के तहत काफी महत्वपूर्ण प्रदर्शन परिवर्तन हुए। परीक्षण मुख्य रूप से उस परिदृश्य पर लक्षित है जहां कई थ्रेड एक ही समय में एक ही फ़ाइल से डेटा के छोटे टुकड़े पढ़ते हैं, जो प्रतिस्पर्धा की समस्या से मेल खाता है जिसे पैच हल करने का प्रयास कर रहा है।

हालाँकि, इन परिणामों को विशिष्ट परीक्षण स्थितियों के तहत प्रदर्शन के रूप में समझा जाना चाहिए, न कि लिनक्स पर सभी फ़ाइल संचालन में समान सुधार प्राप्त होगा। वास्तविक लाभ आपके एप्लिकेशन के एक्सेस पैटर्न, थ्रेड्स की संख्या, फ़ाइल आकार, स्टोरेज डिवाइस, मेमोरी कॉन्फ़िगरेशन और अन्य सिस्टम कारकों पर निर्भर करते हैं। अनुकूलन प्रभाव उन कार्यभारों के लिए सीमित हो सकते हैं जिनमें समान विवाद वाले मुद्दे शामिल नहीं हैं।

वर्तमान में, ये पैच अभी भी टोरवाल्ड्स की व्यक्तिगत गिट शाखा में संग्रहीत हैं, और यह निष्कर्ष नहीं निकाला जा सकता है कि उन्होंने आधिकारिक तौर पर लिनक्स मेनलाइन कर्नेल में प्रवेश किया है। क्या भविष्य में इसका विलय किया जाएगा और अंत में कौन सी कार्यान्वयन पद्धति अपनाई जाएगी, इसके लिए और अधिक अवलोकन की आवश्यकता है।

वर्तमान विकास गति के अनुसार, यह पैच श्रृंखला अगले लिनक्स 7.4 मर्ज विंडो के दौरान आगे की चर्चा या समीक्षा चरण में प्रवेश कर सकती है, लेकिन क्या इसे अंततः मर्ज किया जा सकता है, यह कोड समीक्षा, परीक्षण परिणामों और अनुरक्षक के निर्णय पर निर्भर करता है।

यह ध्यान देने योग्य है कि टोरवाल्ड्स द्वारा क्लाउड कोड का उपयोग लिनक्स से संबंधित विकास कार्यों को संभालने के लिए कृत्रिम बुद्धिमत्ता का उपयोग करने का उनका पहला प्रयास नहीं है।

पहले, उन्होंने एआई-असिस्टेड कर्नेल डिबगिंग का उपयोग करने के बारे में बात की थी और लिनक्स कर्नेल के बाहर Google एंटीग्रेविटी जैसे एआई प्रोग्रामिंग टूल की कोशिश की थी। टोरवाल्ड्स के लिए, एआई डेवलपर्स को स्वतंत्र निर्णय निर्माताओं के रूप में प्रतिस्थापित करने के बारे में नहीं है, बल्कि एक विकास उपकरण है जिसका उपयोग स्पष्ट लक्ष्यों और मानव पर्यवेक्षण के साथ किया जा सकता है।

इस वर्ष से, कृत्रिम बुद्धिमत्ता प्रोग्रामिंग उपकरण धीरे-धीरे ओपन सोर्स सॉफ़्टवेयर विकास प्रक्रिया में प्रवेश कर रहे हैं। अधिक से अधिक डेवलपर कोड का विश्लेषण करने, बग का पता लगाने, परीक्षण लिखने और प्रारंभिक पैच उत्पन्न करने के लिए बड़े भाषा मॉडल का लाभ उठा रहे हैं। लिनक्स कर्नेल समुदाय में एआई-सहायक कोड और बग रिपोर्ट की संख्या भी बढ़ रही है।

यह प्रवृत्ति अवसर और चुनौतियाँ दोनों लाती है। एक ओर, एआई अनुभवी डेवलपर्स को जटिल कोड पथों को तेजी से तलाशने, अनुकूलन विचारों के साथ आने और दोहराव वाले कोड लिखने के लिए आवश्यक समय को कम करने में मदद कर सकता है। दूसरी ओर, बड़ी संख्या में स्वचालित रूप से उत्पन्न पैच और बग रिपोर्ट भी अनुरक्षकों पर समीक्षा का बोझ बढ़ाती हैं, और कुछ सबमिशन में कम गुणवत्ता, डुप्लिकेट सबमिशन या वास्तविक मूल्य की कमी की समस्याएं हो सकती हैं।

टोर्वाल्ड्स ने पहले सार्वजनिक रूप से कहा है कि उनका मानना ​​है कि एआई एक उपयोगी उपकरण है, लेकिन कर्नेल समुदाय को एआई-जनित सामग्री में तेजी से वृद्धि के कारण होने वाले काम के दबाव से निपटने की जरूरत है। वह कोड को केवल इसलिए अस्वीकार करने की वकालत नहीं करता क्योंकि यह एआई का उपयोग करता है, बल्कि अंतिम कोड की गुणवत्ता, शुद्धता और वास्तविक प्रभाव पर अधिक ध्यान देता है।

क्लाउड कोड ने इस बार जिस कर्नेल अनुकूलन परियोजना में भाग लिया, वह एआई-सहायता प्राप्त विकास की एक अधिक विशिष्ट अनुप्रयोग पद्धति को दर्शाता है: डेवलपर्स जो कर्नेल के आंतरिक तंत्र से परिचित हैं, समस्याओं की पहचान करते हैं, अनुकूलन दिशाओं का प्रस्ताव करते हैं और कार्यान्वयन की निगरानी करते हैं, और फिर परीक्षण और कोड समीक्षा के माध्यम से परिणामों को सत्यापित करते हैं।

संपूर्ण सॉफ़्टवेयर प्रोजेक्ट को स्वचालित रूप से उत्पन्न करने के लिए पूरी तरह से एआई पर निर्भर रहने के विपरीत, लिनक्स कर्नेल विकास में जटिल समवर्ती तंत्र, मेमोरी सुरक्षा आवश्यकताएं और हार्डवेयर व्यवहार शामिल हैं। कोई भी साधारण प्रतीत होने वाला संशोधन बड़ी संख्या में एप्लिकेशन और विभिन्न हार्डवेयर प्लेटफ़ॉर्म को प्रभावित कर सकता है। इसलिए, भले ही एआई कोड उत्पन्न करने में मदद कर सकता है, फिर भी डेवलपर्स को यह समझने की जरूरत है कि यह कैसे काम करता है और अंतिम कार्यान्वयन की जिम्मेदारी लेता है।

यदि पैच का यह सेट अंततः समीक्षा से गुजरता है और लिनक्स मेनलाइन में प्रवेश करता है, तो यह अंतर्निहित सिस्टम सॉफ़्टवेयर के अनुकूलन में भाग लेने वाले एआई-सहायता विकास का एक और मामला बन जाएगा। इसका मूल्य न केवल विशिष्ट परिदृश्यों में प्राप्त किए जा सकने वाले प्रदर्शन सुधारों में निहित है, बल्कि यह प्रदर्शित करने में भी है कि कैसे बड़े भाषा मॉडल जटिल प्रणालियों के विश्लेषण और सुधार में अनुभवी इंजीनियरों की सहायता कर सकते हैं।

जैसे-जैसे एआई प्रोग्रामिंग टूल का विकास जारी है, भविष्य में लिनक्स कर्नेल और अन्य बड़े ओपन सोर्स प्रोजेक्ट्स में इसी तरह के और अधिक कार्य दिखाई दे सकते हैं। हालाँकि, जो निर्धारित करता है कि क्या इन उपलब्धियों को वास्तव में लागू किया जा सकता है, वह अभी भी सख्त तकनीकी सत्यापन, सामुदायिक समीक्षा और सिस्टम स्थिरता के लिए दीर्घकालिक आवश्यकताएं होंगी।