सार:
Microsoft ने 12 से 13 नवंबर तक व्यापक Microsoft 365 आउटेज के प्रारंभिक जांच परिणामों की घोषणा करते हुए कहा कि विफलता विंडोज सर्वर दोष के कारण हुई थी जो कई महीनों से निष्क्रिय थी, टीम ट्रैफ़िक स्विचिंग और गेटवे की उपलब्ध क्षमता में कमी थी। दुर्घटना 12 नवंबर को 16:20 यूटीसी से अगले दिन 16:10 यूटीसी तक, लगभग 24 घंटे तक चली।

माइक्रोसॉफ्ट ने कहा कि यह खामी इस साल जुलाई में माइक्रोसॉफ्ट 365 नेटवर्क गेटवे सर्वर के लिए तैनात एक फिक्स के कारण उत्पन्न हुई। एक विशिष्ट लोड के तहत, विंडोज आंतरिक प्रक्रियाओं में लॉक प्रतियोगिता होती है, और सर्वर के सीपीयू और मेमोरी संसाधन धीरे-धीरे समाप्त हो जाते हैं, और अंततः प्रतिक्रिया देना बंद कर देते हैं। समस्या का पहले पता नहीं चल पाया था, आंशिक रूप से क्योंकि Microsoft के परीक्षण वातावरण में कम कोर वाले हार्डवेयर का उपयोग किया गया था; जांच में पाया गया कि अधिक कोर वाले नए सर्वर पर लॉक विवाद तेज होने की अधिक संभावना थी। माइक्रोसॉफ्ट ने इस बात पर जोर दिया कि इस दोष और संबंधित सुधारों में केवल माइक्रोसॉफ्ट 365 गेटवे इंफ्रास्ट्रक्चर शामिल है और अन्य विंडोज तैनाती को प्रभावित नहीं करता है।

विफलता से लगभग 15 घंटे पहले, टीम ट्रैफ़िक ने बैकअप नेटवर्क गेटवे से एक्सचेंज ऑनलाइन के साथ साझा किए गए प्राथमिक गेटवे पर स्विच किया, जिससे ट्रैफ़िक पैटर्न बदल गया और लोड बढ़ गया; उसी समय, गेटवे की लगभग 14% सर्वर क्षमता पिछले दिन हुई एक अन्य समस्या के कारण अस्थायी रूप से अनुपलब्ध थी। माइक्रोसॉफ्ट ने कहा कि अकेले इन दो कारकों का प्रभाव नहीं पड़ा, लेकिन जब इन्हें गुप्त खामियों के साथ जोड़ा गया, तो उन्होंने सर्वर ओवरलोड को ट्रिगर किया।

सर्वर द्वारा प्रतिक्रिया खो देने के बाद, ट्रैफ़िक प्रबंधन प्रणाली अनुरोध को अन्य सामान्य नोड्स में स्थानांतरित कर देती है, जिससे शेष सर्वर पर अधिक दबाव पड़ता है और गलती एक-एक करके फैलती जाती है। दो घंटे से भी कम समय में, 80% से अधिक गेटवे सर्वर प्रतिक्रिया देने में विफल रहे; मूल रूप से विभिन्न क्षेत्रों में दोषों को अलग करने के लिए उपयोग किए जाने वाले सुरक्षात्मक उपाय समस्या को पूरे क्षेत्रों में फैलने से रोकने में विफल रहे। माइक्रोसॉफ्ट ने कहा कि घटना के दौरान सबसे गंभीर घटना एक्सचेंज ऑनलाइन थी, जहां कई उपयोगकर्ता अपने मेलबॉक्स तक पहुंचने या सामान्य रूप से ईमेल भेजने और प्राप्त करने में असमर्थ थे; टीम्स, कोपायलट, शेयरपॉइंट और वनड्राइव जैसी एक्सचेंज फ़ंक्शंस पर निर्भर सेवाएँ भी अलग-अलग डिग्री तक प्रभावित हुईं, और कुछ सेवाओं के चैट और कॉन्फ्रेंसिंग फ़ंक्शंस का अभी भी उपयोग किया जा सकता है।

पुनर्प्राप्ति प्रक्रिया को समाप्त कर दिया गया था क्योंकि पुनः आरंभ किया गया सर्वर बैकलॉग ट्रैफ़िक प्राप्त होते ही फिर से अनुत्तरदायी हो सकता था, और क्योंकि दोष महीनों पहले तैनात किया गया था, नियमित रोलबैक और फ़ीचर टॉगल को जल्दी से पूर्ववत नहीं किया जा सकता था। इंजीनियरों ने अंततः कनेक्शन प्रोसेसिंग कोड को पिछले स्थिर संस्करण में बहाल कर दिया, फिर बैचों में इसकी मरम्मत की, सर्वर को फिर से शुरू किया और धीरे-धीरे ट्रैफ़िक बहाल किया। माइक्रोसॉफ्ट ने कहा कि वैश्विक वेबमेल सेवाओं को 13 नवंबर को 14:17 बजे अपेक्षित स्तर पर बहाल कर दिया गया था, और उस दिन 16:10 बजे इसकी पुष्टि की गई कि उपयोगकर्ता अब इस घटना से सीधे प्रभावित नहीं थे; विलंबित ईमेल को बाद में संसाधित किया गया।
Microsoft ने सर्वर क्षमता और निगरानी में वृद्धि की है, ट्रैफ़िक वितरण सुरक्षा उपायों को जोड़ा है, और बैकलॉग मेल को डिलीवरी विफलताओं के रूप में ग़लत आंकने से रोकने के लिए मेल डिलीवरी प्रतीक्षा समय बढ़ाया है। कंपनी ने कहा कि फिलहाल इस बात का कोई संकेत नहीं है कि इस घटना में दुर्भावनापूर्ण गतिविधियां या कृत्रिम बुद्धिमत्ता एजेंट शामिल थे, और दीर्घकालिक सुधारात्मक उपायों के पूरक के लिए 20 नवंबर से पहले अंतिम घटना-पश्चात रिपोर्ट जारी करने की योजना है।
टिप्पणियाँ