
Gangguan perkhidmatan pada 12 November menjejaskan operasi harian pelanggan korporat dan kerajaan di seluruh dunia dengan teruk, sekali lagi mendedahkan kelemahan operasi dan risiko penumpuan akibat terlalu bergantung pada satu penyedia perkhidmatan awan. Susulan penerbitan laporan awal untuk pelanggan pada Ahad, seorang naib presiden eksekutif Microsoft memohon maaf secara rasmi atas gangguan itu menerusi X pada Isnin. Pada kemuncak gangguan tersebut, lebih 80% pelayan get laluan rangkaian yang menyokong Exchange Online tidak lagi memberikan respons. Walaupun aplikasi seperti Teams, OneDrive dan SharePoint beralih dengan pantas kepada infrastruktur yang berfungsi dengan baik, Outlook dan Exchange Online terus bergantung pada get laluan yang bermasalah ketika waktu perniagaan paling sibuk di AS.

Gangguan itu berpunca daripada gabungan tiga faktor operasi. Pada lewat 11 November, proses pengurusan trafik automatik rutin mengalihkan trafik Teams ke get laluan rangkaian utama yang ketika itu sudah mengendalikan trafik Outlook. Sementara itu, kerja penyelenggaraan berasingan yang dilakukan sehari sebelumnya telah menyebabkan kira-kira 14% kapasiti pelayan get laluan itu berada di luar talian, menjadikan sistem tersebut tidak mempunyai kapasiti lebihan untuk menampung lonjakan trafik.
Pada 12 November, lonjakan trafik mencetuskan pepijat perebutan kunci dalaman yang diperkenalkan melalui kemas kini get laluan pada Julai, menyebabkan pelayan kehabisan memori dan gagal berfungsi satu demi satu. Ramanna menjelaskan bahawa ujian makmal standard sebelum pelaksanaan gagal mengesan pepijat itu sepanjang tiga bulan sebelumnya kerana persekitaran ujian mengutamakan perkakasan lama dengan bilangan teras pemproses yang lebih sedikit, bukannya pemproses baharu dengan bilangan teras yang lebih banyak, yang lebih berkemungkinan mencetuskan isu perebutan tersebut.
Sistem pengurusan trafik automatik cuba mengalihkan pengguna ke nod yang berfungsi dengan baik, tetapi tindakan ini mempercepat penyebaran gangguan dengan membebankan pelayan yang masih beroperasi secara berlebihan. Pada masa yang sama, satu isu berasingan menghalang mekanisme pengasingan petak standard daripada mengehadkan kegagalan itu kepada rantau tertentu. Akibatnya, pepijat tersebut merebak ke seluruh infrastruktur pelayan global Microsoft dalam masa kurang dua jam.
Proses pemulihan mengambil masa yang luar biasa panjang. Jurutera mengambil masa kira-kira 15 jam untuk mengenal pasti punca utama dan 15 jam lagi sebelum mula melaksanakan pembaikan. Oleh sebab kod bermasalah itu telah digunakan selama berbulan-bulan, alat standard untuk mengembalikan sistem kepada versi terdahulu dan suis ciri didapati tidak berkesan. Jurutera terpaksa membawa lebih separuh daripada infrastruktur di setiap rantau yang terjejas ke luar talian pada satu-satu masa, mengembalikan kod kepada versi terdahulu secara beransur-ansur dan memulihkan aliran trafik pengguna yang terkumpul secara berperingkat.
Tinjauan Pasaran:
Insiden ini menyerlahkan kerumitan yang semakin meningkat dalam pengurusan infrastruktur awan berskala amat besar, seiring dengan kebergantungan perniagaan yang semakin tinggi pada alat produktiviti bersepadu dan perkhidmatan AI. Pada masa hadapan, pelanggan institusi dan pemerhati pasaran berkemungkinan meneliti dengan lebih mendalam prosedur ujian beban serta langkah perlindungan peralihan sandaran Microsoft bagi memastikan penggunaan perkakasan berketumpatan tinggi tidak mewujudkan risiko sistemik tersembunyi.
