微軟揭露:自 7 月起潛藏的軟體錯誤導致 Microsoft 365 全球大規模服務中斷

11 月 12 日的服務中斷嚴重干擾全球企業與政府客戶的日常運作,再次暴露出高度依賴單一雲端服務供應商所帶來的營運脆弱性與集中風險。在週日發布初步客戶報告後,微軟一名執行副總裁於週一在 X 上正式就此次服務中斷致歉。中斷最嚴重時,支援 Exchange Online 的網路閘道伺服器有超過 80% 無回應。雖然 Teams、OneDrive 和 SharePoint 等應用程式迅速切換至運作正常的基礎設施,Outlook 與 Exchange Online 在美國上班尖峰時段仍持續依賴故障的閘道。

財經新聞|經濟日曆、金融分析、TMGM TV|每日更新

此次服務中斷是三項營運因素共同作用所致。11 月 11 日深夜,例行自動化流量管理作業將 Teams 流量重新導向當時已在處理 Outlook 流量的主要網路閘道。與此同時,前一天進行的另一項無關維護作業,使該閘道約 14% 的伺服器容量處於離線狀態,導致系統沒有多餘容量可因應流量激增。

11 月 12 日,流量激增觸發了 7 月閘道更新所引入的內部鎖定爭用程式錯誤,導致伺服器記憶體耗盡,接連故障。Ramanna 解釋,過去三個月的部署前標準實驗室測試未能發現這項錯誤,是因為測試環境優先使用處理器核心數較少的舊型硬體,而非核心數較多、較容易觸發爭用問題的新型處理器。

自動化流量管理系統試圖將使用者重新導向運作正常的節點,卻使其餘伺服器不堪負荷,反而加速服務中斷範圍擴大。同時,另一項獨立問題導致標準分區隔離機制無法將故障限制在特定區域內。因此,這項程式錯誤在不到兩小時內便擴散至微軟全球伺服器基礎設施。

復原過程異常漫長。工程師花了約 15 小時找出根本原因,又過了 15 小時才開始部署修正程式。由於有問題的程式碼已運作數月,標準回復工具與功能開關均無法發揮作用。工程師只能在每個受影響區域,每次將超過一半的基礎設施下線,逐步將程式碼回復至先前版本,並分階段恢復處理累積的使用者流量。

市場洞察:

隨著企業日益依賴整合式生產力工具與 AI 服務,此次事件凸顯超大規模雲端基礎設施的管理複雜度正不斷提高。展望未來,機構客戶與市場觀察人士可能會更仔細檢視微軟的負載測試程序及容錯移轉防護機制,以確保高密度硬體部署不會帶來隱藏的系統性風險。