
Sự cố gián đoạn dịch vụ ngày 12 tháng 11 đã ảnh hưởng nghiêm trọng đến hoạt động hằng ngày của các khách hàng doanh nghiệp và cơ quan chính phủ trên toàn thế giới, một lần nữa phơi bày những điểm yếu trong vận hành và rủi ro tập trung khi phụ thuộc quá nhiều vào một nhà cung cấp dịch vụ đám mây duy nhất. Sau khi báo cáo sơ bộ gửi khách hàng được công bố vào Chủ nhật, một phó chủ tịch điều hành của Microsoft đã chính thức xin lỗi về sự cố trên X vào thứ Hai. Vào thời điểm sự cố nghiêm trọng nhất, hơn 80% máy chủ cổng mạng hỗ trợ Exchange Online không phản hồi. Mặc dù các ứng dụng như Teams, OneDrive và SharePoint nhanh chóng chuyển sang hạ tầng hoạt động bình thường, Outlook và Exchange Online vẫn tiếp tục phụ thuộc vào các cổng mạng bị lỗi trong giờ làm việc cao điểm tại Mỹ.

Sự cố bắt nguồn từ sự kết hợp của ba yếu tố vận hành. Vào cuối ngày 11 tháng 11, quy trình quản lý lưu lượng tự động định kỳ đã chuyển lưu lượng Teams sang cổng mạng chính vốn đang xử lý lưu lượng Outlook. Trong khi đó, một đợt bảo trì không liên quan được thực hiện vào ngày hôm trước đã khiến khoảng 14% công suất máy chủ của cổng mạng này ngừng hoạt động, làm hệ thống không còn công suất dự phòng để đáp ứng lượng truy cập tăng đột biến.
Ngày 12 tháng 11, lưu lượng tăng đột biến đã kích hoạt một lỗi tranh chấp khóa nội bộ xuất hiện trong bản cập nhật cổng mạng hồi tháng 7, khiến các máy chủ cạn kiệt bộ nhớ và lần lượt ngừng hoạt động. Ramanna giải thích rằng quy trình kiểm thử tiêu chuẩn trong phòng thí nghiệm trước khi triển khai đã không phát hiện được lỗi này trong ba tháng trước đó, do môi trường kiểm thử ưu tiên phần cứng cũ có ít lõi xử lý hơn, thay vì các bộ xử lý mới có số lõi cao hơn và dễ kích hoạt lỗi tranh chấp khóa hơn.
Hệ thống quản lý lưu lượng tự động đã cố gắng chuyển hướng người dùng sang các nút hoạt động bình thường, nhưng điều này lại khiến sự cố lan rộng nhanh hơn do gây quá tải cho những máy chủ còn lại. Đồng thời, một vấn đề riêng biệt khiến cơ chế cô lập phân vùng tiêu chuẩn không thể khoanh vùng sự cố trong các khu vực cụ thể. Kết quả là lỗi đã lan khắp hạ tầng máy chủ toàn cầu của Microsoft trong chưa đầy hai giờ.
Quá trình khôi phục kéo dài bất thường. Các kỹ sư mất khoảng 15 giờ để xác định nguyên nhân gốc rễ và thêm 15 giờ nữa trước khi bắt đầu triển khai biện pháp khắc phục. Do đoạn mã lỗi đã tồn tại trong nhiều tháng, các công cụ khôi phục phiên bản và cơ chế bật/tắt tính năng tiêu chuẩn đều không phát huy hiệu quả. Các kỹ sư phải lần lượt tạm ngừng hoạt động hơn một nửa hạ tầng tại mỗi khu vực bị ảnh hưởng, từng bước đưa mã về phiên bản trước và khôi phục việc xử lý lưu lượng người dùng tồn đọng theo từng giai đoạn.
Nhận định thị trường:
Sự cố cho thấy việc quản lý hạ tầng đám mây siêu quy mô ngày càng phức tạp khi các doanh nghiệp ngày càng phụ thuộc vào các công cụ năng suất tích hợp và dịch vụ AI. Trong thời gian tới, các khách hàng tổ chức và giới quan sát thị trường có khả năng sẽ xem xét kỹ lưỡng hơn quy trình kiểm thử tải và các biện pháp bảo đảm an toàn khi chuyển đổi dự phòng của Microsoft, nhằm bảo đảm việc triển khai phần cứng mật độ cao không làm phát sinh những rủi ro hệ thống tiềm ẩn.
