Ibinunyag ng Microsoft na isang bug sa software na nakatago mula pa noong Hulyo ang nagdulot ng malawakang pagkawala ng serbisyo ng Microsoft 365 sa buong mundo

Matinding naantala ng pagkawala ng serbisyo noong Nobyembre 12 ang pang-araw-araw na operasyon ng mga korporasyon at ahensiya ng pamahalaan sa buong mundo. Muli nitong inilantad ang mga kahinaan sa operasyon at mga panganib na dulot ng labis na pag-asa sa iisang cloud provider. Matapos ilabas noong Linggo ang isang paunang ulat para sa mga customer, pormal na humingi ng paumanhin sa X noong Lunes ang isang executive vice president ng Microsoft para sa pagkaantala. Sa kasagsagan ng insidente, mahigit 80% ng mga network gateway server na sumusuporta sa Exchange Online ang hindi na tumutugon. Bagaman mabilis na lumipat sa gumaganang imprastraktura ang mga application tulad ng Teams, OneDrive at SharePoint, patuloy na umasa ang Outlook at Exchange Online sa mga depektibong gateway sa mga oras na pinakamataas ang aktibidad ng negosyo sa US.

TMGM Analysis: Financial Market News, Economic Calendar & Market Insights

Nag-ugat ang pagkawala ng serbisyo sa pinagsamang epekto ng tatlong salik sa operasyon. Noong huling bahagi ng Nobyembre 11, inilipat ng karaniwang awtomatikong pamamahala ng trapiko ang trapiko ng Teams patungo sa pangunahing network gateway na humahawak na sa trapiko ng Outlook. Samantala, dahil sa hiwalay na maintenance na isinagawa noong nakaraang araw, humigit-kumulang 14% ng kapasidad ng mga server ng gateway ang hindi magamit, kaya walang natirang reserbang kapasidad ang sistema para kayanin ang biglang pagdagsa ng trapiko.

Noong Nobyembre 12, na-activate ng biglang pagtaas ng trapiko ang isang internal lock contention bug na naipasok sa update ng gateway noong Hulyo. Dahil dito, naubusan ng memory ang mga server at sunod-sunod na pumalya. Ipinaliwanag ni Ramanna na hindi natukoy ng karaniwang pagsusuri sa laboratoryo bago ang deployment ang bug sa nakalipas na tatlong buwan dahil binigyang-priyoridad sa kapaligiran ng pagsubok ang mas lumang hardware na may mas kaunting processor core, sa halip na ang mas bagong mga processor na may mas maraming core at mas malamang na magpasimula ng problema sa sabayang pag-access sa iisang resource.

Sinubukan ng awtomatikong sistema ng pamamahala ng trapiko na ilipat ang mga user sa mga gumaganang node, ngunit lalo nitong pinabilis ang paglawak ng pagkawala ng serbisyo dahil nalampasan ang kapasidad ng natitirang mga server. Kasabay nito, isang hiwalay na problema ang humadlang sa karaniwang mekanismo ng pagbubukod ng partition na limitahan ang pagpalya sa mga partikular na rehiyon. Dahil dito, kumalat ang bug sa pandaigdigang imprastraktura ng mga server ng Microsoft sa loob ng wala pang dalawang oras.

Di-karaniwang tumagal ang pagpapanumbalik ng serbisyo. Gumugol ang mga inhinyero ng humigit-kumulang 15 oras upang matukoy ang pinakaugat ng problema at ng karagdagang 15 oras bago simulan ang pagpapatupad ng solusyon. Dahil ilang buwan nang ginagamit ang depektibong code, hindi naging epektibo ang karaniwang mga tool para sa pagbabalik sa dating bersiyon at mga kontrol para sa pag-on o pag-off ng mga feature. Kinailangang pansamantalang alisin ng mga inhinyero sa operasyon ang mahigit kalahati ng imprastraktura sa bawat apektadong rehiyon sa bawat yugto, unti-unting ibalik ang dating bersiyon ng code, at muling papasukin nang paunti-unti ang naipong trapiko ng mga user.

Pagsusuri sa Merkado:

Binibigyang-diin ng insidente ang lumalaking pagiging kumplikado ng pamamahala sa napakalawak na imprastraktura ng cloud habang lalong umaasa ang mga negosyo sa magkakaugnay na mga tool para sa produktibidad at mga serbisyo ng AI. Sa hinaharap, malamang na mas masusing suriin ng mga institusyonal na customer at tagamasid sa merkado ang mga pamamaraan ng Microsoft sa pagsubok ng kapasidad sa ilalim ng mabigat na trapiko at ang mga pananggalang nito para sa awtomatikong paglipat sa gumaganang sistema kapag may pumalya, upang matiyak na ang mga deployment na may siksik na pagkakalagay ng hardware ay hindi nagdudulot ng mga nakatagong panganib sa buong sistema.