Chernovtsy
Хочете будувати кар’єру в Data Science та AI? Vodafone Big Data Lab відкриває новий набір —>

У Microsoft три місяці не помічали помилку, через яку «впали» сервіси Microsoft 365 у 74 країнах. Що стало причиною глобального збою?

Microsoft нарешті з’ясувала, що спричинило масштабний збій Outlook і інших сервісів Microsoft 365. Винуватцем виявилося оновлення, яке компанія встановила ще в липні. Три місяці помилка ніяк себе не проявляла, аж поки через збіг кількох обставин не вивела з ладу понад 80% серверів одного з мережевих шлюзів Microsoft.

Залишити коментар
Додай у Google
У Microsoft три місяці не помічали помилку, через яку «впали» сервіси Microsoft 365 у 74 країнах. Що стало причиною глобального збою?

Microsoft нарешті з’ясувала, що спричинило масштабний збій Outlook і інших сервісів Microsoft 365. Винуватцем виявилося оновлення, яке компанія встановила ще в липні. Три місяці помилка ніяк себе не проявляла, аж поки через збіг кількох обставин не вивела з ладу понад 80% серверів одного з мережевих шлюзів Microsoft.

Про це повідомляє The Register, посилаючись на звіт Microsoft.

Проблемне оновлення призначалося для серверів, через які користувачі підключаються до хмарних сервісів компанії. Спочатку все виглядало добре: код пройшов тестування, його встановили, і жодних помітних проблем не виникло.

Але виявилося, що Microsoft перевіряла оновлення переважно на слабших серверах із меншою кількістю процесорних ядер. Натомість прихована помилка особливо сильно проявлялася саме на новішому потужнішому обладнанні.

Сучасні процесори з великою кількістю ядер можуть виконувати більше завдань одночасно. Але іноді цим завданням потрібен доступ до одного й того самого ресурсу. Через помилку в коді процеси Windows починали конфліктувати за доступ до спільних ресурсів. Що більше завдань сервер міг виконувати паралельно, то сильніше проявлявся цей конфлікт.

Замість того, щоб ефективно обробляти запити користувачів, сервер витрачав дедалі більше ресурсів на роботу в умовах цього конфлікту. Зрештою, навантаження на процесор і оперативну пам’ять ставало настільки великим, що сервер припиняв відповідати.

12-го листопада збіглися дві обставини. По-перше, трафік Microsoft Teams перенаправили на основний мережевий шлюз, який також обслуговує Exchange Online — поштову систему, на якій працює Outlook. А ще в цей момент майже 14% серверних потужностей шлюзу тимчасово були недоступні.

Окремо жодна із цих ситуацій не була критичною. Але разом вони створили саме те навантаження, за якого спрацювала прихована помилка. Далі почався ефект доміно. Коли один сервер переставав відповідати, система автоматично перенаправляла запити на інший. Той отримував додаткове навантаження, теж виходив із ладу, а запити переходили до наступного. 

Менше ніж за дві години понад 80% серверів шлюзу перестали відповідати.

Як виправили?

Інженери спробували повернути сервери до роботи, але ті майже одразу знову виходили з ладу через навантаження. Додавання потужностей і перенаправлення трафіку також не розв’язали проблему. Звичайне відновлення після збою не допомагало, адже автоматичні механізми Microsoft не були розраховані на настільки масштабну відмову серверів.

Просто «відкотити» оновлення теж не виходило, адже проблемний код встановили ще три місяці тому.

Тож інженерам довелося фактично написати виправлення для старого виправлення — нове оновлення, яке повертало проблемну частину коду до попереднього робочого стану. Його поступово встановлювали на сервери, відновлюючи роботу системи.

Раніше dev.ua розповідав, як глобальний збій Microsoft порушив роботу компаній у 74 країнах, зокрема й в Україні.

Згодом Microsoft відновила роботу своїх сервісів після понад 20-годинного збою. Тоді інженери ще з’ясовували його причини, а серед можливих пояснень називали проблеми з обробкою запитів і мережевою інфраструктурою.

Масштабний збій Microsoft змусив японські компанії повернутися до факсів
Масштабний збій Microsoft змусив японські компанії повернутися до факсів
По темi
Масштабний збій Microsoft змусив японські компанії повернутися до факсів
«Microsoft ліг. Teams не працює Outlook не працює. Зате Excel с*ка невмирущий!»: соцмережі вибухнули мемами про глобальний збій Microsoft
«Microsoft ліг. Teams не працює, Outlook не працює. Зате Excel, с*ка, невмирущий!»: соцмережі вибухнули мемами про глобальний збій Microsoft
По темi
«Microsoft ліг. Teams не працює, Outlook не працює. Зате Excel, с*ка, невмирущий!»: соцмережі вибухнули мемами про глобальний збій Microsoft
Читайте головні IT-новини країни в нашому Telegram
Читайте головні IT-новини країни в нашому Telegram
По темi
Читайте головні IT-новини країни в нашому Telegram
Читайте також
Call of Duty не зникне з PlayStation раптово. Sony отримала таку гарантію під Microsoft, яка купує розробника гри – Activision Blizzard
Call of Duty не зникне з PlayStation раптово. Sony отримала таку гарантію під Microsoft, яка купує розробника гри – Activision Blizzard
Call of Duty не зникне з PlayStation раптово. Sony отримала таку гарантію під Microsoft, яка купує розробника гри – Activision Blizzard
У Microsoft визнали, що PS4 продаються у два рази краще, ніж Xbox
У Microsoft визнали, що PS4 продаються у два рази краще, ніж Xbox
У Microsoft визнали, що PS4 продаються у два рази краще, ніж Xbox
Microsft опубліковала аналіз кібервійни в Україні та розкрила, які групи хакерів пов’язані з ФСБ, ГРУ
Microsft опубліковала аналіз кібервійни в Україні та розкрила, які групи хакерів пов’язані з ФСБ, ГРУ
Microsft опубліковала аналіз кібервійни в Україні та розкрила, які групи хакерів пов’язані з ФСБ, ГРУ
Meta, Microsoft та інші великі компанії об'єдналися задля створення стандартів для метавсесвітів
Meta, Microsoft та інші великі компанії об'єдналися задля створення стандартів для метавсесвітів
Meta, Microsoft та інші великі компанії об'єдналися задля створення стандартів для метавсесвітів

Хочете повідомити важливу новину? Пишіть у Telegram-бот

Головні події та корисні посилання в нашому Telegram-каналі

Обговорення
Коментарів поки немає.