26 квітня дата-центр компанії De Novo на 14 хвилин опинився в повному блекауті через несправність одного з автоматичних перемикачів під час планової модернізації системи живлення. У результаті низка українських сервісів перестала працювати. У середу 30 квітня De Novo зібрала журналістів, щоб детально розповісти про причини нештатної ситуації. dev.ua відтворює повну хронологію подій.
26 квітня дата-центр компанії De Novo на 14 хвилин опинився в повному блекауті через несправність одного з автоматичних перемикачів під час планової модернізації системи живлення. У результаті низка українських сервісів перестала працювати. У середу 30 квітня De Novo зібрала журналістів, щоб детально розповісти про причини нештатної ситуації. dev.ua відтворює повну хронологію подій.
Дата-центр De Novo — це справжній Форт-Нокс українського хмарного середовища. Головний інженер проєкту Віталій Пасічний фахівець із великим міжнародним досвідом проєктування великих ЦОД, який має сертифікацію з проєктування дата-центрів від Uptime Institute. Сьогодні він обіймає посаду головного архітектора Національного банку України. Раніше проєктував і будував масштабний дата-центр у Монголії. Нині він працює над інфраструктурою дата-центрів НБУ. Саме з De Novo Пасічний створював реалізував свій перший дата-центр такого рівня.
Щоб потрапити безпосередньо до приміщення, де розміщені основні потужності та сервери De Novo, потрібно пройти цілу низку безпекових етапів. Дата-центр максимально захищений від проникнення зовні, за кожним кроком відвідувачів і працівників пильно наглядають системи моніторингу і доступу.
«Під час інциденту ми не втратили контроль над периметром, тобто прориву сюди не могло бути, ніхто зовні доступу до українського обладнання не отримав», — повідомив пресі генеральний директор компанії Максим Агеєв.
Коли журналіст dev.ua опинився на території серверної частини, яка займає понад 2000 м², він зрозумів, наскільки складно було б сюди пройти сторонній особі. Однак, 26 квітня було багато повідомлень про можливу кібератаку на дата-центр, De Novo відповіли й на ці інсинуації, показавши один із серверів центру. Це повністю екрановане приміщення, так будь-яка шкідлива інформація не зможе потрапити на сервер.
Коли журналісти йшли максимально сухими коридорами дата-центру, працювала система контролю рівня вологості, яка навмисне підсушує повітря, аби зменшити навантаження на роботу обладнання, Максим Агеєв продовжував розповідати про технологічну насиченість та оновлення дата-центру. За словами генерального директора, за останні три роки De Novo оновило 35% всього обладнання загальною вартістю $3 млн, а систему контролю і роботи здійснюють 5000 різних датчиків.
Ось нарешті ми потрапили в кімнату, де стався інцидент 26 квітня. З першого погляду приміщення нічим не відрізняється від решти робочого простору дата-центру, окрім однієї порожньої ніші. Саме в ній бувв розміщений «Перемикач-2» — головний винуватець суботньої ситуації.
Головний інженер дата-центру, Олександр Юрченко, розповів про обставини, які передували інциденту. 19 квітня в De Novo виконували планові роботи з оновлення елементів джерел безперебійного живлення, за процедурою одна з гілок електроживлення була виведена з обслуговування під час першого етапу робіт. На 26 квітня було заплановано повернення оновленої гілки живлення до штатного режиму функціонування.
Для забезпечення безперервної подачі електроенергії під час робіт застосовувалася тимчасова кабельна силова перемичка, через яку живлення подавалося з першої гілки на другу. Ця перемичка була під’єднана до автоматичного перемикача (він же «Перемикач-2»). Це стандартна процедура під час проведення регламентних робіт із системами електроживлення, яка використовується в ЦОД багато років. Після завершення монтажних робіт мала відбутися активація другої гілки живлення та відключення тимчасової силової перемички.
О 8:03 ранку «Перемикач-2» був переведений в позицію «відключено» згідно з розробленим планом, після чого була продовжена процедура введення в роботу системи модернізованих ДБЖ. Саме у цей момент ЦОД був повністю знеструмлений.
За словами компанії, інцидент тривав 14 хвилин, після чого живлення було повністю відновлене. За цей час працівники дата-центру працювали в повній темряві, користуючись ліхтариками. На запитання dev.ua про те, як відреагувала команда інженерів дата-центру, коли стався інцидент, Олександр Юрченко відповів, що попри блекаут в De Novo постійно проводяться інструктажі на випадок таких ситуацій, тому кожен працівник знав, що йому робити, і живлення було швидко відновлено.
«Наші хлопці молодці. У неділю я всім відправив лист із подякою. Хлопці відпрацювали на 12 балів. Усе могло бути набагато гірше, особливо, коли мова йде про людський чинник. Ми потім ретельно перевіряли всю процедуру відновлення і в мене нема ніяких претензій ні до кого. Регламент був витриманий на 100%», — прокоментував роботу своїх підлеглих Максим Агеєв.
Олександр Юрченко також повідомив dev.ua, що в майбутньому вони розроблять спеціальні альтернативні сценарії, які тепер базуватимуться на отриманому досвіді з суботнього інциденту.
Журналіст dev.ua зміг особисто роздивитися горезвісний «Перемикач-2». Зовні виглядає, як великий автомат чи реле напруги, який ви можете побачити на своєму домашньому лічильнику світла, коли записуєте показники в обленерго, тільки значно-значно більший. Ніяких дефектів чи якогось зовнішнього впливу візуально не спостерігалося, тобто ніщо не вказує на його нефункціональний стан, окрім того, що він не увімкнений в систему.
«За результатами розслідування фахівці De Novo прийшли до висновку, що причиною аварії став прояв прихованого дефекту в „Перемикачі-2“. А саме — Перемикач вимкнувся „не до кінця“, тобто механіка не перевела „Перемикач-2“ повністю в протилежну позицію (відключено)», — йдеться в офіційному звіті компанії.
Повноцінна робота хмарних сервісів і клієнтських систем відновлювалася поетапно, впродовж кількох годин. Хмара De Novo запрацювала о 9:45, «Нової пошти» о 10:00. Для деяких клієнтів De Novo, яких в компанії близько 150, процес відновлення був тривалішим. У цілому, наслідки інциденту було повністю ліквідовано приблизно о 13:00.
До інциденту дата-центр De Novo працював без зупинок понад 5000 днів, що відповідає майже 15 рокам. Це — один із найкращих результатів в Україні.
Згідно з контрактними зобов’язаннями на рік De Novo може мати 96 хв простою, компанія справилася з ліквідацією аварії за 14 хв. Тобто все в межах домовленостей.
Максим Агеєв повідомив, що він отримав безліч пропозицій допомоги як зі сторони державного сектору, так і з боку клієнтів і конкурентів. Він дуже розчулений підтримкою колег, оскільки це показуєш людське ставлення, коли хтось з індустрії в біді.
