Для будь-якого бізнесу одним із побічних ефектів, що ми переживаємо в періоди змін чи непередбачуваних подій, як-то війна чи економічна рецесія, є неможливість довгострокового планування. Це ускладнює ведення бізнесу, але водночас — вчить бути гнучким і краще відчувати коливання ринку. На плечах телеком-компаній лежить важлива місія — забезпечувати населення безперебійним зв’язком та інтернетом. Під час війни доступність зв’язку грає особливе значення.
У цьому матеріалі я поділюся досвідом RETN про те, як налаштувати роботу мережі та яких упереджувальних заходів вжити, щоб зменшити непередбачуваність ризиків. Він стане в пригоді менеджерам у будь-яких сферах, а також спеціалістам, що працюють із телекомунікаційними технологіями та надають такі послуги.
Робота телеком-операторів зараз
У доповіді ООН наприкінці 2022 року було оцінено збитки телекомунікаційної інфраструктури України. Цифра сягнула майже 1,8 млрд дол. США та охоплює лише період із лютого по серпень 2022 року. Своєю чергою Світовий Банк разом із Мінцифрою, НКЕК та Київською школою економіки в серпневому звіті оцінили збитки українського телеком-ринку вище — у $2,6 млрд. Достеменно втрати телеком-операторів в Україні через руйнування мереж невідомі й оператори розробляють методологію оцінки, але фактичні збитки суттєво більші. При цьому варто враховувати, що атаки здійснюються зокрема й онлайн — понад 1100 кібернападів лише за 8 місяців повномасштабної війни.
Через постійні обстріли з боку росії працювати стало важче. Зруйновану інфраструктуру треба відновлювати, наявну — захищати від пошкоджень. Відповідно необхідно змінювати весь ланцюжок передачі трафіку та стежити, щоб зв’язок залишався не лише стабільним, але й витримував підвищене навантаження через збільшення споживання контенту.
Загалом, серед типових проблем, з якими мали оперативно справлятися інтернет оператори, можна виділити:
- Обриви волокна, що призводить до обмеження пропускної здатності мережі під час трафіку, що хаотично зростає.
- Забезпечення альтернативною енергією (батареї, генератори) точок доступу при частих відключеннях світла.
- Перемаршрутизація IP-трафіку.
- Електроживлення на вузлах.
- Безпека мережі.
- Збільшення потреби в запасному обладнанні для відновлення та його доставлення.
- Ускладнений фізичний доступ інженерів до вузлів і ризик ізольованості вузлів від решти мережі.
Здавалось би непрямою проблемою для операторів, але через зміну логістичних маршрутів забезпечити наявність достатньої кількості обладнання на складах в Україні стало складніше. Через тимчасову відсутність авіасполучення з України в решту країн світу та комендантську годину в країні доставлення й без того дефіцитного обладнання забирає набагато більше часу, унеможливлює швидке реагування та ще й в 3–4 рази збільшує затрати на запасні частини на складах в Україні. До того ж всі роботи з обладнанням виконують люди: нерідко з високим ризиком для життя через обстріли росії.
Проблем і челенджів багато, а ведення діяльності в нових реаліях потребує часу і додаткових ресурсів. І попри складні умови телеком-оператори в Україні докладають зусиль, щоб мережа швидко відновлювалась і покращувалась.
Три стовпи українського телекому
Призвичаївшись працювати в незвичних і непередбачуваних умовах, український бізнес, в тому числі й телеком-оператори, переосмислили те, наскільки важливо мати «план B», «C» і «D». Так з’явилися нові підходи до розбудови й підтримки мереж, але головним і єдиним стандартом в роботі, окрім SLA, є 100% доступність зв’язку.
З досвіду роботи компанії з постійно зростальними мережевими та експлуатаційними пошкодженнями ми б виділили декілька ключових моментів, що допомагають нам відповідати цьому високому стандарту:
Резервні й додаткові маршрути оптоволоконної мережі.
Інфраструктура — це «кровоносна» система телекомунікацій, яка має забезпечувати користувачів безперервним доступом в інтернет. Через обстріли, відсутність електроживлення, пошкодження оптичних ліній, кабелів і телеком-обладнання вона постійно страждала, водночас й навантаження на неї зростало. Щоб витримати всі виклики оператори мали не лише турбуватися про збільшення пропускної здатності своїх мереж, але й про будівництво нових резервних магістральних шляхів. Як приклад, ми збільшили потужності магістралей і імплементували нові оптичні маршрути — в тому числі пряме сполучення з Одеси до Європи без фізичного проходження каналів через Київ, — щоб мати додаткове резервування півдня та умовний «план Б». При цьому вибір резервних маршрутів базується виключно на повному альтернативному проходженню фізично оптичного кабелю, в тому числі навіть вхід у ДЦ чи на вузол іншого типу.
Багатофункціональні команди.
Варто розширювати компетенції команди, щоб у разі, коли вузькопрофільний спеціаліст недоступний, інші могли вжити заходів у критичній ситуації. Щоб так перебудувати процеси, фахівці з інших департаментів повинні мати детальний узгоджений порядок дій та достатній рівень компетенцій при можливих форс-мажорах. В результаті інженери несуть перехресну відповідальність за певну ділянку роботи.
Водночас під час ескалації певної проблеми на конкретного спеціаліста зменшили термін очікування на взяття в роботу задачу черговим, таким чином ескалація прискорилась, і у разі недоступності першої лінії задача швидше передається на іншого технічного спеціаліста. Крім того, варто подбати про додаткові угоди з локальними партнерами на використання віддалених рук (remote hands) для виконання аварійних робіт при недоступності когось із команди в тій чи іншій місцевості.
Подбати про стабільність інформаційної системи
Мати достатню кількість запасного та додаткового обладнання важливо, адже це дає більшу мобільність і оперативність в умовах обмеженої логістики. Так, наявність телекомунікаційного обладнання на складах дозволяє швидко доставити його на об'єкт, коли воно потрібне, а, наприклад, використання транспондерів для додаткової пропускної здатності дає можливість активувати нові послуги за лічені години, коли це необхідно.
Мати джерела резервного живлення надважливо, тож телеком-вузли мають бути оснащені батареями, що автоматично вмикаються за відключення світла. При цьому батареї ДБЖ і дизельні генератори мають завжди бути напоготові: ILA-акумулятори краще мати великої місткості, щоб могли працювати до 3 днів без зовнішнього живлення, а генератори — з повним баком. Через обмеження пересувань у комендантську годину, бувало навіть й так, що в певних областях партнерам доводилося ночувати на вузлах, щоб вчасно запустити дизель, якщо моніторинг систем безперебійного живлення вказував, що заряду акумуляторів може не вистачити на роботу вузла всю ніч.
Додаткові ресурси
Мати альтернативу важливо за будь-яких життєвих обставин, але в умовах війни це іноді може стати єдиною можливістю продовжити роботу. Наприклад, для телекомунікацій важливо залучати додаткові місткості передачі даних альтернативними фізичними оптичними маршрутами інших операторів, навіть з тими, з ким ділите роботу на одному ринку.
Передбачати непередбачуване: підходи до планування роботи
Хоча все прорахувати неможливо, чекати на настання екстреного випадку краще з певним планом та у всеозброєнні — убезпечитися принаймні від вже відомих ризиків. Прорахувати можливі сценарії допомагає просте питання: а що як…?
Для себе ми взяли за правило мати якомога більше додаткових оптичних ліній для транспортування трафіку, та виділили кілька обов’язкових базових правил для вузлів звʼязку:
- Мати сконфігурованими якомога більше портів для клієнтів на маршрутизаторах, адже це дозволяє за годину розширити місткість у разі потреби когось із клієнтів-провайдерів.
- Завчасно масштабувати мережу, наприклад, у разі втрати частини місткості через пошкодження оптики по одному із фізичних маршрутів бути здатними забезпечити проходження трафіку без втрат робочими альтернативними шляхами.
- Мати два DWDM-шасі в одному місці, якщо це можливо.
- Тримати принаймні мінімально прийнятним рівень затухань, що є індикатором якості оптики. Його треба постійно контролювати та, наприклад, після відновлення пошкодження оптичної лінії обов’язково заміряти.
- Тримати купу трансиверів/патчів та інших матеріалів на місці по можливості.
- Мати запас обладнання, що часто використовується, поруч із вузлами.
Не зайвим буде й захистити DWDM-мережу за допомогою орендованих місткостей. При цьому додаткові потужності допоможуть зберегти якість і швидкість зв’язку, але не убезпечать вузли від руйнівної дії ракети чи обстрілів. Саме тому варто потурбуватися про відкриття нових маршрутів і розбудову оптоволоконної мережі.
І скільки б не говорили про технічну складову роботи телеком-компаній, в усіх процесах головними є люди — хто це робить і для кого. Підтримка і чесна взаємодія з командою, клієнтами, партнерами неодноразово допомагали встояти телекомунікаційним мережам у найважчі часи, адже зв’язок — це про людей і для людей.