Російське вторгнення стало потужним стусаном для IT-команди Райффайзен Банку, яка зуміла за три місяці переїхати в хмару, щоб надійно обслуговувати 3 млн клієнтів у режимі 24/7 за будь-яких умов.
Російське вторгнення стало потужним стусаном для IT-команди Райффайзен Банку, яка зуміла за три місяці переїхати в хмару, щоб надійно обслуговувати 3 млн клієнтів у режимі 24/7 за будь-яких умов.
Райффайзен Банк є одним з найбільших українських банків, який працює в країні вже понад 30 років. Банк є окремою юридичною особою, що діє відповідно до українського законодавства та дотримується всіх встановлених вимог воєнного стану в Україні.
Одразу після повномасштабного вторгнення банк заявив про свою підтримку України та припинив відносини з клієнтами та грошима, що мають російське та білоруське походження. Банк підтримує санкції проти країни-агресора.
Акціонери банку — Райффайзен Банк Інтернаціональ (РБІ) та Європейський банк реконструкції та розвитку — рішуче засудили немотивовану та криваву агресію рф проти суверенітету Української держави. Також на зборах акціонерів РБІ було проголошено позицію щодо поступового виходу з ринку рф. Як зазначається у тексті: «РБІ суворо дотримується всіх вимог чинного законодавства Австрії та ЄС, які визнають територіальну, політичну та економічну цілісність України. РБІ ані самостійно, ані через свої дочірні компанії не веде жодної господарської діяльності на територіях Донецької та Луганської областей, а також півострова Крим».
З перших днів війни Група РБІ надає значну гуманітарну допомогу Україні, яка не обмежується тільки прямим фінансуванням на більш ніж 20 мільйонів євро (майже третина від усіх перерахованих банками України коштів), а включає також всебічну підтримку людям в Україні та українським біженцям за кордоном.
Український Райффайзен Банк самовіддано працює в умовах воєнного часу, забезпечуючи стабільність банківських систем та повне виконання своїх зобов’язань перед законодавством, клієнтами та співробітниками. Багато разів визнаний найнадійнішим банком країни, Райффайзен Банк водночас є й одним із найбільших кредиторів, що надає значне фінансування економіці.
31 березня 2023 року НБУ розмістив на своєму сайті позицію про те, що Райффайзен Банк Україна має підтримку Нацбанку. Згідно з позицією НБУ, Райффайзен Банк в Україні є системно важливим банком, який сприяє підтриманню фінансової стабільності в країні в розпал війни. Участь банку в розвитку банківського сектору, економічних програмах та гуманітарних проєктах відчутна і важлива.
Райф разом з Україною!
Четвер 24 лютого 2022 року для співробітників українського Райффайзен Банку почався, як і для багатьох українців, із тривожних новин і вибухів. Уже зранку перед IT-командою банку постало екстремальне завдання ― зробити так, щоби клієнти банку могли користуватися своїми коштами та зручними сервісами, попри обстріли, ймовірність хакерських атак і бажання ворога покласти на лопатки банківську систему України.
«Все починалося близько 5 ранку 24 лютого. Був ракетний обстріл, і ми зрозуміли, що вже немає часу думати. Хвилин 20 приймалося рішення про те, чи варто починати надскладний і відповідальний процес переведення сервісів у хмару», ― згадує СТО банку Григорій Таций.
До початку повномасштабного вторгнення у постанові Нацбанку № 75 від 04.07.2018 було прописано заборону на будь-які міграції у хмару для банківських установ. Оброблення та зберігання інформації могло виконуватися лише на серверах, розташованих в Україні. 8 березня 2022 року НБУ прийняв нову постанову № 42 «Про використання банками хмарних послуг в умовах воєнного стану в Україні». Цей документ дозволив банкам протягом періоду воєнного стану та впродовж двох років після нього використовувати хмарні сервіси за допомогою обладнання, розташованого в ЄС, Британії, США та Канаді. Це розв’язало руки IT-підрозділу для того, аби забезпечити функціонування систем банку у найфорсмажорніших обставинах.
Григорій не без гордості каже, що проєктній команді Райфу, а це 163 айтішники з 800 в ІТ-підрозділі Райфу, вдалося здійснити міграцію в хмару із фізичних серверів усього лише за три місяці. І це окрема історія, повна драматичних моментів, недоспаних ночей та, куди ж без них, факапів.
Григорій Таций розповідає, що на момент вторгнення рф у банку, як і в більшості бізнесів, був план безперебійної роботи на випадок форс-мажору.
«У нас були детально пропрацьовані плани щодо різних сценаріїв подій, у тому числі війни. Однак у те, що війна дійсно почнеться, не вірив ніхто. Проте ми ретельно розписали перелік випадків, за настання яких точно будемо переносити сервери у хмару», ― згадує СТО банку.
Основне завдання банку на початку вторгнення полягало в тому, аби забезпечити безперервність послуг для клієнтів 24/7. Над цією місією спільно працювали усі підрозділи — від касирів, інкасаторів, маркетологів тощо. Це взагалі був виклик для всієї банківської системи. І те, що українські банки продовжували надавати якісні послуги в умовах війни — це унікальний кейс у світі. За інших військових конфліктів банківські системи інших країн просто переставали функціонувати. Банки в Україні — вистояли.
ІТ-команда Райфу працювала над забезпеченням зв’язку та доступністю усіх диджитал-сервісів для клієнтів на рівні, не нижчому, ніж за звичайних умов.
«Наші клієнти в Україні, поза країною, у сховищах, крізь, де є інтернет, повинні були мати доступ до своїх коштів, і робити це зручно у пару кліків. Щоб забезпечити це, потрібно було переміститися в безпечне середовище ― у хмару. Навіть у випадку, коли якась ракета прилетить у дата-центри, у людей завжди був би доступ до своїх рахунків», ― пояснює Григорій.
Паралельно з міграцією Райф мав план «В» — картка «Судного дня», розроблена у партнерстві з одним європейським банком. Навіть якби система була фізично зруйнована, то клієнти Райфу мали б доступ до своїх коштів через диджитал-картку європейського партнерського банку. Завдяки сильній команді із забезпечення безперервності бізнес-процесів (BCM), розроблялося багато різних сценаріїв та варіантів зниження ризиків та забезпечення сталої роботи.
163 фахівці, серед яких розробники, тестувальники, девопси, проджект-менеджери, продакт-овнери тощо, запустили локомотив, який не можна було зупинити і вкрай важливо було спрямувати до фінішної точки.
Команду швидкісних міграційних перетворень в компанії ототожнили із героями мультфільму Kung Fu Panda.
Кожному департаменту, задіяному у процесі міграції, присвоїли свого покровителя з числа героїв мультфільму і надрукували світшоти з пандами, тиграми, зміями, мавпами тощо. Кожному відділу написали історію, що уособлювала певний етап міграції. Такий підхід допоміг згуртувати, змотивувати людей та підтримати їх.
Що являє собою перехід у хмару? По-перше, перенесення важливих даних у віртуальне сховище. По-друге, відмова від фізичних серверів, на яких раніше зберігалися ті самі дані. За словами Григорія, здійснити перехід швидко допомогла концепція «інфраструктура як паливо для продукту».
«Я завжди дотримувався ідеології, що будь-яка інфраструктура ― це паливо для розробки. І ніяк інакше до неї ставитися не варто. Все, що у нас було, ― це обчислювальні ресурси. І так, ми переїхали в хмару, аби не думати про те, що маємо ще десь якісь залізні коробки, які потрібно обслуговувати», ― каже він.
Безумовно, до міграції, у Райффайзен Банку були власні дата-центри. Нині ж від оренди приміщення, в якому знаходилися сервери даних, відмовилися. Залишилось ще два дата-центри, де зберігаються давні рішення банку, переносити в хмару які немає сенсу.
Тепер у компанії діє лозунг «DC (Data Center ― ред.) is not our business anymore». Для команди навіть надрукували футболки із написом «DC free».
Григорій каже, що така трансформація рівноцінна, наприклад, тому, як людина за кілька місяців скидає 20 кг зайвої ваги. «Побудувати власний дата-центр і сертифікувати його ― це кілька років часу і мільйони доларів. Багато мільйонів доларів. Та наш основний бізнес ― банкінг», ― пояснює він.
У банку не обирали провайдера ― тут достеменно знали, що це буде Amazon.
«У нас дуже добрі з ними стосунки. І плюс вони найкращі за співвідношенням ціна-якість», — каже Таций.
Якщо одні постачальники хмарних послуг заявляли, що у них є зони доступності, то це могло означати як 3, так і 1 або 2 дата-центрів в одному місці. У Amazon Web Services завжди щонайменше три. «Для нас це було дуже важливо, тому що періодично зони доступності теж недоступні», ― пояснює Григорій.
Він додає, що AWS був із банком на одній хвилі ― там активно підтримували Україну, українські бізнеси. А ще ― консультанти з AWS, які співпрацювали з Райфом, виявилися українцями, що не створювало ніяких додаткових питань та затримок. Вони допомагали не тільки консультаціями, а й безпосередньо в управлінні проєктом.
Григорій каже, що перехід у хмару відбувся за ринковими мірками супершвидко, супердешево та суперефективно. «Один з найбільших європейських банків зробив усе те саме за 4,5 року. Ми вклалися у три місяці, хоча планували зробити це спочатку за два», ― розповідає CTO Райффайзен Банку.
Зазвичай, каже Григорій, у людей не вистачає мотивації робити все максимально швидко і ефективно. Тобто компанії довго думають, відкладають, платять подвійну-потрійну ціну, роблять багато помилок.
Ще до повномасштабної війни банк у своїй стратегії розглядав перспективи протягом 2–3 років поступово перейти у хмари за умов відповідних регуляторних змін. Тому із самого початку диджитал-трансформації банку, яка почалася у 2021 році, Райф збирав команду людей, які розбираються у хмарних технологіях.
«Ми шукали людей, як знають, як будувати cloud native продукти та сповідують підхід, коли продукти будуються за умов, що інфраструктура ― це лише паливо. Важливо, аби паливо було якісним, незалежно від його бренду або інших атрибутів, і тоді автівка буде їхати. Так і в бізнесі», ― розповідає Таций.
У банку активно наймали людей із потрібним баченням, навичками та досвідом. За словами СТО, на пошук сіньйорного спеціаліста з потрібними знаннями та досвідом йшло близько 4 місяців. «Тобто це було важко та дорого, бо це був об'єктивний хедхантінг. Ми знали людей на ринку, які нам потрібні. Треба було схантити. І ми робили їм усі умови для того, щоб вони до нас перейшли», ― розповідає він.
За його словами, готуватися до процесу міграції у банку почали за рік до самого процесу перенесення даних. У планах забезпечення безперервності бізнесу також були закладені сценарії з переїздом до хмари. Але не було й гадки, що це доведеться робити через 10 хвилин після звернення президента, що в Україну відбувається вторгнення.
Війна дала процесу міграції найвищий пріоритет. «Люди розуміли, що вони роблять і для чого. Вони були надзвичайно мотивовані. Тому ще раз повторити цей успіх у такі стислі терміни майже нереально», ― каже Григорій.
Вартував перенос даних у хмару для банку, за словами СТО, $0. Найняті під міграцію спеціалісти виконували купу поточних завдань, отримували зарплату, а в потрібний момент змогли активізуватися і зробити все неймовірно чітко і швидко.
«Ми штучно створювали cloud native середовище всередині дата-центрів. Тобто це так, ніби ти працюєш уже в хмарі, але насправді ще ні», ― каже Таций.
Якби таку послугу замовляли у зовнішнього підрядника, вартість перенесення даних у хмару масштабів Райффайзен Банку обійшлася б компанії від 5 до 8 млн євро, додає він. При цьому проєкт робився би довше, оскільки важливою є не тільки експертиза, але й контекст. «Експертизу можна придбати. А ось надати їй контекст — на це знадобилося би значно більше часу: це вже було б дорожче та довше», — розповідає СТО.
Щодо ефективності міграції у хмари, Григорій зазначає, що у банку не було довгих перерв для клієнтів, коли послуги фінустанови були недоступні. Систему вимикали виключно після першої години ночі та у вихідні дні.
«Тобто ми не зачіпали ніякий бізнес, бо він не працював у цей час. Клієнти навіть не помітили процесу міграції», ― пояснює Таций.
У той самий час користувацький сегмент вимикали не довше, ніж на чотири години, і теж тільки у запланований нічний час. Загалом, каже Григорій, із переходом у хмару компанія позбулася значних витрат: за останні 5 років у підтримку та розбудову серверної фізичної інфраструктури банк інвестував приблизно $11 млн, тобто по $2 млн у середньому щорічно. А ще ― додаткові операційні витрати на підтримку серверів ― загалом на рік виходило $5–6 млн. Тепер, з переходом у хмару, цих витрат не буде. На обслуговування хмари зараз банк витрачає близько 5 млн євро на рік.
Григорій розповідає, що робота над проєктом велась цілодобово. «Фактично завдання ставилися в форматі наказу під час війни. І саме завдяки жорсткій моделі управління нам вдалося мігрувати у стислі строки. Це не було у форматі „пити смузі і мігрувати“», ― каже він.
Під час роботи над проєктом через вкрай напружений графік і велику відповідальність люди повністю виснажувалися. Команда працювала цілодобово і відсутність сну давала про себе знати.
«В якісь моменти через колосальну напругу збільшувалася дратівливість, траплялися конфлікти. У такій атмосфері, коли йде війна, толерантність йде на десятий план. Але команду об’єднувало спільне завдання — забезпечити доступність усіх сервісів для 3 мільйонів клієнтів, бажання допомогти банківській системі вистояти, та підтримати країну», ― згадує Таций.
Два місяці тривала підготовка до міграції та відбувалися дрібні міграції. Основну частину мігрували за третій місяць. І перед основним етапом міграції, майже усіх, крім екстреної команди, відправили у відпустку на два тижні.
«Наші ЗСУ тоді дали прочухана росіянам, вони вийшли із Київської області, і це дало нам буфер, ще більше змотивувало та окрилило. І, коли після перепочинку всі повернулися свіжими, команда зробила останній ривок», ― згадує Григорій.
Своєю експертизою ІТ-команда українського Райффайзен Банку тепер ділиться всередині австрійської групи: проводить воркшопи, презентації, консультує та допомагає колегам. Але не планує продавати готове рішення на ринок. «Це рішення неможливо повторити у такі строки, в які вклалися ми. У нас був надто великий мотиватор — війна», ― каже Таций. Унікальний досвід процесу ультрашвидкої міграції у хмару він комунікує колегам на конференціях та мітапах по всьому світу. Наразі досвідом цікавляться чимало компаній з-за кордону.
Цінним також є досвід не лише перемог, а й факапів, яких було десятки.
«На розбір усіх ми витрачали близько 30% часу під час міграції. Кожну проблему аналізували детально, писали postmortem — неупереджений багатосторонній звіт про інцидент. Ми робили все, щоб збій не повторився», — розповідає Григорій.
Загалом було три хвилі міграції. Кожний сервіс в середньому мігрував 2–4 рази: мігрував, тестувався, повертався назад в дата-центр, аналізувалися проблеми, писалися postmortem, і переходили до нової спроби. У результаті кількість помилок наприкінці міграції суттєво зменшилася. А в наступних хвилях мігрувати сервіси вдавалося вже з однієї спроби без повернення до дата-центру.
Далі ― тільки вперед. Окрім унікального досвіду міграції, команда Григорія під час переносу даних сформувала ще одну річ ― збудувала фінопс-ком’юніті. FinOps — поєднання термінів «фінанси» і «Ops» — є структурою для управління операційними витратами в організації, часто в поєднанні з хмарою і хмарними обчисленнями.
Ось так трансформувався ланцюг ухвалення рішень в IT-підрозділі Райфу.
Спочатку було багато посередників.
Згодом, після оптимізації, ланцюг прийняття рішень значно скоротився.
Нині ж інженерна команда працює напряму з клієнтськими запитами.
Важлива мета FinOps — допомогти інженерним, фінансовим, бізнес- та технологічним групам у рамках однієї організації досягти цінності для бізнесу та підтримувати фінансову звітність щодо хмарних сервісів. За словами Григорія, починали роботу із витратами у 750 000 євро на місяць, а закінчили із костом у 350 тис. євро на місяць завдяки фінопсу. «Ми побудували децентралізовану операційну модель, в тому числі і в FinOps. І вона запрацювала», ― каже СТО.
Під час міграції в IT Райффайзен Банку розробили модель зрілості, прописали церемонії FinOps, по аналогії з церемоніями в Scrum за три місяці, почали навчати кожну людину, яка пов’язана з хмарою, фінансової грамотності у хмарі.
«У нас була концепція: хто будує, той і запускає, і ми її розширили до „ти є відповідальним за все довкола тебе“, зокрема, і за P&L», ― каже Григорій, додаючи, що вдалося зробити IT в банку частиною бізнесу або ІТ=бізнес.
Наприклад, розробники беруть участь у дискавері продуктів, розуміють, як банк заробляє, як задовольнити потреби клієнта, а не просто пишуть сухий код по задачі в Jira.
Нині нова операційна модель, побудована айтішниками під час війни, працює в Райффайзен Банку вже рік. Її використання дозволило фінустанові значно прискорити операційні процеси всередині, оптимізувати запити на ресурси.
«Будь-яке завдання із забезпечення ресурсами займало близько тижня-двох, а для банку № 1, який ми будуємо, — цей показник має бути не більш ніж 10 хвилин. Якщо нам потрібні були ресурси, наприклад, диск або потужніший сервер, доводилося чекати від 3 до 6 місяців, щоб узгодити бюджет, знайти постачальника, провести тендер і чекати постачання. При користуванні хмарою такий складний шлях просто непотрібний», ― розповідає Григорій.
Також до міграції система дуже залежала від людей з різних відділів. «Ніхто не міг би нічого зробити з інфраструктурою чи технологіями без системних адміністраторів, адміністраторів баз даних та ще пари десятків різних видів адміністраторів. Тепер у нас вже немає поняття залежності, не потрібно нікого чекати. У нас вже немає лінгвістичних термінів Devops/Dev/Qa/Arch/Sysadmin та інших. Є просто інженер, якому доступно все, що потрібно для роботи без залежностей від інших людей. Це наша еволюція», ― каже Таций.
Для тих, хто планує мігрувати у хмару, Григорій Таций сформулював 5 порад:
АТ «РАЙФФАЙЗЕН БАНК». ВНЕСЕНИЙ ДО ДЕРЖАВНОГО РЕЄСТРУ БАНКІВ 27.03.1992Р. ЗА № 94, ІЗ ЗАПИСОМ ПРО ПРАВО НА ЗДІЙСНЕННЯ БАНКІВСЬКОЇ ДІЯЛЬНОСТІ ЗА № 10. УМОВИ НАДАННЯ ПОСЛУГИ ЗГІДНО З ПРАВИЛАМИ БАНКУ.
