Российское вторжение стало мощным пинком для IT-команды Райффайзен Банка, сумевшей за три месяца переехать в облако, чтобы надежно обслуживать 3 млн клиентов в режиме 24/7 при любых условиях.
Российское вторжение стало мощным пинком для IT-команды Райффайзен Банка, сумевшей за три месяца переехать в облако, чтобы надежно обслуживать 3 млн клиентов в режиме 24/7 при любых условиях.
Райффайзен Банк является одним из крупнейших украинских банков, который работает в стране уже более 30 лет. Банк является отдельным юридическим лицом, действующим в соответствии с украинским законодательством и соблюдающим все установленные требования военного положения в Украине.
Сразу после полномасштабного вторжения банк заявил о своей поддержке Украины и прекратил отношения с клиентами и деньгами, имеющими российское и белорусское происхождение. Банк поддерживает санкции против страны-агрессора.
Акционеры банка — Райффайзен Банк Интернациональ (РБИ) и Европейский банк реконструкции и развития — решительно осудили немотивированную и кровавую агрессию против суверенитета Украинского государства. Также на собрании акционеров РБИ была провозглашена позиция относительно постепенного выхода с рынка РФ. Как отмечается в тексте: «РБИ строго соблюдает все требования действующего законодательства Австрии и ЕС, признающие территориальную, политическую и экономическую целостность Украины. СБИ ни самостоятельно, ни через свои дочерние компании не ведет никакой хозяйственной деятельности на территориях Донецкой и Луганской областей, а также полуострова Крым».
С первых дней войны Группа СБИ оказывает значительную гуманитарную помощь Украине, которая не ограничивается только прямым финансированием на более чем 20 миллионов евро (почти треть всех перечисленных банками Украины средств), а включает также всестороннюю поддержку людям в Украине и украинским беженцам за границей.
Украинский Райффайзен Банк самоотверженно работает в условиях военного времени, обеспечивая стабильность банковских систем и полное выполнение своих обязательств перед законодательством, клиентами и сотрудниками. Много раз признанный самым надежным банком страны, Райффайзен Банк одновременно является одним из крупнейших кредиторов, что предоставляет значительное финансирование экономике.
31 марта 2023 года НБУ разместил на своем сайте позицию о том, что Райффайзен Банк Украина имеет поддержку Нацбанка. Согласно позиции НБУ, Райффайзен Банк в Украине является системно важным банком, способствующим поддержанию финансовой стабильности в стране в разгар войны. Участие банка в развитии банковского сектора, экономических программах и гуманитарных проектах ощутимо и важно.
Райф вместе с Украиной!
Четверг 24 февраля 2022 для сотрудников украинского Райффайзен Банка начался, как и для многих украинцев, с тревожных новостей и взрывов. Уже утром перед IT-командой банка встала экстремальная задача сделать так, чтобы клиенты банка могли пользоваться своими средствами и удобными сервисами, несмотря на обстрелы, вероятность хакерских атак и желание врага положить на лопатки банковскую систему Украины.
«Все начиналось около 5 утра 24 февраля. Были ракетные обстрелы, и мы поняли, что уже нет времени думать. Минут 20 принималось решение о том, следует ли начинать сверхсложный и ответственный процесс перевода сервисов в облако», ― вспоминает СТО банка Григорий Таций.
До начала полномасштабного вторжения в постановлении Нацбанка № 75 от 04.07.2018 было прописано запрет на любые миграции в облако для банковских учреждений. Обработка и хранение информации могло производиться только на серверах, расположенных в Украине. 8 марта 2022 года НБУ принял новое постановление № 42 «Об использовании банками облачных услуг в условиях военного положения в Украине». Этот документ разрешил банкам в период военного положения и в течение двух лет после него использовать облачные сервисы с помощью оборудования, расположенного в ЕС, Британии, США и Канаде. Это развязало руки IT-подразделения для того, чтобы обеспечить функционирование систем банка в самых форсмажорных обстоятельствах.
Григорий не без гордости говорит, что проектной команде Райфа, а это 163 айтишника из 800 в ІТ-подразделении Райфа, удалось совершить миграцию в облако с физических серверов всего за три месяца. И это отдельная история, полная драматических моментов, бессонных ночей и, куда без них, факапов.
Григорий Таций рассказывает, что на момент вторжения России в банке, как и в большинстве бизнесов, был план бесперебойной работы на случай форс-мажора.
«У нас были детально проработаны планы по разным сценариям событий, в том числе войны. Однако в то, что война действительно начнется, никто не верил. Тем не менее, мы тщательно расписали перечень случаев, при наступлении которых точно будем переносить серверы в облако», ― вспоминает СТО банка.
Основная задача банка в начале вторжения заключалась в том, чтобы обеспечить непрерывность услуг для клиентов 24/7. Над этой миссией совместно работали все подразделения — от кассиров, инкассаторов, маркетологов и т. д. Это вообще был вызов всей банковской системе. И то, что украинские банки продолжали оказывать качественные услуги в условиях войны, — это уникальный кейс в мире. В других военных конфликтах банковские системы других стран просто переставали функционировать. Банки в Украине выстояли.
ИТ-команда Райфа работала над обеспечением связи и доступностью всех диджитал-сервисов для клиентов на уровне, не ниже чем при обычных условиях.
«Наши клиенты в Украине, вне страны, в хранилищах, сквозь где есть интернет, должны были иметь доступ к своим средствам, и делать это удобно в пару кликов. Чтобы обеспечить это, нужно было переместиться в безопасную среду в облако. Даже в случае, когда какая-нибудь ракета прилетит в дата-центры, у людей всегда был бы доступ к своим счетам», ― объясняет Григорий.
Параллельно с миграцией Райф имел план «В» — карточка «Судного дня», разработанная в партнерстве с одним европейским банком. Даже если бы система была физически разрушена, то клиенты Райфа имели бы доступ к своим средствам через диджитал-карту европейского партнерского банка. Благодаря сильной команде по обеспечению непрерывности бизнес-процессов (BCM), разрабатывалось множество различных сценариев и вариантов снижения рисков и обеспечения устойчивой работы.
163 специалиста, среди которых разработчики, тестировщики, девопсы, проджект-менеджеры, продакт-овнеры и т. д., запустили локомотив, который нельзя было остановить и крайне важно было направить в финишную точку.
Команду скоростных миграционных преобразований в компании отождествили с героями мультфильма Kung Fu Panda.
Каждому департаменту, задействованному в процессе миграции, присвоили своего покровителя из числа героев мультфильма и напечатали свитшот с пандами, тиграми, змеями, обезьянами и т. д. Каждому отделу написали историю, олицетворявшую определенный этап миграции. Такой подход помог сплотить, мотивировать людей и поддержать их.
Что представляет собой переход в облако? Во-первых, перенесение важных данных в виртуальное хранилище. Во-вторых, отказ от физических серверов, на которых раньше хранились те же данные. По словам Григория, осуществить переход быстро помогла концепция «инфраструктура как топливо для продукта».
«Я всегда придерживался идеологии, что любая инфраструктура — это топливо для разработки. И никак иначе к ней относиться не стоит. Все, что у нас было — это вычислительные ресурсы. И так мы переехали в облако, чтобы не думать о том, что есть еще где-то какие-то железные коробки, которые нужно обслуживать», ― говорит он.
Безусловно, до миграции у Райффайзен Банка были собственные дата-центры. В настоящее время от аренды помещения, в котором находились серверы данных, отказались. Осталось еще два дата-центра, где хранятся давние решения банка, переносить в облако бессмысленно.
Теперь в компании действует лозунг «DC (Data Center — ред.) is not our business anymore». Для команды даже напечатали футболки с надписью «DC free».
Григорий говорит, что такая трансформация равноценна, например, потому, как человек за несколько месяцев сбрасывает 20 кг лишнего веса. «Построить собственный дата-центр и сертифицировать его — это несколько лет времени и миллионы долларов. Много миллионов долларов. Но наш основной бизнес — банкинг», — объясняет он.
В банке не выбирали провайдера — здесь точно знали, что это будет Amazon. «У нас очень хорошие с ними отношения. И плюс они лучшие по соотношению цена-качество», — говорит Таций.
Если одни поставщики облачных услуг заявляли, что у них есть зоны доступности, то это могло означать как 3, так и 1 или 2 дата-центра в одном месте. У Amazon Web Services всегда по меньшей мере три.
«Для нас это было очень важно, потому что периодически зоны доступности тоже недоступны», — объясняет Григорий.
Он добавляет, что AWS был с банком на одной волне — там активно поддерживали Украину, украинские бизнесы. А еще ― консультанты с AWS, которые сотрудничали с Райфом, оказались украинцами, что не создавало никаких дополнительных вопросов и задержек. Они помогали не только консультациям, но и непосредственно в управлении проектом.
Григорий говорит, что переход в облако произошел по рыночным меркам супербыстро, супердешево и суперэффективно. «Один из крупнейших европейских банков сделал все то же за 4,5 года. Мы уложились в три месяца, хотя планировали сделать это сначала через два», ― рассказывает CTO Райффайзен Банку.
Как правило, говорит Григорий, у людей не хватает мотивации делать все максимально быстро и эффективно. То есть компании долго думают, откладывают, платят двойную-тройную цену, совершают много ошибок.
Еще до полномасштабной войны банк в своей стратегии рассматривал перспективы в течение 2–3 лет постепенно перейти в облака при соответствующих регуляторных изменениях. Поэтому с самого начала диджитал-трансформации банка, которая началась в 2021 году, Райф собирал команду людей, разбирающихся в облачных технологиях.
«Мы искали людей, как знают, как строить cloud native продукты и исповедуют подход, когда продукты строятся при условии, что инфраструктура — это только топливо. Важно, чтобы топливо было качественным, независимо от его бренда или других атрибутов, и тогда автомобиль будет уезжать. Так и в бизнесе», ― рассказывает Таций.
В банке активно нанимали людей с нужным видением, навыками и опытом. По словам СТО, на поиск синьорного специалиста с нужными знаниями и опытом уходило около 4 месяцев. «То есть это было тяжело и дорого, потому что это был объективный хедхантинг. Мы знали людей на рынке, которые нам нужны. Надо было схантить. И мы делали им все условия для того, чтобы они перешли к нам», ― рассказывает он.
По его словам, готовиться к процессу миграции в банке начали за год до процесса переноса данных. В планах обеспечения непрерывности бизнеса также были заложены сценарии с переездом в облако. Но не было и мысли, что это придется делать через 10 минут после обращения Президента, что в Украину происходит вторжение.
Война дала процессу миграции самый высокий приоритет. «Люди понимали, что они делают и зачем. Они были очень мотивированы. Поэтому еще раз повторить этот успех в столь сжатые сроки почти нереально», ― говорит Григорий.
Стоило перенос данных в облако для банка, по словам СТО, $0. Нанятые под миграцию специалисты выполняли кучу текущих задач, получали зарплату, а в нужный момент смогли активизироваться и сделать все невероятно четко и быстро.
«Мы искусственно создавали cloud native среду внутри дата-центров. То есть это так, будто ты работаешь уже в облаке, но на самом деле еще нет», — говорит Таций.
Если бы такую услугу заказывали у внешнего подрядчика, стоимость переноса данных в облако масштабов Райффайзен Банка обошлась бы компании от 5 до 8 млн. евро, добавляет он. При этом проект делался бы дольше, поскольку важна не только экспертиза, но и контекст. «Экспертизу можно приобрести. А вот предоставить ей контекст — на это понадобилось бы гораздо больше времени: это было бы дороже и дольше», — рассказывает СТО.
Относительно эффективности миграции в облака Григорий отмечает, что у банка не было долгих перерывов для клиентов, когда услуги финучреждения были недоступны. Систему выключали исключительно после часа ночи и в выходные дни.
«То есть мы не затрагивали никакого бизнеса, потому что он не работал в это время. Клиенты даже не заметили процесс миграции», ― объясняет Таций.
В то же время пользовательский сегмент выключался не дольше, чем на четыре часа, и тоже только в запланированное ночное время. В общем, говорит Григорий, с переходом в облако компания избавилась от значительных затрат: за последние 5 лет в поддержку и развитие серверной физической инфраструктуры банк инвестировал около $11 млн, то есть по $2 млн в среднем ежегодно. А еще ― дополнительные операционные расходы на поддержку серверов ― в общей сложности в год получалось $5–6 млн. Теперь, с переходом в облако, этих расходов не будет. На обслуживание облака сейчас банк тратит около 5 млн евро в год.
Григорий рассказывает, что работа над проектом велась круглосуточно. «Фактически задачи ставились в формате приказа во время войны. И именно благодаря жесткой модели управления нам удалось мигрировать в сжатые сроки. Это не было в формате «пить полосы и мигрировать», — говорит он.
При работе над проектом из-за крайне напряженного графика и большой ответственности люди полностью истощались. Команда работала круглосуточно и отсутствие сна давало о себе знать.
«В какие-то моменты из-за колоссального напряжения увеличивалась раздражительность, случались конфликты. В такой атмосфере, когда идет война, терпимость идет на десятый план. Но команда объединяла общую задачу — обеспечить доступность всех сервисов для 3 миллионов клиентов, желание помочь банковской системе выстоять и поддержать страну», ― вспоминает Таций.
Два месяца продолжалась подготовка к миграции и происходили мелкие миграции. Основную часть мигрировали за третий месяц. И перед основным этапом миграции почти всех, кроме экстренной команды, отправили в отпуск на две недели.
«Наши ВСУ тогда дали взбучку россиянам, они вышли из Киевской области, и это дало нам буфер, еще больше мотивировало и окрылило. И когда после передышки все вернулись свежими, команда сделала последний рывок», ― вспоминает Григорий.
Своей экспертизой ИТ-команда украинского Райффайзен Банка теперь делится внутри австрийской группы: проводит воркшопы, презентации, консультирует и помогает коллегам. Но не намерен продавать готовое решение на рынок. «Это решение невозможно повторить в такие сроки, в которые мы вложились. У нас был слишком большой мотиватор — война», — говорит Таций. Уникальный опыт процесса ультрабыстрой миграции в облако он коммуникирует коллегам на конференциях и митапах по всему миру. В настоящее время опытом интересуются многие компании из-за рубежа.
Ценен также опыт не только побед, но и факапов, которых было десятки.
«На разбор всех мы тратили около 30% времени во время миграции. Каждую проблему анализировали подробно, писали postmortem — беспристрастный многосторонний отчет об инциденте. Мы делали все, чтобы сбой не повторился», — рассказывает Григорий.
В общей сложности было три волны миграции. Каждый сервис в среднем мигрировал 2–4 раза: мигрировал, тестировался, возвращался обратно в дата-центр, анализировались проблемы, писались postmortem и переходили к новой попытке. В результате количество ошибок в конце миграции существенно снизилось. А в последующих волнах мигрировать сервисы удавалось уже с одной попытки без возвращения в дата-центр.
Дальше — только вперед. Кроме уникального опыта миграции, команда Григория во время переноса данных сформировала еще одну вещь — построила финопс-комьюнити. FinOps — сочетание терминов «финансы» и «Ops» — является структурой для управления операционными расходами в организации, часто в сочетании с облаком и облачными вычислениями.
Вот так трансформировалась цепь принятия решений в IT-отделе Райфа.
Изначально было много посредников.
Впоследствии оптимизации цепочка принятия решений значительно сократилась.
Сейчас же инженерная команда работает напрямую с клиентскими запросами.
Важная цель FinOps — помочь инженерным, финансовым, бизнес- и технологическим группам в рамках одной организации достичь ценности для бизнеса и поддерживать финансовую отчетность по облачным сервисам. По словам Григория, начинали работу с расходами в 750 тыс. евро в месяц, а закончили с костом в 350 000 евро в месяц благодаря финопсу. «Мы построили децентрализованную операционную модель, в том числе и в FinOps. И она заработала», — говорит СТО.
Во время миграции в IT Райффайзен Банке разработали модель зрелости, прописали церемонии FinOps, по аналогии с церемониями в Scrum за три месяца, начали обучать каждого человека, связанного с облаком, финансовой грамотности в облаке.
«У нас была концепция: кто строит, тот и запускает, и мы ее расширили до „ты ответственен за все вокруг тебя“, в частности, и за P&L», ― говорит Григорий, добавляя, что удалось сделать IT в банке частью бизнеса или ИТ=бизнес.
К примеру, разработчики участвуют в дискавере продуктов, понимают, как банк зарабатывает, как удовлетворить потребности клиента, а не просто пишут сухой код по задаче в Jira.
В настоящее время новая операционная модель, построенная айтишниками во время войны, работает в Райффайзен Банке уже год. Ее использование позволило финучреждению значительно ускорить операционные процессы внутри, оптимизировать запросы на ресурсы.
«Любое задание по обеспечению ресурсами занимало около недели-двух, а для строящегося банка № 1 — этот показатель должен быть не более 10 минут. Если нам нужны были ресурсы, например диск или более мощный сервер, приходилось ждать от 3 до 6 месяцев, чтобы согласовать бюджет, найти поставщика, провести тендер и ждать поставок. При использовании облаком такой сложный путь просто не нужен», — рассказывает Григорий.
Также до миграции система сильно зависела от людей из разных отделов. «Никто не мог бы ничего сделать с инфраструктурой или технологиями без системных администраторов, администраторов баз данных и еще пары десятков разных видов администраторов. Теперь у нас уже нет понятия зависимости, не нужно никого ждать. У нас уже нет лингвистических терминов Devops/Dev/Qa/Arch/Sysadmin и других. Есть просто инженер, которому доступно все, что нужно для работы, без зависимостей от других людей. Это наша эволюция», — говорит Таций.
Для тех, кто планирует мигрировать в облако, Григорий Таций сформулировал 5 советов:
АО «РАЙФФАЙЗЕН БАНК». ВНЕСЕН В ГОСУДАРСТВЕННЫЙ РЕЕСТР БАНКОВ 27.03.1992 Г. ПОД № 94, С ЗАПИСЬЮ О ПРАВЕ НА ОСУЩЕСТВЛЕНИЕ БАНКОВСКОЙ ДЕЯТЕЛЬНОСТИ ЗА № 10. УСЛОВИЯ ПРЕДОСТАВЛЕНИЯ УСЛУГИ СОГЛАСНО С ПРАВИЛАМИ БАНКА.
