Марія Бровінська Робота 28 червня 2024, 10:00

«Я пішов у BigData, бо передчував, що IT-бульбашка дуже роздута». Platform Owner і Delivery Director Райфу пояснює, як полюбити великі дані й бути ефективним у цій сфері

Артем Тернов ― випускник факультету прикладної математики Донецького національного університету. Хлопець також має освіту перекладача англійської мови. Ці два фактори стали запорукою успішного розвитку Артема в IT ― попри війну і вимушений переїзд з Донецька до Києва. Нині він Platform Owner та Delivery Director в Райффайзен Банку, де з 2021 року починав як DataOps, а нині будує менеджерську кар’єру.

У межах рубрики про професії в IT Артем, який має сильну експертизу у роботі з даними, розповів dev.ua, про те, чому дата-аналітики ― суперлюди й без великих даних сучасний бізнес будувати ефективно неможливо.

Залишити коментар

«Я пішов у BigData, бо передчував, що IT-бульбашка дуже роздута». Platform Owner і Delivery Director Райфу пояснює, як полюбити великі дані й бути ефективним у цій сфері

Артем Тернов ― випускник факультету прикладної математики Донецького національного університету. Хлопець також має освіту перекладача англійської мови. Ці два фактори стали запорукою успішного розвитку Артема в IT ― попри війну і вимушений переїзд з Донецька до Києва. Нині він Platform Owner та Delivery Director в Райффайзен Банку, де з 2021 року починав як DataOps, а нині будує менеджерську кар’єру.

У межах рубрики про професії в IT Артем, який має сильну експертизу у роботі з даними, розповів dev.ua, про те, чому дата-аналітики ― суперлюди й без великих даних сучасний бізнес будувати ефективно неможливо.

Дата як база бізнесу

«Кілька років тому на одну вакансію DevOps претендували десятки кандидатів», ― розповідає Артем. Уже тоді він передбачав можливий колапс у сфері розробки, тому почав звертати увагу на можливості роботи з великими даними.

На його думку, з точки зору аналізу, природне бажання будь-якої компанії ― перетворити свої пасиви в активи. «Кожна компанія, згідно з законодавством, зобов’язана зберігати велику кількість інформації. Особливо це стосується фінансових організацій, таких як Райффайзен Банк. Цих даних накопичуються терабайти, навіть петабайти, і їх хочеться монетизувати», ― пояснює Артем.

Зокрема, Райф вже переніс частину своїх даних у віртуальні сховища, щоб здешевити зберігання та мати систематизовані масиви даних під рукою у будь-який момент. Це дозволяє краще розуміти потреби клієнтів, їхні інтереси, бажання та схильності, а також визначати слабкості та труднощі у користуванні продуктом чи сервісом.

Артем упевнений, що впродовж ще двох-трьох років тренд на аналіз даних і спроби отримати з них якомога більше інформації буде зберігатися.

Утім, над обробкою даних працює велика кількість фахівців. Далі ― коротко про кожного з них.

Що робить дата-аналітик?

Дата-аналітики — «фокусники», які перетворюють нудні дані на зрозумілу інформацію. Це фахівці, які збирають, опрацьовують та аналізують дані. Вони використовують різні методи та інструменти, щоб знайти закономірності, зробити висновки й отримати з них максимальну користь. Аналітики допомагають компаніям ухвалювати обґрунтовані рішення, знаходити нові можливості та запускати успішні продукти.

Data Analyst бачить те, чого не помічають інші, і вміє створювати порядок із хаосу. Можна сказати, що вони перетворюють дані на золото.

Як зазначає Артем, у Райфі аналітика даних — це більше про те, як ти підходиш до вивчення масивів інформації та про дата інженерію. Аналітики та інженери спільно працюють над тим, щоб створювати надійні та ефективні рішення для обробки й використання великих даних.

Хто такий Data Engineer?

Data Engineer забезпечує релевантними даними команди, які в них зацікавлені: аналітиків, фінансистів, менеджерів, розробників і навіть кінцевих користувачів. Завдання дата-інженера — забезпечити збереження, обробку та доставку даних з одного місця в інше, щоб аналітик, маркетолог чи інший спеціаліст могли в будь-який момент зробити запит до бази даних та отримати швидкий та релевантний результат.

Серед компетенцій такого співробітника також розбудова та дизайн аналітичного сховища даних.

Data Engineering — це досить самостійна та окрема ланка. Вона може бути частиною бекенд, аналітичної та продуктової команди або ж функціонувати окремо на рівні проєкту.

А як щодо Data scientist?

Data Scientist — це фахівець, який здатен отримати корисну інформацію з даних. Наприклад, він може розробити модель, яка передбачає певні параметри на основі певних вхідних даних. Це може бути передбачення ймовірності того, що конкретний клієнт здійснить покупку товару, виходячи з його попередніх дій.

Data Scientist використовує складні алгоритми, статистичний аналіз та машинне навчання, щоб перетворити великі обсяги даних на цінні інсайти, які допомагають компаніям приймати обґрунтовані рішення та навіть розробляти стратегії.

Мистецтво DataOps

Океан даних, який створює собі кожен бізнес, приховує у своїх глибинах важливі відкриття та цінні бізнес-ідеї. Але щоб дістатися до них і не потонути, потрібні правильні інструменти — засоби швидкої класифікації, оцінки та інтеграції інформації. Такі інструменти сьогодні швидко розвиваються в IT, і їх об'єднує термін DataOps.

DataOps ― це координація людей, процесів і технологій для доставки надійних, високоякісних даних. На практиці це означає здатність компанії швидко поєднувати дані з різних джерел, обробляти їх за допомогою засобів машинного навчання та перетворювати на знання, корисні для бізнесу. Суть DataOps полягає в застосуванні Agile-підходів у роботі з даними, які вже зарекомендували себе як ефективні. Вони покликані максимально спростити низку завдань:

Інтеграція — це об'єднання різнорідних баз даних в єдине ціле. Процес стикування різних сховищ та джерел даних часто є вкрай складним завданням, яке потребує детального планування та спеціалізованих інструментів.
Перевірка — це безперервний процес верифікації даних, що гарантує прийняття рішень на основі точної та актуальної інформації. Особливо критична перевірка даних у таких сферах, як медицина та фінанси, де точність даних може мати вирішальне значення.
Структурування — організація масиву даних з урахуванням їхнього походження, взаємозв’язків та хронології змін. Структуровані дані — це не просто «комірка» з цифрами та фактами, а потенційно корисна інформація, яка може бути ефективно використана у бізнес-процесах.
Інтерпретація — оцінка та усвідомлення цінності отриманої інформації для бізнесу. Важливо враховувати весь контекст даних, щоб визначити їхню реальну користь та вплив на прийняття рішень.

Метою роботи фахівців із DataOps є налагодження безперервного процесу обробки даних, забезпечення бізнесу стабільним потоком точної та цінної інформації. Це дозволяє оптимізувати бізнес-процеси та приймати більш обґрунтовані рішення.

Що варто знати для роботи з даними

Для ефективної роботи з даними необхідно мати ґрунтовні знання в кількох ключових областях. Насамперед важливі знання математики та аналітичні навички: вміння оперувати формулами, працювати з таблицями та бачити закономірності у великих масивах інформації. Знання англійської мови також є критично важливим, оскільки більшість сучасних технологій, інструментів та документацій доступні саме англійською мовою.

Артем радить вивчити кілька сучасних технологій та інструментів, зокрема Python та PySpark, які є популярними для обробки даних. Поєднання Airflow із PySpark забезпечує ефективну організацію та автоматизацію робочих процесів. Хоча Scala є більш нішовою мовою програмування, вона має великий потенціал у певних сферах. Крім того, необхідно добре розуміти SQL для виконання ad hoc запитів і витягування інформації з баз даних, а також Java, яка часто використовується через свою простоту та доступність.

Важливо також розуміти архітектуру та інфраструктуру системи, з якою працюєте.

Це знання допомагає успішно інтегрувати та обробляти дані. Результати роботи з даними, або артефакти, можуть значно відрізнятися від класичних продуктів, таких як веб- чи мобільні додатки. У випадку роботи з даними, це можуть бути data-marts чи інші дата-продукти.

Опанування зазначених мов і технологій є необхідним для працевлаштування. Розуміння базових концепцій та практичний досвід у роботі з даними також важливі. Проте технічні навички — це лише частина успіху. Важливими також є софт-скіли, такі як гнучкість та проактивність. Уміння швидко адаптуватися до змін і проявляти ініціативу є ключовими. Завзятість, готовність аналізувати, приймати рішення та розуміти, що таке результат, також високо цінуються. Навіть без великого досвіду, але з сильним бажанням навчатися та розвиватися, кандидати мають великі шанси на успіх.

Що почитати й вивчити, аби стати класним дата-фахівцем

Щоб почати працювати з даними, важливо зрозуміти, чи подобається вам ця сфера. Для цього Артем радить ознайомитися з добіркою корисних ресурсів.

З книг можна почитати:

«Python for Data Analysis» від Wes McKinney
«Data Science for Business» від Foster Provost та Tom Fawcett
«Deep Learning» від Ian Goodfellow, Yoshua Bengio та Aaron Courville
«SQL for Data Scientists» від Renee M. P. Teate.

Серед корисних відеоресурсів виділяються YouTube-канали «Data Science Dojo» та «Sentdex», які пропонують якісні матеріали для вивчення Python.

Для навчання можна скористатися платформами Coursera, edX, Udacity та DataCamp, де доступні спеціалізації та курси з data science та machine learning від провідних університетів та компаній. Практичні навички можна вдосконалювати, виконуючи проєкти та завдання з реальних кейсів.