Слухай TechPower Podcast про ІТ індустрію та людей, які її творять 🎧

Что важно знать начинающему в Data Engineering: советы спеца, вопросы на собеседовании

Профессия в сфере Data Engineering становится все более распространенной в IT-мире, и соответственно привлекает все больше людей. Дмитрий Федюков, VP of Data, Deputy CTO в Parimatch Tech, а также ментор курса Data Engineering в Parimatch Tech Academy рассказывает, как начинающим дата-инженерам подготовиться к собеседованию, на что компании обращают внимание во время интервью и почему софт-скилы на этом этапе важнее харда.

Оставить комментарий
Что важно знать начинающему в Data Engineering: советы спеца, вопросы на собеседовании

Профессия в сфере Data Engineering становится все более распространенной в IT-мире, и соответственно привлекает все больше людей. Дмитрий Федюков, VP of Data, Deputy CTO в Parimatch Tech, а также ментор курса Data Engineering в Parimatch Tech Academy рассказывает, как начинающим дата-инженерам подготовиться к собеседованию, на что компании обращают внимание во время интервью и почему софт-скилы на этом этапе важнее харда.

Ожидания от начинающего дата-инженера

В первую очередь работодателю нужно понять несколько фактов о кандидатах.

  1. Мотивация кандидата. Джун — это об учебе. Команда, нанимающая специалиста начального уровня, ожидает, что он будет прогрессировать. Соответственно, готовый учиться уже должен иметь определенные шаги в этом направлении. Если человек прошел определенные курсы, имеет высшее образование или в процессе его получения это хорошо. Если же у кандидата совсем не о чем рассказать, наоборот ли он проходит десятки курсов одновременно — это плохой знак. Ибо в первом случае человек, очевидно, не очень хочет прогрессировать, а во втором не совсем понимает, что делает и куда идет.
  2. Наличие и уровень soft skills. Иногда для члена команды важнее иметь лучшие софт-скилы, чем хард-навыки. Джуны — это именно тот случай. Начало карьеры — это когда ты используешь одну часть своих умений, чтобы овладеть другой. Соответственно, начинающему дата-инженеру нужно использовать все преимущества своего характера, чтобы достичь прогресса. Необходимо, чтобы такой человек мог грамотно общаться с обучающими его людьми, эффективно усваивал новую информацию и фидбек от коллег, мог аргументировать собственные решения и в какой-то мере импровизировать. И на это на собеседовании часто обращают внимание.
  3. Тип мышления. В профессии дата-инженера важнейшая именно инженерная часть. Инженеры — это тот тип людей, которые находят решение к любому типу задач и неважно, владеют ли они навыками стека или технологией. Дата-инженер часто должен быть универсальным: где-то написать часть кода на Python, где-то на Bash, прочитать код на Java и т. д.

А теперь к специализированным вопросам

Джун должен знать или хотя бы иметь возможность пообщаться о:

git

  • git clone
  • git config
  • git pull
  • git push
  • git merge
  • git add
  • git branch -D
  • git checkout -b и т. д.

Python

  • Виртуальные среды
  • Pyenv
  • Поэтри
  • Pip
  • Структуры данных
  • Comprehensions
  • Декораторы
  • Модули
  • Циклы
  • Классы
  • Асинхронное программирование

Docker & Kubernetes

  • docker build
  • docker run
  • docker cp
  • Что такое контейнер?
  • Что такое pod и чем он отличается от контейнера?

Terraform

  • terraform init
  • terraform plan
  • terraform apply
  • terraform project files structure
  • loops
  • templatefile

Data Engineering

  • Что такое MapReduce?
  • Что такое HDFS?
  • Что такое партиционирование (partitioning)?
  • Как устроен Hadoop?
  • Что такое лямбда-архитектура?

Типы данных и базы данных

  • Что такое база данных?
  • Что такое первичные и вторичные ключи?
  • Что такое индексы?
  • Нормализация и денормализация — что это?
  • Чем отличаются реляционная и нереляционная модель?
  • Какие Big Data форматы?
  • Зачем нужны базы данных NoSQL?
  • Что такое операция CRUD?

Linux

  • Редакторы: nano, micro, sublime, vi
  • Пакетные менеджеры: apt-get, apk, brew
  • Сменные среды
  • cd ls -a | -lah
  • chmod
  • cat
  • sed
  • grep
  • | (pipe)
  • && тому подобное

Network: HTTP/HTTPS, TCP/IP

SQL

  • Что означает SQL? Расшифруйте аббревиатуру и опишите назначение.
  • Какая команда SQL используется, если необходимо вставить данные в таблицу?
  • Используя SQL, как вы сделаете выборку из таблицы table за 27.01.2021 (название колонки registration_date) пользователей (колонка last_name), название которых начинается с латинской буквы 'T' (без учета регистра)?
  • Оператор «OR» — показывает все записи, которые отвечают хотя бы одному из условий? Оператор AND отображает все записи, если все условия выполняются? (ответ должен быть False\True)
  • Какое SQL-выражение используется для сортировки результатов?
  • Что такое агрегатные функции SQL? Приведите пример. И пример запроса одной агрегационной функции по вашему мнению.
  • Как с помощью SQL рассчитать медиану и стандартное отклонение значения? Приведите примеры запроса.
  • В чем отличие выражения COUNT (DISTINCT (player_id)) и APPROXIMATE COUNT DISTINCT (player_id)? Какое выражение быстрее отрабатывается в больших массивах данных? Одинаковым ли будет процессинг данных?
  • Что выполняет функция RANDOM () в SQL? Какие типы задач можно использовать?
  • Что такое window functions? Зачем они используются? Приведите примеры Window Function.

Лайвкодинг

Лайвкодинг на интервью дата-инженера далеко не обязателен этап. Его используют в большинстве случаев, когда до конца не понял уровень кандидата во время разговора. Задача лайвкодинга похожа — понять, понимает ли кандидат, что он делает и зачем. А также понимает ли он базовые вещи: операторы, циклы, паттерн-матчинг и т. д. Поэтому совет начинающим здесь один — старайтесь вникнуть в суть того, что вы изучаете: поступайте не по книге, а как понимаете; совершайте ошибки, исправляйте их и учитесь дальше.

Мануал для джуна. Product Manager в IT: на что обратить внимание начинающим и как пройти собеседование
Мануал для джуна. Product Manager в IT: на что обратить внимание начинающим и как пройти собеседование
По теме
Мануал для джуна. Product Manager в IT: на что обратить внимание начинающим и как пройти собеседование
Мануал для джуна. Что нужно знать, чтобы стать AQA: теоретические вопросы и примеры тестовых заданий от AQA Team Lead Capgemini
Мануал для джуна. Что нужно знать, чтобы стать AQA: теоретические вопросы и примеры тестовых заданий от AQA Team Lead Capgemini
По теме
Мануал для джуна. Что нужно знать, чтобы стать AQA: теоретические вопросы и примеры тестовых заданий от AQA Team Lead Capgemini

Больше мануалов для джунов по специальности читайте здесь

Читайте главные IT-новости страны в нашем Telegram
Читайте главные IT-новости страны в нашем Telegram
По теме
Читайте главные IT-новости страны в нашем Telegram
Новий випуск «З фронту в IT» про айтівців, які повертаються до цивільного життя після ЗСУ.

Історія світчера з Тернопільщини, який змінив агро на IT, а IT на ЗСУ

УЧАСТЬ В АЗАРТНИХ ІГРАХ МОЖЕ ВИКЛИКАТИ ІГРОВУ ЗАЛЕЖНІСТЬ. ДОТРИМУЙТЕСЯ ПРАВИЛ (ПРИНЦИПІВ) ВІДПОВІДАЛЬНОЇ ГРИ.
Ліцензія видана ТОВ "СЛОТС Ю.ЕЙ." на провадження діяльності з організації та проведення азартних ігор казино у мережі Інтернет від 15.09.23 (рішення КРАІЛ №245 від 31.08.2023); ТОВ "СЛОТС Ю.ЕЙ." – на провадження діяльності з організації та проведення азартних ігор казино у мережі Інтернет від 26.04.2021 (рішення КРАІЛ №150 від 12.04.2021); ТОВ «СПЕЙСИКС» – на провадження діяльності з організації та проведення азартних ігор казино у мережі Інтернет від 08.02.2021 (рішення КРАІЛ №34 від 02.02.2021); ТОВ «ГЕЙМДЕВ» – на провадження діяльності з організації та проведення азартних ігор казино у мережі Інтернет від 16.02.2021 (рішення № 47 від 10.02.2021).
Читайте также
«Машина и база команды пережила оккупацию, не смотря на то, что стояла в Буче». Гонщик с Parimatch Tech — об эмоциях, обучении и стоимости участия в авторалли
«Машина и база команды пережила оккупацию, не смотря на то, что стояла в Буче». Гонщик с Parimatch Tech — об эмоциях, обучении и стоимости участия в авторалли
«Машина и база команды пережила оккупацию, не смотря на то, что стояла в Буче». Гонщик с Parimatch Tech — об эмоциях, обучении и стоимости участия в авторалли
«Около IT» — новая рубрика, в которой мы будем собирать все полезное для жизни айтишника, не касающееся его работы. Оказывается, у айтишников самые разные хобби. Мы уже писали об айтишниках-бегунах, пловцах, художниках, музыкантах, танцовщиках, а также заводчиках собак. Сегодня рассказываем о программисте, который обожает скорость и авто. Хобби Михаила Гуденко, QA Automation Lead в Parimatch Tech — авторалли.
«Главное – не сдаваться и не опускать руки». 4 истории джунов, получивших работу в реальных проектах с нулевым опытом
«Главное – не сдаваться и не опускать руки». 4 истории джунов, получивших работу в реальных проектах с нулевым опытом
«Главное – не сдаваться и не опускать руки». 4 истории джунов, получивших работу в реальных проектах с нулевым опытом
«Опыт работы в коммерческих проектах по специальности — от 1 года» — самая раздражающая фраза в офисах вакансий для всех, кто хочет войти в айти. Часто даже если человек работал в этой сфере, но с другим стеком, получить желаемое рабочее место в компании ему сверхсложно. Правда, есть бесплатная возможность получить IT через интернатуру. Сегодня рассказываем четыре истории сотрудников IT-индустрии, попавших на работу без необходимого опыта. Да, это скорее исключение, чем правило, но это вполне возможно.
Тушенка вместо броников. Audit manager из Parimatch Tech выбрал для себя нетипичный вид поддержки армии: вот его история
Тушенка вместо броников. Audit manager из Parimatch Tech выбрал для себя нетипичный вид поддержки армии: вот его история
Тушенка вместо броников. Audit manager из Parimatch Tech выбрал для себя нетипичный вид поддержки армии: вот его история
Александр Ткач — Audit manager в Parimatch Tech — во время войны расширил свою деятельность, став волонтером. Однако его сфера ответственности — не поиск и закупка бронежилетов или тепловизоров. Александр готовил для воинов еду, а именно — тушенку. Вот его история.
24-летний Data Scientist из Мариуполя опубликовал свой дневник о буднях в осажденном городе и побеге из ада. История с хеппи-эндом не без помощи LinkedIn
24-летний Data Scientist из Мариуполя опубликовал свой дневник о буднях в осажденном городе и побеге из ада. История с хеппи-эндом не без помощи LinkedIn
24-летний Data Scientist из Мариуполя опубликовал свой дневник о буднях в осажденном городе и побеге из ада. История с хеппи-эндом не без помощи LinkedIn
24 летний Data Scientist Алексей Малышев три недели выживал в блокадном Мариуполе. Когда ему удалось выехать из Мариуполя, он стал писать дневник.  Парень рассказал DOU, о том, как встретил войну, о довоенных буднях в военном Мариуполе и выводах, которые сделал в обстрелянном российскими солдатами городе. 

Хотите сообщить важную новость? Пишите в Telegram-бот

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментариев пока нет.