Data Engineer
WMTОписание
Описание проекта:
Стек проекта: Python, Trino, dbt, Airflow, Spark, Hadoop, Hive, Postgres, Greenplum, Kubernetes, Gitlab.RL
Требования к кандидату:
знаешь SQL на уровне оптимизации сложных запросов;
знаешь принципы работы классических и MPP-СУБД;
опыт разработки на Python и/или Java, Scala;
опыт оркестрации ETL-пайплайнов с помощью Airflow;
опыт работы с dbt;
опыт работы с продуктами экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop).
опыт Apache Spark (Spark DataFrames, Spark SQL);
знаком с банковской предметной областью;
знакомство с банковской предметной областью;
опыт работы с Kafka, Trino;
опыт работы с контейнерными технологиями и оркестрацией: kubernetes, helm;
знания и опыт CI/CD-практик и инструментов;
Задачи на проекте:
Мигрировать процессы для отчетности и аналитики и настраивать их регламентную
загрузку;
работать с общебанковской data-платформой (data lake, dwh);
разрабатывать end-to-end пайплайны по сбору и обработке данных: выбирать
оптимальный формат, структуру хранения и архитектуру интеграционных решений;
анализировать и оптимизировать производительность пайплайнов, инструментов и
дата-сервисов;
развивать архитектуру данных и внедрять новые технологические решения и сервисы;
управлять обновлениями, настройками, устранять выявленные уязвимости,
восстанавливать сервисы после сбоев, обрабатывать инциденты.
- ВСЕГДА удаленный формат работы
- Аккредитованная IT компания
- Стабильная заработная плата, которую мы готовы обсуждать по итогам интервью
- Индексация оклада по итогам проекта или полугодия работы
- Премирование по итогам проекта или года работы
- Полноценный трудовой договор или оформление по удобному для вас формату сотрудничества (ИП, СЗ)
- Возможна организация обучения или сертификации, как по плану обучения внутри компании, так и по инициативе сотрудника
- Организация участия в профильных IT мероприятиях (в том числе по инициативе сотрудника)
- Реферальная программа для сотрудников бонус за рекомендованного трудоустроенного IT-специалиста!
- Комфортное HR сопровождение на всех этапах сотрудничества