Data Engineer (Hadoop)

Описание

Локация: Москва, офисный формат работы на месте работодателя — м. Кутузовская, ул. Поклонная, 3Зарплата: до 480 000 ₽ в месяц до вычета налоговКомпанияИТ-подразделение СБЕР разрабатывает дата-платформу Data Lakehouse на базе Hadoop для обработки сотен петабайт банковских данных.Что делатьРазрабатывать и развивать DWH, Data Lake и Data Lakehouse.Строить поставку данных в режимах Batch, NRT и RealTime.Разрабатывать и поддерживать витрины данных на Hadoop, включая HDFS, Iceberg и Hive.Оптимизировать ETL-процессы и снижать задержки доступа к данным.Разрабатывать и валидировать архитектуру данных.Работать с потоковыми пайплайнами, Kafka и dynamic tables.ТребованияОтличное знание SQL, включая JOIN, CTE, оконные функции и фреймы.Опыт работы с Hadoop, Spark, Iceberg или Paimon.Опыт работы с Kafka и другими брокерами сообщений.Опыт использования оркестраторов, например Airflow, и CI/CD.Опыт построения архитектур данных, включая Data Vault, Инмана или Кимбалла.Опыт существенной оптимизации ETL; знание Python для разработки ETL будет преимуществом.Хорошо, если естьПрактическое знание Java или Scala.Опыт создания и защиты архитектуры данных.Опыт разработки solution-архитектуры data-продуктов.Культура и преимуществаРабота в команде дата-инженеров над сложными инженерными задачами и большими объемами данных.Годовая премия.Корпоративный спортзал, зоны отдыха и регулярные митапы.Более 400 образовательных программ СберУниверситета и развитое DS-сообщество.Расширенный ДМС, страхование для семьи и корпоративная пенсионная программа.Льготные ипотечные условия, подписка Прайм и вознаграждение за рекомендации.