Data Engineer (Hadoop)

Описание

Локация: офисный формат работы в Москве, м. Кутузовская, ул. Поклонная, 3КомпанияКрупнейшее банковское ИТ-подразделение, развивающее дата-платформу и единое хранилище данных на базе Hadoop.Что делатьРазрабатывать и развивать DWH, Data Lake и Lakehouse.Строить поставку данных в batch-, NRT- и RealTime-режимах.Разрабатывать витрины данных и пайплайны на Hadoop, Spark и Kafka.Оптимизировать ETL-процессы, повышать актуальность данных и снижать latency доступа.Проектировать и валидировать архитектуру данных, включая Data Vault, Инмана и Кимбалла.Поддерживать CI/CD и оркестрацию процессов обработки данных.ТребованияОтличное знание SQL, включая JOIN, CTE, оконные функции и фреймы.Опыт работы с Hadoop, Spark и Iceberg или Paimon.Опыт работы с Kafka и другими брокерами сообщений.Опыт использования оркестраторов, например Airflow, и CI/CD-инструментов.Опыт построения, защиты и оптимизации архитектуры данных.Практическое знание Python для разработки ETL; Java и Scala будут преимуществом.Хорошо, если естьОпыт разработки solution-архитектуры data-продуктов.Практический опыт создания и защиты архитектуры данных.Знание Java или Scala на уровне разработки.Культура и преимуществаГодовая премия.Расширенный ДМС, страхование для семьи и корпоративная пенсионная программа.Корпоративный спортзал и зоны отдыха.Более 400 образовательных программ для профессионального и карьерного развития.Регулярные митапы и развитое DS-сообщество.Льготные банковские условия, подписка Prime и вознаграждение за рекомендации.