Senior Data Engineer (онлайн-кинотеатр КИОН)
Описание
СЕЙЧАС МЫ В ПОИСКЕ ДАТА ИНЖЕНЕРА В КОМАНДУ ОНЛАЙН-КИНОТЕАТРА КИОН Мы создаем оригинальный развлекательный контент и развиваем сервисы для просмотра фильмов и сериалов на любом устройстве. Наша команда занимается внедрением lakehouse нового поколения, в котором мы разделяем compute от storage. Есть текущий проект с DWH в виде Greenplum и Hadoop который планируется перевести в поддержку. ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ Разрабатывать и проводить рефакторинг ETL/ELT пайплайнов на pyspark; Разарбатывать и поддерживать OLAP движков Starrocks/Clickhouse; Поддерживать текущие пайплайны на Greenplum и Hadoop; Осуществлять миграцию с HDFS на S3; Проводить оптимизацию Spark-приложений; ЧТО ВАЖНО ДЛЯ ЭТОЙ ПОЗИЦИИ Опыт работы с Python от 3 лет; Глубокое знание SQL и опыт работы с большими данными; Опыт работы с Apache Airflow Опыт проектирования и разработки ETL/ELT процессов; Опыт работы с колоночными БД (ClickHouse); Знание принципов построения Data Warehouse и Data Lake; Понимание разницы между OLTP/OLAP системами; Уверенная работа c linux и git; Понимание процессов ci/cd; ЧТО МЫ ПРЕДЛАГАЕМ Оклад + годовой бонус при выполнении KPI ДМС с первого месяца работы и страховка для поездок за границу Возможность участия в волонтерских программах: благотворительные ярмарки, образовательные проекты для детей, экологические проекты. Корпоративная программа «ON Медиа Спорт»: оплачиваем внешние спортивные забеги, марафоны, турниры по разным видам спорта