Data Engineer в Data Lake
Описание
Чем предстоит заниматься: Изучение сырых данных, как на источнике, так и в Storage Тесное взаимодействие с командами Data Science и ML Разбор и устранение сложных инцидентов производительности в ClickHouse, PySpark Проектирование и построение витрин данных в ClickHouse Разработка и модификация ETL/ELT-процессов для Data Mart Проведение код-ревью Вам потребуется: Опыт работы от 3 лет (на аналогичной позиции или схожей) Практический опыт построения платформ данных с использованием Apache Iceberg на S3-совместимых хранилищах или Hadoop Уверенное владение Python (включая PySpark) Продвинутый опыт работы со PySpark (batch) с большими объемами данных Опыт проектирования таблиц в ClickHouse Опыт опыт работы с ClickHouse Отличное знание SQL и опыт оптимизации под большие объёмы данных Разработка, оптимизация и масштабирование ETL/ELT-процессов Разработка и поддержка витрин данных для аналитики и бизнес-отчетности Взаимодействие с аналитиками, специалистами Data Science и ML Понимание принципов Data Lake / Data Lakehouse Будет плюсом: Опыт работы с Hive Опыт работы Apache Airflow Понимание принципов MLOps Опыт работы с Kafka Опыт работы со Spark ( streaming) Понимание принципов Lakehouse Опыт работы с кластером ClickHouse Участие в проектировании и развитии архитектуры хранилищ данных (DWH) и озёр данных (Data Lake); Понимание различных моделей данных (Star/Snow?ake, Data Vault, Anchor Modeling Мы предлагаем: Профессиональное развитие в крупной MedTech компании Оформление по ТК РФ с первого дня в дочернюю аккредитованную ИТ компанию Удаленный/ гибридный формат работы Здоровье и поддержка: полис ДМС с телемедициной, консультациями узких специалистов и психотерапевта. Корпоративные скидки до 50% на все виды медицинских услуг для вас и ваших близких + 3 дня оплачиваемых выходных Подарок на День рождения и для детей к Новому году и Дню знаний Внутреннее и внешнее обучение, семинары, тренинги Корпоративные скидки и эксклюзивные специальные предложения от 800+ партнеров (товары, обучение, спорт, здоровье, рестораны, отдых) Вознаграждение за рекомендацию друзей в команду ИНВИТРО Предлагаем насыщенную жизнь в компании! Проводим корпоративные и спортивные мероприятия, профессиональные соревнования, конкурсы для сотрудников и членов семьи. В компании у каждого сотрудника имеется возможность для профессионального и карьерного роста.