Data Engineer (Hadoop / Spark)
Описание
«Детмир Тех» развивает цифровую экосистему группы компаний «Детский мир». Мы создаём продукты для миллионов клиентов и сервисы, которые помогают бизнесу принимать решения на основе данных. Ищем Data Engineer в команду Big Data Platform. Платформа построена на Hadoop 3 и Apache Spark и является основным источником данных для всей группы компаний. Главная задача — развивать надёжную и производительную платформу обработки больших объёмов данных: проектировать пайплайны, оптимизировать Spark-приложения, развивать Data Lake и совершенствовать архитектуру Hadoop-кластера. Чем предстоит заниматься: Разрабатывать и оптимизировать batch-процессы на Apache Spark. Проектировать ETL/ELT-пайплайны для обработки больших объёмов данных. Создавать и поддерживать витрины данных в Hadoop. Оптимизировать Spark jobs: partitioning, shuffle, data skew, использование памяти и ресурсов кластера. Развивать архитектуру Data Lake и подходы к организации и хранению данных. Организовывать загрузку и передачу данных через Kafka и S3 API (MinIO). Автоматизировать процессы с помощью Apache Airflow и Apache NiFi. Поддерживать трансформации данных в dbt Core. Развивать и поддерживать витрины данных в ClickHouse. Оптимизировать запросы и процессы загрузки данных в ClickHouse, разбираться с проблемами производительности. Поддерживать аналитическую платформу на Apache Superset, решать возникающие технические проблемы. Внедрять проверки качества данных и мониторинг пайплайнов. Исследовать причины сбоев и деградации производительности. Помогать аналитикам и дата-сайентистам эффективно работать с платформой. Участвовать в развитии внутренних инструментов и стандартов Data Engineering. Участвовать в развёртывании и эксплуатации компонентов платформы в Kubernetes. Что для нас важно: От трёх лет опыта работы с Hadoop и Apache Spark. Знание основных компонентов Hadoop и принципов работы HDFS и Spark. Глубокое понимание архитектуры Spark и принципов распределённых вычислений. Опыт разработки и оптимизации Spark batch jobs. Уверенное владение SQL. Опыт проектирования DWH или Data Lake. Опыт построения ETL/ELT-процессов. Практический опыт работы с Apache Airflow. Знание форматов хранения данных. Понимание принципов партиционирования и организации данных в Data Lake. Умение диагностировать проблемы с shuffle, partitioning, data skew, памятью и использованием ресурсов кластера. Умение анализировать производительность распределённых приложений и находить узкие места. Умение писать чистый, тестируемый и поддерживаемый код. Готовность принимать технические решения и отвечать за результат. Будет преимуществом: Опыт разработки на Scala. Знание Kafka и принципов потоковой обработки данных. Опыт работы с ClickHouse и оптимизации запросов. Опыт работы с Apache Superset. Знакомство с Apache NiFi и dbt Core. Опыт эксплуатации приложений в Kubernetes. Знание Docker, Helm и GitLab CI/CD. Опыт работы с DataHub или другими Data Catalog решениями. Опыт построения мониторинга data-платформ и пайплайнов. Знакомство с VictoriaMetrics, Grafana, Hue или Jupyter. Опыт работы с большими Hadoop-кластерами и высокими объёмами данных. Наш стек: Хранение и обработка: Hadoop 3, HDFS, Apache Spark Доставка и обмен данными: Kafka, S3 Оркестрация и трансформации: Apache Airflow, Apache NiFi, dbt Core Аналитические хранилища: ClickHouse Ad-hoc аналитика: Hue, Jupyter Каталог данных: DataHub BI и визуализация: Apache Superset, Grafana Мониторинг: VictoriaMetrics, Grafana Инфраструктура: Kubernetes, Docker, Helm CI/CD: GitLab CI/CD Мы предлагаем: Официальное оформление в соответствии с ТК РФ в IT-аккредитованную компанию; Совокупный доход: оклад + годовой бонус; График работы: 5/2 (гибридный формат работы); Вакансия открыта для кандидатов, проживающих в РФ, удалённый формат работы из других стран не рассматривается; Техника для работы; Полис ДМС; Программа Best Benefits; Внутреннее обучение; Спортивные и развлекательные мероприятия, участие в корпоративной жизни компании. Присоединяйтесь к нам и станьте частью истории бренда с историей!