Data Engineer
Требования
«Детмир Тех» — команда, развивающая цифровую экосистему группы компаний «Детский мир». Делаем продукты для миллионов клиентов и сервисы, которые помогают бизнесу работать быстрее.
Нашему будущему коллеге предстоит работать над развитием Big Data Platform (hadoop + tooling in k8s) , которое является основным источником данных для всей группы компаний.
Мы ищем эксперта с высокой ролью ответственности, умеющего самостоятельно и в команде принимать решение по архитектуре и реализации.
Чем предстоит заниматься:
* Проектирование, разработка и поддержка витрины данных
* Разработка алгоритмов выгрузки, обработки, хранения данных (ETL) из разных систем, интеграция с внешними системами
* Автоматизация процессов обновления данных
* Разработка правил и процедур контроля качества данных
* Помогать коллегам DA и DS
* Техническая поддержка наших инструментов
* Разворачивание helm chart
* Сборка docker образов
* Продуктивизация моделей машинного обучения от команды DS
Что ожидаем от вас:
* Знания SQL
* Понимание жизненного цикла разработки ПО, культуры CI/CD
* Опыт создания и оптимизации Spark batch jobs
* Опыт разработки на Java (kotlin) Spring Service
* опыт работы с Airflow, умение создавать DAG'и, состоящие из Task и Sensor
* Отличное понимание устройства и принципов проектирования БД
* Опыт участия в проектах построения DWH и Data Lake в роли ETL-разработчика – от 3 лет
* Умение писать чистый поддерживаемый код и техническую документацию
* Опыт работы с Docker
Будет плюсом:
* Понимание технологий DevOps, опыт работы с CI/CD-инструментами.
* Опыт работы с Hadoop
* Опыт работы с Kubernetes
* Опыт работы с современными брокерами и очередями сообщений
* Опыт работы с Nifi
* Математическое\инженерное образование
Наш стек:
* последние версии Apache Spark (scala) и Apache Airflow
* Zeppelin
* Hadoop 3
* Kafka
* Docker, Kubernetes
* GitLab для CI/CD
Мы предлагаем:
* Официальное оформление в соответствии с ТК РФ в IT-аккредитованную компанию;
* Совокупный доход: оклад + годовой бонус;
* График работы: 5/2 (гибридный формат работы);
* Вакансия открыта для кандидатов, проживающих в РФ, удалённый формат работы из других стран не рассматривается;
* Техника для работы;
* Полис ДМС;
* Программа Best Benefits;
* Внутреннее обучение;
* Спортивные и развлекательные мероприятия, участие в корпоративной жизни компании.
Присоединяйтесь к нам и станьте частью истории бренда с историей!