Teamlead Data Engineer

Описание

S7 TechLab IT компания, реализующая инновационные IT продукты для подразделений группы компаний S7. Собственная система управления программой лояльности, развлекательный портал на борту для пассажиров это лишь некоторые примеры типовых задач, которые реализуются силами команды S7 TechLab и помогают авиакомпании занимать лидирующее место на рынке авиаперевозок России.

Обладая внутренней IT-экспертизой и инновационным подходом, мы развиваем онлайн-сервисы для путешественников. В приложении и на сайте s7.ru можно не просто купить билет, но и полностью организовать своё путешествие: забронировать отель, взять с собой питомца, заказать экскурсию, купить товары в дорогу. В нашей команде работают талантливые и увлеченные специалисты, которые каждый день создают лучший трэвел-опыт в России.

Сейчас мы находимся в поисках Teamlead Data Engineer в команду Data office S7. В нашей линейке продуктов представлены хранилища, отвечающие за данные по коммерции, флоту, сотрудникам, рейсам и многое другое. Вам предстоит быть участником единой команды, которая занимается их разработкой и руководить ее частью. Мы храним и обрабатываем данные в Vertica и PostgreSQL, оркестрируем ETL процессы в Airflow, загружаем и выгружаем обратно данные в kafka и s3. Вся инфраструктура размещена в kubernetes.

• Управление командой разработки в продуктах систем класса DWH;
• Распределение задач, ответственность за результат команды;
• Формирование архитектурных решений для решения нестандартных задач;
• Разработка, поддержка и оптимизация ETL процессов для формирования слоя модели данных и витрин данных, а так же загрузки данных систем источников из корпоративной шины данных (kafka, s3);
• Настройка инструментов и фреймворков для обработки и анализа данных;
• Взаимодействие с командой аналитиков по постановке задач и выявлению приоритетов, с командой разработки по технической реализации, со смежными командами (DBA, devops);
• Миграция с легаси решений на новые целевые;

• Экспертное знание SQL;
• Владение одним из языков программирования (Python, Scala, Java);
• Понимание способов моделирования систем класса DWH и компонентов платформы данных;
• Опыт работы с MPP системами (Vertica, Greenplum, Trino), глубокое понимание особенностей работы распределенных вычислений;
• Оркестраторы ETL процессов (Airflow, Dagster);
• Опыт управления командой разработки от 2-3 человек;

• Распределенный брокер Kafka;
• DQ фреймворки (GreatExpectations, Soda, Deeque и т. д.);
• Распределенные объектные хранилища(HDFS, S3);
• Принципы контейнеризации и оркестрации (Docker, Kubernetes);

• Работать из офиса в самом центре Москвы или выбрать гибридный формат;
• Летать по корпоративным тарифам S7 Airlines. Спойлер: почти бесплатно!

• Заботиться о себе: ДМС после испытательного срока, бесплатные тренировки и безлимитные консультации юристов, психологов и других специалистов;

• Развиваться и расти: обучение по профилю за наш счет!