Data Engineer (Python/Spark)

Описание

Локация: Москва, улица Ивана Франко, 14. Формат работы: на месте работодателя или гибрид. Трудоустройство по ТК РФ.
Компания
Московский метрополитен развивает платформу данных для обработки телеметрии автономного транспорта Москвы, включая трамваи и метро.
Что делать

Разрабатывать и запускать Spark-пайплайны для преобразования телеметрии в данные, удобные для анализа.
Проектировать проверки качества данных и надёжную загрузку в хранилище.
Подключать новые источники и разрабатывать интеграции с различными системами.
Развивать архитектуру Data Lake/DWH и повышать производительность и стабильность платформы.
Формировать командные подходы к разработке, мониторингу и сопровождению пайплайнов.

Требования

От 3 до 6 лет опыта работы.
Практический опыт разработки и сопровождения пайплайнов данных.
Опыт работы с PySpark, Python и SQL.
Опыт работы с Data Lake/DWH и понимание принципов построения ETL/ELT-процессов.
Понимание принципов распределённой обработки данных.

Хорошо, если есть

Опыт работы с Trino и S3.
Опыт оркестрации пайплайнов с помощью Airflow.
Знакомство с Data Vault 2.0.
Знание Scala и опыт её использования для обработки данных.
Опыт развития платформы данных на ранних этапах: от выбора решений до внедрения и сопровождения.

Культура и преимущества

Полная занятость и работа в команде экспертов, ориентированной на инновации и сотрудничество.
Компенсация проезда в пригородных электропоездах.
Льготы на отдых в оздоровительном комплексе метрополитена.
Детский оздоровительный лагерь и детский клуб.
Финансовые условия обсуждаются индивидуально в зависимости от опыта кандидата.