Data Engineer (Apache Spark/Airflow)

Описание

Локация: Москва, работа на месте работодателя; в условиях также указан гибридный формат
Компания
ИТ B2C — крупная экосистема Сбера, развивающая розничные банковские решения и платформу данных для обмена информацией с компаниями-партнёрами.
Что делать

Проектировать и реализовывать ETL/ELT-пайплайны, включая DAG в Apache Airflow.
Оптимизировать и сопровождать процессы обработки больших данных на Apache Spark и Apache Flink.
Интегрировать базы данных, API и файловые хранилища в единую pipeline-архитектуру.
Настраивать и администрировать Airflow для оркестрации workflows.
Участвовать в разработке архитектуры хранения и обработки данных, включая Hadoop-экосистему.
Документировать решения и формировать базы знаний.

Требования

Опыт от 1 года до 3 лет.
Высшее образование.
Опыт разработки, оптимизации и мониторинга ETL/ELT-процессов.
Профильное владение Python, включая библиотеки для работы с данными.
Практический опыт распределённых вычислений: Apache Spark с PySpark/Scala или Apache Flink.
Глубокое понимание SQL и опыт работы с РСУБД, включая PostgreSQL и MySQL.
Знание Apache Airflow: создание DAG, настройка сенсоров и операторов.
Навыки администрирования Linux, включая развёртывание, мониторинг и troubleshooting.

Хорошо, если есть

Базовые знания Scala или готовность к изучению.
Опыт работы с Hadoop: HDFS, YARN, Hive.
Знание облачных платформ: AWS S3/Glue, GCP BigQuery, Azure Data Factory.
Навыки автоматизации с Ansible и Terraform.
Опыт работы со стриминговыми данными, Kafka и Debezium.

Культура и преимущества

Полная занятость; указан гибридный формат работы, при этом в карточке вакансии обозначена работа на месте работодателя в Москве.
Ежегодный пересмотр зарплаты и годовая премия.
Расширенный ДМС и льготное страхование для семьи.
Система обучения для профессионального и карьерного развития.
Льготная ипотека, корпоративная пенсионная программа и подписка Прайм с возможностью совместного использования.
Вознаграждение за рекомендации кандидатов в команду Сбера.