Lead Data Engineer

Описание

Продуктовая IT компания, которая занимается разработкой и поддержкой высоконагруженных проектов для крупных компаний, в том числе с мировой известностью, основная часть которых представляет собой развлекательные онлайн-сервисы находится в поисках Lead Data Engineer .

Обязанности и задачи:

• Руководство командой: управление группой дата инженеров, постановка задач, контроль качества и сроков, проведение code review, наставничество и развитие специалистов.

• Развитие дата-платформы : проектирование и развитие Data Lake (s3 + Iceberg + Trino / Spark + dbt), организация слоев (Bronze/Silver/Gold), моделирование данных, обеспечение масштабируемости.

• Стандартизация и best practices: формирование и внедрение общих стандартов и подходов, единых подходов к ETL/ELT, управлению схемами и документацией.

• Интеграции и пайплайны: разработка и поддержка пайплайнов данных, обеспечение качества и доступности данных для аналитиков.

• Data Quality и Governance: Поддержка и развитие системы мониторинга целостности и качества данных. Активная коллаборация с владельцами источников данных.

Требуемые знания и опыт:

• Опыт лидства от 2 лет.

• Опыт работы дата инженером от 5 лет.

• Глубокое понимание принципов проектирования архитектуры хранилища данных (Kimball, Medallion, OBT)

• Python (будет плюсом Scala / Go)

• Отличное понимание Airflow.

• Экспертный опыт работы с Apache Spark, Spark Streaming, Kafka.

• Опыт работы с docker, k8s, docker-compose, CI/CD пайплайнами.

• Опыт активного взаимодействия с командами - аналитиками, DevOps, разработкой.

• Умение находить общий язык с бизнес пользователями.

• Жирным плюсом будет опыт работы с dbt.

Что компания может предложить:

• Возможность развивать свои компетенции и применять знания на практике;
• Возможность поработать на крупных проектах;
• Компания заинтересована в развитии своих сотрудников: готовы привлекать наставников и оплачивать курсы для повышения квалификации;
• Отсутствие бюрократии, быстрое согласование необходимых вещей;
• Оплачиваемые отпускные и больничные;
• Годовой бонус по результатам работы;
• Компенсация спортзала;
• Частичная компенсация английского языка или психолога (на выбор);
• Компания поддерживает сотрудника в важные периоды жизни;
• Предоставляем 4 day-off в год за счет компании;
• ДМС после 6 месяцев работы;
• Пересмотр заработной платы по результатам работы;
• Удаленный/офисный/гибридный формат работы.