Data Engineering Team Lead

Описание

Команда развивает корпоративное DWH на ClickHouse с нуля — хранилище уже в проде и влияет на ключевую отчётность компании, но проект в стадии активного роста: круг потребителей и объём задач быстро расширяются. Предстоит не просто поддержать этот рост, а выстроить его правильно — так, чтобы данные оставались быстро доступными и при этом не теряли единую версию правды. Формат работы — гибкий гибридный формат в Санкт-Петербурге. Основные задачи Прямое управление командой дата-инженеров: постановка задач, приоритизация, код-ревью, менторство, найм (в том числе предстоящий найм сеньора в команду) Отвечать за архитектура DWH: слои raw → stg → prep → core → dmt Проектное управление: roadmap развития DWH Управление доступом к данным: ролевая модель, права, гранты, распределение ресурсов хранилища между растущим числом потребителей Выстраивание процессов: CI/CD, Data Quality, Data Governance, дежурства и инцидент-менеджмент, стандарты разработки data pipelines и dbt моделей Выстраивание взаимодействия DE с бизнес-аналитиками, продуктовыми аналитиками, BI и другими потребителями данных Мы ожидаем Опыт работы тимлидом дата-инженеров от 2 лет: реальный опыт постановки задач, проведения код-ревью, найма и развития сотрудников — не только техническая экспертиза Уверенный опыт с ClickHouse и dbt в проде Опыт построения или развития DWH по dimensional modeling / методологии Kimball Сильный SQL и понимание оптимизации запросов в ClickHouse (партиционирование, движки, materialized views, инкрементальная загрузка) Опыт работы с оркестраторами (Airflow или аналог) Python на уровне дата инженерных задач (ETL/ELT, автоматизация, интеграции с API) Опыт выстраивания Data Quality процессов (тесты, мониторинг аномалий, документация) Опыт CI/CD и работы с git-flow +100 к резюме Опыт управления доступом к данным: ролевые модели, гранты, разграничение прав в хранилище на несколько команд-потребителей Опыт внедрения CDC Опыт с Kafka, Trino, Spark