Lead Data Engineer / Архитектор платформы данных
Описание
giper.fm — технологическая компания на стыке e-commerce, digital-маркетинга, аналитики и рекламных технологий. У нас сильная команда Data Engineers и Data Analysts и современный стек: реляционное ядро DWH, Lakehouse для финансовых и внешних отчётов, федеративный движок запросов и быстрый колоночный слой витрин в ClickHouse для BI. Бизнес и объёмы данных растут, и наша цель — перевести платформу из режима «быстро доставили первые витрины» в надёжную, масштабируемую и прозрачную систему уровня production. Легаси на 10 лет и многомесячных комитетов у нас нет, поэтому вы работаете в коротком плече с бизнесом. Сейчас мы ищем Lead Data Engineer, который возьмёт на себя техническое лидерство, выстроит системный Data Quality, свяжет разрозненные сервисы трансформаций в единую управляемую архитектуру и задаст инженерные стандарты. Чем предстоит заниматься: Архитектура и развитие платформы данных Отвечать за целевую архитектуру гибридной платформы (реляционный DWH + Lakehouse + аналитические витрины в ClickHouse) и её масштабирование под рост бизнеса. Провести ревизию существующих сервисов наполнения хранилища и сборки витрин, устранить узкие места по производительности и конкуренции за вычислительные ресурсы. Спроектировать и внедрить централизацию SQL-трансформаций и сквозной граф зависимостей (Data Lineage от источника до BI-дашборда). Развивать прагматичный IaC / GitOps-подход: управление схемами, конфигурациями и централизованной ролевой моделью доступа (RBAC). Data Quality и Data Governance Перевести контроль качества данных из реактивного режима (по обратной связи от бизнеса) в проактивный автоматизированный конвейер. Внедрить блокирующие проверки качества (Quality Gates / Write-Audit-Publish) между посадочным слоем и боевыми витринами в ClickHouse, а также входную валидацию (дата-контракты) для внешних и внутренних источников. Настроить автоматическую кросс-системную сверку операционных данных (ядро DWH) и закрывающих документов/фактов (Silver-слой в Lakehouse) через федеративный движок запросов (Trino). Развивать культуру прагматичного Data Governance без лишней бюрократии: каталог доменов, единый глоссарий бизнес-метрик, правила работы со слоями и снижение Bus Factor в команде. Техническое лидерство и процессы (DE + Аналитика) Быть техническим лидером для команды инженеров данных: проводить архитектурное и код-ревью, помогать в сложных оптимизациях запросов и физических моделей хранения. Выстроить четкий процесс взаимодействия и приемки задач (Definition of Done) на стыке Data Engineering и Аналитики, чтобы витрины сдавались без таймаутов и расхождений в цифрах. Что мы ожидаем от кандидата: Экспертный SQL и физика СУБД. Глубокое понимание внутреннего устройства ClickHouse (движки семейства MergeTree, разреженный первичный индекс и ORDER BY, партиционирование, Dictionaries, профилирование через system.query_log, стоимость тяжелых JOIN и мутаций) и опыт проектирования ядер DWH на реляционных / MPP СУБД (PostgreSQL, Greenplum или аналоги: планы выполнения EXPLAIN ANALYZE, индексы, секционирование, блокировки). Lakehouse и распределенные движки. Практический опыт с Trino / Presto (федеративные запросы, распределенные и broadcast-джойны, управление памятью воркеров), объектными хранилищами (S3 / MinIO), табличными и файловыми форматами (Delta Lake / Apache Iceberg / Parquet), каталогами метаданных (Hive Metastore и аналоги), понимание механизмов компактификации (optimize / vacuum) и партиционирования в озере данных. Инженерия пайплайнов, код и оркестрация. Уверенное владение Python (сервисы инжеста и обработки данных, работа с API, deltalake / pyarrow / polars / pandas без OOM) и промышленная работа с Apache Airflow (идемпотентные DAG'и, динамическая генерация задач, запуск в изолированных окружениях Docker / Kubernetes). Трансформации, CI/CD и прагматичный IaC. Опыт централизации и стандартизации слоя трансформаций (например, внедрение dbt) и выстраивания сквозного Data Lineage; выстраивание доставки кода через GitLab CI/CD, управление миграциями схем БД, секретами (Vault) и ролевой моделью доступов (RBAC / SSO) через код (GitOps). Инженерный подход к Data Quality и Observability. Практический опыт внедрения конвейеров качества данных (паттерн Write-Audit-Publish, атомарная подмена партиций REPLACE PARTITION / EXCHANGE TABLES, валидация схем и дата-контрактов на входе, технические метатаблицы аудита, мониторинг и алертинг в стеке уровня Prometheus / Grafana / Loki). Архитектурный прагматизм и техническое лидерство. Опыт проектирования хранилищ (подходы Кимбалла, Data Vault, гибридные слоистые архитектуры Bronze/Silver/Gold, raw/stg/core/mart), умение аргументированно выбирать технологии под задачу и размер команды (KISS / YAGNI), проводить глубокое код-ревью и менторить инженеров. Будет плюсом: Понимание того, как современные BI-системы генерируют запросы к ClickHouse, и умение проектировать слой витрин и представлений под быстрые дашборды. Опыт работы с данными e-commerce, маркетплейсов, ретейла и digital-маркетинга. Что мы предлагаем: Современный стек без легаси. ClickHouse, Trino, Lakehouse (Delta Lake / Iceberg), Apache Airflow, dbt, GitLab CI/CD, Kubernetes — вы работаете с актуальными инструментами, а не поддерживаете десятилетние системы. Влияние на архитектуру. Вы напрямую выбираете технологии, задаёте инженерные стандарты и определяете, как развивается платформа данных компании. Гибридный формат работы; после прохождения испытательного срока возможна полная удаленка. Пятидневная рабочая неделя. Можно выбрать удобный график: 09:00–18:00 или 10:00–19:00. Уютный офис-опенспейс в Санкт-Петербурге в районе метро «Московская» (БЦ «Аэроплаза») или в Москве, в районе метро "Крылатское". Активная корпоративная жизнь: английский, йога, покер, забеги, велозаезды и три корпоратива в год.