Data Platform Engineer (Python)

Описание

Локация: Москва, Огородный проезд, 16/1с5; работа на месте работодателяКомпанияРитейл Эксперт — поставщик данных о ритейле, занимающийся сбором, структурированием, анализом и подготовкой информации для FMCG-руководителей; компания более 10 лет развивает IT-решения, аналитику, исследования и консалтинг.Что делатьПроектировать и реализовывать ETL/ELT-пайплайны для инкрементальной загрузки и трансформации больших объёмов данных с использованием PySpark.Проектировать схемы ClickHouse для витрин, кубов и отчётности Power BI, включая MergeTree, партиционирование, materialized views и оптимизацию запросов.Развивать Lakehouse-слой хранения с нуля по структуре Raw → Staging → Marts на S3-совместимом хранилище с форматами Parquet и Apache Iceberg.Мигрировать логику и данные из MSSQL и хранимых процедур в новую целевую архитектуру.Поддерживать и рефакторить Python/Polars-пайплайны, повышать их отказоустойчивость и разрабатывать DAG-и в Apache Airflow.Самостоятельно находить узкие места и реализовывать улучшения в текущих решениях.ТребованияОт 1 года до 3 лет опыта.Продвинутый Python; pandas, Polars, PySpark и FastAPI для написания пайплайнов как кода.SQL, MSSQL и PostgreSQL: проектирование баз данных и оптимизация запросов.Apache Airflow: разработка и поддержка DAG-ов.PySpark: трансформация и агрегация данных.Data Lake/Lakehouse: S3, Parquet и Iceberg.Docker: контейнеризация, деплой и оркестрация сервисов.ClickHouse: проектирование схем, а не только выполнение SELECT-запросов.Хорошо, если естьОпыт с dbt, Great Expectations или Trino.Опыт работы с LLM в разработке.Опыт работы с продакшн-данными.Культура и преимуществаВозможность практически с нуля построить Lakehouse и схемы ClickHouse вместо поддержки чужой архитектуры.Официальное трудоустройство.Офис рядом с метро Бутырская.Конкурентная зарплата по итогам собеседования.