Senior Data Engineer (Python/Airflow/ClickHouse)

Описание

Локация: Санкт-Петербург
Компания
Selectel развивает инфраструктурные и облачные сервисы, а также платформу данных для внутренних бизнес-процессов.
Что делать

Взаимодействовать с владельцами данных, анализировать источники и повышать качество данных.
Разрабатывать и поддерживать ELT-пайплайны на Python с использованием DAG’ов Airflow.
Создавать dbt-модели по ключевым бизнес-процессам, витрины данных и DWH-компоненты по схеме «звезда».
Автоматизировать процессы, настраивать CI/CD, мониторинг и алёртинг.
Развивать Data Quality, Data Catalog, Data Lineage и инфраструктуру платформы данных.
Взаимодействовать с BI-разработчиками и аналитиками.

Требования

Опыт работы с PostgreSQL как источником данных для ELT, включая OLTP-структуры, репликацию и CDC.
Глубокое знание ClickHouse: движки, партиционирование, репликация, шардирование и оптимизация производительности.
Опыт разработки на Python, создания ELT-пайплайнов и DAG’ов Airflow, внутренних фреймворков и инструментов.
Уверенное знание SQL и оптимизации запросов, понимание принципов построения DWH и опыт работы с dbt.
Уверенное владение Linux, Docker, Git и CI/CD.

Хорошо, если есть

Опыт работы с Kafka, CDC и S3.
Опыт работы с облачной инфраструктурой, Terraform и администрированием ClickHouse.
Знание Data Lake архитектур, Trino, Spark, Parquet и Iceberg.

Культура и преимущества

ДМС, стоматология и офисный врач с первого дня работы.
Компенсация психологических консультаций и частичная компенсация фитнеса.
Оплата обучения английскому на 50–100% и разговорные клубы с носителями.
Внутренняя база знаний, курсы, обмен знаниями и возможность участия в конференциях.
Образовательные и спортивные мероприятия, корпоративные активности и зоны отдыха в офисе.