Data Engineer

Описание

• Проектирование, разработка и поддержка ETL/ELT-процессов для сбора, трансформации и загрузки данных из различных источников.
• Построение и оптимизация инфраструктуры хранения данных (Data Lake, DWH) на базе современных технологий.
• Автоматизация процессов обработки данных с использованием Apache Airflow, Spark.
• Работа с базами данных: PostgreSQL, ClickHouse, S3.
• Интеграция данных из разных источников, обеспечение их качества и доступности для аналитиков и ML-специалистов.
• Оптимизация производительности запросов и хранилищ.
• Разработка и поддержка дашбордов и инструментов визуализации (Apache Superset, Redash).
• Участие в проектировании архитектуры данных и внедрении новых технологий.
• Языки программирования: Python (основной инструмент для написания ETL-скриптов и автоматизации).
• Инструменты оркестрации: Apache Airflow.
• Технологии обработки данных: Apache Spark.
• Базы данных: PostgreSQL, ClickHouse.
• Хранилища: S3.
• Инструменты визуализации: Apache Superset, Redash.
• Знание принципов работы с Big Data, опыт работы с распределёнными системами будет плюсом.

• Опыт работы с Python (pandas) и SQL на уровне уверенного пользователя.
• Понимание принципов построения ETL/ELT-процессов.
• Опыт работы с хотя бы одной из перечисленных технологий: Airflow, Spark, PostgreSQL, MSSQL.
• Умение работать с большими объёмами данных, оптимизировать запросы и процессы.
• Знание Excel, умение работать с Power Query.
• Желание учиться и развиваться в области инженерии данных.

• Официальное оформление по ТК РФ или ИП (на выбор);
• Конкурентоспособная заработная плата, обсуждается индивидуально с каждым кандидатом;
• Работа в дружной команде на крупном проекте;
• Гибридный формат работы, гибкое начало рабочего дня;
• График работы 5/2.