Data Engineer (junior+)

Описание

• Оркестрация процессов: Разработка, поддержка и оптимизация DAG-ов в Apache Airflow. Создание динамических дагов, управление зависимостями и SLA;
• Разработка ETL/ELT пайплайнов: Организация загрузки данных из разнородных источников (REST API, Kafka, DB, S3/HDFS) в хранилище;
• Обработка больших данных (Spark): Использование PySpark для "тяжелых" трансформаций, очистки и подготовки данных перед загрузкой в ClickHouse (если логика слишком сложна для SQL);
• Работа с ClickHouse: Загрузка подготовленных данных в CH, создание базовых витрин данных (DDL таблиц, простые View) для передачи аналитикам;
• Обеспечение качества данных: внедрение проверок на всех этапах пайплайна, мониторинг свежести и корректности данных.

• Python: Уверенное владение языком (OOP, requests, pandas/numpy, sqlalchemy). Умение писать чистый, тестируемый и поддерживаемый код;
• Apache Airflow и ELT/ETL: Опыт разработки и поддержки сложных пайплайнов в Airflow. Понимание принципов построения DWH. Практический опыт реализации инкрементальных загрузок и создания идемпотентных процессов обработки данных. Умение синхронизировать данные между несколькими системами;
• Apache Spark (PySpark): Опыт написания джобов для пакетной обработки данных;
• SQL и ClickHouse: Уверенное знание SQL. Умение создать таблицу в ClickHouse, выбрать подходящий движок и написать запрос на вставку/выборку данных.

Будет преимуществом:

• Опыт работы с распределенными хранилищами (HDFS, S3, Apache Iceberg);
• Понимание процессов CI/CD и контейнеризации.

Условия:

• Трудоустрои ство по ТК РФ, полностью "белая" заработная плата;

• График 5/2, работа по часовому поясу МСК с гибким началом рабочего дня: 9:00 или 10:00;

• Удаленку, при желании - возможность посещать наш уютный офис в Москве;

• Отсутствие бюрократии. Быстрое согласование: коммуникация с

  коллегами в Telegram, митапы в zoom, задачи в Jira, база знании в

  Confluence;

• ДМС после прохождения испытательного срока, включая стоматологию;

• Спорт и крутые корпоративные мероприятия: Гонка героев, сплав в Уфе

  и Карелии, соревнования по футболу, настольному теннису, картингу, беговои клуб и другие.