Middle Data Engineer
Описание
«Умная Логистика» — ведущая SaaS-экосистема для управления цепочками поставок и грузоперевозками в РФ. Нашей платформой ежедневно пользуются тысячи грузовладельцев и транспортных компаний, чтобы распределять заказы, отслеживать грузы в пути, рассчитывать оптимальные ставки и оформлять электронные документы. Мы развиваем data-driven культуру и расширяем команду данных. Ищем Middle Data Engineer, который поможет развивать платформу данных (DWH и Data Lake), настроит надежные пайплайны пакетной и потоковой обработки на Spark и Airflow, а также обеспечит команду аналитики быстрыми витринами для нашего корпоративного BI-инструмента — Apache Superset. Чем предстоит заниматься: Развитие DWH и Data Lake: Участие в проектировании и наполнении аналитических слоев данных на базе S3, PostgreSQL и ClickHouse. Разработка пайплайнов обработки данных: Написание и поддержка ETL/ELT-пайплайнов с использованием Apache Spark (PySpark) и Python. Оркестрация процессов: Создание, оптимизация и мониторинг регулярных DAG'ов в Apache Airflow. Подготовка витрин для BI: Проектирование и поставка агрегированных данных под задачи продуктовой и бизнес-аналитики в Apache Superset. Интеграция источников: Сбор данных из микросервисов, очередей сообщений и внешних API (телематика, скоринг контрагентов, картографические сервисы). Контроль качества и оптимизация: Валидация входящих данных, мониторинг выполнения пайплайнов, профилирование и ускорение аналитических запросов в ClickHouse и PostgreSQL. Что мы ждем от кандидата: Коммерческий опыт работы в роли Data Engineer или DWH-разработчика от 1.5 лет. Уверенное владение SQL: Сложные агрегаты, оконные функции, CTE, оптимизация и чтение планов выполнения (EXPLAIN). Опыт работы с Apache Airflow: Уверенная разработка DAG'ов, работа с кастомными и стандартными операторами, понимание принципов идемпотентности и бэкфилов. Практика работы с СУБД и хранилищами: PostgreSQL (реляционное моделирование, индексы, транзакции); ClickHouse (семейство движков MergeTree, специфика колоночного хранения); S3-совместимые хранилища (организация структуры каталогов, работа с форматами Parquet/ORC). Уверенный Python: Написание чистого, структурированного кода для задач обработки данных. Базовое понимание специфики подготовки данных для BI-инструментов (в частности, для Apache Superset). Навыки работы с Git, Docker и Linux-окружением. Будет плюсом: Опыт работы с брокерами сообщений (Apache Kafka / RabbitMQ). Опыт работы с dbt (data build tool) или инструментами валидации данных (Great Expectations, Pandera). Опыт настройки подключений, дашбордов или семантического слоя в Apache Superset. Понимание логистического или B2B SaaS-домена. Наш стек: Storage & DB: S3, PostgreSQL, ClickHouse Pipelines & Orchestration: Apache Spark, Apache Airflow BI: Apache Superset Streaming & Messaging: Apache Kafka, RabbitMQ Infrastructure & CI/CD: Docker, Kubernetes, GitLab CI, Grafana, Prometheus Что мы предлагаем: Прозрачные задачи и профессиональный рост: Участие в развитии современной платформы данных без устаревшего легаси в связке с сильной командой. Оформление и стабильность: Полностью официальное трудоустройство по ТК РФ, белая заработная плата. Гибкий формат: Полная удаленка из любой точки РФ или работа в комфортном офисе. Техника для работы: Производительный рабочий ноутбук и все необходимые доступы. Обучение: Компенсация профильных курсов, профильной литературы и участия в конференциях. Культура: Минимум бюрократии, открытость к инженерным инициативам и доверие к процессам.