Data-инженер (middle+/senior), ритейл
Описание
Мы в поисках data-инженера на проект крупного ритейлера. Чем предстоит заниматься: Создавать и развивать Spark-пайплайнов, в том числе Structured Streaming. Проектировать модульные и динамические DAG, разрабатывать кастомные операторы, сенсоры и хуки. Заниматься построением слоистой модели в dbt (staging, intermediate, marts): реализация incremental‑моделей, снимков (snapshots), макросов, настройка Slim CI. Проектировать структуры Data Vault 2.0 (Hub, Link, Satellite) под новые источники данных. Участвовать в выборе архитектуры и форматов хранения данных (Parquet, Iceberg), проектирование схем с учётом ожидаемой нагрузки. Настроивать CI/CD‑процессы в GitLab (окружения dev, stage, prod; работа с runners и механизмом approvals). Внедрять DQ‑фреймворки (например, Great Expectations), настроивать метрики качества данных и алертов. Заниматься развитием Semantic Layer (Cube, MetricFlow) и выстраиванием lineage в DataHub. Составлять дата‑контракты. Для нас важно: Опыт в data‑инжиниринге от 4 лет. Уверенное владение Python: навыки работы с ООП, асинхронностью, многопоточностью; понимание типизации, умение писать тесты и проводить профилирование кода. Продвинутые навыки работы со Spark: умение оптимизировать и тюнинговать задачи, анализировать планы выполнения и логи. Глубокое понимание SQL: работа с EXPLAIN и планами выполнения запросов, настройка индексов, знание особенностей разных движков СУБД. Опыт работы с Airflow на прикладном уровне: использование XCom, настройка пулов и SLA, работа с KubernetesPodOperator. Высокий уровень владения dbt. Навыки эффективной работы с Git: владение командами rebase и cherry‑pick, организация версионирования релизов. Практический опыт с Kubernetes и Docker: умение оптимизировать контейнерные образы. Работа с S3: настройка lifecycle‑правил и управление версионированием объектов. Знания и опыт администрирования СУБД: работа с партиционированием, шардированием, репликацией, настройкой бэкапов и миграций, понимание механизмов блокировок и уровней изоляции транзакций. Умение создавать дашборды и настраивать алерты, в Grafana или аналогичных инструментах. Главный принцип SkillStaff - Выбирай! ЭКСПЕРТИЗА. Делай выбор в пользу проектов с разным уровнем сложности и экспертных команд, где можно работать с лучшими специалистами и обмениваться опытом. РАЗНООБРАЗИЕ ПРОЕКТОВ. Выбирай из сотен компаний и проектов то, что интересно и полезно для твоего роста. SkillStaff помогает реализовывать ежегодно порядка 500 различных ИТ-проектов для крупного бизнеса. КОМФОРТ. Создавай идеальные условия для своей работы: удаленный формат работы на территории РФ.