Data Engineer в IT-компании

Описание

Data Engineer в аккредитованную IT-компанию, которая создаёт карту городов со справочником компаний, маршрутами общественного транспорта и навигатором.

Компания рассматривает кандидатов только из России.
З/п: обсуждается , соцпакет.
Формат работы: Офис, Удаленка, Гибрид(Москва, Санкт-Петербург, Новосибирск);
Уровень позиции: Senior

Стек:Data Engineer,MS SQL Server,ClickHouse,Kafka.

Задачи:
Разработка с нуля MVP новой дата-платформы и инфраструктуры для ingest/transform;
Мигрирование существующих пайплайнов с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse);
Работа с большими объёмами данных и высоконагруженными Kafka-топиками;
Построение отказоустойчивых пайплайнов обработки и доставки данных;
Участие в архитектурных решениях, внедрение best practices хранения, мониторинга и качества данных;
Проектирование витрин данных под продуктовую и управленческую аналитику (OLAP);
Сопровождение миграции BI-отчётов на новую платформу (например, DataLens, Power BI).

Обязательные требования:
Опыт на позиции Data Engineer / Big Data Engineer от 5+ лет;
Spark и RDD/DataFrames, Partitioning, Tuning;
Опыт работы с высоконагруженной Kafka;
Построение дата-архитектуры (DWH, OLAP, ETL/ELT, чанки, шардирование, SLA);
Работа с облачными хранилищами и построение отказоустойчивой delivery (AWS S3 - плюс);
Проектирование пайплайнов под отказоустойчивость, traceability и продакшеновую эксплуатацию;
Работа на одном из языков программирования, например, Scala;
Работа с ClickHouse;
SQL.

Будет приемуществом:
Опыт построения дата-платформ и миграции данных между системами / подходами;
Знание инструментов мониторинга и автоматического контроля качества данных (data contracts);
Опыт настройки OpenMetadata / DataHub, реализации практик Data Governance;
Опыт с Trino, Presto, dbt;
Инфраструктурный опыт: Docker, Kubernetes, CI/CD.