Инженер данных

Описание

• Разработка и сопровождение ETL/ELT потоков (Airflow, dbt);
• Управление метаданными: создание data catalog, документирование lineage данных;
• Обеспечение Data Quality: валидация данных на всех этапах, настройка алертов при аномалиях;
• VictoriaMetrics, Prometheus: Создание, управление, мониторинг метрик;
• ClickHouse: оптимизация запросов;
• Создание выгрузок и отчетов по запросу бизнеса;
• Документирование процессов и ведение технической документации.

• Опыт работы с реляционными базами данных (PostgreSQL/MySQL);
• Опыт моделирования и оптимизации в ClickHouse;
• Знание очереди, потоковой обработки данных из источников (Kafka, RabbitMQ);
• Опыт интеграций с 1С, работа с 1С OData, REST, SQL ;
• Опыт интеграций с REST источниками данных (сайты, сервисы), с SQL источниками данных;
• Опыт работы с Python (pandas, requests);
• Планирование DAG ов, написание операторов в Airflow.

• Расширенный социальный пакет: ДМС со стоматологией, бесплатное питание в корпоративной столовой;
• Корпоративный спорт (йога, футбол, забеги), психолог;
• Корпоративный транспорт от м.ВДНХ;
• Скидки для сотрудников на товары и услуги Москвариума и от компаний-партнеров (женская, детская одежда, книги и игрушки, а также Skillbox, BestBenefits и др.);
• График работы 5/2 с 9:00 до 18:00 ;
• Официальное оформление с соблюдением ТК РФ с первого рабочего дня (включая оплату отпусков и больничных);
• Место работы: м. ВДНХ, ВВЦ, "Москвариум" .