Middle Data Engineer (Python/SQL)

Описание

Data EngineerКомпанияSM Lab 4.17УсловияТребованияИнженер по данным Middle SQL Python Apache Spark Apache Hadoop Apache Airflow ETL Можно удалённо Москва Мы находимся в поиске Data Engineera в платформенную команду BI.Команда занимается развитием корпоративного хранилища данных (DataLake). Исследует и внедряет новые инструменты (RnD), пишет библиотеки для использования другими командами, разрабатывает нестандартные ETL потоки и помогает коллегам в оптимизации сложных потоков.** ** Обязанности:Реализация ETL в Hadoop (с помощью Airflow);Работа с различными источниками данных: Oracle MS SQL API личных кабинетов, микросервисы;Батч и стримы с помощью PySpark и Kafka;Подготовка витрин для анализа (Hive + Spark+ SQL).Требования:Уверенное владение Python;Опыт использования эко-системы Hadoop: HDFS, Apache AirFlow, Hive, Kafka,Spark;Знание SQL;Опыт работы с реляционными базами данных (Oracle).Наш стек: Kafka, Spark, Airflow, Jira, Confluence, GitLab. Условия:Формат работы на выбор: офис/гибрид/удаленка;Гибкий график (с 8 до 17, с 9 до 18 или с 10 до 19);Участие в проекте кафетерия льгот (ДМС, спорт, мобильная связь, обучение);Полугодовые премии;Корпоративные скидки до 30% на товары Спортмастер, Ostin, Funday, Demix;Внутреннее и внешнее обучение, конференции;BestBenefits – сервис персонализированных скидок и привилегий;Технику предоставляем.