Data Engineer (Big Data)

Описание

Локация: офисный формат работы в Москве, на месте работодателя
Компания
Bell Integrator — аккредитованная ИТ-компания, входящая в группу Softline и реализующая проекты для крупных финансовых, телекоммуникационных и розничных компаний по всей России.
Что делать

Загружать, очищать и трансформировать большие объемы данных из RDBMS, Hadoop и плоских файлов на платформах Hadoop.
Проектировать и разрабатывать аналитические витрины данных и коннекторы для ETL-процессов.
Мониторить и оптимизировать процессы загрузки, преобразования данных и сборки витрин.
Разрабатывать, поддерживать и оптимизировать инфраструктуру и внутренние сервисы для обработки больших объемов данных.
Создавать инструменты для автоматизации рутинных задач обработки данных.

Требования

От 3 до 6 лет опыта.
Продвинутый SQL: аналитические функции, подзапросы, хранимые процедуры и оптимизация производительности.
Стек Big Data: Hadoop, Spark, Hive/Impala и любая СУБД.
Знание понятий и концепций DWH.
Python и библиотеки PySpark, Pandas, NumPy, а также REST API.
Опыт работы с Airflow, Dagster или Oozie.
BitBucket/Git и Bash.

Культура и преимущества

Оформление в соответствии с ТК РФ.
Возможность профессионального и карьерного роста.
Участие в разных проектах.