Data Engineer

Описание

Обязанности: Загрузка, очистка и трансформация больших объемов данных из различных источников (RDBMS, Hadoop, плоские файлы) в рабочую область (платформы Hadoop) Проектирование и разработка аналитических витрин данных Проектирование и разработка коннекторов для ETL процессов Мониторинг и оптимизация процессов загрузки, преобразования данных и сборки витрин Разработка, поддержка и оптимизация инфраструктуры и внутренних сервисов для обработки больших объемов данных; Разработка инструментов для автоматизации рутинных задач, связанных с обработкой данных Требования: SQL на продвинутом уровне (аналитические функции, подзапросы, хранимые процедуры, оптимизация производительности). Cтек технологий Big Data (Hadoop, Spark, Hive/Impala) и любой СУБД. Знание понятий и концепций DWH Python (PySpark, Pandas, NumPy, REST API); Airflow/Dagster/Oozie BitBucket\Git Bash Условия: Возможность профессионального и карьерного роста в компании Возможность поучаствовать в разных проектах Опыт работы в распределенной команде профессионалов Уровень заработной платы обсуждается индивидуально Оформление в соответствии с ТК РФ в Bell Integrator Формат работы ОФИС: МСК