Data Engineer (Big Data)

Описание

Локация: РоссияКомпанияCenticore — компания, специализирующаяся на системной интеграции и разработке высокотехнологичных ИТ-решений.Что делатьСоздавать и сопровождать ETL/ELT-процессы на базе SQL, Python, Spark и Airflow.Разрабатывать и оптимизировать скрипты, витрины данных и дата-продукты.Проектировать архитектурные решения для эффективного хранения и доступа к большим массивам данных.Анализировать качество данных, внедрять автоматические проверки и осуществлять мониторинг витрин.Подготавливать техническую документацию и детально описывать логику расчетов.Развивать практики Data Quality и оптимизировать общие процессы работы с данными.ТребованияВысшее образование.Опыт работы в данной области от 3 лет.Углубленные знания SQL (Oracle, Postgres) и экосистемы Hadoop (HDFS, Hive, Impala, Sqoop, Spark) с умением оптимизировать код.Практический опыт работы с Apache Airflow и Python для анализа и обработки данных.Понимание теории баз данных и навык структурирования сложной информации.Знание принципов работы моделей машинного обучения (ML/DS).