Data Engineer

Описание

Компания АЙ-ТЕКО ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России.

Требования:

• - Опыт работы в роли data engineer 3 года;
• - Опыт работы со всеми указанными инструментами по направлению Hadoop: HDFS, MapReduce, Yarn, Hadoop Common, Apache Tez, Apache Hive и/или Spark SQL, Apache Kafka;
• - Опыт работы с реляционными БД (Oracle DB и/или PostgreSQL (предпочтительно) и/или MySQL) и понимание общих концепций работы РСУБД (нормальные формы, SCD, звезды/снежинки);
• - Уверенные знания SQL и опыт оптимизации производительности SQL запросов (в т.ч. оконные функции, pivot, анализ плана запросов, грамотное использование индексов);
• - Понимание концепций проектирование Data Engineer (кимбалл/имнон, dv/anchor, лямбда/каппа);
• - Опыт разработки на Python
• - Опыт разработки ETL, ELT
• - Опыт участия в оптимизации процессов сбора, первичная обработка и хранение большого объема данных из различных типов источников;
• - Опыт интеграции инфраструктурных компонент c сторонними системами;
• - Опыт оптимизации моделей хранения данных;
• - Опыт командной разработки с использованием программных продуктов Confluence и Jira;
• - Опыт работы, как в каскадных (waterfall), так и в гибких методологиях (Agile и/или DevOps и/или Scrum) разработки.

Обязанности:

• - Разработка пайплайнов для обработки данных;
• - Создание витрин, маппингов для данных;
• - Обследование и профилирование банковских источников данных, исследование моделей данных источников;
• - Валидация и проверка качества данных, поиск проблем в данных;
• - Участие в создании архитектуры;
• - Участие во встречах со своей и смежными командами. Обсуждение и предложение способов реализации текущих проектов.

МЫ ПРЕДЛАГАЕМ:

• Работа в аккредитованной ИТ-компании ;
• Оформление в соответствии с ТК РФ с первого дня работы;
• ДМС с первого дня работы (включая стоматологию);
• Корпоративный спорт: скидки на посещение фитнес-клубов, футбольная и волейбольная секции, собственный йога класс;
• Работа в команде, использующей гибкий подход к разработке
• Работа в развивающемся IT-проекте с командой специалистов высокого уровня, возможность развития и обмена опытом.