Data engineer

Описание

Мы настраиваем репликацию данных из систем-источников. Сервис поставки данных - это инструмент загрузки данных различными технологиями в режиме близком к реальному времени. Стек технологий: Java (в т.ч. Spring), Apache Spark, Apache Kafka, Kubernetes/OpenShift Твои задачи: Участвовать в сложных интеграционных проектах по развитию гибридного DWH заказчика (технологический стек: Hadoop, Oracle, Kafka) Заниматься конфигурацией и внедрением потоков данных, разработка алгоритмов загрузки и обработки данных в Hadoop, а также консультирование новых команд загрузки и команд, подготавливающих источники данных, по продуктам и процессам Оптимизировать и тонкая настройка ETL-процессов Анализировать и тестировать существующие решения в технологическом стеке Hadoop Мы ждем от тебя: Опыт работы с экосистемой Hadoop (HDFS, Hive, Spark, Impala, HBase, Cassandra) Реляционные СУБД (Oracle, MS SQL) Промышленные ETL-инструменты Что мы обеспечим: Участие крупном и динамично развивающемся проекте Внутренние семинары, внутренние митапы, мы очень любим учиться новому ДМС со стоматологией для сотрудников и скидку на покупку ДМС для ближайших членов семьи Технику для комфортной работы Сессии профессионального развития персонала, результатом которой является план индивидуального развития каждого сотрудника