Data Engineer

Описание

Дата инженер - важный член команды, который проектирует, создает, обслуживает и оптимизирует инфраструктуру для работы с данными внутри компании, занимается предварительной обработкой данных, создает витрины для дальнейшего анализа профильными специалистами. Часто самостоятельно проводя необходимые исследования, подготовку и взаимодействие со смежными продуктовыми и платформенными командами, аналитиками и другими ИТ подразделениями.

Обязанности:

• Проектировать, разрабатывать, тестировать и внедрять ETL процессы.
• Создавать объекты хранилища и витрины данных на платформе ArenaData и PostgreSQL.
• Анализ, планирование и выявление узких мест архитектуры баз данных и вычислительных ресурсов для достижение оптимальной производительности.
• Настройка автоматизированных процедур проверки качества данных.
• Взаимодействовать с заказчиками, аналитиками и продуктовыми командами разработчиков для формирования ТЗ для реализации процессов управления данными.
• Разработка и сопровождение технической и пользовательской документации.
• Способствовать инновациям и непрерывному улучшению ETL процессов и архитектуры корпоративного хранилища данных для оптимизации рабочих процессов и повышения качества модели данных.

• Опыт работы в роли Data Engineer от 2 лет.
• Понимание особенностей работы MPP систем. Опыт работы с Greenplum, Teradata или Vertica.
• Опыт работы c Clickhouse или продуктами платформы Arenadata.
• Отличное знание Python.
• Знание SQL (план запроса, функции, процедуры, индексы, партиции, методы сжатия данных, оптимизация запросов и т.д.).
• Опыт в разработке интеграций с системами источниками и брокерами сообщений Kafka или RabbitMQ.
• Знание инструментов CI/CD (GitLab, Jenkins).

Будет плюсом:

• Опыт участия в проектах по внедрению DWH и/или разработке витрин данных.
• Опыт работы с гибкими методологиями разработки.
• Опыт работы с Apache Superset.

Мы предлагаем:

• Гибридный или удаленный формат работы.
• Добровольное медицинское страхование ( включая стоматологию,госпитализация, телемедицина), полис для путешествий по России и за рубежом.
• Льготное страхование по корпоративной программе ДМС для супругов и детей.
• Страхование жизни и от несчастного случая.
• Доплата к больничному листу до 80% от оклада 14 календарных дней.
• Дополнительные дни к отпуску: день волонтерства (3 дня в год), день здоровья (1 день в год), день для обучения (1 день в год).
• Компенсация питания.
• Скидки на продукцию компании (40-50%).
• Программа поощрения сотрудников с премиями.
• Выплата премий за рекомендации кандидатов на вакансии.
• Гранты на обучение.
• Корпоративная подписка на онлайн-библиотеку Литрес.
• Современный офис в центре Москвы (рядом с Красной Площадью и ГУМом).