Data Engineer

Описание

Наши партнеры - крупнейшая компания FMCG в поиске Data Engineer

Требования:

• Опыт от 4-х лет в роли Data Engineer;
• Отличное знание SQL, python, PySpark/Scala ;
• 2+ года опыта работы с облачными платформами Yandex Cloud Platform/ Azure/ AWS;
• Опыт работы в проектах с использованием
  1. Kafka, CDC-решений
  2. S3, Airflow, Apache Spark, Clickhouse, Postgres
• Опыт работы с Docker, Kubernetes ;
• Понимание работы CI/CD процессов;
• Знание Git;
• Опыт работы с GitLab;
• Английский на уровне не ниже intermediate;

Мы ждем что вы:

• Понимаете основные структуры данных
• Занимались разработкой ETL процессов
• Понимаете современные архитектуры построения хранилищ данных
• Умеете разбираться в новых инструментах и фреймворках, а также в их работе под капотом.
• Умеете работать самостоятельно и в команде

Обязанности:

• Разрабатывать витрины данных в рамках развития дата-платформы на Yandex Cloud;
• Интегрировать источники данных на платформу;
• Разрабатывать дата-пайлплайны для обработки потоковых (streaming) и пакетных данных;
• Контролировать качество загружаемых данных;
• Проводить код ревью;
• Отвечать за оптимизацию, рефакторинг и поддержку решений;

Условия:

• Удаленный формат
• Официальное трудоустройство в аккредитованной it-компании
• График работы 5/2, с 9:00 до 18:00 (Московское время)
• Работа в команде профессионалов в одной из крупнейших FMCG компаний
• Полностью белая заработная плата