Data Engineer в E-com DWH
ЯндексОписание
Привет! Мы команда разработки Ecom DWH в Поиске. Ищем опытного разработчика для создания новых и поддержания существующих пайплайнов и инструментов обработки данных.Наши данные помогают сотне аналитиков ежедневно и ежемесячно получать актуальную информацию о рекламе и выдаче сведений, относящихся к электронной коммерции, в Поиске. На наших данных живёт ряд важных для электронной коммерции проектов от ранжирования еком-выдачи в Поиске до дистрибуции.
Возможные ближайшие проекты, в которых предстоит поучаствовать:
- Построение нового DWH с фичами для быстрой пользовательской аналитики
- Повышение надёжности данных с помощью метрик и реализации детекторов аномалий в данных
- Построение быстрого контура поставки данных, чтобы аналитики могли получать данные намного раньше
Какие задачи вас ждут:
Разработка пайплайнов
Вам предстоит поддерживать и развивать существующие пайплайны обработки данных, а также проектировать и реализовывать новые.
Задача оптимизации
Нужно будет придумывать, как выжить при больших объёмах данных. Вес данных растёт быстрее, чем количество железа, на котором их можно обработать и хранить, поэтому задача оптимизации всего, что есть, и написания нового с учётом реалий крайне важна в нашей работе.
Мы ждем, что вы:
- Уверенно программируете на Python и знакомы с SQL
- Знаете базовые алгоритмы и структуры данных
- Знакомы с парадигмой MapReduce
- Умеете погружаться в данные, находить, как разные источники соотносятся друг с другом