DWH Engineer в VK Видео

Обязанности

VK Видео это один из самых крупных сервисов потокового видео в России. Ежедневно им пользуются десятки миллионов людей, и перед нами стоит амбициозная задача стать видеосервисом 1 в РФ. Мы ищем сильных DWH-инженеров, которые помогут построить удобное и качественное хранилище данных на большом кластере размером сотни петабайт для анализа поведения пользователей и обучения моделей. Задачи: разрабатывать и поддерживать процессы по обработке и поставке данных для команд аналитики и ML; выявлять и собирать требования к существующим и новым данным с последующим формированием конкретного заказа в команду разработки; сопровождать выполнение заказов по поставке данных на всех этапах, уточняя требования и проверяя результат. Требования: вы имеете опыт работы DWH-инженером; уже работали с экосистемой Hadoop, в частности с Airflow, Spark и HDFS; умеете составлять сложные SQL-запросы; программируете на Python и разбираетесь в парадигме MapReduce; умеете работать с Git и разрабатывать код в команде из нескольких человек; знаете основы работы с операционными системами на базе Unix/Linux; можете быстро разобраться в плохо формализованной задаче, сформулировать её и выделить главное; способны вести несколько проектов одновременно и самостоятельно расставлять приоритеты. Будет плюсом : опыт работы в смежных предметных областях; опыт работы с большими объёмами данных (Hadoop, Spark); опыт работы с ClickHouse, Superset, Jupyter; базовые навыки в машинном обучении.