Middle Data Analyst (Apache Spark / Scala)

Описание

Мы ищем Middle Data Analyst, который будет работать с большими объёмами данных. Вам предстоит строить витрины данных на Apache Spark (Scala API Dataframe), оптимизировать существующие задачи и готовить данные для аналитики и ML-моделей. Обязанности разработка и поддержка витрин данных на Spark (Scala API) оптимизация и ускорение существующих Spark-задач, борьба с перекосами и деградацией производительности подготовка и обогащение данных для аналитики и ML-моделей (feature engineering) построение метрик, ad-hoc анализ и подготовка отчётности Требования уверенное владение SQL и практический опыт анализа больших объемом данных умение решать аналитические задачи: сложные JOIN, агрегации, оконные функции понимание принципов оптимизации запросов и умение читать и анализировать explain plan уровень самостоятельности: берёте задачу, формулируете уточняющие вопросы, не ждёте пошаговых инструкций умение уточнять задачу, работать с неоднозначными требованиями умение проверять собственную работу на корректность и данные на качество инициативность: видите проблему в коде или пайплайне — предлагаете решение аккуратная коммуникация: понятные комментарии, описание изменений, готовность объяснить результат простыми словами ответственность за результат Будет плюсом опыт работы с Apache Spark преимущественно через Scala API/Dataframe API участие в проектах построения DWH опыт работы с LLM-решениями при разработке витрин данных опыт подготовки данных для ML навыки работы с Git критическое мышление Условия фул офис 5\2, ежегодный пересмотр зарплаты, годовая премия корпоративный спортзал и зоны отдыха более 400 образовательных программ СберУниверситета для профессионального и карьерного развития расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ подписка Прайм с возможностью совместного использования на трёх близких вознаграждение за рекомендацию друзей в команду Сбера.