Data Quality Middle+/Senior (Антифрод-платформа)

Описание

Локация: Москва, офис работодателя, Кутузовский, 32
Компания
СБЕР развивает продукт DataQuality — систему мониторинга качества данных, которая в реальном времени контролирует поток событий антифрод-платформы.
Что делать

Анализировать срабатывания проверок качества данных, отделять реальные деградации от шума и ложных сигналов.
Настраивать пороги severity, окна агрегации и базовые периоды на основе исторических распределений метрик.
Исследовать первопричины срабатываний по сырым событиям, истории, релизам и инцидентам.
Развивать статистические и ML-подходы к детектированию аномалий и дрейфа во временных рядах и распределениях скорингов.
Работать с полной историей событий в Hadoop, писать и оптимизировать расчеты на Spark SQL и PySpark в общем кластере.
Исследовать обращения пользователей антифрод-платформы и передавать подтвержденные на данных проблемы системному аналитику для подготовки требований.

Требования

От трех лет опыта в аналитике данных или Data Science, включая потоковые или near-real-time данные и большие объемы в Hadoop/Spark.
Ежедневный опыт со Spark SQL и PySpark на больших объемах; понимание плана выполнения и стоимости запросов до запуска.
Уверенный SQL: оконные функции, многошаговые агрегации, джойны с контролем кардинальности, корректная работа с NULL и типами.
Понимание причин деградации запросов и различий между колоночными и строчными СУБД; ClickHouse будет плюсом.
Python как основной рабочий инструмент для анализа истории срабатываний и ложных сигналов.
Уверенное применение теории вероятностей и математической статистики: доверительные интервалы, проверка гипотез, ошибки первого и второго рода.
Практическое применение PSI, анализа отклонений среднего и дисперсии, z-score, IQR, сезонности, precision/recall и мер расхождения распределений.
Практический опыт с ML: метрики качества, переобучение, дрейф признаков и влияние качества данных на модель; вывод моделей в продакшен не требуется.
Понимание принципов мониторинга качества данных, уровней severity, системный взгляд и исследовательский подход к поиску первопричин.

Хорошо, если есть

Понимание работы фрод-правил и скорингов.
Опыт оптимизации расчетов на Spark.
Опыт промышленного ML-детектирования аномалий и дрейфа данных.
Опыт в поддержке или эксплуатации, разборе инцидентов и приоритизации обращений.
Опыт с Great Expectations, Soda, Evidently, Monte Carlo и понимание ограничений их настроек по умолчанию на больших объемах.
Опыт с каталогами данных и lineage: Atlas, DataHub, OpenLineage.
Опыт работы с ИИ-ассистентами при разборе кода.

Культура и преимущества

Работа в офисе по полному графику.
Ежегодный пересмотр зарплаты, квартальная и годовая премии.
Расширенный ДМС, страхование для семьи и корпоративная пенсионная программа.
Корпоративный спортзал, зоны отдыха и подписка Прайм с возможностью совместного использования.
Более 400 образовательных программ СберУниверситета, программа адаптации и помощь руководителя на старте.
Льготные условия ипотечного кредита и вознаграждение за рекомендации сотрудников.