Tech Lead MLOps
Описание
Мы строим современную платформу данных и ML: хранилище по слоям, единый профиль клиента (MDM), фичестор и систему принятия решений по заявкам в реальном времени. ML-инфраструктуры в полноценном виде у нас пока нет, и мы ищем человека, который спроектирует её сам: выберет подходы и инструменты, обоснует решения, реализует и станет владельцем платформы. Это не позиция «делать по готовому ТЗ». Важно: это роль технического лидера, а не менеджера. Основную часть времени вы будете сами, своими руками разворачивать, настраивать и отлаживать инфраструктуру — от кластеров и сервисов до CI/CD, логирования и алертов. Чем предстоит заниматься: Спроектировать целевую архитектуру ML-платформы: как модели обучаются, выкатываются, обслуживаются и мониторятся; как фичи попадают из DWH в онлайн-контур скоринга. Сравнивать и выбирать технологии под наши задачи, готовить обоснования и защищать решения перед командой и руководством. Своими руками развернуть и настроить: dbt поверх Greenplum, Yandex Data Proc (Spark), MLflow (трекинг экспериментов, реестр моделей), serving моделей (онлайн-инференс по API и батч-скоринг, версионирование, откаты). Развернуть, настроить и поддерживать инфраструктуру фичестора на Feast: офлайн-хранилище в DWH (Greenplum), онлайн-хранилище на Valkey, registry, materialization, логирование и мониторинг. Сами признаки и пайплайны строят дата-инженеры, а вы задаёте стандарты работы с фичестором (регистрация фич, point-in-time корректность, отсутствие расхождений train/serve), обучаете команду и ревьюите решения. Выстроить мониторинг на всех уровнях: инфраструктура и сервисы — метрики, логи, алертинг (Prometheus, Grafana, Alertmanager, ELK/Loki); модели — дрейф фич и скоров, стабильность (PSI), деградация качества, латентность и ошибки инференса; данные — свежесть, полнота и корректность фич и витрин, контроль пайплайнов Airflow и dbt; дашборды и регламенты реагирования на инциденты. Обеспечить онлайн-скоринг заявки с низкой задержкой: сбор фич из фичестора, MDM и внешних источников. Автоматизировать пайплайны (Airflow, Kafka, Debezium), выстроить инфраструктуру как код (Terraform) и CI/CD. Поддерживать всё развёрнутое в эксплуатации: обновления, масштабирование, разбор инцидентов, runbook-и. Самостоятельно находить узкие места и риски в платформе и предлагать, что улучшить, не дожидаясь запроса. Задавать стандарты MLOps/DataOps и помогать командам DWH и Data Science работать по ним. Что мы ждём: От 5 лет в DevOps / Data Engineering / MLOps, из них от 2 лет — ML-инфраструктура в продакшене. Сильный hands-on опыт: вы сами разворачивали и эксплуатировали инфраструктуру в проде и готовы много работать руками — Kubernetes, Terraform, конфиги, пайплайны, отладка. Опыт проектирования платформы или крупной подсистемы с нуля — не только поддержки существующей. Готовность рассказать, какие решения принимали и почему. Архитектурное мышление: умение видеть систему целиком, учитывать нагрузку, отказоустойчивость, стоимость владения и безопасность, взвешивать компромиссы. Опыт вывода ML-моделей в прод с онлайн-инференсом (FastAPI, BentoML, KServe, Triton или аналоги). Уверенный Python, SQL, Linux, Git. MLflow (или аналоги), Airflow, Spark, Kafka. Docker, Kubernetes, CI/CD, Terraform. dbt и MPP-хранилища (Greenplum, PostgreSQL, ClickHouse), + Redis. Опыт развёртывания и эксплуатации Feast в проде: online/offline store, registry, materialization, point-in-time корректность, интеграция с сервисом инференса. Умение передать эти знания дата-инженерам: написать гайдлайны, провести ревью, разобрать ошибки. Опыт построения мониторинга с нуля: Prometheus, Grafana, алертинг; мониторинг ML-моделей (Evidently, NannyML или собственные решения); контроль качества данных (dbt tests, Great Expectations или аналоги). Проактивность: вы сами формулируете задачи, доводите их до результата и приходите с предложениями, а не ждёте постановки. Умение письменно оформлять архитектурные решения (ADR, схемы, документация) и объяснять их техническим и нетехническим коллегам. Будет плюсом: Опыт в Yandex Cloud (Data Proc, Managed Kubernetes, Managed Greenplum / MPP Analytics). Опыт в финтехе, банках или МФО: кредитный скоринг, антифрод, работа с БКИ. Знание требований 152-ФЗ и практик работы с персональными данными. Опыт с потоковой обработкой (Flink, Spark Structured Streaming). Мы предлагаем: Возможность построить ML-платформу с нуля и влиять на архитектуру. Современный стек и реальные задачи с измеримым влиянием на бизнес. Зарплата: обсуждается по итогам интервью. Формат работы: удобный для вас [удалённо / гибрид / офис в Москве]. Скидки от компаний-партнеров через PrimeZone.