Senior ML Engineer (Домен ИИ)

Описание

Чем предстоит заниматься:

• Разработка и поддержка ETL pipeline;
• Создание, обучение и оценка моделей AutoML;
• Внедрение новых алгоритмов ML и их тестирование;
• Оптимизация признаков: построение кастомных трансформеров, RFE, PCA, feature selection;
• Упаковка моделей в MLEAP bundle и их публикация;
• Реализация и поддержка сервисов инференса с REST API и SSE;
• Интеграция с Kafka/Redis, обеспечение надёжной доставки сообщений и статусов;
• Настройка CI/CD пайплайнов, автоматическое тестирование и деплой в Kubernetes;
• Мониторинг производительности, сбор метрик, настройка алертов;
• Участие в архитектурных обсуждениях, оценка рисков и предложений по улучшению платформы.

Какие знания и навыки для нас важны:

• Программирование на Scala 2.12/2.13 (опыт разработки Spark приложений) и Python (моделирование в Jupyter);
• Глубокие знания Apache Spark 3.x;
• Опыт построения и эксплуатации ML моделей (ETL обучение инференс);
• Знание основных алгоритмов машинного обучения;
• Понимание работы Kafka, Redis Streams и SSE;
• Навыки контейнеризации (Docker) и оркестрации (Kubernetes, Helm);
• Базовые навыки работы с MinIO/S3, Hive, SFTP;
• Умение работать с системами контроля версий (Git) и вести техническую документацию (Swagger/OpenAPI);
• Опыт проектирования, разработки и поддержки полного ML pipeline в распределённой среде;
• Опыт выбора и внедрения новых моделей и алгоритмов (XGBoost, CatBoost, кастомные трансформеры и т.п.);
• Опыт оптимизации точности моделей: гиперпараметрический поиск, кросс валидация, балансировка классов;
• Опыт разработки и интеграции сложных feature engineering трансформеров, RFE, PCA, target encoding;
• Опыт упаковки моделей в MLEAP bundle, их деплой в MinIO и обслуживания сервисов инференса;
• Опыт мониторинга и отладки Spark jobs, Kafka потоков, метрик моделей в продакшн;
• Навыки обеспечения безопасности данных (TLS/mTLS, подпись/верификация);
• Умение принимать архитектурные решения по увеличению точности, производительности, масштабированию и повышению отказоустойчивости;

• Оконченное высшее образование;