ML-инженер платформы данных (Senior, IC)

Описание

Наша команда отвечает за весь продуктовый ML в Сбере на базе GigaChat. Мы обучаем базовую модель для работы в продуктах СБОЛ (Сбербанк Онлайн, более 80 млн MAU) и Giga.Chat (более 20 млн уникальных пользователей).Мы ищем сильного ML-инженера в команду платформы данных, трейна и эвала — общий фундамент для всех продуктов ассистента. Платформа состоит из трёх зон: платформа экспериментов, которая превращает скорость итерации в инженерную задачу; единый сервис трейна и эвала, где окружения и верификаторы одновременно питают обучение и оценку; платформа данных — единый источник истины по датасетам, трейсам и продовым логам.Наша цель — сервисы, которым доверяют и которыми пользуются самостоятельно: продуктовые команды и исследователи работают с платформой через self-service интерфейсы и шаблоны, а не через очередь тикетов. Отдельная ответственность платформы — независимые пороги релиза: тот, кто обучает модель, не меряет её сам, а продукт не ставит себе планку релиза. Планку держит платформа.Нам нужен инженер, который умеет самостоятельно доводить сложные технические задачи до production-качества и при этом готов выступать техническим наставником для одного-трёх стажёров или джуниоров: декомпозировать задачи, проводить код-ревью и помогать ребятам расти. Чем предстоит заниматься: Развивать инфраструктуру экспериментов пост-обучения: метаданные, метрики, чекпоинты и артефакты каждого запуска собираются автоматически, любая цифра в отчёте воспроизводима спустя месяцы Собирать пайплайн `skill → train → LoRA → metrics`: от описания навыка до автосбора трейна, обучения адаптера и сравнимых метрик — без ручных шагов Развивать окружения и верификаторы как один актив, который одновременно питает обучение (генерацию SFT-данных, rejection sampling) и оценку (регрессию, независимые пороги релиза, калибровку автоматических чекеров) — по модели Atropos у Nous Research, где одно окружение работает и на обучение, и на оценку Проектировать хранение и версионирование SFT/DPO-датасетов, GOLDEN/ORACLE-трейсов и продовых логов Строить пайплайны сбора и обработки продуктовых логов Giga.Chat и СБОЛ: диалоги, обратную связь, телеметрию инструментов — с очисткой, удалением PII и защитой чувствительных финансовых данных Наши ожидания: Сильный Python: production-grade код, тесты, профилирование и асинхронные пайплайны Опыт построения пайплайнов обработки данных на YTsaurus / YT или близких системах (Spark, Hadoop, Hive, Trino) с MapReduce-операциями на масштабе десятков и сотен миллионов записей Понимание полного цикла работы с данными для обучения LLM: сбор, очистка, фильтрация, дедупликация, аугментация и версионирование Практический опыт хотя бы с одним из методов пост-обучения (coldstart/SFT, DPO, RLHF/GRPO, online-RL): понимание формата данных, типичных проблем и метрик качества Опыт построения систем версионирования данных и трекинга экспериментов Умение самостоятельно довести задачу от прототипа в ноутбуке до сервиса, который не теряет данные и предсказуемо работает под нагрузкой Умение работать в условиях исследовательской неопределённости, сохраняя пайплайн гибким, воспроизводимым и надёжным Готовность тратить часть времени на наставничество одного-трёх ребят и делиться опытом внутри команды Условия: Корпоративный спортзал и зоны отдыха Более 400 программ СберУниверситета для роста Программа адаптации и помощь руководителя на старте Крупнейшее DS&AI community — более 600 DS банка, регулярный обмен знаниями, опытом и лучшими практиками, интерактивные лекции и мастер-классы от ведущих ВУЗов и экспертов технологических компаний, дайджест о самых Последних разработках в области DS&AI и отчеты с крупнейших конференций мира, регулярные внутренние митапы Расширенный ДМС, льготное страхование для семьи, корпоративная пенсионная программа Ипотека для сотрудников по дисконтной программе