ML-инженер по продуктивизации LLM (инференс и поставка, MWS AI)

Описание

MWS AI – это часть экосистемы МТС Web Services, где создаются AI-решения будущего. Голосовые ассистенты и чат-боты могут ответить на любой вопрос клиента, а компьютерное зрение \- распознавать лица и эмоции. Мы объединили сильных разработчиков, самый мощный суперкомпьютер, и прорывные идеи, чтобы делать жизнь людей комфортнее и безопаснее и помогать бизнесу.Мы ищем опытного инженера, который доводит большие языковые модели от исследовательского чекпоинта до промышленной поставки: ускоряет инференс, квантует, измеряет качество и скорость, собирает поставку для клиентов и внутренних продуктов. Чем предстоит заниматься: Квантование моделей (GPTQ, W8A8, FP8 и др.) и сравнение качества до и после. Ускорение инференса: speculative decoding, MTP, кэширование префиксов, логит-процессоры. Выбор и настройка рантаймов инференса (vLLM, SGLang, TensorRT-LLM, llama.cpp / MLX — по задаче). Нагрузочное тестирование и методология замера скорости: throughput, latency, длинный контекст. Автоматическая оценка моделей на бенчмарках и сравнение с open-source моделями (Qwen, GLM и др.). Подготовка релизов моделей: чекпоинт в S3, Docker-образ, поставка в продукты и клиентам. Разбор инцидентов у пользователей (качество, зацикливания, ошибки генерации). Мы ждем от вас: Python на уровне промышленной разработки. Практический опыт инференса LLM хотя бы в одном рантайме (vLLM, SGLang, TensorRT-LLM или аналог). Понимание квантования и его влияния на качество. Опыт замеров производительности моделей на GPU (latency, throughput, утилизация). Docker; базовое понимание того, как модель запускается в Kubernetes. PyTorch, Hugging Face Transformers. Будет плюсом Опыт оптимизации LLM — очень приветствуется: ускорение, сжатие, спарсификация моделей. CUDA и C++: написание и оптимизация ядер, чтобы самостоятельно реализовывать низкоуровневые оптимизации (например, спарсификацию модели). Speculative decoding, MTP, кастомные логит-процессоры. Triton Inference Server. ClearML или другой трекер экспериментов; автоматизация оценки. Работа с длинным контекстом и reasoning-режимами. Опыт поставки моделей во внешний контур клиента. Речевые модели (TTS, ASR). Что мы предлагаем: Гибридный формат работы. Оклад + квартальные и годовые бонусы. Комфортный офис в 10 минутах пешком от метро Таганская. ДМС со стоматологией, страхование при поездках за рубеж, страхование жизни. Участие в конференциях и митапах, обучение за счет компании. Бесплатная мобильная связь. Специальные предложения от партнеров и друзей МТС.