Ведущий MLOps Specialist (ML/GPU Infrastructure)
Описание
Чем предстоит заниматься: Проектировать, развёртывать и сопровождать production-инфраструктуру для model inference (vLLM, SGLang и аналоги); Работать с GPU-кластерами: установка и настройка драйверов, GPU Operator, многопроцессорное и многонодовое обслуживание моделей; Выполнять контейнеризацию и оркестрацию сервисов (Docker + Kubernetes + Helm); Настраивать observability (метрики GPU, latency, throughput); Автоматизировать процессы с помощью Python и Ansible, поддерживать CI/CD для деплоя инфраструктуры и моделей; Диагностировать и устранять проблемы производительности, OOM и throttling; Оптимизировать использование ресурсов GPU и производительность инференса; Участвовать в адаптации и портировании текущего стека на другие аппаратные платформы (тестирование, доработки, замеры производительности); Взаимодействовать с ML-командой и обеспечивать стабильную работу inference-сервисов в изолированных контурах. Здорово, если у тебя есть: Опыт работы в аналогичной должности не менее 4х лет; Уверенный опыт администрирования Linux на системном уровне; Практический опыт работы с Docker и Kubernetes в production, включая GPU-workloads; Знание NVIDIA GPU-стека: CUDA, nvidia-smi, NVIDIA Container Toolkit; Опыт развёртывания и эксплуатации vLLM и/или SGLang; Навыки настройки мониторинга и алертинга с использованием Prometheus и Grafana; Уверенное знание Python для автоматизации, интеграций и диагностики инфраструктуры; Опыт диагностики проблем производительности, стабильности и совместимости GPU-инфраструктуры; Опыт работы с другими ускорителями или адаптации ПО под новое оборудование; Опыт оптимизации инференса: квантизация, batching, управление KV-cache, подбор параметров запуска; Опыт проведения нагрузочного тестирования и бенчмаркинга GPU и inference-сервисов; Знание Helm, Ansible, Terraform и инструментов CI/CD; Знание стека: Linux, Docker, Kubernetes, NVIDIA CUDA, NVIDIA Container Toolkit, vLLM/SGLang, Python, Prometheus, Grafana, Git, CI/CD, Helm; Опыт развёртывания и сопровождения GPU-инфраструктуры и inference-сервисов; Опыт автоматизации установки, настройки, тестирования и обновления окружений; Опыт проведения диагностики драйверов, CUDA, контейнеров, Kubernetes и сетевых проблем; Опыт настройки мониторинга состояния GPU, инфраструктуры и сервисов; Навыки подготовки воспроизводимых тестовых окружений и документации; Опыт проведения проверок производительности и стабильности новых GPU.