AI Infrastructure Engineer
Описание
В БИАтех мы разрабатываем решения в области логистики. У нас около 30 команд разработки и высоконагруженная инфраструктура. Сейчас мы активно занимаемся развитием нашей ИИ-инфраструктуры и находимся в поисках Инженера по оптимизации (AI Infrastructure Engineer) Что нужно делать: Оптимизировать инференс локальных LLM и внутренних моделей (квантизация, батчинг, KV-cache, маршрутизация запросов) с помощью vLLM, Triton и аналогов Выжимать максимум из текущего парка серверов: перераспределять ресурсы GPU/CPU/VRAM между задачами и внедрять решения для роста производительности без лишних затрат Разрабатывать кастомные метрики утилизации и настраивать мониторинг нагрузки серверов (очереди, задержки, ошибки, пропускная способность) Организовать прозрачный учет GPU-ресурсов компании и обеспечить отказоустойчивость инфраструктуры Планировать закупки железа: анализировать потребности бизнеса, формировать технические требования и подбирать оптимальные конфигурации GPU-серверов Необходимый опыт и знания: Уверенный опыт оптимизации ML-инференса в production (AWQ/GPTQ/INT8, continuous batching, PagedAttention, спекулятивное декодирование) Глубокое знание фреймворков для инференса (vLLM, TensorRT-LLM, TGI) и работы с GPU (управление VRAM, CUDA, профилирование) Опыт работы с системами мониторинга и систем алертинга Понимание архитектуры современных ИИ-моделей (Transformer, MoE, Attention) для поиска узких мест на стыке кода и «железа» Навыки оркестрации ресурсов Что мы предлагаем: Развитие: неограниченный профессиональный рост, работа в сильной команде экспертов, участие в конференциях, митапах, профессиональных сообществах, в том числе в качестве спикера, корпоративная библиотека Забота: ДМС, льготное подключение родственников, полис выезжающих за рубеж; партнерские программы Комфорт: гибкий график и формат работы (офис/гибрид/удаленно); полностью оснащенные офисы в СПб, Москве, Омске, Владимире; свободный дресс-код Надежность: официальное оформление по ТК в аккредитованной ИТ-компании, достойный уровень заработной платы, социальные гарантии