Старший разработчик в ETL-платформу Нирвана (Java)

Описание

Локация: Санкт-Петербург, гибридный формат, офисКомпанияYandex развивает внутреннюю облачную платформу Нирвана для выполнения вычислений и процессов сотрудниками, включая анализ данных и обучение моделей.Что делатьРазрабатывать инструменты для сбора статистики потребления ресурсов, построения агрегатов и визуализации данных.Оптимизировать время запуска пользовательских задач с помощью пула прогретых контейнеров.Динамически управлять размером пула контейнеров в зависимости от нагрузки.Развивать пользовательские настройки, балансирующие скорость запуска и утилизацию ресурсов.Адаптировать Job Processor для работы на новых типах вычислительного оборудования.Участвовать в эксплуатации сервиса: запускать эксперименты, анализировать статистику и отлаживать ошибки в продакшене.ТребованияОт 5 лет опыта промышленной разработки на Java.Знание распределённых систем и решений для обеспечения высокой доступности.Понимание основ работы в Unix-системах и умение применять инструменты диагностики и анализа сервисов.Готовность участвовать в эксплуатации высоконагруженного сервиса.Хорошо, если естьОпыт работы с высоконагруженными сервисами.Умение быстро разбираться в незнакомом коде и новых технологиях.Культура и преимуществаРабота над внутренней инфраструктурой и облачной платформой, которой пользуются аналитики, разработчики и ML-инженеры.Участие в создании сервисов для запуска произвольного пользовательского кода на вычислительных кластерах.Гибридный рабочий формат в офисе Санкт-Петербурга.