Разработчик Hadoop

Описание

IT-компания GNIVC - партнер государственных компаний и лидеров российского бизнеса, разработчик и системный интегратор крупнейших государственных информационных систем, а также коммерческих решений для налогового мониторинга.

• Компания входит в ТОП-100 лучших работодателей страны и 10 место в категории "IT-компании" 2024 года по рейтингу работодателей hh.ru среди крупных компаний;
• Мы в 25% лучших по уровню счастья среди компаний отрасли IT и России 2025 по версии Happy Job;
• Являемся аккредитованной ИТ-компанией.

Задачи:

• разработка и мониторинг приложений в Hadoop;
• оптимизация производительности приложений и SQL-запросов (HiveQL);
• поддержка инфраструктуры Hadoop: создание и модификация таблиц, настройка партиционирования и конфигурирования Hive;
• написание автоматизированных тестов ETL-процессов на Groovy;
• проверка корректности загрузки данных, трансформаций и бизнес-логики;
• администрирование баз данных в ClickHouse: создание таблиц, репликация, шардирование, настройка производительности;
• оптимизация запросов и конвейеров данных в Spark (Scala), миграция Hive-запросов на Spark SQL/DataFrame API.

• опыт мониторинга приложений в Hadoop;
• опыт работы с Hive;
• оптимизация и настройка задач Spark (использование Spark SQL, кеширование данных, оптимизация шардирования и объединений);
• умение работать с настройками Spark для распределенной обработки, включая выделение ресурсов и оптимизацию памяти;
• опыт работы с API и метаданными;
• навыки создания и тестирования ETL-процессов;
• уверенное знание SQL и опыт работы с реляционными базами данных;
• умение профилировать и оптимизировать код для повышения производительности в распределенных средах;
• навыки в оптимизации кластерных вычислений (управление ресурсами, распределение задач, настройка партицирования).

Будет преимуществом:

• знание языка Scala, включая функциональное программирование, обработка коллекций, работа с неизменяемыми структурами данных, оптимизация производительности и управление памятью, знание JVM и особенностей компиляции Scala;
• знание API Spark на Java.

Мы предлагаем:

• гибкие форматы работы: возможность работы в офисе, по гибридному графику или полностью дистанционно на территории РФ;
• рабочий график: пятидневная рабочая неделя (пн. чт. с 09:00 до 18:00, пт. с 09:00 до 16:45);
• достойное вознаграждение: конкурентная заработная плата по результатам собеседования, а также премии за эффективную работу и достигнутые результаты;
• официальное трудоустройство: полное соблюдение требований ТК РФ, включая оплачиваемые отпуска (с дополнительной выплатой 50% от оклада после 11 месяцев работы в Компании) и выплату заработной платы дважды в месяц;
• заботу о здоровье:
• компенсация больничного листа продолжительностью до 7 дней с сохранением полной оплаты, эквивалентной рабочему дню,
• добровольное медицинское страхование (ДМС) по окончании испытательного срока, с широким перечнем ведущих медицинских учреждений, включая качественную стоматологию,
• возмещение до 50% затрат на занятия спортом;
• развитие и обучение:
• профессиональное обучение и сертификация за счет компании,
• организация внутренних и внешних митапов, хакатонов, конференций, семинаров и тренингов,
• партнерские программы по изучению иностранных языков и развитию профессиональных навыков от Skyeng и Skillbox,
• доступ к корпоративной библиотеке на платформе Alpina Digital;
• дополнительные выходные: возможность взять 5 дополнительных оплачиваемых выходных (ресурсных) дней в течение календарного года (с 1 января до 31 декабря) для сотрудников, проработавших в компании более 11 месяцев.