Hadoop инженер (Трайб Data Office)

Описание

Кого мы ищем? Мы в Банке строим ядро data-инфраструктуры платформу Data Lake. Это основа для хранения, обработки и анализа больших данных, которая станет ядром всех data-driven процессов в Банке: от загрузки сырых данных до запуска ML моделей. Сейчас мы ищем DevOps-инженера с опытом в Hadoop-администрировании, который поможет нам вывести платформу на новый уровень: развернуть кластер, обеспечить отказоустойчивость, автоматизировать процессы и выстроить надежную, гибкую и масштабируемую инфраструктуру.

Чем предстоит заниматься:

• Разворачивать и настраивать Hadoop-дистрибутив (на выделенном железе и в DR-сценариях);
• Поддерживать работоспособность платформы, анализировать и устранять инциденты;
• Настраивать репликацию между площадками (Prod DR);
• Помогать продуктовым командам, data-инженерам и аналитикам использовать Data Lake;
• Внедрять мониторинг и алерты по ключевым компонентам (HDFS, YARN, Hive, Spark, Kerberos, Ranger и др.);
• Проводить эксперименты с новыми open-source решениями;
• Автоматизировать процессы и настраивать CI/CD пайплайны.

Что мы ждём:

• Администрирование Hadoop кластеров;
• Администрирование OC Linux (RHEL, CentOS);
• Знание CI/CD практик;
• Навыки автоматизации с помощью Python/Bash;
• Опыт эксплуатации систем мониторинга (Prometheus, Grafana, Zabbix, ELK).