Администратор баз данных (Hadoop)
Описание
Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7. Что нужно делать? выполнять развертывание, инсталляцию и настройку кластерных решений на базе Apache Hadoop (Cloudera/Arenadata) обеспечивать высокую доступность, мониторинг, масштабирование и резервное копирование/восстановление кластерных инсталляций проводить оптимизацию конфигураций, управлять политиками хранения данных и контролировать оптимальность потребления ресурсов кластера производить развертывание offline инсталляций продуктов Arenadata (Cluster Manager, Enterprise Tools, Arenadata Hadoop (Hyperwave)) обеспечивать безопасность данных: настраивать Kerberos, управлять правами доступа и проводить аудит с использованием Arenadata Platform Security взаимодействовать с командами эксплуатации и разработки для поддержки их задач и обеспечения бесперебойной работы сервисов разрабатывать скрипты и использовать инструменты автоматизации (Ansible) для рутинных задач (развертывание, мониторинг) документировать процессы и процедуры эксплуатации решений Какие знания и навыки нам важны: опыт администрирования кластеров Apache Hadoop (желательно на платформах Cloudera или Arenadata) глубокое понимание архитектуры и принципов работы сервисов: HDFS, HBase, Yarn, Hive, Solr уверенное администрирование операционных систем семейства RHEL/CentOS/RedOS/OpenSUSE владение инструментами автоматизации (Ansible) и навыки написания скриптов (Bash/Python) для автоматизации задач умение диагностировать и решать проблемы производительности, настраивать параметры JVM и ОС под нагрузки опыт работы с системами резервного копирования и восстановления данных в распределенных системах Будет плюсом: умение работать с CDC инструментами опыт взаимодействия с S3-платформами администрирование PostgreSQL 11+ (настройка master/slave) навыки работы с MongoDB опыт управления кластерами Elasticsearch или Opensearch знание Apache Kafka и Clickhouse опыт настройки систем мониторинга Zabbix/Grafana владение системами JIRA/Confluence для ведения задач и документации понимание идеологии Infrastructure as Code (IaC) Что предлагаем: рыночную зарплату и премии драйвовые задачи и ресурсы для их реализации удаленный формат работы преимущества аккредитованной IT-компании материальную помощь в случае важных событий в жизни корпоративное обучение у топовых провайдеров и доступ к онлайн-библиотеке корпоративные тренировки и спортивные активности - бег, футбол, волейбол, баскетбол, теннис и другие комьюнити по интересам скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д. Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы