SRE инженер Hadoop (сопровождение аналитических систем)
Описание
О компании: Мы создаем единую систему цифровой маркировки и прослеживания товаров в России и странах ЕАЭС. Наша система позволяет снизить уровень контрафакта и гарантировать подлинность товаров, производимых в стране или ввозимых в нее. Честный Знак - одна из самых высоконагруженных платформ, которой нет аналогов: — микросервисная архитектура на Kubernetes с Istio в нашей собственной инфраструктуре; — петабайты живых данных, с которыми круглосуточно работают наши сервисы и клиенты через API; — миллиарды транзакций в день и десятки тысяч запросов в секунду; — аналитика в реальном времени на потоках событий и масштабная батчевая аналитика по ночам; — мобильное приложение с 27+ миллионов установок; — десятки релизов в продакшн каждый день, feature flags, инфраструктура как код. Под капотом — Kafka, Cassandra, Spark, Airflow, Iceberg, ClickHouse, GitLab CI/CD, Helm, Prometheus, Grafana. Мы не боимся сложных задач и запускаем в продакшн смелые инженерные идеи! О команде: Мы, команда SRE и DataOps-инженеров, сопровождаем аналитические системы, у которых ядром данных выступает «Аналитическая платформа». Она построена в экосистеме Hadoop – ключевое в нем это HDFS, YARN, Spark, Ranger, Iceberg; Оркестратором ETL выступает Airflow, хранилище меты и справочников в PostgreSQL, а хранилище конечных агрегатов в Clickhouse; Брокером сообщений у нас работает Kafka, большинство приложений разворачиваем в k8s, а меньшинство – standalone. Чем предстоит заниматься: Распределение задач направления, контроль качества и сроков их выполнения. Устранение инцидентов и разработка мер по их предотвращению (troubleshooting, написание post-mortem). Взаимодействие с командами разработки, DevOps и эксплуатации в рамках задач по развитию платформы(Hadoop, HBase, Jupyterhub, zeppelin, Hue, Kafka, Yarn, Kubernetes). Оптимизация процессов автоматизации развертывания, обновлений систем и сервисов. Обеспечение отказоустойчивости системы и подготовка к масштабированию в условиях растущих объемов данных. Настройка мониторинга (инфраструктурный/прикладной/мониторинг бизнес-метрик, создание dashboard и правил alerting). От успешного кандидата мы ожидаем: Опыт руководства/наставничества в небольшой команде от 2-х лет. Опыт работы с Kubernetes (k8s) уровня управления pods, namespace, helm, конфигурациями развертывания. Опыт сопровождения распределенных систем, таких как HDFS, YARN, HBase, Kafka. Опыт работы с мониторингом - визуализация метрик(построение дашбородов в Grafana), и алертингом(prometheus) в высоконагруженных системах. Желательно владение скриптовыми языками, такими как Python, Bash. Опыт работы с инструментами CI/CD (GitLab) - push, pull, fetch, ветвление, построение пайплайнов. Почему именно мы: Возможности для развития Участие в митапах и конференциях: делимся знаниями и учимся у других. Внутренние корпоративные тренинги. Buddy-поддержка: путеводитель в корпоративную жизнь компании. Заботимся о сотрудниках Здоровье: ДМС (включая стоматологию) после испытательного срока, 100% оплата больничных (до 14 дней в год), полис путешественника, корпоративные психологи. Материальная помощь в сложных жизненных ситуациях. Кафетерий льгот: не только на спорт и обучение, но и ИТ-сервисы, расширение ДМС для семьи. Удобство и комфорт Оформление по ТК РФ в аккредитованной ИТ-компании. Работай удаленно из любой точки, в гибридном формате или из офиса в центре Москвы/Петербурга (рядом с метро). Гибкое начало рабочего дня. Выдаем рабочую технику: ноутбук, монитор, гарнитура — всё для продуктивной работы. Жизнь в компании Открытая культура общения. Спорт: футбол, волейбол, йога — вариантов много, выбирай или создай свое комьюнити! Воркшопы, праздники для детей, книжный клуб — скучно не будет. Стильный мерч, который хочется носить. Реферальная программа: приводи друзей и получай бонусы.