Инженер DevOps (Kafka)/Kafka Engineer

Описание

Ищем DevOps / Kafka Engineer в команду потоковых данных, которая развивает и поддерживает платформенное решение на базе Kafka и Kafka Connect. Команда отвечает за отказоустойчивость, доступность и мониторинг Kafka-инфраструктуры, а также автоматизирует управление жизненным циклом кластеров и развивает внутренние инструменты для работы с платформой. Чем придется заниматься Обеспечивать отказоустойчивость, стабильность и доступность кластеров Kafka и Kafka Connect Развивать и поддерживать платформенное решение на базе Kafka и Kafka Connect Конфигурировать и сопровождать коннекторы MirrorMaker2, Debezium и другие Kafka Connect-коннекторы Заниматься диагностикой и дебагом Kafka, Kafka Connect и связанных инфраструктурных компонентов Автоматизировать развертывание, конфигурирование и масштабирование кластеров с помощью Ansible Развивать внутренние инструменты для автоматизации жизненного цикла Kafka-инфраструктуры Настраивать мониторинг, алертинг и дашборды с использованием VictoriaMetrics, Alertmanager и Grafana Участвовать в миграции данных между кластерами и обеспечивать ее без простоя сервисов Консультировать команды разработки по лучшим практикам работы с Kafka и настройке producers / consumers Мы ожидаем: Опыт работы DevOps / Infrastructure Engineer от 5 лет, из них не менее 2-3 лет работы с Kafka в production Глубокое понимание архитектуры Kafka и принципов построения отказоустойчивых высоконагруженных кластеров Практический опыт эксплуатации Kafka Connect, MirrorMaker2 или Debezium Уверенные навыки администрирования Linux и диагностики инфраструктурных проблем Опыт автоматизации развертывания и управления инфраструктурой с использованием Ansible Опыт настройки мониторинга, метрик и алертинга, а также работы с VictoriaMetrics, Alertmanager и Grafana Самостоятельность в принятии технических решений и умение консультировать команды разработки по работе с Kafka