Data Engineer
Описание
Проект Банка ТОП-3. Команда проекта создает и развивает корпоративный движок потоковой обработки данных Твои задачи: Разрабатывать и поддерживать коннекторы для интеграции Flink с Kafka, S3-совместимыми хранилищами, HBase, аналитическими СУБД и другими корпоративными системами Реализовывать и оптимизировать Stateful-обработку данных, работать со State Backends, RocksDB, Heap и внешними хранилищами состояния Развивать механизмы отказоустойчивости: checkpointing, savepoints, автоскейлинг, восстановление после сбоев, High Availability Интегрировать Flink-приложения с системами аутентификации, управления секретами, логирования, мониторинга и аудита Настраивать и сопровождать мониторинг Flink-кластеров и задач: JVM-метрики, backpressure, checkpoint duration, consumer lag, watermarks Развивать процессы развертывания, обновления, остановки и отката приложений через CI/CD Проводить нагрузочное тестирование, искать узкие места и оптимизировать latency и throughput потоковых процессов Развивать и сопровождать Flink History Server Консультировать команды data-инженеров по разработке Flink-приложений, SQL и настройке state Готовить техническую документацию, шаблоны развертывания, чек-листы и руководства по эксплуатации Участвовать в тестировании и приемке платформенной функциональности Что мы ждем от тебя: Опыт работы Data Engineer или разработчиком от 3 лет Не менее 2-х лет опыта с потоковой обработкой данных или Big Data: Apache Flink, Kafka Streams, Spark Streaming или аналогичные технологии Уверенное знание Java или Scala Опыт разработки промышленных приложений для распределенных систем Практический опыт работы с Apache Flink Практический опыт работы с Kafka: producers, consumers, offsets, обработка ошибок Опыт работы с Docker и Kubernetes Понимание Prometheus и Grafana, опыт настройки оповещений и анализа метрик Продвинутый уровень SQL, опыт оптимизации запросов Умение работать с технической документацией Способность самостоятельно декомпозировать сложные технические задачи и взаимодействовать с разработчиками, DevOps- и data-командами Будет плюсом Опыт разработки собственных коннекторов или форматов данных для Flink Опыт работы с HDFS, HBase, Hive Понимание принципов работы с S3-совместимыми объектными хранилищами Опыт работы с ELK, Jaeger, Zipkin Понимание Data Lineage и опыт интеграции с инструментами прослеживаемости данных Опыт работы с Flink Table API / SQL Знакомство с Apache Paimon, Apache Iceberg, Fluss или аналогичными Lakehouse-технологиями Что мы обеспечиваем: Внутренние семинары, митапы, мы очень любим учиться новому ДМС со стоматологией для сотрудников и скидку на покупку ДМС для ближайших членов семьи Технику для комфортной работы Сессии профессионального развития персонала, результатом которой является план индивидуального развития каждого сотрудник