Data Engineer (SRE)

Описание

Мы разрабатываем аналитические системы на базе единой платформы, которые позволяют безопасно работать с данными независимо от их формата, метода хранения и эксплуатации. Платформа основана на концепции Infrastructure as Code (IAC) и состоит из нескольких независимых программных продуктов и сервисов на базе JVM/Scala и Kubernetes. Она обеспечивает высокий уровень потоковой обработки и хранения данных, управления доступом и метаданными, а также контролем их использования в периметре частных облачных сред.

Обязанности:

• Установка и настройка загрузчиков данных на основе Nifi, Spark, Airflow в закрытых контурах заказчика
• Настройка систем мониторинга и оповещения по работе загрузчиков данных
• Реализация общих программных компонент по обработке данных (airflow операторы, spark internals, общие библиотеки по загрузке данных)
• Выполнение Code review и контроль правильности реализации принятых технических решений
• Реализация процессов загрузки данных на платформу из различных источников (s3, hdfs, samba, sftp) в различных форматах (csv, parquet, json, xml)
• Выезды на продакшн

• Языки программирования: Scala (2.13+), Python (3.8+)
• Хранение и обработка данных: Postgresql, ClickHouse, Scylla, ElasticSearch, S3, Kafka, Spark
• Мониторинг: Grafana, Prometheus
• Прочие технологии и фреймворки: Docker, Kubernetes(Openshift), Typelevel (Cats Effect, Circe, Doobie, Weaver), ScalaTest

Требования:

• Профильное образование: информационные технологии, статистика, математика

• Опыт работы по специальности от 3 лет

• Опыт разработки на Scala или Python от 2 лет

• Знание особенностей реализации различных алгоритмов и структур данных

• Опыт работы в команде

• Готовность к разъездному характеру работы

• Готовность работать с государственными и коммерческими заказчиками

Что мы предлагаем

Здоровье и спорт:

• ДМС со стоматологией
• Корпоративные скидки в сети фитнес-клубов World Class
• Корпоративный тариф на абонементы FITMOST
• Программа корпоративных скидок Best Benefits на спорт и не только
• Спортивные мероприятия (турниры по футболу, волейболу, киберспорт, забеги, шахматы)

Обучение и развитие:

• Курсы английского языка, в том числе с носителем языка
• Сообщества по интересам: вместе читаем книги, ходим на интересные мероприятия и делимся маршрутами путешествий
• Внешние профессиональные курсы и конференции, сертифицированное обучение, которые вы выбираете сами
• Профильные митапы организовываем, проводим и принимаем участие
• Билеты со скидкой в Музей криптографии для сотрудников и их семей

А также:

• Работа офисе, дистанционно или в гибридном формате
• Релокационный пакет для сотрудников из других регионов
• Комфортные офисы в Москве, Санкт-Петербурге и Нижнем Новгороде с кофе-поинтами и разнообразными снеками каждый день
• Насыщенные и яркие корпоративные праздники
• Классный мерч