Data engineer (инженер по интеграции)

Описание

Работа в Правительстве Москвы это возможность делать наш город современнее и удобнее. Если ты тоже неравнодушен к Москве, хочешь развивать ее и развиваться сам, присоединяйся к нашей команде!

Обязанности:

• Проектирование и сопровождение межведомственного взаимодействия: разработка XSD, согласование полей и типов данных, управление версиями схем и миграцией данных
• Проектирование и разработка REST API: определение эндпоинтов, методов (GET/POST/PUT/DELETE), форматов ответов (JSON/XML), реализация аутентификации/авторизации (OAuth2/JWT), обработка ошибок
• Проектирование и разработка интеграций и оркестрация потоков данных: настройка Kafka (топики, продюсеры, консьюмеры, партиционирование), Kafka Connect, Debezium для CDC, использование Apache Camel для маршрутизации.
• Работа с СУБД: проектирование схем, оптимизация запросов, разработка и рефакторинг процедур/функций на PL/SQL и PL/pgSQL
• Проектирование ETL/ELT пайплайнов и интеграция с Arenadata (ADP/ADF): настройка загрузок, трансформаций и мониторинга производительности
• Документирование и тестирование сервисов: OpenAPI/Swagger, интеграционные и контрактные тесты, логирование и мониторинг

Требования:

• Высшее техническое образование

• Опыт с определением состава и структуры передаваемых данных: разработка XML-схем (XSD), согласование полей и типов данных между организациями
• Опыт с определением форматов сообщений, протоколов передачи и последовательности обмена
• Опыт разработки регламентов направления запросов и предоставления документов, процедур подтверждения приёма и обработки ответов
• Опыт обеспечения контроля версий схем и миграции данных при изменениях требований

• Опыт проектирования REST сервисов

• Опыт работы с базами данных на PL/SQL и PostgreSQL

• Опыт работы с интеграциями и оркестрацией потоков: Apache Kafka Connect; Debezium, change-data-capture для репликации изменений из БД.

• Опыт работы с Arenadata

Условия:

• Работа в динамично развивающейся организации Правительства Москвы
• Стабильная заработная плата
• График работы 5/2
• Офис на ст. м. Белорусская, гибридный или офисный формат работы