Data Engineer (Корпоративное хранилище данных)

Описание

• Разработка, запуск и поддержка ETL/ELT-пайплайнов с использованием Apache Airflow: загрузка данных из источников (АБС, CRM) в Staging Area (PostgreSQL) и их последующая трансформация в ODS, DDS и витрины данных (Data Marts);
• Моделирование, оптимизация и трансформация данных в PostgreSQL:

  Проектирование и поддержка структур данных в слоях ODS, DDS и витрин (Data Mart).

  Реализация бизнес-логики трансформации данных, в том числе с использованием dbt (Data Build Tool).

  Оптимизация производительности: работа с индексами, партиционированием, анализом планов запросов;

• Обеспечение надёжности, качества и безопасности данных в КХД:

  Настройка мониторинга пайплайнов и инфраструктуры (Grafana, Prometheus), реализация процедур восстановления.

  Внедрение процессов валидации и контроля качества данных на всех этапах ETL/ELT.

• Реализация требований безопасности: настройка Row Level Security (RLS), интеграция с Active Directory, обеспечение аудита доступа к данным.

• Образование высшее или среднее специальное
• Навык работы Excel, SQL
• Коммерческий опыт работы Data Engineer / ETL-разработчиком от 5-х лет.
• Глубокое знание SQL и опыт работы с PostgreSQL в production-среде (понимание индексов, партиционирования, транзакций, репликации).
• Оркестрация: Практический опыт разработки и поддержки пайплайнов в Apache Airflow (написание DAG, использование сенсоров, операторов, создание кастомных плагинов).
• Язык программирования: Уверенное владение Python для разработки ETL-задач, скриптов и работы с API.
• Моделирование данных: Понимание принципов построения хранилищ данных (DWH), классических подходов к моделированию (снежинка, звезда). Опыт проектирования и поддержки схем ODS, DDS, Data Mart.

• Желательные (Будут большим плюсом):

• Понимание принципов контейнеризации (Docker) и оркестрации (Kubernetes).
• Опыт настройки мониторинга (Prometheus, Grafana).
• Понимание подходов к безопасности в БД (аутентификация, авторизация, Row Level Security, маскирование данных). Опыт интеграции с Active Directory.
• Опыт работы в банковской/финансовой сфере, понимание специфики банковских данных

• Личные качества (Soft Skills):

• Умение находить баланс между идеальным архитектурным решением и прагматичной реализацией в срок в условиях ограниченных ресурсов . Понимание бизнес-целей проекта.

• Способность видеть взаимосвязи компонентов всей системы (от источников до витрин), предвидеть последствия изменений.
• Умение чётко доносить свои решения, аргументировать выбор технологий, документировать процессы. Готовность работать в тесной связке с архитектором, аналитиками.

• Соблюдение ТК РФ
• Возможность профессионального и карьерного развития
• Медицинская страховка