Data Engineer

Описание

Описание стрима: «База знаний» - это внедрение базовой дисциплины управления критическими* данными корпоративного хранилища: как структурированными (таблицы, витрины, отчёты), так и неструктурированными (Confluence, Wiki — знания о данных). Цель проекта – создание работающей системы управления критическими данными ФГ, обеспечивающей: полную идентификацию и описание источников, измеримое качество через дата-контракты, единую навигацию по данным и знаниям о них, дисциплину поддержания актуальности, наличие источников в целевом состоянии. Чем предстоит заниматься: Настраивать и поддерживать CI/CD-пайплайны для ETL-процессов и скриптов проверок качества данных; Версионировать и управлять кодом всех артефактов проекта (ETL-скрипты, проверки, конфигурации, документация); Настраивать и поддерживать среды разработки, тестирования и продакшена для команды; Внедрять и поддерживать инфраструктуру мониторинга и алертинга в соответствии с принятыми процессами; Автоматизировать процессы пересборки данных при сбоях; Настраивать логирование при переносе процессов на целевую архитектуру: обеспечивать сбор, поиск и корреляцию логов; Управлять секретами и доступами, проводить аудит доступа к данным и инфраструктуре; Настраивать автоматизированные проверки качества на уровне инфраструктуры: валидировать схемы, контролировать целостность данных при загрузке и мониторить ресурсы; Подготавливать и поддерживать документацию и инструкции по восстановлению при сбоях (disaster recovery), обеспечивая соблюдение RTO/RPO; Автоматизировать развёртывание инструментов качества данных и их интеграцию с существующими пайплайнами; Контролировать и оптимизировать производительность инфраструктуры: масштабировать ресурсы, оптимизировать запросы и управлять кластером; Обеспечивать резервное копирование (backup) данных и конфигураций, регулярно проверять процедуры восстановления; Участвовать в управлении инцидентами: собирать метрики, диагностировать инфраструктурные проблемы, эскалировать их и проводить пост-инцидентный анализ; Документировать архитектуру инфраструктуры, пайплайны и процедуры деплоя, обеспечивая актуальность документации. Наши ожидания: 3+ года опыта в роли Data Engineer/Backend Developer; Java: уверенное владение для streaming processing; Python: для написания DAGs Airflow (DAG, операторы, сенсоры); Airflow: DAG, операторы, сенсоры; SQL: глубокое знание, оптимизация запросов, опыт работы с PostgreSQL и ClickHouse; Kafka: опыт работы с producers/consumers, настройка кластера/брокеров/топиков; СУБД: Redis/ClickHouse/PostgreSQL или подобные системы; CI/CD: Gitlab CI, Runners, Docker, Bash Мы предлагаем: Доступ к современным AI-инструментам; Работу в стабильной и активно развивающейся компании – лидере инвестиционного рынка; Современный стек технологий, амбициозные проекты, возможность профессионального развития; Гибридный режим работы: возможность работать удаленно (частично или полностью); Работу в аккредитованной Минцифры России ИТ-компании, резиденте Сколково; ДМС с первого месяца работы.