Data Engineer

Описание

• Выполнение роли разработчика корпоративного аналитического Хранилища данных и роли технического эксперта по миграции ХД с Oracle на новый технологический стек (конфигурация хранилища Iceberg, S3, Clickhouse).
• Построение и оптимизация целевого масштабируемого отказоустойчивого аналитического ХД.
• Реализация сложной логики и задач ядра хранилища данных.
• Проектирование и реализация структур данных, алгоритмов загрузки и обработки данных в ХД.
• Создание отказоустойчивых, масштабируемых ETL/ELT пайплайнов с использованием Apache Spark (PySpark/Spark SQL) для обработки больших объемов данных.
• Реализация и управление процессами оркестрации с помощью Apache Airflow, создание сложных DAG с эффективным handling'ом ошибок.
• Настройка и оптимизация ClickHouse для обеспечения низкой задержки в отчетах и дашбордах поверх данных из Iceberg.
• Документирование ХД, включая архитектурные диаграммы, описание структур баз данных, алгоритмов обработки данных и др.
• Формирование состава документов для процесса миграции и эксплуатации ХД на новой платформе.
• Участие в процессе приемки-передачи ХД на новой платформе в промышленную эксплуатацию.
• Взаимодействие со смежными подразделениями. Тесная работа с аналитиками данных и владельцами источников для понимания требований и тестирования результатов.
• Установление лучших практик (best practices) в области инжиниринга данных внутри команды.
• Код-ревью, менторство мидл-инженеров и участие в построения эффективной команды.

Требования:

• Продвинутый опыт работы с Apache Spark (архитектура, оптимизация, tuning) для обработки больших данных;
• Практический опыт построения платформ данных с использованием Apache Iceberg на S3-совместимых хранилищах;
• Опыт настройки и оптимизации ClickHouse под высокие нагрузки;
• Глубокое понимание принципов построения DWH и современных подходов (Lakehouse);
• Опыт разработки и поддержки сложных пайплайнов в Apache Airflow;
• Умение работать в команде и нести ответственность за архитектурные решения. Практически экспертный опыт реализации ETL / ELT;
• Экспертный уровень SQL и глубокое понимание внутренних механизмов работы СУБД;
• Знание подходов к разработке, документированию, тестированию ХД;
• Знание методологий разработки (Agile, Scrum, Waterfall);
• Оконченное высшее образование технических специальностей.

• Будет сильным преимуществом:

• Опыт построения и эксплуатации платформ данных на Kubernetes.
• Навыки настройки мониторинга и алертинга для пайплайнов и инфраструктуры (Prometheus, Grafana).

• Комфортный график, вы можете работать удаленно.
• Наша компания является аккредитованной ИТ-компанией.
• Мы работает с разными проектами (банки, крупные ритейлеры, обучающие платформы, сети ресторанов) с различным технологическим стеком. Это отличная возможность для роста компетенций наших сотрудников!
• Мы предлагаем работу в команде профессионалов с богатым опытом в крутых технологичных проектах, готовых делиться своими знаниями.
• У нас в компании проектная организационная структура, все возникшие вопросы решаются оперативно. Мы готовы слышать своих сотрудников!
• Мы предлагаем прозрачный карьерный рост, программу личного развития, включающую внешнее и внутреннее обучение.
• Оплачиваем изучение английского языка с репетиром в мини-группах.
• Официальное трудоустройство по трудовому договору, или как ИП (по вашему выбору).