Инженер данных / Data Engineer
Описание
Привет! Мы – E-Promo Group, группа компаний с 20-летним опытом. Объединяем пять брендов, работающих на стыке digital-маркетинга, креатива, IT и рекламных технологий. Нас уже 600+ человек по всей России и за её пределами. Офисы — в Москве, Санкт-Петербурге, Нижнем Новгороде и за рубежом.Среди наших клиентов — АШАН, ПИК, САМОЛЕТ, МТС, Билайн, СИБУР, Данон, Синергетик, СДЭК.Шоппинг, ВсеИнструменты, Локситан, Hoff и другие сильные бренды. Задачей Инженера данных будет построить надёжную и масштабируемую платформу, которая превратит разрозненные данные из рекламных систем и внутренних сервисов в понятные и полезные инструменты для бизнеса. Мы ищем специалиста, который умеет выстраивать data-процессы с нуля, заботится о качестве и доступности данных и поможет аналитикам уверенно использовать их для принятия решений. Что будет в твоей зоне ответственности: Развитие платформы данных: участие в проектировании и развитии платформы данных на базе Yandex Cloud, S3, PostgreSQL, ClickHouse, Airflow и dbt, настройка и оптимизация компонентов платформы, автоматизация подключения новых клиентов и рекламных кабинетов; обеспечение идемпотентности процессов, изоляции данных клиентов и разграничения прав доступа; настройка мониторинга, уведомлений, резервного копирования и восстановления; контроль производительности и использования ресурсов. Интеграции и обработка данных: разработка ETL/ELT-процессов для загрузки данных из Yandex Direct, Yandex Metrica, рекламных кабинетов, Битрикс24, 1С и других источников; настройка DAG в Airflow, расписаний, зависимостей, повторных запусков, логирования и восстановления после ошибок; организация хранения исходных данных в S3 Raw, преобразования в Parquet и повторной обработки. Моделирование и витрины данных: разработка моделей и витрин в dbt и ClickHouse для рекламной отчётности, сквозной аналитики и других бизнес-задач; участие в определении требований к данным, составу показателей, частоте обновления и правилам расчёта совместно с аналитиками. Развитие и документация: работа с кодом в GitLab, участие в настройке CI/CD и проверке изменений перед запуском; ведение технической документации и поддержка аналитиков при работе с витринами данных. Требования: Опыт работы инженером данных от 2 лет и опыт построения платформы данных с нуля; Глубокие знания Python и SQL, практический опыт разработки ETL/ELT-процессов; Понимание Parquet, S3, моделирования данных, идемпотентности, Data Quality и multi-tenancy; Уверенное владение Airflow, ClickHouse, PostgreSQL, REST API, Docker, pgvector, RAG, Git и dbt; Умение анализировать и систематизировать информацию, писать понятную техническую документацию. Нас любят сотрудники, и есть за что: Хотим большего и не боимся вызовов. Мы всегда готовы расти, нацелены на лучшие результаты, умеем быть лидерами и получаем от этого кайф. Для тебя эта роль — уникальный вызов. Ты будешь работать с современным стеком, разными источниками данных и полным циклом их обработки — от интеграций до аналитических витрин. Создаем и влияем на глобальные изменения. Входим в крупнейшие отраслевые ассоциации АКАР и АРИР, развиваем свою школу на базе ВШЭ. Создаем гибкий подход к управлению. Сосредотачиваемся на стратегии, а не микро-менеджменте, поощряем идеи. Тебе предстоит строить платформу данных с нуля и влиять на её архитектуру, надёжность и развитие. Создаем комьюнити. У нас открытая среда, в которой поддерживают идеи и дают реализоваться каждому. Заботимся о людях. Проекты заботы помогают поддерживать атмосферу well-being в диджитал-реалиях. И твоя роль — это прямое продолжение этой ценности: ты будешь бережно избавлять коллег от рутины, обучая их делегированию скучных задач нейросетям. Успех E-Promo — это успех всей команды. Откликайся и указывай свой ник в Telegram для быстрой связи!