Data Engineer

Описание

Обязанности: разрабатывать и документировать пайплайны обработки данных на Apache Airflow (Python, ANSI SQL); проектировать и реализовывать прототипы аналитических витрин на данных систем-источников; участвовать в построении корпоративного хранилища данных: от слоя первичных данных до витрин для бизнес-аналитики; организовывать процессы контроля качества данных (Data Quality): технические и бизнес-проверки, мониторинг и алертинг; формировать и описывать data-контракты на получение данных из систем-источников. Требования: опыт самостоятельной разработки DAG в Apache Airflow, в том числе создание переиспользуемых фреймворков/библиотек для пайплайнов; уверенное владение Python и основными библиотеками для обработки данных; опыт написания производительных SQL-запросов (MS SQL Server и/или PostgreSQL); опыт оптимизации SQL-запросов; базовые навыки администрирования СУБД; понимание принципов построения хранилищ данных (DWH); опыт интеграции с внешними системами через REST API. будет преимуществом: понимание архитектуры 1С, опыт работы с BI-инструментами (Power BI, Superset, Tableau, Metabase), с ClickHouse, с брокерами сообщений (Kafka и аналоги). Условия: трудоустройство в соответствии с ТК РФ в аккредитованную ИТ-компанию; график работы: 5/2, с 9.00 до 18.00 Мск (удаленный формат или гибрид - по желанию); необходимые ресурсы предоставляются; ДМС после испытательного срока;; возможности профессионального развития.