Ведущий инженер данных (Team Lead DE)

Описание

Должностные обязанности: - Проектирование и разработка процессов загрузки данных (ETL/ELT) из корпоративных систем, IoT-источников, файловых и внешних источников; - Подключение новых источников данных: анализ структуры, проектирование интеграции, организация первичной и регулярной загрузки; - Проектирование и развитие слоёв и моделей данных в хранилище — от исходных данных до очищенных и подготовленных для аналитики наборов; - Обеспечение качества и целостности данных при загрузке и преобразовании: технические проверки, контроль полноты, дубликатов и ошибок; - Проектирование структур данных и оптимизация хранения и обработки больших объёмов данных в ClickHouse, PostgreSQL и Object Storage; - Документирование потоков данных, интеграций, моделей и технических решений; формирование стандартов разработки Data Platform; - Взаимодействие с владельцами систем, 1С-разработкой, BI/ML-командой и подрядчиками при организации поставки и использования данных; По мере формирования команды — техническое наставничество инженеров данных, code review и развитие единых инженерных практик. Требования к кандидату: - образование высшее техническое/ИТ; - опыт работы: от 5+ лет Data Engineering/DWH; - знание: SQL, Python, ETL/ELT, моделирование данных, Linux, Git; Airflow, S3, ClickHouse, PostgreSQL, Yandex Cloud; - опыт интеграции различных источников; - опыт технического лидерства.