Инженер данных/Центр компетенций в сфере искусственного интеллекта
Описание
Обязанности: Проектировать, разрабатывать и поддерживать ETL/ELT-процессы для загрузки, преобразования и передачи данных между корпоративными системами Подключать новые источники данных через БД, API, файловые обмены и другие доступные интерфейсы интеграции Проектировать структуры хранения данных, витрины и наборы данных для аналитики, отчетности и моделей искусственного интеллекта Обеспечивать очистку, нормализацию, дедупликацию и контроль качества данных; реализовывать автоматические проверки и обработку ошибок Настраивать оркестрацию, расписания, повторные запуски, журналирование и мониторинг data-пайплайнов Оптимизировать SQL-запросы и процессы обработки данных с учетом производительности, объема данных и доступности сервисов Обеспечивать стабильность и доступность данных для потребителей, участвовать в разборе инцидентов и устранении причин сбоев Вести техническую документацию по источникам, схемам, преобразованиям и правилам качества; взаимодействовать с аналитиками, разработчиками и ML-инженерами Требования: Высшее образование 2–4 года практического опыта в Data Engineering/разработке систем обработки данных. Опыт создания и поддержки ETL/ELT-процессов, интеграции источников и подготовки надежных наборов данных для аналитики и ИИ. Уверенный SQL, понимание индексов, планов выполнения, транзакций и оптимизации запросов. Практический опыт PostgreSQL или сопоставимых СУБД. Уверенный Python для интеграций, преобразований и автоматизации обработки данных; понимание структуры поддерживаемого production-кода. Практический опыт проектирования и поддержки ETL/ELT-пайплайнов; работа с Airflow/Prefect/Dagster или аналогичными средствами оркестрации. Понимание принципов DWH, Data Lake/Lakehouse, слоев хранения, витрин данных, схем данных и жизненного цикла наборов данных. Опыт работы с REST API, Git, Docker; умение организовать валидацию, мониторинг качества, обработку ошибок и воспроизводимость процессов загрузки данных. Условия: Работа в крупном агропромышленном холдинге Официальное трудоустройство и официальная заработная плата; Конкурентоспособный уровень заработной платы, который обсуждается индивидуально; Ежегодная индексация заработной платы График работы 5/2 (дневные с 08:00 до 17:00) Медицинское страхование в соответствии с законодательством РФ Возможность обучения, развития, карьерного и профессионального роста. Рабочее место, г. Ижевск, ул.Песочная, 11