Инженер данных

Описание

Команда разрабатывает сложные программно-аппаратные системы и ML/CV-решения. Ищем Инженера данных, который будет отвечать за построение и автоматизацию пайплайнов подготовки больших объемов фото- и видеоданных для последующей разметки и обучения ML-моделей. Обязанности: разрабатывать на Python пайплайны для сбора, обработки и подготовки данных; автоматизировать поиск, фильтрацию и передачу больших файлов с удаленных серверов; извлекать и обрабатывать фото- и видеоданные из ROS bag; автоматизировать отбор и подготовку данных для разметки; организовывать загрузку данных и метаинформации в S3-совместимое объектное хранилище; интегрировать пайплайны с CVAT и другими инструментами разметки через API; вести каталог обработанных данных и метаданных; оптимизировать обработку больших объемов данных, в том числе не помещающихся в оперативную память. Требования: уверенное владение Python; опыт разработки ETL/data pipelines; опыт работы с большими файлами и объемами данных; понимание асинхронного и многопоточного программирования; опыт работы в Linux-среде.Будет плюсом: опыт с ROS 1/2 и rosbag: топики, сообщения, извлечение и синхронизация данных с камер и других сенсоров; опыт работы с S3-совместимыми хранилищами и boto3;OpenCV и/или ffmpeg; опыт обработки изображений и видео; понимание подходов к хранению и организации метаданных: JSON/JSONL, Parquet и др.; опыт интеграции с CVAT, Label Studio, Supervisely или другими платформами разметки; опыт работы с данными для Computer Vision/ML. Условия: оформление в соответствии с ТК РФ; конкурентный уровень заработной платы - на уровне лидеров ИТ/телеком-индустрии; комфортный современный офис.