Инженер данных

Описание

Чем предстоит заниматься: Писать пайплайны на Python: от сырых данных с проездов до витрин и обучающих датасетов; Считать метрики автономии: удержание в полосе, локализация, качество восприятия; Собирать датасеты для нейросетей: фильтры, баланс, авторазметка, шаринг между командами; Гонять инференс в проде на десятках GPU — авторазметка, эмбеддинги, каскады моделей; Ускорять тяжёлую обработку; Развивать внутренние библиотеки. Что мы ждём от кандидата: Опыт промышленной разработки на Python: читаемый production-код, ревью, тесты; Хорошее знание SQL (джойны, оконные функции) и опыт работы с колоночными СУБД — у нас основной склад аналитики ClickHouse; Опыт работы с объектным хранилищем (S3 / совместимым): чтение/запись больших объёмов, партиционирование, работа с путями и метаданными; Опыт построения или поддержки data-пайплайнов в оркестраторах (Airflow, Dagster, Argo); Готовность разбираться в доменных данных (rosbag / сенсоры / логи машин) и доводить пайплайны до стабильного продакшена. Будет плюсом: Практический опыт со Spark; Опыт с Kubernetes (джобы, ресурсы, дебаг падений подов) и/или Docker; Запуск инференса / ML-шагов в пайплайнах: GPU, батчи, ClearML / аналог, torch; Разработка внутренних Python-библиотек или data-platform компонентов; знакомство с ROS / LiDAR. Примеры реальных задач: Спроектировать систему сбора и хранения данных для обучающего датасета с версионированием, с возможностью частичного пересчета, а также использованием преагрегатов и заданным SLA на обработку; Синхронизировать данные, идущих с разной частотой: IMU 100 Гц, видео 30 Гц и лидар 10 Гц; Реализовать систему семантического поиска похожих ситуаций с использованием эмбеддингов и векторных баз данных.