Инженер данных (Data Engineer)

Описание

Локация: офис в Санкт-Петербурге, работа на месте работодателя
Компания
ИнфоТеКС — российская компания в сфере защиты информации, входящая в ТОП-5 рынка и разрабатывающая средства информационной безопасности.
Что делать

Настраивать потоковую и batch-поставку данных и организовывать оркестрацию задач, включая Airflow.
Автоматизировать сбор данных из баз данных, API, файлов и очередей сообщений.
Развивать архитектуру хранения, включая долгосрочное хранение в Data Lake / Parquet и интеграцию с аналитическими базами.
Поднимать и поддерживать тестовые стенды с Docker Compose и генераторами тестовых данных.
Разрабатывать бенчмарки для оценки функциональных и нефункциональных характеристик решений.

Требования

От 3 до 6 лет опыта работы.
Опыт разработки на Python и уверенное владение SQL.
Уверенное владение командной строкой Linux.
Опыт работы с реляционными БД, включая PostgreSQL, аналитическими БД, включая ClickHouse, а также FTP/NFS/S3.
Навыки контейнеризации с Docker или LXD и умение поднимать локальные тестовые стенды для пайплайнов.
Опыт написания ETL-скриптов на Python с использованием pandas, polars или PyArrow для трансформации и перемещения данных.
Умение писать простые бенчмарки с замером времени, памяти и CPU.

Культура и преимущества

Полная занятость и работа в офисе в Санкт-Петербурге.
Официальное соблюдение трудового законодательства РФ, оплачиваемые отпуска и больничные, белая заработная плата.
Оплачиваемое работодателем питание в офисе или кафе.
ДМС и страховка от несчастных случаев.
Корпоративные мероприятия и спортивные инициативы.
Профессиональные сертификаты и курсы повышения квалификации за счёт компании.