Data Engineer

Описание

В связи с активным расширением команды мы в поисках Senior Data Engineer в Лабораторию искусственного интеллекта.

ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:

• Разработка, поддержка и оптимизация пакетных пайплайнов данных, а также инструментов по работе с данными
• Работа с большими данными в распределенной среде
• Интеграция и обработка данных из различных источник
• Проектирование новых решений

НАШИ ОЖИДАНИЯ ОТ КАНДИДАТА:

• Опыт работы инженером данных от 5 лет
• Опыт работы с Airflow (разработка dag'ов, сенсоры, кастомные операторы)
• Опыт с Apache Spark (Pyspark, dataframe api, оптимизация джобов)
• Знание S3 API, HDFS, основ форматов данных (Parquet, orc, avro) и табличных форматов (Hoodie, Iceberg, Hive)
• Опыт работы с Python (Pandas/polars, sqlAlchemy)
• Опыт работы с системами контроля версий (Git, Gitlab, ci/cd)
• Опыт взаимодействия с хранилищами данных и базами данных (Greenplum, PostgreSQL)
• Опыт работы с trino/presto, clickhouse
• Опыт построение стриминг пайплайнова (Debezium, Kafka, Flink)
• Понимание принципов dataops, observability и DQ (Soda, Great expectations)
• Опыт работы с фреймворками трансформацией данных (Dbt, sqlMesh)
• Системное мышление, опыт дизайна Data-решений
• Ответственность, умение вести разработку фич Уверенное знание работы операционных систем Linux.

БУДЕТ ПЛЮСОМ:

• Опыт работы с нереляционными и графовыми БД
• Опыт работы с облачными системами (AWS, Yandex Cloud)
• Понимание принципов построения RAG и Мультиагентной системы
• Знание и опыт с языками программирования Java/GO

ЧТО МЫ ПРЕДЛАГАЕМ:

• Обучение за счет компании (посещение конференций, курсов, помощь в написании статей на Хабр и т.д.);
• Вертикальное и горизонтальное развитие: регулярные тренинги, вебинары, митапы;
• Забота о вашем здоровье: ДМС после испытательного срока, куда входит стоматология;
• Прозрачный доход: оклад (по итогам интервью) + ежеквартальные премии по результатам KPI;
• Гибкий график или полная удаленка (по итогам общения с командой);
• Комфортные и современные офисы в городах присутствия (Москва, Санкт-Петербург, Уфа, Брянск, Новосибирск и др.);
• Дополнительные бонусы от Россельхозбанка для сотрудников группы компаний (Скидки на спортзалы, рестораны, маркетплейсы и т.д.)