Data engineer

Описание

Объединённая компания Wildberries и Russ это международная технологическая компания, образованная в результате слияния двух лидеров рынка IT-компании Wildberries и оператора наружной рекламы Russ.

• Обеспечиватьстабильную, производительную и безопасную работу Data Platfrorm на базе Trino, Spark, S3 и Apache Iceberg, включая администрирование и управление ролевой моделью доступа, документирование изменений в проекте;
• Настраивать, обновлять, мониторить и тюнить кластера Trino;
• Настраивать коннекторы (Iceberg, S3);
• Оптимизировать производительность запросов (resource groups, query analysis);
• Оптимизировать производительность Iceberg (partitioning, clustering, metadata management);
• Разрабатывать и внедрять централизованные ролевые модели для доступа к данным и ресурсам платформы;

Формат работы: Удаленный

• Обладаете пониманием взаимодействия Spark с Iceberg и S3;
• Имеете опыт эксплуатации Apache Iceberg (администрирование таблиц в формате Iceberg, настройка и использование Hive Metastore);
• Обладаете пониманием и применением: compaction, expiration snapshots, time travel, schema evolution;
• Имеете навыки Linux, Bash, Python для автоматизации;
• Обладаете опытом управления политиками доступа и правами доступа через Ranger в S3 и Iceberg:
• Имеете опыт разработки и внедрения централизованной ролевой модели для доступа к данным и ресурсам платформы.

Будет плюсом:

• Обладать базовым IaC (Terraform/Ansible)
• Иметь опыт администрирования Greenplum или ClickHouse (установка, настройка, оптимизация, интеграция с S3/Iceberg)
• Обладать опытом настройки маскирования данных и фильтрации на уровне строк (Row-Level Filtering) в Ranger для Trino, Spark
• Иметь опыт в оркестрации (Airflow)
• Иметь опыт администрирования Superset.

Условия для сотрудников:

• Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое;
• Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании;
• Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.;
• Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких от гибкого подхода до масштабных проектов для детей сотрудников;
• Скидки и партнерские программы: на обучение, страхование, покупки и многое другое;
• Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.