Data Engineer

Описание

Привет! Мы успешная аккредитованная IT-компания MarketGuru.

MarketGuru ведущий аналитический сервис для продавцов на Wildberries, помогающий увеличивать продажи и принимать взвешенные бизнес-решения на основе данных.

Мы работаем с 2020 года и за это время мы стали 1 в категории Бизнес на маркетплейсах .
В нашей команде 200+ человек.
В самом сервисе зарегистрировано более 780.000 пользователей.
Являемся резидентами Сколково и аккредитованной IT-компанией.

Наш продукт стал незаменимым инструментом для тысяч успешных продавцов на Wildberries. Мы помогаем нашим клиентам расти, а сами стремимся к постоянному развитию и поиску талантов.

Мы ищем специалиста с глубоким опытом работы с ClickHouse и смежными технологиями, который поможет нам строить надежную и масштабируемую DWH инфраструктуру.

Что нужно будет делать:

• Отвечать за хранение и обработку больших объёмов данных
• Выстраивать архитектуру, оптимизацию запросов и поддержку стабильной работы кластера на уровне DE

Требования:

Глубокое понимание работы ClickHouse:

• Архитектура кластера (ноды, шарды, реплики, механизмы синхронизации)

• Колоночное хранение данных и его особенности

• Запись батчами (batch insert) и работа с большими объёмами

• Опыт работы получение данных с kafka в clickhouse

• Практический опыт с ReplicatedMergeTree/Replacing и Distributed tables

• Понимание архитектуры хранения и оптимизации производительности

Навыки и опыт:

• SQL отличный уровень: написание и оптимизация запросов под ClickHouse, умение работать с индексами, партиционированием, join-стратегиями.
• Python уверенное владение для построения ETL/ELT-процессов, интеграций и автоматизаций.
• Airflow опыт построения DAG-ов, управление зависимостями и мониторинг пайплайнов.
• GitLab/GitHub уверенная работа с системами контроля версий

Будет плюсом:

• Опыт работы с высоконагруженными хранилищами данных

Что мы предлагаем:

• Работа в быстроразвивающейся продуктовой IT компании

• Конкурентные условия труда: мы готовы обсуждать условия дохода по итогам встречи

• Удаленный формат работы

• Дружелюбная атмосфера и команда лучших профессионалов, которые готовы поддерживать на всех уровнях

• Возможность работать с современной команде с современным стеком технологий

• Вовлеченное и гибкое руководство: мы слышим и слушаем своих сотрудников