Аналитик данных / Data инженер

Описание

О нас:

Мы динамично развивающаяся компания в сфере FinTech, работающая как Payment Service Provider (PSP). В основе нашей работы данные, и мы ищем специалиста, который поможет нам вывести работу с ними на новый уровень.

О проекте:

Мы построили корпоративное хранилище данных (DWH) на базе PostgreSQL. Для визуализации и бизнес-аналитики будем использовать Apache Superset (дополнительное знание MSPower BI будет преимуществом).

Основная задача для кандидата: в составе финансового департамента возглавить работу с данными, обеспечить их качество и доступность.

Мы ожидаем от Вас:

• опыт работы дата-аналитиком от 3 лет;

• аналитический склад ума, внимательность к деталям и умение работать с большими объемами информации.

Для нас важно:

BI: Apache Superset:

• создание удобных, понятных и взаимодействующих дашбордов (фильтры, параметры, drill-down, KPI-виджеты);

• подготовка датасетов и написание SQL-запросов внутри Superset;

• понимание, как строить дашборды, которые быстро грузятся за счёт оптимизации запросов и корректной структуры витрин;

• базы данных: PostgreSQL, Greenplum/Greengage, ClickHouse

• уверенный SQL: оконные функции, CTE, агрегаты, аналитические запросы;

• работа с DWH-архитектурой: витрины, партиционирование, материализованные представления;

• использование преимуществ колоночных СУБД (ClickHouse, Greenplum): высокая скорость аналитических запросов;

• эффективная компрессия;

• работа с большими объёмами данных;

• оптимизация структуры Merg:eTree / распределённых таблиц;

• практики повышения производительности: распределение данных, ключи сортировки, минимизация скана.

2. ETL: Airflow:

• создание, документирование и поддержка DAG ов;

• управление зависимостями, расписаниями, мониторингом выполнения;

• контроль качества данных, идемпотентность, обработка ошибок.

3. Мониторинг:

• настройка мониторинга качества данных и корректности отчётов;

• отслеживание скорости выполнения запросов и загрузки витрин;

• аналитика производительности BI-дашбордов и DWH (время рендеринга, узкие места, долгие запросы).

Будет плюсом:

• Excel / PowerQuery подготовка данных для оперативных анализов.

• Power BI визуализация, модели данных, DAX на базовом уровне.

• Python (Pandas) для разовых исследований и анализов.

• опыт работы в FinTech, банковской сфере или в качестве PSP.

Ваши обязанности:

Работа с данными и инфраструктурой (Функции Data Owner):

• администрирование и развитие корпоративного DWH на PostgreSQL: оптимизация производительности, обеспечение бесперебойной работы;

• разработка, поддержка и мониторинг ETL/ELT процессов для загрузки данных из операционных систем (платежные шлюзы и тд);

• обеспечение качества, актуальности, целостности и консистентности данных в хранилище;

• консультирование бизнес-подразделений по вопросам доступности и интерпретации данных.

2. Бизнес и финансовая аналитика:

• разработка, обновление и поддержка дашбордов и отчетов в Apache; Superset для мониторинга ключевых бизнес-показателей;

• подготовка регулярных и ad-hoc отчетов для менеджмента и других подразделений компании.

Хотите работать в команде, где ценят экспертизу, скорость и реальные результаты?
Тогда добро пожаловать у нас вы сможете реализовать свой потенциал!