Аналитик DWH
Описание
О компании Амаркон — российская IT-компания с 15-летним опытом. Разрабатываем и внедряем собственные решения ECM, PIM, DAM, BI, e-commerce, а также выполняем заказную разработку и интеграцию. Клиенты: X5 Group, Tele2, Русатом Сервис, НЛМК, Metro CC, Лента и др. Задачи:● Анализ бизнес-потребностей в данных, формализация слабоструктурированных требований в ТЗ на разработку витрин.● Разработка и согласование методологии расчёта KPI.● Проектирование логических и физических моделей данных (витрины, ODS, DDS) по методологиям Kimball и Data Vault 2.0.● Поиск и профилирование источников данных, разработка алгоритмов построения витрин, создание прототипов и их защита перед стейкхолдерами.● Оценка вычислительных ресурсов (сторадж, компьют) и трудозатрат.● Сопровождение витрин на всех этапах: разработка потоков, тестирование, UAT, передача в поддержку, решение инцидентов 3-й линии.● Определение и имплементация логики Data Quality для витрин.● Анализ существующих ETL/ELT-потоков и зависимостей (Airflow), выявление узких мест, оптимизация сложных запросов к большим данным (млрд записей, ТБ).● Постановка задач смежным командам (разработчики, админы, инженеры данных).● Участие в архитектурных решениях (DWH/Data Lake/Lakehouse, batch/stream, CDC), разработка документации и схем. Требования:● Методологии: практический опыт Kimball и Data Vault 2.0.● Платформы: понимание DWH, OLAP, Data Lake, Lakehouse.● SQL: экспертное владение (оконные функции, CTE, JOIN-ы, execution plan, оптимизация, индексы, партиционирование).● СУБД: PostgreSQL, Oracle, MS SQL Server (глубокое знание, настройка производительности).● MPP: опыт с GreenPlum, ClickHouse, Trino (шардирование, колокация).● Хранилища: опыт с Hadoop (HDFS) и объектными хранилищами (S3).● Оркестрация: понимание ETL/ELT, анализ зависимостей в Airflow / Nifi / аналогах.● Big Data: работа с объёмами от млрд записей и ТБ.● Коммуникация: эффективное общение с бизнес-заказчиками, разработчиками, администраторами.● Документирование: систематизация требований, формирование чётких ТЗ.● Git: уверенное владение (ветки, мерж, конфликты). Желательно:● Профилирование данных, анализ ETL-зависимостей на уровне кода (Python/Java).● Опыт с системами Data Quality (Great Expectations, Deequ).● Облачные платформы (AWS/GCP/Azure: S3, EMR/Dataproc, IAM, VPC).● Мониторинг (Grafana, Zabbix, Prometheus).● Docker, Kubernetes/Rancher.● Безопасность: маскировка PII, управление доступом (Ranger).● Базовое администрирование Unix/Linux. Мы предлагаем:● Удалённая работа● Официальное оформление (ИП, СЗ)