Инженер данных

Описание

Обязанности

Разработка архитектуры данных: Создание планов того, как данные будут перемещаться в организации: от источников до хранилищ и конечных потребителей.

Проектирование ETL/ELT процессов: Преобразования и загрузки данных.

Выбор технологий: Выбор подходящих инструментов и технологий (базы данных, фреймворки, облачные сервисы) под конкретные бизнес-задачи и объемы данных.

Моделирование данных: Проектирование схем данных, хранилищ (Data Warehouse) для оптимизации производительности и удобства анализа.

Внедрение мониторинга данных (Data Quality): Создание проверок на полноту, точность, согласованность и актуальность данных.

Создание отказоустойчивых систем: Проектирование пайплайнов, устойчивых к сбоям, с механизмами повтора (retry) и обработки ошибок.

Ведение каталога данных и линии владения (Data Lineage): Отслеживание происхождения данных, их преобразований и перемещений по системе.

Оптимизация производительности: Ускорение выполнения ETL-процессов и SQL-запросов через партиционирование, индексацию, кэширование.

Масштабирование инфраструктуры: Обеспечение работы систем с растущими объемами данных (вертикальное и горизонтальное масштабирование).

Требования

Python, SQL

SQL Server, ClickHouse, PostgreSQL

Apache Airflow

Apache Kafka

Docker

Условия

• Работа в торгово-производственной компании, являющаяся лидером рынка;
• Оформление в соответствии с ТК РФ;
• Достойная заработная плата (обсуждается с успешным кандидатом);
• Предоставление ноутбука и корпоративной мобильной связи;
• График работы: понедельник-пятница, с 9:00 до 18:00.