Data Engineer / Technical Lead (Big Data)

Описание

#vacancy #remote #DataEngineer #TechnicalLead #Airflow #PySpark #NiFi #Greenplum #ETL #МиграцияДанных #Hadoop #BigData #ВакансияДня #DataJobs

Data Engineer / Technical Lead (Миграция на Apache)| компания TopSelection

🚀 Проект: До конца 2027 г. Переезд с Informatica на Airflow + Greenplum.
💸 270–320 тыс. руб.
🌍 Полная удалёнка (Россия, работа по мск времени)
📃Оформление: формат ИП

⚡️ Ключевой стек (обязательно):
🐍 Python (ETL-скрипты, pandas, API)
🌀 Airflow (пишем и отлаживаем DAG'и, а не просто смотрим)
🔥 PySpark (трансформации, оптимизация, партиционирование)
🌊 NiFi (проектирование потоков, ошибки, мониторинг)
🐘 Greenplum / PostgreSQL / Clickhouse
🛢 Oracle + Hive (Parquet/ORC, знание метастора)
📊 Grafana/Prometheus (метрики ETL)
📦 Kafka + интеграция с BI
🎯 Задачи:
— Документация AS IS / TO BE
— Сложные SQL (окна, джойны) и оптимизация под highload
— Валидация данных и метрики качества после миграции
— Работа с биллингом
➕ Будет плюсом:
Опыт управления командой (4+ года) и навык перевода бизнес-задач в ТЗ.

👉Отклик сюда: