Data Engineer
Описание
О компании«Финтехсервис» — один из крупнейших поставщиков трафика на рынке спортивной и финансовой лидогенерации. Мы стремимся к масштабированию, осваиваем новые сегменты рынка лидогенерации и активно работаем с большими данными: разрабатываем новые инструменты и запускаем перспективные проекты. В данный момент ищем опытного Data Engineer для построения и поддержки надёжных, масштабируемых решений по работе с данными. Вы будете участвовать в создании ETL‑процессов, проектировании хранилищ данных и обеспечении их качества — и всё это в динамично развивающейся финтех‑среде. Что предстоит делать: разрабатывать и оптимизировать сложные SQL‑запросы в PostgreSQL (с использованием оконных функций: ROW_NUMBER, RANK, LAG/LEAD, SUM OVER); создавать хранимые процедуры и функции на PL/pgSQL, триггеры для автоматической валидации, аудита или агрегации данных; проектировать и настраивать партиционирование (Range, List, Hash) и анализировать планы запросов через EXPLAIN ANALYZE; разрабатывать DAG в Apache Airflow: определять зависимости между тасками, использовать PythonOperator, PostgresOperator, BranchPythonOperator, работать с XCom и Variables; писать ETL‑скрипты на Python (с применением pandas, sqlalchemy), обрабатывать данные в форматах CSV, JSON, Parquet; настраивать ETL/ELT‑конвейеры, включая инкрементальную загрузку (по дате, watermark, change log) и оптимизацию работы с большими объёмами данных (чанкинг, пагинация, курсоры); проектировать реляционные базы данных для хранилищ (нормализованные модели 3NF, денормализованные модели «звезда» и «снежинка»), таблицы фактов и измерений, применять SCD Type 1 и Type 2; контролировать качество данных: писать SQL‑проверки на уникальность ключей, отсутствие NULL в критичных полях, статистические отклонения метрик и интегрировать их в пайплайны; работать с Apache Superset: подключать БД, создавать датасеты и визуализации, компоновать интерактивные дашборды, использовать SQL Lab для ad‑hoc‑исследований; контейнеризировать приложения с помощью Docker, при необходимости — знакомиться с Kubernetes; работать с потоковой обработкой данных: Apache Kafka (создание топиков, продюсирование и консьюминг сообщений), CDC‑подходом и инструментами типа Debezium; внедрять принципы DataOps и CI/CD: настраивать пайплайны для кода и конфигураций (GitHub Actions, GitLab CI или Jenkins), запускать линтеры (flake8, pylint) и тесты (pytest); вести версионирование и совместную разработку с использованием Git (ветвление, Pull Request, разрешение конфликтов, rebase); настраивать логирование в пайплайнах и работать с системами мониторинга (Prometheus + Grafana или ELK‑стек) для отслеживания статуса DAG, времени выполнения задач, загрузки БД. Мы ждём, что вы: уверенно владеете PostgreSQL и умеете писать сложные запросы с оконными функциями; имеете опыт разработки DAG в Apache Airflow и настройки повторных попыток, задержек и алертов; владеете Python на уровне, достаточном для написания ETL‑скриптов (работа с pandas, sqlalchemy, понимание ООП, декораторов, контекстных менеджеров, генераторов); обладаете практическим опытом настройки ETL/ELT‑конвейеров и оптимизации работы с большими объёмами данных; умеете проектировать реляционные БД в контексте хранилищ и документировать схемы (Data Dictionary); знаете принципы контроля качества данных и умеете интегрировать проверки в пайплайн; работали с Apache Superset (подключение БД, создание датасетов, построение визуализаций, компоновка дашбордов); имеете базовые навыки работы с Docker (написание Dockerfile, сборка образов, запуск контейнеров, работа с docker‑compose); понимаете концепцию очередей сообщений и имеете опыт работы с Apache Kafka; знакомы с принципами DataOps и имеете опыт настройки CI/CD‑пайплайнов; уверенно владеете Git и ведёте Code Review; имеете базовый опыт работы с системами мониторинга и понимаете концепцию Data Observability. Мы предлагаем: интересную работу в динамично развивающейся компании на стыке финансов и технологий; возможность влиять на архитектуру данных и внедрять современные решения; конкурентную заработную плату (обсуждается на собеседовании); официальное оформление по ТК РФ; профессиональное развитие: доступ к обучающим ресурсам, участие в профильных конференциях и митапах; сплочённую команду профессионалов, готовую делиться опытом и поддерживать новые идеи. горячие обеды, кофе и снеки