Data Engineer

Описание

Мы строим технологичную финтех-компанию ИТ Контакт: с 2019 года мы создаем современные цифровые платформы, которые позволяют упростить процессы, снизить затраты и повысить безопасность сделок, связанных с приобретением жилья.Благодаря нашей работе множество людей по всему миру смогли воплотить в жизнь мечту о собственном доме. Нас уже более 700 человек, и, в связи с активным ростом компании, мы находимся в поисках Data Engineer в нашу команду. Технологии: SQL, Python, Pandas, SQLAlchemy, Requests, MS SQL Server, Apache Airflow, Git, CI/CD, REST API, SFTP, Jira, Confluence, GitHub Copilot​​​​​​​Требования к кандидату: Отличное владение SQL и практический опыт работы с MS SQL Server. Практический опыт работы с Apache Airflow или другим инструментом оркестрации и готовность быстро углубиться в Airflow. Уверенное владение Python для задач обработки и интеграции данных, включая Pandas, SQLAlchemy и Requests. Хорошее понимание архитектуры DWH, принципов организации слоев хранения данных и построения Data Mart. Опыт разработки, сопровождения и рефакторинга ETL/ELT-процессов. Опыт интеграции данных из различных источников: SQL-баз, API, файлов и SFTP. Навыки оптимизации SQL-запросов и понимание принципов эффективной работы с базами данных. Будет плюсом: Опыт переноса ETL-процессов, SQL Jobs или Python-скриптов в Airflow. Опыт работы с Git и понимание принципов version control. Понимание CI/CD применительно к data pipelines. Опыт работы с Jira и Confluence. Опыт использования LLM-инструментов, например GitHub Copilot, в процессе разработки. Опыт подготовки данных для аналитических систем или Power BI. Базовые навыки работы в Linux. Чем вы будете заниматься: Рефакторить существующие ETL-процессы и структуру базы данных, содержащей данные из Jira и Bitbucket. Разрабатывать и сопровождать ETL/ELT-пайплайны. Переносить ETL-процессы и трансформации из SQL Server Jobs в Apache Airflow. Переносить существующие Python-скрипты в управляемые пайплайны Apache Airflow. Настраивать интеграции с различными источниками данных, включая базы данных, API, файлы и SFTP. Оптимизировать SQL-запросы и повышать производительность процессов обработки данных. Участвовать в развитии DWH и создании слоя Data Mart. Подготавливать данные для аналитических задач и внутренних заказчиков. Что мы предлагаем? Аккредитованная IT-компания Комфортный офис в центре Санкт-Петербурга Предсказуемый график работы 5/2 Мультикультурная амбициозная команда Общение на иностранных языках с коллегами и клиентами Внутреннее комьюнити для сотрудников: кафетерий льгот, сообщества по интересам, спортивные турниры, благотворительные программы и т.д.