Data Engineer

Описание

О Нас WILIX — аккредитованная IT-компания. Мы создаем современные корпоративные системы и развиваем направление аутстаффинга. Мы предоставляем высокую инженерную экспертизу ведущим игрокам рынка: Сбер, Т-Банк, МТС Банк, X5 Ритейл, Магнит, Северсталь, Альфа Страхование, ОТП Банк и многим другим. Сегодня мы расширяем команду и ищем Инженера данных для работы над внешними проектами в таких сферах, как ритейл, EdTech, банкинг и других. Чем предстоит заниматься Проектировать и разрабатывать потоки данных на ETL/ELT-инструментах; Имплементировать кастомные трансформации; Проектировать и строить прототипы и витрины данных; Анализировать производительность и масштабировать существующие системы; Оптимизировать SQL-запросы и структуры баз данных; Разрабатывать процедуры на языке PL/pgSQL; Развивать архитектуру DWH, участвовать в анализе и выборе технологий, методологий и инструментов; Создавать и актуализировать базу знаний для пользователей DWH; Разрабатывать программный код и проводить его тестирование. Что мы ожидаем Знание принципов построения хранилищ данных; Опыт работы с экосистемой Hadoop/HDFS/Hive (HDFS, YARN, Spark, Kafka, NiFi, Sqoop, Flume и др.); Уверенное знание SQL (DDL, DML), опыт оптимизации запросов; Опыт работы с Greenplum и PostgreSQL; Знание Java или Python (NumPy, Pandas); знание Scala будет плюсом; Опыт использования систем ведения проектов и документации, сопровождения и мониторинга информационных систем; Опыт администрирования Hadoop/Linux; Понимание принципов CI/CD (Jenkins, GitLab). Будет плюсом Опыт работы с оркестраторами (Airflow) и инструментами трансформации данных (dbt); Работа с Clickhouse; Опыт работы в консалтинге или на проектах с несколькими заказчиками; Умение документировать решения и взаимодействовать с бизнес-заказчиком напрямую. Мы предлагаем Участие в разнообразных проектах ведущих компаний из разных отраслей; Возможность профессионального развития и освоения новых технологий; Работу в команде профессионалов.