Data Engineer Spark (Офис/Банк)
Описание
ОДИН ИЗ ЛУЧШИХ РАБОТОДАТЕЛЕЙ РОССИИ Мы – Neoflex. Аккредитованная IT компания. За 20 лет работы мы создали 12+ готовых решений для бизнеса, так же занимаемся заказной разработкой программного обеспечения. Приветствуем на странице нашей компании и благодарим за интерес к вакансии. Будем рады оказаться полезны друг другу. Сейчас мы расширяем команду, занимающуюся проектом по миграции данных из 87 источников на единую платформу. Команда входит в Центр компетенций BDS - одно из сильнейших подразделений нашей Компании, экспертов в области работы с большими данными, построения DWH и использующих в работе современный стек BigData: Greenplum, Hadoop, NiFi, Hive, Spark/Scala, PostgreSQL, Informatica, Kafka, Apache Airflow, Apache Griffin. ПРОЕКТ: Суть проектов связана с построением хранилищ, которые построены на различных базах данных Hadoop, GreenPlum, PosgreSQL. Работаем с витринами и занимаемся разработкой ETL процессов. СТЕК: Hadoop, Hive, Spark, Hue, Jupyter. Работа из офиса 5/2:Москва (ул. Поклонная); Санкт-Петербург (ул. Уральская); Нижний Новгород (ул. Академика Сахарова); Саратов (Вавилова); Воронеж (Беговая); Новосибирск (Николаева в Академгородке и БЦ Кобра в центре). Что нужно делать: заниматься определением источников, выявлением проблем с качеством данных в источниках; разработкой схем данных конечных витрин в Hive по утвержденному проекту; маппингами атрибутов источников на приёмник; разработкой ETL-процессов с помощью внутреннего фреймворка; реконсиляцией данных, написанием базовых тестов на качество данных. Что мы хотели бы видеть: уверенный уровень sql (в пределах стандарта, без привязки к СУБД); представления о java / python; Желательно: опыт работы с Hive, Spark; опыт работы с Оozie, Airflow; умение работать с Confluence; есть представление о работе с Jira, Git. Что ты приобретёшь, присоединившись к нам: достойную оплату труда + компенсационные, стимулирующие и мотивационные выплаты, бонусы за участие в реферальной программе; работа в команде профессионалов готовых делиться экспертизой; официальное трудоустройство по ТК РФ, аккредитация IT, расширенный социальный пакет: ✔️ страховка ДМС (с 3-го месяца работы, стоматология, возможность подключения родственников, теле медицина, полис ВЗР), ✔️ сотрудникам со стажем в Neoflex более 3 месяцев при предоставлении листка нетрудоспособности устанавливается доплата до полного заработка за период болезни, ✔️ обучение детей сотрудников ИТ специальностям, ✔️ компенсация затрат на фитнес и занятия английским языком; обеспечиваем техникой для работы (ноутбук, наушники, мышь); профессиональное развитие - в Учебном Центре (курсы по работе с большими данными, видео лекции, тренажеры, карьерный коучинг, лекции, тренинги, конференции, участие в митапах); возможность пройти проф.сертификацию; прозрачную систему карьерного развития Performance Review; персонального наставника с первого дня работы; насыщенную корпоративную жизнь: яркие корпоративы, праздники для детей сотрудников, корпоративные спортивные мероприятия, мотивационные награждения; комфортную атмосферу в филиалах компании в городах: Москва, Санкт-Петербург, Нижний Новгород, Пенза, Воронеж, Саратов, Самара, Краснодар где есть лаунж и фотозоны, вендинги в кухнях, пространство для медитаций и другие секретные места, о которых знают только наши сотрудники. Мечты и команды работают вместе. Мы будем рады, если ты станешь частью нашей команды! Откликайся ;)