Data Engineer

Описание

Мы разрабатываем платформу конфиденциального машинного обучения и высоконагруженные сервисы данных, создающие конкурентное преимущество для бизнеса в области финтеха. Нашими продуктами пользуются 80% банковского сектора России. Мы ищем старшего разработчика на Spark и Scala для участия в создании платформы машинного обучения Чем предстоит заниматься Осуществлять миграцию сервисов платформы на новые версии библиотек Scala/Spark Разрабатывать промышленные сервисы распределенной обработки данных для поставки данных на платформу машинного обучения Анализировать производительность и масштабировать продукты под возрастающую нагрузку Участвовать в дизайне архитектуры и принятии технических решений Устранять аварии и обеспечивать SLA сервисов на необходимом уровне Что для этого нужно Опыт разработки на Scala от 3 лет Опыт работы со Spark от 2 лет Понимание принципов оптимизации обработки данных (знание форматов хранения данных, понимание принципов работы join и т.д.) Понимание архитектуры и принципов работы Spark-приложений Будет плюсом: Знания особенностей Spark разных версий Опыт проектирования или работы с современными MLOps платформами Опыт работы с базами данных Cassandra, Scylla etc. *Трудоустройство в аккредитованную ИТ-компанию ООО «ЕдиныйФактор"