Разработчик интеграции Apache Spark с YTsaurus (Apache Spark)

Описание

Локация: Екатеринбург, Нижний Новгород, Новосибирск, Санкт-Петербург или Москва; гибридный или офисный формат работы.КомпанияYandex развивает платформу YTsaurus для аналитики и batch-процессов и проект SPYT — интеграцию Apache Spark с YTsaurus, доступную в открытом исходном коде.Что делатьРазвивать интеграцию Apache Spark и YTsaurus, обеспечивая эффективное взаимодействие между платформами.Интегрировать новые версии Apache Spark и YTsaurus и расширять поддерживаемые возможности.Проводить бенчмарки, находить узкие места и повышать производительность интеграции.Расширять область применения инструмента на основе обратной связи от дата-инженеров и опенсорс-пользователей.Развивать внешнее сообщество вокруг опенсорс-проекта SPYT.ТребованияНе менее 3 лет опыта работы с Apache Spark и понимание способов повышения его эффективности.Разработка под JVM на Java и Scala, а также на Python.Понимание принципов распределённого хранения и обработки больших объёмов данных.Готовность работать в гибридном или офисном формате в одном из указанных российских городов.Хорошо, если естьОпыт работы с Hadoop-стеком, включая HDFS и YARN.Опыт работы с Docker и Kubernetes.Участие в разработке опенсорс-проектов.Знание C++.Культура и преимуществаРабота со сложными распределёнными системами и нетривиальными техническими задачами.Возможность участвовать в развитии открытого проекта и взаимодействовать с внешним сообществом.Команда с академическим и преподавательским опытом.Совместное решение задач, эксперименты и участие в CTF.Атмосфера стартапа внутри крупной технологической компании.