Разработчик на C++ в команду потоковой обработки еcom-сценариев и рекламы

Описание

Любые данные, сколько бы их ни было, практически бесполезны в необработанном виде. В Яндексе данные преобразуются при заливке в базы, обогащении, расчёте офлайновых ML-моделей и во многих других случаях. Мы развиваем real-time-технологию, которая сделает обработку данных эффективной, удобной и лёгкой в поддержке. Ищем человека, который поможет воплотить её в жизнь.

Сейчас наша система обрабатывает сотни тысяч сообщений в секунду и является одним из самых высоконагруженных real-time-процессингов в Яндексе. В будущем мы планируем превратить её в универсальную платформу RT-процессинга для Екома, сделать систему удобнее для пользователей, повысить прозрачность учёта ресурсов и надёжность.

Какие задачи вас ждут

Stateless- и stateful-процессинг
Вам предстоит писать код в асинхронное ядро технологии, работать с транзакциями БД, упорядочивать обработку сообщений и корректно обрабатывать ошибки.

Оптимизация процессинга
Вы будете улучшать процессинг в плане пропускной способности, настраивать базы данных и увеличивать эффективность использования железа .

Улучшение поддержки системы
Вам нужно будет дополнять существующие метрики, логирование и трассировку. Кроме того, вы будете улучшать вьювер и средства отладки.

Мы ждем, что вы

• Хорошо знакомы с многопоточным программированием
• Придумываете гибкие решения, которые подходят для разнообразных задач
• Работали с С++ не менее 5 лет
• Способны писать надёжный код, исследовать сложные проблемы, работать в команде

Будет плюсом, если вы

• Знакомы с Apache Beam, Apache Flink и другими системами потоковой обработки данных
• Работали с распределёнными системами