Руководитель команды бэкенда рекомендательной системы в AI VK

Описание

Наша команда разрабатывает бэкенд рекомендательной системы для ключевых сервисов VK. Мы создаём технологии, которые помогают миллионам пользователей находить актуальный и интересный контент.

Рекомендательная система обрабатывает сотни тысяч запросов в секунду, персонализируя ленты в реальном времени с использованием моделей машинного обучения. Мы уже успешно внедрили наши рекомендательные технологии в такие сервисы, как Дзен, VK Видео, VK Клипы, VK Музыка и лента ВКонтакте.

Наша цель построить унифицированную платформу рекомендательных систем, которая обеспечит высокую эффективность и удобство для специалистов по машинному обучению. Система должна легко решать их задачи через конфигурации и пользовательский интерфейс, позволяя максимально сосредоточиться на качестве рекомендаций, а не на технических ограничениях инфраструктуры.

Мы создаём решения, которые

• Обрабатывают огромные потоки данных в реальном времени и обеспечивают надёжную персонализацию для десятков миллионов пользователей
• Масштабируются без потери производительности и качества рекомендаций
• Поддерживают гибкую настройку алгоритмов и параметров ранжирования без необходимости глубокой работы с кодом
• Гарантируют предсказуемость работы даже под экстремальными нагрузками

Перед нами стоит задача разработки архитектуры и ключевых компонентов платформы, включая хранилище данных, систему обработки информации, рантайм кластера для ранжирования, оркестратор и другие модули.

Стек: Java 21, YTSaurus, Cassandra, Kafka, Gradle 8, GitLab & TeamCity, CatBoost, Off-Heap Memory, SpringBoot, TestContainers.

Задачи

• Управление командой
• Проектирование и разработка распределённой, отказоустойчивой и масштабируемой инфраструктуры для обработки и выдачи рекомендаций
• Разработка платформенных решений, которые позволяют ML-специалистам легко управлять моделями и экспериментами через конфигурации и UI
• Оптимизация производительности системы под высокие нагрузки
• Создание инструментов для мониторинга, отладки и улучшения качества рекомендаций
• Взаимодействие с командами по машинному обучению, инфраструктуре и продуктовой разработке для интеграции решений

Требования

• Опыт управления командой разработки, участие в стратегическом планировании технического развития
• Глубокие знания в области архитектуры бэкенд-систем, распределённых вычислений, работы с базами данных
• Опыт работы с высоконагруженными сервисами и проектирования отказоустойчивых решений
• Владение C++, Go, Java или другими системными языками
• Опыт создания платформенных решений, в том числе API, UI и систем конфигурирования
• Опыт оптимизации вычислений и хранения данных

Будет плюсом

• Понимание принципов работы рекомендательных систем и машинного обучения
• Опыт с ML