Tech Lead Go/Python (GigaData)

Описание

Локация: Москва; доступен гибридный формат или работа в офисе работодателя.
Компания
Сбер развивает команду по сбору качественных данных для обучения передовых моделей искусственного интеллекта.
Что делать

Определять техническую стратегию и целевую архитектуру системы.
Проектировать распределённые системы, масштабируемые от миллионов до миллиардов сущностей, включая шардирование и геораспределение.
Создавать end-to-end пайплайны сбора данных: обнаружение URL, загрузка, парсинг, дедупликация, хранение и доставка.
Разрабатывать критичные компоненты краулера и выполнять performance engineering: профилирование, нагрузочное тестирование и устранение узких мест.
Оптимизировать прокси-инфраструктуру, маршрутизацию трафика и стоимость инфраструктуры; внедрять HTTP/3, QUIC, eBPF и io_uring.
Руководить командой из 3–6 инженеров, развивать технические стандарты, проводить code review, 1-1 и менторинг.

Требования

Коммерческий опыт разработки на Go и Python от 7 лет, включая не менее 2 лет в роли техлида или тимлида.
Опыт проектирования распределённых высоконагруженных систем с миллионами RPS и петабайтами данных.
Глубокое понимание TCP/UDP, HTTP/1.1/2/3, TLS, DNS и QUIC.
Практический опыт создания масштабных систем краулинга или аналогичных систем сбора данных.
Опыт с асинхронным и параллельным программированием, микросервисной и event-driven архитектурой, Kafka, Redis, PostgreSQL и ClickHouse.
Уверенное владение Kubernetes, Docker, Terraform, CI/CD, облачными платформами и инструментами troubleshooting: tcpdump, strace, perf и eBPF.

Хорошо, если есть

Знание Rust или C++ для разработки высокопроизводительных компонентов.
Опыт работы в поисковых системах, data aggregator-компаниях или проектах с масштабным краулингом.
Опыт с io_uring, eBPF, zero-copy networking и геораспределёнными системами.
Опыт применения ML для оптимизации crawl-стратегий.
Публичные выступления и технические публикации.

Культура и преимущества

Участие в DS&AI community, объединяющем более 600 специалистов банка.
Доступ к дайджестам о разработках в DS&AI и материалам международных конференций.
Возможность быть соавтором научно-исследовательских работ и статей для международных конференций.
Ежегодный пересмотр зарплаты и годовая премия.
Расширенный ДМС, страхование семьи, корпоративная пенсионная программа, спортзал и зоны отдыха.
Более 400 образовательных программ СберУниверситета, подписка СберПрайм и скидки у компаний-партнёров.