Старший инженер данных

Описание

Чем тебе предстоит заниматься: Проектировать и развивать data-платформу целиком: разрабатывать схемы хранения, выстраивать потоки данных между сервисами и определять границы ответственности компонентов; Обеспечивать устойчивую загрузку данных из различных источников (веб, PDF, внешние API, БД) с реализацией повторных попыток при сбоях, мониторингом и автоматическим восстановлением; Работать с несколькими типами хранилищ в единой экосистеме: реляционными базами данных, векторными индексами, кэшем и очередями; Проектировать и сопровождать мультиагентные AI-системы: разрабатывать графы состояний агентов, очереди задач, параллельные воркеры, инструменты и обеспечивать пошаговое логирование; Оптимизировать скорость выполнения запросов и стоимость хранения данных по мере роста их объёмов; Настраивать наблюдаемость системы: создавать алерты, дашборды и трассировку, чтобы проблема обнаруживалась за минуты, а не за часы; Обеспечивать качество данных: проводить дедупликацию, проверку схем, поиск аномалий и отслеживать происхождение данных. Что мы ждём от тебя: Опыт работы от 4 лет в сфере Data Engineering или бэкенд-разработки с сильным уклоном в работу с данными; Практический опыт разработки мультиагентных AI-систем с использованием LangGraph и LangChain; Опыт проектирования отказоустойчивых пайплайнов; Уверенное владение PostgreSQL или MySQL в условиях реальной продакшен-нагрузки; Владение Python на уровне продакшена: асинхронность, обработка ошибок, разработка долгоживущих воркеров и сервисов; Практический опыт работы с: Реляционными БД (PostgreSQL, MySQL), Векторным поиском (Qdrant, pgvector), Кэшем и очередями (Redis); Базовые знания сетей и безопасности — достаточно, чтобы самостоятельно развернуть и сопровождать сервис. Будет плюсом: Оркестрация пайплайнов (например, n8n, Apache Airflow); Опыт работы с очередями и воркерами; Контроль качества данных с автоматической детекцией деградации; Понимание стоимости LLM-вызовов при масштабировании AI-продукта; Проактивность в вопросах надёжности: способность предвидеть сбои до их возникновения; Написание кода, который через полгода сможет понять другой разработчик без участия автора. Что мы предлагаем: Пятидневную рабочую неделю, восьмичасовой рабочий день; Оформление по ТК РФ с первого дня и все социальные гарантии; Белую заработную плату и зарплатный проект Сбера, благодаря которому тебе будет доступна льготная ипотека (или рефинансирование существующей) для тех, кто с нами полгода и дольше, а также бесплатная подписка Прайм+, доступы к онлайн-кинотеатру, аудио-сервисам, аптеке и другим; ДМС со стоматологией после трёх месяцев работы. Ещё в полис входят онлайн-консультации врачей, страховка для путешественников и другие услуги; Для работы предоставляем нужную технику; Условия для профессионального развития и карьерного роста; Комфортные офисы в городах присутствия — с тихой зоной для работы и переговорными для совещаний и мозговых штурмов; Бонусы для сотрудников: корпоративные скидки у партнёров, конкурсы и квизы с призами, подарки для детей и многое другое.