Senior ML Engineer (GenAI Data Governanace)
Описание
Наша NLP команда занимается задачами, связанными с извлечением информации из документов, диалогов, текстов различной природы. Главной задачей для нас является создание готовых продуктов с LLM под капотом, а также создание self-service для бизнеса, где каждый может создать нужный ему сценарий (скилл) в режиме No-code. Обязанности проектировать и калибровать judge-пайплайны: рубрики, эталонная разметка, согласованность с людьми, борьба с позиционным bias и bias по длине строить RAG-поиск для дублей и противоречий: чанкинг, гибридный поиск, реранкинг, проверка противоречий на уровне утверждений делать регресс-тесты знаний: golden set, пороги, прогон на каждое изменение промпта или модели ловить галлюцинации: извлечение утверждений, привязка к источнику, верификация дообучать и дистиллировать judge-модели, чтобы снизить цену и задержку без потери качества собирать мультиагентные пайплайны с guardrails и контролем стоимости прогона. Требования высшее образование: математика, физика, информатика или профильный data science 5+ лет в ML, из них не меньше полутора лет с LLM в проде RAG в продакшене, а не демо: с метриками качества, нагрузкой и историей улучшений Fine-tuning: SFT, LoRA/QLoRA, желательно DPO опыт построения и калибровки LLM-as-judge Guardrails и детекция галлюцинаций мультиагентные пайплайны: оркестрация, обработка отказов, ограничение стоимости Python: пишете код, который уходит в прод английский для чтения статей и документации. Будет плюсом опыт python-бэкендера: FastAPI, асинхронность, очереди, PostgreSQL, векторные хранилища графы знаний и онтологии NLI, извлечение фактов, работа с разметчиками публикации, доклады, open source. Условия гибридный формат работы годовая премия корпоративный спортзал и зоны отдыха более 400 образовательных программ СберУниверситета для профессионального и карьерного развития регулярные митапы и развитое DS-community расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ подписка Прайм с возможностью совместного использования на трёх близких вознаграждение за рекомендацию друзей в команду Сбер.