ML Lead (LLM/RAG)

Описание

Обязанности

• Ведение end-to-end разработки ML части LLM-ассистента: архитектура, roadmap, координация ML/Backend/разметки;
• Построение контура качества:
  *разметка эталонных ответов (guidelines, контроль согласованности),
  *offline-eval датасеты,
  *LLM-as-a-Judge (рубрики/шкалы, калибровка на human-labels),
  *онлайн-метрики/A-B тесты.
• Внедрение Langfuse: трассировка, версии промптов, сбор фидбэка, дашборды качества/стоимости/латентности;
• Реализация и улучшение RAG по Points of Interest: embeddings, векторное хранилище, hybrid search/rerank, обновление данных, grounded-ответы;
• Настройка безопасности и guardrails (антигаллюцинации, работа с персональными/гео-данными).

Требования

• Опыт лидирования ML/LLM-проектов и вывода в прод;
• Практический опыт с LLM-продуктами: prompt/tool calling, multi-turn, guardrails;
• Опыт построения оценки качества LLM (golden set, разметка, LLM-as-a-judge, метрики);
• Опыт с RAG и retrieval-метриками (Recall@k/MRR/nDCG), векторными БД (pgvector/Qdrant/Milvus/Weaviate и т.п.);
• Python, понимание backend-интеграций (API, очереди, CI/CD);
• Плюс: Langfuse/OpenTelemetry, fine-tuning (SFT/DPO), опыт в geo сценариях.

Условия

• Стильный офис около м. Кутузовская;
• Возможность работать как в офисе, так и из дома;
• Интересные проекты с известными брендами;
• Возможность развиваться благодаря обучению;
• Ну и конечно же конкурентная заработная плата и премия;
• А также расширенный социальный пакет: ДМС, НС, ВЗР, корпоративные скидки и активную спортивную жизнь.