ML-разработчик в GenAI
Описание
Локация: Москва. Формат работы: офисный или комбинированный.
Компания
VK развивает решения на базе LLM-агентов для поддержки пользователей и внутренних бизнес-процессов.
Что делать
Разрабатывать и развивать LLM-агентов: сценарии, инструменты, оркестрацию, память, маршрутизацию, обработку ошибок и fallback-логику.
Проектировать и внедрять RAG-системы с индексацией, эмбеддингами, ретриверами, ранжированием и чанкингом.
Интегрировать агентные решения в промышленные сервисы через API, Kafka, Redis и другие компоненты инфраструктуры.
Настраивать наблюдаемость и контроль качества с помощью логирования, трейсинга, Langfuse, дашбордов и алертов.
Проводить офлайн- и онлайн-оценку, строить датасеты, выполнять A/B- и квазиэксперименты.
Развивать пайплайны данных и экспериментов, писать тестируемый код, участвовать в ревью и архитектурных решениях.
Требования
Уверенное владение Python: проектирование модулей, типизация, тестирование и работа с API и сервисами.
Практический опыт работы с LLM и agentic-подходами: промптинг, tool calling, цепочки, графы, управление контекстом и обработка ограничений моделей.
Опыт построения или внедрения RAG, включая retrieval, embeddings, индексацию, ранжирование и оценку качества поиска.
Понимание метрик precision, recall, F1 и macro-F1, а также опыт построения датасетов и интерпретации результатов.
Опыт разработки и эксплуатации сервисов: REST/gRPC, асинхронность, логирование, мониторинг и Git.
Понимание очередей, кэшей и хранилищ; опыт работы с Kafka, Redis или аналогами.
Хорошо, если есть
Опыт с LangGraph, LangChain и Langfuse.
Опыт работы с YTsaurus или другими распределёнными системами хранения и обработки данных.
Знание rerank, hybrid search, query rewriting и guardrails/safety.
Опыт A/B-тестов, продуктовых метрик и причинно-следственного анализа.
Опыт контейнеризации и деплоя с Docker, Kubernetes и CI/CD.
Культура и преимущества
Полный рабочий день.
Возможность работать в офисном или комбинированном формате.
Работа над решениями полного цикла: от прототипирования и экспериментов до промышленных сервисов.