Аналитик ИИ продуктов

Описание

Чем предстоит заниматься: Разрабатывать методику оценки качества AI-решений: определять ключевые метрики (precision/recall, доля авто-решений, доля ложных срабатываний), устанавливать целевые пороги и согласовывать их с заказчиком и руководителем AI-продуктов. Формировать бенчмарк-наборы данных, запускать регрессионное тестирование между версиями пайплайна и фиксировать показатели деградации. Обеспечивать наличие и высокое качество эталонных датасетов, организовывать процесс разметки совместно со стейкхолдерами. Развивать эталонные выборки через цикл активного обучения (active learning). Анализировать типичные ошибки модели, готовить диагностические отчёты и передавать инсайты команде разработки для устранения проблем. Переводить технические метрики в бизнес-эффекты, готовить данные и материалы для защиты направления и обоснования инвестиций. Вместе с руководителем AI-продуктов формировать измеримые критерии готовности решения к внедрению в продакшен. Мы ожидаем: Коммерческий опыт в аналитике данных, ML-аналитике или data science от 3 лет. Практический опыт определения и валидации метрик качества в задачах, где готовых метрик изначально не было. Навыки самостоятельной работы с датасетами: сбор, очистка, разметка, анализ и подготовка данных. Уверенное владение SQL и Python на рабочем уровне для повседневных аналитических задач. Опыт построения бенчмарков и расчёта метрик качества и ранжирования. Понимание архитектуры LLM и RAG-пайплайнов, умение выявлять факторы, влияющие на итоговое качество ответов. Навыки презентации результатов и объяснения технических метрик нетехническим стейкхолдерам. Будет плюсом: опыт решения задач информационного поиска, классификации, маппинга или матчинга данных. Условия: Возможность выбора формата работы (гибрид/удаленка);