Python-разработчик (AI Evaluation)

Описание

Ищем Python-разработчика в команду AI. Предстоит разрабатывать систему оценки качества AI-агентов: оценка агентских траекторий и достижения целей, управление и создание (в том числе автоматическое\автоматизированное) тестовых сценариев, автоматизировать сбор и обработку обратной связи, помогать делать агентные системы надежнее. Задачи: Разрабатывать систему оценки качества AI-агентов Создавать тестовые сценарии и методики проверки Разрабатывать метрики качества Автоматизировать тестирование агентных систем Анализировать результаты и улучшать процессы контроля качества Стек технологий: Python, Docker, агентные среды для разработки (Opencode и др.) Что важно: Опыт коммерческой разработки на Python от 3х лет Опыт работы с LLM или AI-агентами Понимание принципов оценки качества AI-систем Аналитический склад мышления Будет плюсом: Опыт построения AI Evaluation / LLM Evaluation Знание CI/CD и автоматизации тестирования Условия:Гибридный формат: 3 дня в офисе, остальные — удаленно.Офис рядом с м. Тимирязевская (удобно добираться, есть парковка).В офисе столовая, тренажерный зал.Сделаем ДМС после испытательного срока.