QA Engineer / LLM Evaluation (AI)
Описание
Локация: Москва; работа на месте работодателя, также указан гибридный формат. Офис расположен рядом с м. Ленинский проспект.
Компания
СБЕР развивает команду AIFA, создающую AI-продукты с LLM-компонентами и финансовым агентом.
Что делать
Проводить функциональное, интеграционное, регрессионное и end-to-end тестирование AIFA.
Тестировать backend API, пользовательский интерфейс и взаимодействие микросервисов.
Автоматизировать API- и UI-тесты, а также проверять длительные и параллельные процессы, стриминг, повторные вызовы и восстановление после ошибок.
Создавать и поддерживать тестовые наборы для извлечения данных, Q&A, финансового анализа и моделирования.
Формировать бенчмарки и метрики качества LLM-компонентов, проверять воспроизводимость результатов и анализировать причины деградации качества.
Участвовать в разборе дефектов, контролировать исправления, формировать quality gates и организовывать валидацию результатов с финансовыми экспертами.
Требования
Опыт работы в QA от 2 лет; в описании вакансии указан диапазон общего опыта от 3 до 6 лет.
Понимание основных видов и методик тестирования, клиент-серверной и микросервисной архитектуры.
Опыт тестирования REST API, базовые знания Python и SQL.
Умение работать с логами, локализовывать источник ошибки и системно описывать дефекты.
Готовность развиваться в автоматизации тестирования AI-продуктов.
Хорошо, если есть
Опыт с pytest, CI/CD, Docker, нагрузочным тестированием или оценкой LLM.
Глубокая финансовая экспертиза не требуется: предметную область можно освоить с помощью команды.
Культура и преимущества
Ежегодный пересмотр зарплаты, квартальная и годовая премии.
Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
Более 400 образовательных программ СберУниверситета, программа адаптации и помощь руководителя на старте.
Корпоративный спортзал, зоны отдыха и подписка Прайм с возможностью совместного использования.
Льготный дисконт по ипотечному кредиту и вознаграждение за рекомендации кандидатов.