AQA инженер (Поток, AI)
Описание
Локация: Москва; гибридный формат работы из офиса работодателя.КомпанияСБЕР развивает AI-решение для анализа реализации стратегии и сценарного моделирования комплексных экономико-социальных систем.Что делатьПроводить функциональное тестирование backend-сервисов, UI и API, готовить тестовую документацию.Готовить тестовые данные, участвовать в ПСИ, релизах и регрессионном тестировании.Анализировать обращения пользователей, данные в БД и логи сервисов.Строить и поддерживать eval-наборы (golden set), контролировать регрессии при изменении моделей, промптов и версий приложения.Проводить автоматизированную оценку качества генерации, тестировать RAG и агентные сценарии.Участвовать в мониторинге качества в продакшене и настройке обратной связи от пользователей.ТребованияОт 1 года опыта работы AQA на Python.Понимание HTTP, кодов ответов и авторизации.Опыт тестирования REST/JSON API, интеграций, бизнес-логики и микросервисного взаимодействия.Опыт работы с Postman, Insomnia или Swagger.Знание JSON, YAML, XML и HTML.Знание SQL и умение писать SQL-запросы средней сложности.Базовый опыт работы с Prometheus, Grafana, логами, CI/CD и QA в пайплайнах доставки.Понимание принципов работы и ограничений LLM, методов оценки качества генеративных моделей, опыт построения eval-наборов и оценки качества LLM.Хорошо, если естьПонимание RAG и методов оценки качества retrieval.Опыт тестирования агентных систем, многошаговых агентов и tool calling.Опыт автоматизации оценки на Python с использованием pytest.Понимание метрик качества AI-продукта и мониторинга качества в продакшене.Опыт работы с Kafka и векторными или графовыми БД, например Qdrant.Культура и преимуществаПолная занятость и гибридный формат работы из офиса в Москве.Годовой бонус и ежегодный пересмотр условий.ДМС с первого дня, стоматология и льготное страхование для семьи.Корпоративный университет, образовательная платформа и участие в IT-конференциях.Офис на Ленинском проспекте с зонами отдыха и спортзалом, льготная ипотека, корпоративная пенсионная программа и другие корпоративные льготы.