QA Engineer (AI/ML)

Описание

Локация: Москва (гибрид или офис)КомпанияЛидирующий производитель программно-аппаратных комплексов и разработчик технологий для высоконагруженных ИТ-инфраструктур.Что делатьТестировать AI/ML-компоненты и сервисы.Работать с RAG-пайплайнами и оценивать качество retrieval (Hit Rate, MRR, NDCG@K).Анализировать релевантность ответов и groundedness LLM.Тестировать агентские системы и работать с MCP.Проверять качество работы REST API и SQL-запросов.ТребованияОпыт тестирования AI/ML-сервисов.Владение Python, SQL и REST API.Опыт работы с фреймворками LangChain, LlamaIndex, RAGAS или Langfuse.Знание метрик оценки LLM.Локация: МоскваХорошо, если естьОпыт работы с Postman, Selenium, PyTest.Навыки тестирования ИБ: prompt injection, jailbreak, проверка утечек PII.Опыт оценки экономической эффективности (token usage, cost per request).Опыт интеграционного тестирования с AD, MS SharePoint, Confluence.Культура и преимуществаСовременный офис у м. Алексеевская с фитнес-центром, столовой и медицинским кабинетом.Стабильный «белый» доход и ДМС для сотрудника и членов семьи.Работа в аккредитованной ИТ-компании (отсрочка от мобилизации).Профессиональное развитие через внутренний проект «Лекторий Rubytech».Активные спортивные комьюнити (футбол, волейбол, баскетбол, шахматы).