QA Engineer (Manual + LLM + базовая автоматизация)

Описание

О нас Мы создаём продукты на базе голосовых технологий и генеративного ИИ, которые помогают бизнесу быстро внедрять AI в реальные процессы. В нашей команде более 50 специалистов. Нашими решениями пользуются Билайн, Купер, Яндекс, Авито, Самокат, Газпром, Ренессанс, РСХБ и ещё более 50 компаний. О роли Мы ищем QA-инженера с сильной базой ручного тестирования, практическим опытом работы с LLM и начальными навыками автоматизации на Python. Это не позиция для начинающего тестировщика и не исключительно ручная роль. Вам предстоит самостоятельно разбираться в работе распределённой системы, проверять web- и API-функциональность, анализировать логи и постепенно автоматизировать повторяемые проверки. Особенность наших продуктов — наличие LLM-компонентов, поведение которых может быть вероятностным и зависеть от промпта, контекста, модели и параметров генерации. Поэтому нам нужен специалист, который умеет тестировать не только детерминированные сценарии, но и качество AI-функциональности. Задачи Проводить e2e-приёмку новых функций в dev- и тестовых средах. Выполнять предрелизное регрессионное тестирование. Тестировать REST API и интеграции между микросервисами с помощью Postman и аналогичных инструментов. Проектировать тестовые сценарии для LLM-функциональности: позитивные, негативные, пограничные и adversarial-сценарии. Проверять устойчивость LLM-компонентов к изменению формулировок, контекста и входных данных. Формировать тестовые наборы и критерии оценки качества недетерминированных ответов. Описывать тест-кейсы в структурированном формате, пригодном для выполнения человеком и последующей агентизации с помощью LLM. Локализовывать дефекты: анализировать запросы и ответы API, логи сервисов и взаимосвязь событий. Работать с Grafana Loki: строить запросы, находить релевантные записи и прикладывать фактуру к дефектам. Описывать дефекты в Яндекс Трекере с достаточными для воспроизведения шагами, ожидаемым и фактическим результатом. Воспроизводить проблемы, обнаруженные пользователями, и собирать недостающие технические данные. Писать и поддерживать несложные автотесты на Python — прежде всего для API и регрессионных сценариев. Участвовать в определении тестовой стратегии вместе с product owner и разработчиками. Обязательные требования Коммерческий опыт тестирования web-продуктов, API и интеграций. Уверенное понимание техник тест-дизайна, клиент-серверного взаимодействия, HTTP и REST API. Умение самостоятельно локализовать проблему, а не только зафиксировать внешнее проявление ошибки. Опыт работы с логами и системами наблюдаемости. Желателен практический опыт с Grafana Loki и LogQL. Практический опыт использования LLM для технических задач: анализа данных и логов, генерации и проверки гипотез, подготовки тестов, работы с кодом и документацией. Понимание особенностей LLM: недетерминированность, галлюцинации, контекст, системные и пользовательские промпты, structured output. Способность составить воспроизводимый сценарий проверки LLM-функциональности и определить измеримые критерии успешности. Базовые навыки Python: умение прочитать существующий код, написать небольшой скрипт или автотест. Начальный практический опыт с pytest и библиотеками для HTTP-запросов (requests или httpx). Базовое владение Git. Умение формулировать мысли технически точно и без необходимости многократных уточнений. Будет преимуществом Опыт тестирования продуктов с LLM, AI-агентами, RAG или голосовыми технологиями. Опыт создания eval-наборов и автоматизированной оценки качества LLM-ответов. Знакомство с tool calling, JSON Schema и проверкой structured output. Опыт автоматизации UI с Playwright или Selenium. Знание SQL, Linux, Docker и принципов работы CI/CD. Опыт тестирования микросервисной и событийной архитектуры. Умение использовать AI-инструменты для ускорения автоматизации, сохраняя контроль над качеством полученного кода. Эта позиция, скорее всего, не подойдёт, если вы Работали только по готовым тест-кейсам и не проектировали проверки самостоятельно. Тестировали только пользовательский интерфейс и не работали с API и логами. Не готовы читать техническую документацию и разбираться во взаимодействии сервисов. Использовали LLM только для бытовых вопросов и не можете привести примеры решения с их помощью технических задач. Не готовы осваивать и применять автоматизацию на Python. Условия Оформление по ТК РФ. Удалённый формат работы. Рабочий график — с 9:00 до 18:00. Вознаграждение: фиксированный оклад и квартальные премии. Работа в аккредитованной ИТ-компании. Обучение и поддержка команды. Возможность развиваться на пересечении QA, автоматизации и генеративного ИИ. Что указать в отклике Чтобы мы могли предметно оценить ваш опыт, добавьте к отклику краткие ответы на три вопроса: Какую техническую задачу вы решали с помощью LLM? Опишите задачу, подход и то, как проверяли корректность результата. Как бы вы тестировали LLM-функцию, которая на одинаковый запрос может давать разные ответы? Приведите пример написанного вами автотеста или небольшого Python-скрипта. Можно приложить обезличенный фрагмент кода или ссылку на репозиторий. Отклики без ответов на эти вопросы мы рассматриваем во вторую очередь.