Python/Prompt AutoQA

Описание

Digital Chief — IT-хаб новой ecom-платформы от Альфа-Банка, где мы объединяем экспертизу по построению процессов и технологий вокруг нового продукта на рынке. Мы строим независимый e-com — единый мультиканальный сервис Альфа-Селлер. Он объединит инструменты для работы на маркетплейсах , полный спектр решений для создания собственного интернет – магазина и управление кросс - канальными продажами в одном пространстве. Наша ключевая задача — помочь селлерам снизить зависимость от отдельных площадок и выстроить устойчивую стратегию развития бизнеса. Мы уже запустили e-com в Альфа-Банке и нашими продуктами воспользовались более 4000 селлеров. Чем предстоит заниматься: Строить и развивать автоматизацию продуктов: API-тесты, проверки бизнес-логики, ключевые пользовательские сценарии; создавать и поддерживать инфраструктуру для AI-сценариев: наборы тестовых кейсов, автоматические метрики качества, LLM-as-a-judge, сравнение версий промптов и моделей; прогонять регрессии при каждом изменении промпта, модели или контекста и не допускать незаметной деградации качества ответов; формировать тестовые наборы из реальных данных и логов, включая крайние, конфликтные и редкие случаи, на которых решения ломаются чаще всего; проверять устойчивость AI-сценариев к некорректным и злонамеренным вводам: попытки обойти инструкции, извлечь системный промпт, спровоцировать некорректный ответ; контролировать корректность финансово значимой логики - комиссии, удержания, расчёты по отчётам маркетплейсов - там, где ошибка означает прямые потери; встраивать тесты в CI/CD: автоматический запуск, понятные отчёты, блокировка выката при падении критичных проверок; настраивать тестовые данные и окружения, включая моки нестабильных внешних API маркетплейсов; анализировать инциденты и дефекты, находить первопричины и закрывать их новыми проверками, чтобы одна и та же ошибка не повторялась; формировать понятную картину качества для команды и руководства: какие сценарии покрыты, где риски, что мешает выкатывать быстрее; участвовать в разработке AI-решений вместе с командой и владельцами процессов - подтверждать готовность к запуску на реальных пользователях. Что мы ищем в кандидате: От 2 лет в автоматизации на Python с реально работающим тестированием на продакшене сервисов, а не набором разрозненных скриптов; уверенное владение Python, pytest и его экосистемой: фикстуры, параметризация, моки, организация растущего тестового проекта; опыт написания и тестирования REST API и сервисов с внешними интеграциями, включая нестабильные и ограниченные по лимитам; практический опыт работы с LLM: промпт-инжиниринг, работа с API провайдеров, понимание недетерминированности и типовых режимов отказа моделей; понимание того, как измерять качество генеративных решений: построение тестовых наборов, метрики, воспроизводимое сравнение версий; уверенный SQL для подготовки и проверки данных, самостоятельный разбор логов и выгрузок; docker, Git, CI/CD и опыт встраивания тестов в пайплайн; опыт e2e-тестирования веб-интерфейсов (Playwright или Selenium) будет преимуществом; опыт нагрузочного тестирования и проверки отказоустойчивости - будет преимуществом. Что мы предлагаем: Официальное трудоустройство по ТК РФ в аккредитованную IT компанию; заботу о твоем здоровье: программа ДМС, куда входит стоматология и обслуживание в лучших клиниках города, скидки на абонементы в фитнес-клубы, неформальные спортивные сообщества. Также есть фитнес-зал в офисе; доступ к сервису "Понимаю": консультации с психологами, юристами, ЗОЖ-экспертами и специалистами по финансам; доступ к сервису Best Benefits: скидки на услуги туристических агентств, продукты питания, в рестораны и бары, в магазины и салоны красоты; гибридный формат работы (2-3 дня из офиса): наш современный офис находится в банковском кластере в 3-х минутах ходьбы от метро Технопарк. Рядом большой выбор кафе и ресторанов, где ты сможешь разнообразно пообедать с коллегами, сменить обстановку и перезагрузиться.