AI Agent Training Engineer / Инженер по обучению ИИ-агентов (Middle/Senior)
Описание
О продукте и стеке Мы создаём B2B-платформу автономных ИИ-агентов для рынка США. Агенты ведут многошаговые рабочие процессы с несколькими участниками — со сроками, документами и перепиской — и выполняют действия во внешних системах: электронная почта, CRM, календари, документы. Ключевые действия проходят через подтверждение человеком. Стек платформы: Python, FastAPI, PostgreSQL, Redis, MCP. Используем managed-модели Anthropic, OpenAI и Google через API. Сразу о главном: мы не обучаем веса моделей. Fine-tuning и post-training не входят в роль — опыт с ними приветствуется, но не является ядром. Ядро роли — превращать описание работы и опыт предметных экспертов в систему знаний, навыков, инструкций и критериев решений, по которой агент устойчиво выполняет профессиональную роль на готовой агентской архитектуре. Уровень Middle/Senior в разработке нужен, чтобы понимать устройство системы, работать с её кодом и отличать пробел в обучении от ограничения модели, инструментов или архитектуры. Граница со смежной ролью: инфраструктура оценки — оценочный harness, evals-платформа, release gates — зона Reliability / Harness Engineer. Вы отвечаете за содержание: доменные знания, правила решений, обучающие и оценочные наборы — и работаете внутри готового оценочного harness. Что предстоит делать Формализовать профессиональную роль вместе с предметными экспертами: задачи, критерии решений, исключения, полномочия и условия эскалации.Настраивать агента в рамках готовой архитектуры: навыки, структура знаний, инструкции, примеры, правила использования инструментов.Формировать обучающий и оценочный набор из реальных кейсов, экспертных исправлений и спроектированных граничных сценариев.Анализировать трассы выполнения, классифицировать причины ошибок и последовательно корректировать обучающие материалы или конфигурацию агента.Определять критерии готовности роли, проводить evals и регрессионные проверки, версионировать изменения и доводить агента до устойчивого результата. Первые 90 дней Формализовать первую профессиональную роль вместе с предметным экспертом: задачи, критерии решений, исключения, условия эскалации.Собрать обучающий и оценочный набор из реальных кейсов и граничных сценариев; довести агента до устойчивого прохождения evals по этой роли.Задокументировать методику как переиспользуемый стандарт обучения ролей для платформы. Обязательные требования По каждому пункту на интервью спросим детали и артефакты. Python на уровне Middle/Senior: уверенно читаете и дорабатываете существующий код, работаете с API и данными. Production-опыт с LLM-приложениями или агентами: понимаете взаимодействие модели, контекста, памяти, знаний и инструментов внутри агентной системы. Лично и системно улучшали поведение агента на основе реальных задач, трасс выполнения и обратной связи экспертов — покажете, что именно меняли и как измеряли эффект. Анализ первопричин: отличаете пробел в обучении агента от проблемы данных, инструментов, модели или архитектурного ограничения. Проектирование evals на основе ground truth, работа с экспертной оценкой, регрессионное покрытие недетерминированного поведения. Умение извлекать неформализованный опыт эксперта и превращать его в точные правила, примеры и критерии решений. Английский B1 или выше. Будет преимуществом Опыт с собственными или нестандартными агентными архитектурами. Подготовка синтетических данных, автоматических graders или обучающих сред для агентов. Опыт fine-tuning или post-training моделей. Обучение агентов для сложных предметных областей, long-horizon-систем или многоагентных систем. Условия Полная занятость, удалённая работа. Синхронное окно команды: с 10:00–11:00 до 20:00–21:00 МСК. Возможность определять подходы к обучению и развитию поведения агентов на уровне всей платформы. Прямая связь между проведёнными экспериментами и качеством продукта; оценка по результату. Как откликнуться Вместо стандартного сопроводительного письма: Разберите один случай, когда вы обучали ИИ-агента конкретной задаче или роли: какую работу должен был выполнять агент, как формализовали знания и критерии, на каких примерах обучали, какие ошибки обнаружили и что изменили, как проверяли качество и какого результата достигли. Приложите верифицируемые артефакты: GitHub, работающие продукты, примеры инструментов для экспериментов и оценки. Ответьте на вопрос: возьмите профессиональную роль, которую хорошо знаете, и покажите на одном примере, как превратите неформализованное правило эксперта (вида «мы обычно так не делаем, если клиент нервничает») в проверяемый критерий решения и eval-сценарий. Опишите, что в этом проекте не получилось и почему. Отклики из общих формулировок без верифицируемых артефактов не рассматриваются.