Data Engineer (RAG / AI Platform)

Описание

Мы строим DataPlatfrom и AI-инфраструктуру, в которой инженеры, аналитики и разработчики смогут использовать современные подходы Retrieval-Augmented Generation (RAG) без боли и ручных костылей.
Наша цель сделать RAG таким же привычным компонентом платформы, как SQL, Spark или CI/CD.
Для этого мы ищем Platform Data Engineer, который поможет сформировать и стандартизировать RAG-pipeline от загрузки данных и чанкирования до метрик качества и retrival-механизмов. Дополнительным вызовом будет создание агентов для целей Data Platform используя RAG.

Задачи:

• Проектировать и внедрять RAG-пайплайны уровня платформы: ingestion данных, чанкирование, эмбеддинги, retrival, оценка качества ответов.
• Исследовать SOTA-методы RAG (chunking, reranking, hybrid retrival, eval frameworks RAGAS, TruLens, Langfuse, etc.) и адаптировать их под инфраструктуру Data / Dev Platform.
• Создавать reusable компоненты (Python-библиотеки, API, Helm-чарты, шаблоны пайплайнов) для команд-потребителей.
• Встраивать RAG в экосистему платформы: от self-service интерфейсов до observability и developer experience.
• Разрабатывать метрики качества и мониторинг RAG-решений: faithfulness, groundedness, latency, coverage.
• Агрегировать и распространять практики подготовки данных для использования в RAG.
• Участвовать в воркшопах и кодлабах, обучать команды применению AI в продакшене.

Требования:

• Уверенные знания Python, SQL.
• Понимание архитектуры RAG-систем.
• Опыт работы с LLM и embeddings OpenAI, Gemini, Mistral.
• Опыт работы с Docker, Git, Linux, Bash, знание CI/CD.
• Понимание общих принципов устройства СУБД (реляционных + NoSQL).
• Знание подходов по организации ETL-процессов, инструментов построения ETL.

Будет плюсом:

• Практический опыт с векторными БД (Milvus, Qdrant, FAISS, Chroma).
• Понимание ML evaluation и метрик RAG-решений.
• Опыт с LangChain / LlamaIndex .
• Опыт построения retrival-и-eval pipelines в проде.
• Знание Trino / ClickHouse / Greenplum / Spark как источников данных.
• Понимание принципов System Design / архитектуры ML-платформ.