Senior Data Engineer (LLM / RAG)

Описание

Компания Centicore находится в поисках Senior Data Engineer (LLM / RAG).

Мы занимаемся продуктовой и платформенной разработкой под ключ для крупных заказчиков. В рамках проекта команда строит промышленную data-платформу для работы с большими языковыми моделями (LLM) и Retrieval-Augmented Generation (RAG).

Формат работы: Удаленка по РФ

Требования:

Отличное знание Python: структуры данных, итераторы, декораторы,
асинхронное и параллельное программирование, OOP и FP
Уверенное владение SQL: сложные запросы, CTE, оконные функции
Опыт работы с vector DB: OpenSearch, Qdrant
Опыт построения batch и streaming-сервисов для расчёта embeddings и загрузки их в векторные хранилища
Понимание принципов RAG и обогащения LLM контекстными данными
Опыт разработки промышленных ETL-сервисов на Python
Опыт оркестрации пайплайнов: Apache Airflow, Argo Workflows
Хорошее знание Apache Spark / PySpark (производительность, отладка, Spark History Server)
Опыт асинхронного взаимодействия с веб-сервисами по REST API (aiohttp, httpx)
Опыт работы с PostgreSQL, Oracle
Опыт работы с Big Data-хранилищами: Hadoop/HDFS, S3, Hive, Iceberg
Опыт работы в JupyterLab / JupyterHub

Будет плюсом:

Опыт потоковой обработки данных
Опыт работы в AI / ML / LLM-проектах
Понимание требований к данным для обучения и эксплуатации ML-моделей
Опыт построения отказоустойчивых data-сервисов в enterprise-среде

Обязанности:

Разработка сервисов пакетной и потоковой обработки данных для вычисления векторных представлений (embeddings)
Загрузка и сопровождение данных в векторных хранилищах для использования в RAG-сценариях
Разработка и поддержка ETL-пайплайнов под управлением Airflow / Argo
Оптимизация SQL-запросов и Spark-приложений
Взаимодействие с командами Data Science, ML/LLM и инфраструктуры
Участие в развитии data-платформы для LLM-решений