Data Engineer (RecSys)
Описание
Data Engineer (команда RecSys)КомпанияУсловияТребованияИнженер по данным Apache Spark Apache Airflow ClickHouse SQL Python Москва Ищем Data Engineer в направление рекомендаций, который будет совместно с нами строить пайплайны и развивать платформу данных. В нашей команде коллеги быстро растут и получают опыт в разных задачах — от классического ETL для аналитических витрин до потоковой обработки в реальном времени для ML. В Okko хорошо развиты data-driven процессы: большое количество A/B экспериментов, источников и витрин делает работу Data Engineer особенно важной. Здесь ваш вклад реально виден: коллеги ценят результаты вашей работы, а ваши решения напрямую влияют на качество аналитики и эффективность ML-моделей. В команде рекомендаций сейчас два Data Engineer, и мы ищем коллег, чтобы поддерживать текущий ритм разработки, а также развивать потоковую обработку данных и функциональность feature store. Что предстоит делать:поддержка и разработка batch ETL-пайплайнов на Airflow для аналитических витрин и ML;потоковая обработка данных с использованием Spark Streaming , Kafka , MongoDB ;развитие feature store как инструмента, наполнение его фичами и интеграция данных для ML-моделей;документирование , оптимизация и мониторинг пайплайнов и потоков данных.Наш стек:ClickHouseAirflowSpark (Spark Streaming, PySpark, Spark SQL)KafkaMongoDBHiveS3DataHubТребования:уверенное знание Python и SQL;опыт построения ETL-процессов с использованием перечисленного стека;будет плюсом: опыт работы с CI/CD, Docker, Grafana, базовые знания в области ML (обучение и инференс моделей, работа с feature store).Условия:Необходимое оборудование и софт для работы.Официальное трудоустройство;ДМС со стоматологией, офисный врач, доплата больничного листа, корпоративные скидки;Льготные условия ипотеки в рамках зарплатного проекта;Бесплатная подписка на сервисы партнеров:Корпоративный спорт;Насыщенная корпоративная жизнь;Электронная библиотека издательства МИФ, в которую входят почти 2 тыс. единиц контента по бизнесу, саморазвитию, здоровому образу жизни и другим актуальным темам.