Дата-инженер в ОК

Описание

Команда DWH Одноклассников — 30 PiB данных и 1000+ ежедневных расчётов. Строим витрины и отчёты, готовим данные для A/B-тестов, отдаём данные другим бизнес-юнитам и переводим расчёты на новые технологии. Стек: YTsaurus, ClickHouse, Java, Spark, Airflow, Superset, Grafana. В команду, занимающуюся анализом и хранением данных, ищем человека на роль Data Engineer. Основной задачей будет построение и оптимизация ETL-процессов на базе YTsaurus стека технологий. Опыт с конкретными технологиями не критичен, важно понимание основных принципов работы с большими данными, алгоритмов их обработки и умение работать без чётких ТЗ, плотно взаимодействуя с заказчиком. Задачи Построение новых и рефакторинг старых ETL-процессов Ad hoc задачи по выгрузкам/подготовке данных, их автоматизация при необходимости Участие в доработках платформы и фреймворка расчётов Разработка отчётов в SuperSet Автоматизация процессов с использованием LLM Требования Опыт работы с SQL и большими объёмами данных Опыт построения сложных ETL-процессов Знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределённых систем Желателен опыт работы с ClickHouse, Spark, Hadoop-стеком, Java, Airflow Будет плюсом Опыт работы с YTsaurus, YQL, LLM