Дата-инженер (Realtime Streaming)

Описание

Чем предстоит заниматься:

• Проектирование и внедрение схем данных в ClickHouse, оптимизация структуры таблиц и распределения данных
• Настройка и поддержка кластеров ClickHouse (репликация, шардирование, балансировка нагрузки)
• Мониторинг производительности: сбор метрик, анализ запросов, профайлинг, устранение узких мест
• Оптимизация запросов: написание SQL запросов, работа с материализованными представлениями, индексацией, сжатием данных
• Обеспечение отказоустойчивости: резервное копирование (clickhouse backup, S3, локальные хранилища), восстановление после сбоев, тестирование DR процедур
• Управление доступом и безопасностью: роли, права, TLS шифрование, аудит действий пользователей
• Автоматизация (Bash, Python) развёртывания, обновления и администрирования кластеров; интеграция с CI/CD. Сотрудничество с разработчиками, DevOps и аналитиками для согласования требований к данным и обеспечения стабильной работы сервисов
• Документирование процессов и best practice эксплуатации ClickHouse

Наши пожелания к кандидатам:

• Высшее техническое образование (информатика, прикладная математика, ИТ менеджмент) или релевантный практический опыт
• Опыт работы: 2 4 года в администрировании ClickHouse или аналогичных колонковых СУБД (ClickHouse, Apache Druid, Amazon Redshift)
• Глубокие знания ClickHouse: движки таблиц, репликация, шардирование, MergeTree семейство
• Оптимизация SQL запросов (SELECT, GROUP BY, ARRAY, JOIN, sub queries)
• Linux/Unix, работа с командной строкой, настройка сетевых параметров.
• Скриптинг: Bash, Python
• Резервное копирование и восстановление (clickhouse backup, rsync, S3)
• Мониторинг: Grafana, Prometheus, ClickHouse native метрики, Zabbix
• Управление доступом: роли, гранты, TLS/SSL, LDAP/Kerberos
• Понимание распределённых систем, CAP теорем, согласованности данных
• Инструменты: Docker/Compose (тестовые окружения); Ansible, Terraform плюс; CI/CD (GitLab CI, Jenkins плюс)
• Аналитические способности: быстро находить причины деградации производительности, предлагать и реализовывать улучшения
• Коммуникация: ясное изложение технических решений, ведение документации, работа в кросс функциональных командах

Что мы предлагаем:

• Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI
• Гибкий график работы: вы сможете планировать время так, как удобно вам и вашей команде
• Удалённый формат работы, а также уютный ИТ-хаб в Москве и сезонный коворкинг в Сочи
• Сложные и интересные задачи, современный стек технологий
• Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10-ти дней больничного
• Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни
• Оплату посещения профильных конференций и курсов, помогаем с подготовкой к публичным выступлениям и написанием статей на Хабр
• Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий
• Предложения от Банка только для сотрудников: собственные спортзалы (Москва, Санкт-Петербург, Екатеринбург), а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины