Data Engineer

Описание

Обязанности: проектирование и реализация парсеров контента; загрузка и сохранение медиаконтента; отчистка и предобработка данных; настройка мониторинга (логирование, дашборты); настройка алертов при падении источников или аномалиях в потоке данных; менторство 2 junior-разработчиков (помощь с парсерами, обработкой медиа, тестирование); фиксация решений и форматов данных в базе знаний. Требования: языки: Python (продвинутый: asyncio, aiohttp, httpx, многопоточность); сбор данных: опыт работы с Telegram API (Telethon/Pyrogram), RSS-парсерами, веб-скрапингом (Playwright/Selenium/BeautifulSoup), API новостных сервисов; очереди: RabbitMQ / Kafka / Redis Pub/Sub; LLM и промпт-инжиниринг: опыт вызова LLM API для задач очистки текста, приведения к единому формату, суммаризации; работа с медиа: загрузка изображений, видео, аудио из различных источников; базовое понимание форматов и конвертации (ffmpeg); дедупликация: алгоритмы поиска дубликатов (SimHash, MinHash, векторное сходство текстов и изображений); базы данных: PostgreSQL, проектирование таблиц для хранения сырых и унифицированных данных; мониторинг ETL: опыт настройки метрик сбора данных (количество обработанных сообщений, лаг, ошибки), алертинг при сбоях; логирование: опыт построения структурированного логирования (JSON-логи, корреляционные ID) для отслеживания пути новости через систему. Условия: конкурентный уровень з/п (обсуждается индивидуально); дневная рабочая неделя 5/2 (ненормированная); работа в крупной и стабильной компании – в структуре самой большой ОЭЗ в Европе; релокация в г. Елабуга, Республика Татарстан; транспорт до работы из г. Елабуга, г. Набережные Челны, г. Нижнекамск; полис добровольного медицинского страхования; предоставление платного жилья для иногородних; гарантия профессионального роста; амбициозная, проектно-ориентированная команда; командные и спортивные игры, реализация нестандартных задач; карьерный рост при наличии и обретении в процессе работы необходимых компетенций.