Предстоящие задачи

- Наладить потоковую или batch-поставку данных, организовать оркестрацию задач (например, Airflow).

- Настраивать автоматический сбор данных из разных источников (базы данных, API, файлы, очереди сообщений).

- Развивать и оптимизировать текущую архитектуру хранения: организовывать долгосрочное хранение данных (Data Lake / Parquet), обеспечивать интеграцию между источниками и аналитическими БД.

- Поднимать и поддерживать тестовые стенды для отработки сценариев сбора данных (Docker Compose, генераторы тестовых данных).

- Разработка бенчмарков для оценки функциональных и нефункциональных характеристик решений.

Ожидания от квалификации

- Опыт разработки на Python.

- Уверенное владение SQL.

- Уверенное владение командной строкой Linux.

- Опыт работы с источниками данных: реляционные БД (PostgreSQL), аналитические БД (ClickHouse) и файловые системы/объектные хранилища (FTP/NFS/S3).

- Навыки контейнеризации (Docker/LXD) и умение поднимать локальные стенды для тестирования своих пайплайнов.

- Опыт написания ETL-скриптов на Python (включая библиотеки pandas, polars или PyArrow) для трансформации и перемещения данных между источниками.

- Умение писать простые бенчмарки (замерять время, память, CPU).

Преимущество

- Опыт работы с Kubernetes (Helm, развертывание стендов).

- Понимание принципов работы с большими данными (колоночное хранение, партиционирование, Parquet).

- Навыки оптимизации запросов и пайплайнов (профилирование, шардирование, партиционирование).

- Опыт работы с Apache Spark (PySpark) и озерными форматами (Delta/Iceberg).

Условия работы

- Полное соблюдение трудового законодательства РФ, оплачиваемые отпуска и больничные листы, "белая" заработная плата

- Начало работы с 7.00 до 11.00, продолжительность рабочего дня 8 часов + 1 час на обед;

- Оплачиваемое работодателем питание в офисе или кафе

- ДМС (добровольное медицинское страхование) - различные варианты программ, страховка от несчастных случаев

- Корпоративные мероприятия и спортивные инициативы (футбол, волейбол)

- Компенсация на занятия спортом

- Возможность получения профессиональных сертификатов и прохождения курсов повышения квалификации за счёт компании