Мы строим хранилище данных VK Рекламы: от сырых логов до отчётов, на которые опираются бизнес, аналитика и рекламные продукты. Сейчас в процессе большая миграция AdTech DWH с legacy-кластера ClickHouse TRG-1 на новый стек: YTsaurus (jupiter) для хранения и вычислений и управляемый ClickHouse (MDB adh-analytics) для аналитики, с интеграцией в OneDWH (проект ADA).

Задачи

- Разработка и сопровождение ETL/ELT-пайплайнов на YQL (YTsaurus) и ClickHouse

- Участие в миграции таблиц и отчётности TRG-1 на YT + MDB

- Поддержка DAG'ов в Airflow

- DQ-проверки, мониторинг свежести данных, разбор инцидентов и аномалий

- Поддержка отчётности в Horizon BI (Superset/DataLens), взаимодействие с аналитиками

- Дежурства в онколле с наставничеством на старте

Требования

- Уверенный SQL, опыт с ClickHouse или другой колоночной/аналитической СУБД

- Опыт работы с ETL-пайплайнами и оркестратором Airflow или аналогами

- Python на уровне написания рабочих скриптов автоматизации

- Базовое понимание DWH: слои, моделирование, backfill

- Git, умение разбирать расхождения в данных и докопаться до первопричины

Будет плюсом

- Знание YTsaurus/YQL

- Опыт миграций данных между кластерами

- AdTech-домен (показы, клики, биллинг, ORD/ABC)