Мы — команда разработки OneDWH, единого DWH для всей компании. Он приходит на смену разрозненным решениям, которые команды строили каждая под себя: вместо множества обособленных хранилищ — одно общее. Данные живут в кластерах YTsaurus. В зоне ответственности команды — несколько доменов:

- Data Catalog — каталог, в котором поставщики данных публикуют метаинформацию о своих таблицах и зависимостях между ними. Благодаря этому можно проследить всю цепочку — от сырых логов до готовых витрин

- ETL-фреймворк — таблицы и работающие с ними процессы (YQL, Python и Spark) описаны декларативно в отдельном репозитории. У фреймворка собственный оркестратор и движок динамического распределения ETL между кластерами — это сокращает time-to-market поставок и оптимизирует потребление ресурсов. Также мы обеспечиваем доступность критичных данных даже при даунтайме одного из кластеров YTsaurus

- Data Quality (DQ) — следим за соблюдением сроков поставок критичных данных и уведомляем пользователей об их срывах. Развиваем проверки качества данных

Задачи

- Развивать платформу DWH как продукт

- Делать удобные инструменты для дата-инженеров: поиск данных, заведение и сопровождение ETL

- Делать удобные инструменты для аналитиков, которые работают с данными в OneDWH

- Работать с графами зависимостей ETL-процессов: планирование выполнения, динамическое распределение по кластерам, оптимизация

- Строить отказоустойчивые решения для критичных данных

Требования

- Опыт разработки сервисов на Go

- Уверенное владение PostgreSQL

- Опыт работы с Kafka

- Хорошее знание алгоритмов и структур данных, особенно графовых

Будет плюсом

- Знакомство с Java, Python, Spark или YTsaurus

- Опыт в области DWH, ETL или дата-инженерии

- Опыт работы с Airflow

- Опыт работы с CI, CD-пайплайнами в GitLab или другой системе

- Желание тесно работать с дата-инженерами и аналитиками: вникать в их задачи и делать продукты, которые упрощают им жизнь