Мы передовое ИТ подразделение, создающее дата платформу на сотни петобайт данных для крупшейнего юнита банка.

Нами реализована загрузка, обработка и контроль качетсва разрозненных данных из сотен систем-истоников банка в единое хранилище в Data Lakehouse архитектуре на платформе Hadoop.

Ищем сильных и энергичных дата инженеров для развития нашей платформы в сторону обработки данных в режимах батчевой и потоковой загрузки.

Вы будете работать в сильной команде дата инженеров с сложными инженерными задачами, передовым стеком технологий и самыми большими объемами данных в Европе.

Задачи разработки и поддержки витрин данных в Hadoop (HDFS, Icberg, Hive), ETL - Spark, CTL - Oozie, CI/CD - Jenkins + BitBucket.

И NRT пайплайны, Kafka, dynamic tables.

языки - Python, Java, Scala.

Обязанности

* разработка DWH/DataLake/LakeHouse

* построение поставки данных в Batch/NRT/RealTime

* оптимизация ETL

* повышение актуальности данных

* снижение latency доступа к данным

* разработка и валидация архитектуры данных

Требования

* отличное знание SQL (join, CTE, оконные функции, фреймы и др.)

* опыт работы с Hadoop, Spark, Iceberg/Paimon

* опыт работы с Kafka и др. Брокерами

* опыт работы с оркестраторами (например, Airflow) и CI/CD

* опыт построения архитектуры данных (например, Data Vault, Инман, Кимбалл и др.)

* опыт кратной оптимизации ETL

* практическое знание python на уровне разработки ETL будет преимуществом

* практическое знание java/scala будет преимуществом

* практический опыт создания и защиты архитектуры данных будет преимуществом

* практический опыт разработки solution-архитектуры data-продуктов будет преимуществом

Условия

* **офисный формат работы** (м Кутузовская ул. Поклонная 3)

* годовая премия

* корпоративный спортзал и зоны отдыха

* более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

* регулярные митапы и развитое DS-community

* расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

* гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

* подписка Прайм с возможностью совместного использования на трёх близких

* вознаграждение за рекомендацию друзей в команду Сбер.