ИТ B2C - самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее.

Мы, команда офиса CDO B2C, строим платформу данных, которая обеспечивает быстрый, надежный и качественный обмен информацией между Сбером и компаниями-партнерами. Это основа для персонализированных предложений умных продуктов и эффективных бизнес-решений.

Наша команда - Команда развития Платформы в офисе CDO B2C ищет DE-инженера для реализации задач по загрузке, аналитике и трансформации данных.

Обязанности

* проектировать и реализовывать ETL/ELT-пайплайны для загрузки и обработки данных (включая DAG в Apache Airflow)

* оптимизировать и сопровождать процессы обработки больших данных (Apache Spark, Apache Flink)

* интегрировать источники данных (базы данных, API, файловые хранилища) в единую pipeline-архитектуру

* настраивать и администрировать Airflow для оркестрации workflows

* участвовать в разработке архитектуры хранения и обработки данных (включая Hadoop-экосистему)

* документировать решения и формировать базы знаний.

Требования

* наличие высшего образования

* опыт разработки ETL/ELT-процессов (реализация, оптимизация, мониторинг)

* профильное владение Python (включая библиотеки для работы с данными)

* практический опыт с распределенными вычислениями: Apache Spark (PySpark/Scala) или Apache Flink

* глубокое понимание SQL и опыт работы с РСУБД (PostgreSQL, MySQL и др.)

* знание Apache Airflow (создание DAG, настройка сенсоров, операторов)

* навыки администрирования Linux (развертывание, мониторинг, troubleshooting)

**Будет преимуществом:**

* базовые знания Scala (или готовность к изучению)

* опыт с Hadoop (HDFS, YARN, Hive)

* знание облачных платформ (AWS S3/Glue, GCP BigQuery, Azure Data Factory)

* навыки автоматизации (Ansible, Terraform)

* опыт работы с стриминговыми данными (Kafka, Debezium).

Условия

* гибридный формат в Москве (ул.Поклонная, 3)

* ежегодный пересмотр зарплаты и годовая премия

* расширенный ДМС и льготное страхование для семьи

* уникальная система обучения Сбера для профессионального и карьерного развития

* выгодная ипотека для сотрудников

* подписка Прайм с возможностью совместного использования на трёх близких

* вознаграждение за рекомендацию друзей в команду Сбера

* корпоративная пенсионная программа.