Ищем самостоятельного дата-инженера для развития потоков данных в прикладном \_Legal\_-домене. Вам предстоит строить надежные пайплайны от источников до автоматизированных систем-получателей.

Обязанности

* cбор, анализ и формализация требований от бизнес-технологов (_БТ_) и владельцев продуктов юридического блока

* поиск, исследование и подключение новых источников данных внутри КАП под задачи правового департамента

* выполнение разовых _(Ad-hoc)_ запросов по заявкам бизнеса для проработки требований, точечного анализа юридических метрик или поиска аномалий в данных

* разработка ETL -процессов на Scala (Apache Spark 3.2+) с последующей пакетной доставкой подготовленных витрин данных в смежные автоматизированные системы (АС)

* оптимизация производительности SQL-запросов к данным уровня HOF (_Head of Function_, сложные CTE, оконные функции, партиционирование) и Scala-кода

* обеспечение стабильности работы продуктивных потоков: разбор инцидентов третьей линии поддержки (_L3_), восстановление целостности данных после сбоев, работа с логами YARN/HDFS

* взаимодействие с командами DevOps для настройки CI/CD пайплайнов доставки кода и оркестрации задач

* ведение технической документации в Confluence и управление задачами в Jira.

Требования

* высшее образование

* опыт работы Data Engineer от 2–3 лет

* уверенное владение Apache Spark (версии 2.x или 3.x). Будет приимуществом знание Scala

* знание Python

* глубокое понимание архитектуры экосистемы Hadoop (YARN, HDFS, Hive Metastore)

* экспертный уровень SQL: свободное использование оконных функций (ROW\_NUMBER, RANK, LAG/LEAD), сложных джоинов и вложенных запросов

* навык анализа требований бизнеса и перевода их на язык технических спецификаций.

* практический опыт расследования и устранения последствий инцидентов L3 в продуктивной среде больших данных

* самостоятельность: умение декомпозировать задачу, оценить сроки и довести ее до релиза без микроменеджмента

* знакомство с инструментами _DevOps_ и практиками CI/CD применительно к доставке Spark-приложений

Будет плюсом:

* опыт использования AI-инструментов в разработке (LLM-ассистенты для написания и ревью кода, агенты для автоматизации рутинных операций, инструменты автодополнения вроде GitHub Copilot)

* опыт работы с данными в финансовом секторе, ритейле или телекоме; знакомство со специфическими юридическими источниками (например, выгрузки из систем претензионно-исковой работы, реестры контрагентов).

Условия

* формат работы офис, локация офиса ул Вавилова д.19

* ежегодный пересмотр зарплаты, годовая премия

* корпоративный спортзал и зоны отдыха

* более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

* расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

* гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

* подписка Прайм с возможностью совместного использования на трёх близких

* вознаграждение за рекомендацию друзей в команду Сбера.