За каждым запуском обучения модели стоит масштабная инфраструктура данных, которая должна хранить, обслуживать, версионировать и оркестрировать петабайты данных с высокой пропускной способностью и высокой надёжностью. Команда платформы данных создаёт базовую технологическую основу, на которую опираются все остальные команды, работающие с данными.

В этой роли вы будете отвечать за техническое развитие платформы хранения, вычислений и оркестрации, лежащей в основе полного жизненного цикла данных для претрейнинга. Это техлидская позиция для сильного инженера, который способен проектировать платформенные решения, задавать стандарты для команды, развивать инженерную культуру и помогать коллегам расти.

Роль предполагает высокий уровень технического влияния и может стать естественным шагом к переходу в тимлидскую позицию по мере роста команды.

Обязанности

* Проектировать и развивать масштабные системы хранения данных, оптимизированные под характерные паттерны доступа в претрейне LLM.

* Развивать платформу версионирования и отслеживания происхождения данных, обеспечивающую воспроизводимость и аудит на всём жизненном цикле датасетов.

* Создавать и совершенствовать системы оркестрации workflow-ов, координирующие многоэтапные пайплайны данных на тысячах узлов.

* Оптимизировать инфраструктуру подачи данных так, чтобы обучающие данные поступали на GPU-кластеры без узких мест и с минимальными потерями вычислительного времени.

* Развивать внутренние инструменты, SDK и API, которые упрощают работу исследователей и дата-инженеров с платформой данных.

* Реализовывать механизмы контроля доступа, шифрования и audit logging для работы с чувствительными и лицензированными датасетами.

* Отвечать за capacity planning, оптимизацию затрат и performance benchmarking для облачной и локальной инфраструктуры хранения.

* Формировать технические стандарты платформенной команды: архитектурные подходы, требования к надёжности, эксплуатационные практики, code review и инженерную документацию.

* Менторить инженеров, помогать команде расти технически и распространять экспертизу по платформенной архитектуре и надёжной эксплуатации систем.

Требования

* Высшее образование в области computer science, systems engineering или смежной области.

* Не менее 6 лет опыта в infrastructure engineering или platform engineering, включая серьёзный опыт построения data-intensive distributed systems.

* Экспертное знание облачной инфраструктуры, объектного хранения, оркестрации вычислений и сетевых подсистем.

* Уверенное владение как минимум двумя языками из следующих: Python, Rust, C++.

* Глубокий опыт работы с Kubernetes, Infrastructure as Code и CI/CD-пайплайнами.

* Подтверждённый опыт проектирования систем с высокой доступностью, отказоустойчивостью и горизонтальной масштабируемостью.

* Опыт работы с промышленными форматами хранения и сериализации данных и понимание их эксплуатационных компромиссов.

* Способность выступать техническим лидером команды: принимать архитектурные решения, согласовывать платформенные подходы между командами и системно развивать коллег.

* Опыт менторинга и построения сильных инженерных практик внутри команды.

Будет плюсом

------------

* Опыт работы с YTSaurus.

* Опыт поддержки ML training workloads, особенно претрейна на крупных GPU-кластерах.

* Знакомство с инструментами orchestration для data-пайплайнов в промышленном масштабе.

* Опыт создания внутренних платформ разработки и self-service-инструментов для инженерных команд.

Условия

* Кластеры YTSaurus с большим количеством ресурсов: десятки петабайт + десятки тысяч ядер.

* Сильная команда выпускников МФТИ, ВШЭ, МГУ, много людей с опытом работы в профильном БигТехе.

* Комфортный современный офис рядом с м. Кутузовская.

* Гибридный формат работы (2 дня в офисе, 3 дня на удалёнке).

* Ежегодный пересмотр зарплаты, годовая премия.

* Корпоративный спортзал и зоны отдыха.

* Система обучения для профессионального и карьерного развития.

* Расширенный полис ДМС с первого дня работы и страхование для семьи.

* Льготная программа ипотеки для сотрудников.

* Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнёров.

* Вознаграждение за рекомендацию друзей в команду Сбера.