Команда текстовых диффузионных моделей занимается прикладными исследованиями в области языковых моделей с альтернативными архитектурами и подходами к генерации текста: диффузионные текстовые модели, креативный генеративный ИИ.

Обязанности

* Организация SFT и RL дообучения моделей для агентного креативного ИИ

* Улучшение моделей спекулятивного декодирования для ускорения инференса LLM, доработка архитектур, пайплайна обучения и протокола оценки.

* Подготовка датасет для агентного сценария генерации русскоязычной поэзии.

Требования

* Владение инструментами и экосистемой: Linux, Python, torch, transformers, vllm.

* Практический опыт проведения экспериментов в ML: планирование, сбор обучающих данных, оценка моделей, включая человеческую разметку, статобработка результатов, масштабирование.

* Опыт работы с языковыми моделями: архитектурные модификации трансформера, распределенная тренировка, бенчмаркинг, оптимизация инференса.

* Опыт работы с данными для обучения LLM: генерация синтетики, очистка данных, подготовка датасетов для обучения.

**Будет плюсом**

* Практический опыт запуска распределенных задач в вычислительном кластере.

* Опыт научных публикаций по темам CS и ML.

* Опыт доведения ML решений до прода.

Условия

* комфортный современный офис рядом с м. Кутузовская

* гибридный формат работы

* ежегодный пересмотр зарплаты, годовая премия от 3х окладов

* большой спортзал и зоны отдыха

* система обучения для профессионального и карьерного развития

* расширенный полис ДМС с первого дня работы и страхование для семьи

* программа ипотеки для сотрудников со скидкой -1/3 от текущей ставки

* подписка Прайм с возможностью совместного использования на трёх близких

* вознаграждение за рекомендацию друзей в команду Сбера.