Привет, я Данил, руковожу командой претрейна Alice AI VLM. Мы строим мультимодальные foundation-модели и отвечаем за претрейн — этап, на котором закладываются базовые способности модели и во многом определяется потолок её качества на всех последующих стадиях. Наша задача — находить архитектурные и обучающие решения, которые масштабируются, устойчиво работают на больших объёмах данных и улучшают понимание мира через разные модальности.

Данил Кашин

Руководитель команды VLM-претрейна

В нашей команде вас ждут сложные задачи на стыке research и systems engineering. Мы работаем с огромными мультимодальными данными, исследуем scaling laws, запускаем ресурсоёмкие распределённые обучения и собираем рецепты, которые делают модель сильнее не только на открытых тестах, но и в прикладных сценариях. Если вам хочется влиять на качество VLM на самом глубоком уровне — вам к нам.

Какие задачи вас ждут

Развивать претрейн мультимодальных моделей

Вам предстоит исследовать архитектурные решения, рецепты и режимы обучения для VLM. Нужно будет находить подходы, которые улучшают базовые способности модели, усиливают связь между визуальной и текстовой модальностями и дают устойчивый прирост качества не только на открытых бенчмарках, но и в реальных продуктовых задачах.

Работать с петабайтами мультимодальных данных

Качество претрейна во многом определяется данными. Вам предстоит работать с огромными массивами мультимодальных данных из разных доменов: image-text, OCR, документы, таблицы, графики, интерфейсы, видео, UGC. Важно принимать решения о составе обучающих данных: какие домены, форматы и пропорции усиливают модель, исследовать scaling laws, как снижать шум и превращать работу с данными в масштабируемый pipeline.

Работать с large-scale-обучением

Претрейн VLM — это длинные и ресурсоёмкие обучения, где важна сильная инженерная база. Вы будете работать с распределённым обучением, профилировать узкие места, следить за эффективностью использования GPU, улучшать стабильность запусков и воспроизводимость экспериментов.

Больше об ML в Яндексе — в канале Yandex for ML

Мы ждём, что вы

- Получили опыт в CV, NLP и хорошо понимаете устройство современных LLМ/VLM

- Понимаете, как устроено распределённое обучение больших моделей

- Умеете формулировать исследовательские гипотезы и проверять их экспериментально

- Аккуратно ставите эксперименты, корректно сравниваете подходы и умеете выделять реальные улучшения

- Умеете писать рабочий и понятный код и доводить идеи до воспроизводимого результата

Будет плюсом, если вы

- Обучали большие модели или работали с крупными DL-системами

- Работали с pretrain-пайплайнами для LLМ или VLM

- Знакомы с Megatron, DeepSpeed, FSDP, PyTorch Distributed или аналогичными инструментами

Узнать больше

-

Yandex R&D