Привет! Наша команда занимается задачей нахождения активационной фразы («Алиса»/«Яндекс») в потоке речи. Для этого мы обучаем маленькие нейронные сети (порядка 1 млн параметров) и оптимизируем их для работы на embedded-устройствах. В рамках этой задачи мы недавно запустились даже в наушниках .

Но одной активацией по имени мы не ограничиваемся. Мы делаем Алису умнее и учим её понимать, когда к ней обращаются, даже не называя по имени, — например, запустили быстрые команды .

Параллельно тренируем большие модели размером в сотни миллионов параметров, чтобы улучшать модели на устройствах, и решаем задачу выбора правильной колонки , когда в доме их несколько и активируются сразу все.

Дмитрий Солодуха

Руководитель группы голосовой активации

Мы ищем DL-разработчика, который уже работал с аудио или готов погрузиться в эту тему, чтобы вместе исследовать базовое качество наших моделей. Цель — сделать Алису умнее и естественнее за счёт голосовой активации, чтобы голосовое взаимодействие было максимально человечным и бесшовным.

Благодаря большому количеству GPU и CPU мы можем проводить масштабные эксперименты, чтобы добиваться максимального качества распознавания. У вас будет возможность влиять на продукт с многомиллионной аудиторией.

Какие задачи вас ждут

Улучшение качества текущих моделей голосовой активации

Вы будете работать над задачами по улучшению текущих моделей голосовой активации, чтобы они пропускали всё меньше ключевых фраз и не активировались, когда этого не требуется. Для этого нужно будет проверять и внедрять разработки из актуальных научных статей, а также придумывать собственные подходы.

Оптимизация моделей для работы на embedded-устройствах

Чтобы модель могла быстро работать на пользовательском устройстве, она должна быть достаточно маленькой и оптимизированной. Оптимизации могут касаться нетривиальных методов обучения и инференса.

Создание моделей для новых устройств и обучение их новым языкам и фразам

Помимо улучшения уже существующих моделей и устройств, мы активно развиваем новые сценарии голосовой активации: создаём модели для новых устройств и адаптируем пайплайны под новые языки. Вам предстоит заниматься внедрением таких решений целиком — от идеи до продукта.

Больше об ML в Яндексе — в канале Yandex for ML

Мы ждём, что вы

- Работали с DL (например, связанным с CV или NLP)

- Умеете писать на Python и C++

- Знаете PyTorch

- Владеете английским на уровне, необходимом для чтения научных статей

Будет плюсом, если вы

- Знаете инфраструктуру Яндекса: YT, YQL, Valhalla, Нирвана

- Работали со звуком

Узнать больше

-

Алиса и Умные Устройства