Мы развиваем Алису AI — систему моделей для построения ответов LLM с использованием поиска как источника информации и обогащений ответа. Мы внедрили такую систему в Поиск Яндекса и Алису и сейчас хотим научиться качественно отвечать на сложные запросы, требующие специализированных знаний.

Например: пользователь задаёт вопрос, связанный с его здоровьем. Чтобы сформировать корректный и полезный ответ, нужно глубокое понимание предметной области «медицина». А подобных запросов — сотни тысяч, и они охватывают самые разные темы.

Ищем аналитика-разработчика, который поможет нам совершенствовать наши модели.

Почему у нас классно

- Мы работаем с Алисой AI — новым продуктом Яндекса на основе LLM — и ориентированы прежде всего на результат в продакшене

- У нас вы сможете развивать как технические, так и коммуникативные и менеджерские навыки

- Ваша работа прямо повлияет на то, каким станет Алиса AI через полгода

- Мы делаем уникальные по сложности, масштабу и архитектуре краудсорс-проекты

- Вы будете работать бок о бок с практикующими специалистами (врачами, юристами и др.) и сильной ML-командой, превращая экспертные знания в понятные правила для модели

- Наша слаженная команда аналитиков и ML-инженеров качества Поиска постоянно обсуждает задачи и обменивается опытом

Какие задачи вас ждут

Метрики качества

Вам предстоит разбираться, как устроены метрики качества модели, развивать их на экспертных срезах и помогать улучшать продукт. Вы будете напрямую работать с экспертами (практикующими специалистами в своей области), формализовать их знания и превращать их в разметку и понятные критерии оценки для модели.

Аналитика генеративных ответов

Вместе с экспертами вы станете анализировать ответы модели на сложные темы, формулировать, что делает их полезными и точными для пользователя, и на основе этих выводов улучшать качество ответов.

Разработка инфраструктуры

Вы будете создавать процессы и инструменты, которые снижают рутину для экспертов и ускоряют разметку: разбираться в инфраструктуре, предлагать улучшения и запускать новые пайплайны для более эффективной работы.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждём, что вы

- Уверенно работаете с Python и SQL

- Знаете математическую статистику и теорию вероятностей

- Умеете формализировать и структурировать требования и ожидания заказчиков

- Самостоятельны и готовы браться за новые задачи, для которых нет готового решения

- Способны спокойно и аргументированно отстаивать свою точку зрения и выслушивать чужую

Будет плюсом, если вы

- Писали инструкции и самостоятельно запускали проекты разметки данных

- Работали с машинным обучением и нейронными сетями

- Умеете создавать точные и эффективные промпты для генеративных нейросетей

Узнать больше

-

Поиск с Алисой AI

-

Как в Яндексе проходят собеседования для аналитиков

-

Рабочие задачи и этапы найма для аналитиков