Команда агентного ранжирования отвечает за качество ответов Алисы, которые пользователь видит, когда задаёт вопрос в строке поиска Яндекса.

Мы работаем над тем, чтобы ответ был максимально полезным: вместо десятка ссылок пользователь получает точный, сгенерированный по релевантным источникам ответ. Также команда развивает Yandex Search API — B2B-продукт, который отдаёт внешним заказчикам документы с инфоконтекстами (вырезками из полного текста, релевантными запросу) и поддерживает метрики качества этих инфоконтекстов.

Какие задачи вас ждут

Придумывать и проверять способы улучшения ранжирования

Вы будете реализовывать сложные сетапы экспериментов по улучшению ранжирования — от подбора промптов до создания бенчмарков и замеров качества.

Находить сигналы, которые делают ответы лучше

Вам предстоит подбирать и тестировать сигналы для включения в новую функцию ранжирования: описывать, как должен выглядеть сигнал, создавать бенчмарк для оценки и добиваться роста скора.

Доводить идеи до продакшена

Вы будете работать end-to-end: от идеи и гипотезы до реализации, замера на бенчмарках и выкатки.

Развивать качество Yandex Search API

Вместе с командой вам предстоит развивать систему метрик качества инфоконтекстов и Yandex Search API.

Принимать решения на основе экспериментов

Вы будете проводить A/B-тесты и эксперименты, анализировать результаты и на их основе принимать решения о дальнейшем развитии ранжирования.

Мы ждём, что вы

- Хорошо знаете теорию вероятностей и математическую статистику — понимаете, как устроены эксперименты, умеете формулировать и проверять гипотезы, интерпретировать результаты A/B-тестов и бенчмарков

- Уверенно работаете с Python или SQL — самостоятельно берёте данные, проводите анализ, строите необходимые расчёты и делаете выводы

- Решаете нестандартные задачи — умеете выстраивать рассуждение с нуля, когда нет готового алгоритма или очевидного решения

- Умеете превращать гипотезу в работающий эксперимент — можете сформулировать идею, определить, как её проверить, подобрать метрики и бенчмарк, а затем довести решение до реализации и оценки результата

- Интересуетесь ML и генеративными моделями — понимаете базовые принципы работы современных ML-систем и хотите разбираться в том, как оценивать и улучшать их качество

Будет плюсом, если вы

- Работали с большими объёмами данных

Узнать больше

-

Поиск с Алисой AI

-

Как в Яндексе проходят собеседования для аналитиков

-

Рабочие задачи и этапы найма для аналитиков