Alice AI — большая языковая модель, которая помогает миллионам людей решать повседневные задачи. Чтобы взаимодействие с ней было по-настоящему полезным, ответы должны быть не только релевантными, но и достоверными, доброжелательными и безопасными.

Мы формируем команду, которая отвечает за безопасность и ответственное поведение LLM в рамках общего трека развития моделей Alice AI. Команда участвует в подготовке данных и обучении моделей, разрабатывает автоматизированные системы оценки, исследует потенциальные риски и проводит финальную приёмку релиз-кандидатов.

Роль остаётся прежде всего аналитической: непосредственным обучением моделей занимается отдельная ML-команда, а мы исследуем их поведение, готовим данные, создаём системы оценки и отвечаем за качество релизных решений.

Какие задачи вас ждут

Анализ данных и поиск проблемных сценариев

В логах Alice AI представлены самые разные сценарии: голосовые и текстовые запросы, генерация изображений, взаимодействие с несколькими моделями — от команды «включи будильник» до продолжительных ролевых диалогов.

Вам предстоит исследовать большие объёмы данных, выделять сложные срезы и находить потенциально проблемные паттерны. Мы анализируем реальные пользовательские взаимодействия, формулируем гипотезы о новых классах рисков и проектируем сценарии для red teaming.

Разработка LLM-джаджей и агентских пайплайнов

Чтобы научить модель корректно отвечать на сложные запросы, необходимо уметь измерять качество её поведения. Мы создаём автоматизированные системы оценки на основе подхода LLM-as-a-Judge, промптинга и агентских пайплайнов.

Вам предстоит разрабатывать критерии и рубрики оценки, собирать evaluation-пайплайны, валидировать автоматические оценки на человеческой разметке и исследовать качество джаджей: их устойчивость, согласованность, смещения, precision и recall.

Участие в обучении LLM Яндекса

Мы собираем и валидируем обучающие выборки для этапов SFT и RL, анализируем ошибки модели и определяем направления для её дальнейшего улучшения.

Задача команды — встроить требования к ответственному поведению в общий цикл разработки LLM и обеспечить измеримый рост качества на целевых категориях запросов.

Финальная приёмка моделей

Перед запуском новой версии необходимо убедиться, что она улучшает целевые метрики и не создаёт неприемлемых рисков.

Мы разрабатываем наборы тестов и офлайн-метрики, сравниваем релиз-кандидаты с текущей моделью, анализируем регрессии и статистическую значимость изменений. По результатам оценки команда принимает решение о готовности модели к запуску.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждём, что вы

- Уверенно владеете Python и SQL

- Самостоятельно работаете с данными: исследуете логи, формулируете гипотезы

- Знаете математическую статистику и теорию вероятностей, умеете корректно строить эксперименты и интерпретировать результаты

- Умеете ясно излагать мысли, обсуждать решения и аргументированно отстаивать свою позицию

Будет плюсом, если вы

- Работали с ML-моделями и понимаете основные этапы их обучения и оценки

- Создавали LLM-джаджей, автоматизированные evaluation-пайплайны или проводили red teaming

- Знакомы с SFT, RLHF/RLAIF и современными подходами к LLM evaluation

- Понимаете типовые сценарии использования и уязвимости генеративных моделей

Узнать больше

-

Поиск с Алисой AI

-

Офисы в Москве

-

Как в Яндексе проходят собеседования для аналитиков

-

Рабочие задачи и этапы найма для аналитиков