Алиса — один из самых популярных ассистентов в России, которым ежедневно пользуются миллионы людей. Наша команда развивает качество ключевой LLM-технологии компании: мы работаем над тем, чтобы модели становились умнее, полезнее и надёжнее.

Приёмка — момент, когда решается судьба релиза. Перед каждой выкаткой нужно понять, как изменилось качество модели, на каких сценариях она выросла, а где просела, и достаточно ли этого для пользователей. Мы измеряем модель по нескольким независимым аспектам качества — на профессиональных разметчиках, доменных экспертах и автоматических оценщиках, — и на основании этих замеров команда принимает решение о релизе.

Какие задачи вас ждут

Приёмка моделей

Вы будете полностью вести приёмку новых версий моделей: определять, какие замеры нужны для конкретного релиза, запускать оценки, объединять результаты и готовить заключение о качестве модели. В заключении нужно разобрать сценарии и привести конкретные примеры изменений. Ваше заключение станет основой для решения о выкатке — его будут принимать вместе с ML‑разработчиками и продуктовой командой.

Развитие системы метрик

Вы станете развивать систему метрик, которая покажет реальное качество моделей. Вам нужно будет определить обязательные сигналы, объединить разные оценки в общую картину, рассчитать статистическую значимость и научиться отличать настоящие изменения от случайного шума. Также предстоит сравнить наши модели с самыми сильными решениями на рынке.

Работа с данными и инструментами приёмки

Вы будете отвечать за оценочные наборы — определять их состав, следить за покрытием важных сценариев, управлять версиями и обеспечивать воспроизводимость замеров. Также вам предстоит развивать инструментарий: создавать автоматические оценщики на базе LLM (LLM-as-a-judge) и применять гибридные методы. Нужно будет сравнивать новую модель с текущей продовой, а также сопоставлять офлайн‑оценки с онлайн‑метриками — чтобы выяснить, какие из них реально предсказывают поведение пользователей.

Управление командой и процессами

Вы соберёте команду аналитиков приёмки, будете распределять направления работы, наставничать и планировать ресурсы. Поскольку приёмка затрагивает несколько команд, важно договориться о едином процессе и сделать его понятным и предсказуемым для всех участников.

Мы ждём, что вы

- Управляли командой аналитиков не менее двух лет

- Любите работать с данными и умеете извлекать из них практический результат

- Знаете математическую статистику и теорию вероятностей

- Умеете писать код на Python и знаете алгоритмы

- Умеете формулировать обоснованное заключение и защищать его перед заказчиками в условиях неполных данных

- Самостоятельны и готовы браться за новые задачи, для которых нет готового решения

- Интересуетесь развитием LLM и хотите глубоко погрузиться в тему

Будет плюсом, если вы

- Работали с NLP, краудсорсинговыми разметками и ML

- Строили процессы оценки качества LLM: голденсеты, LLM-as-a-judge, контроль качества разметчиков

- Занимались оценкой агентских сценариев и мультимодальных моделей

- Работали на стыке офлайн-оценки и онлайн-экспериментов

Узнать больше

-

Yandex R&D

-

Рабочие задачи и этапы найма для аналитиков