Наша команда развивает качество ключевой LLM-технологии компании — Alice AI LLM. Мы работаем над тем, чтобы наши модели становились умнее, полезнее и надёжнее, и ищем лида экспертной аналитики, который поможет нам двигаться ещё быстрее.

Мы создаём новые метрики, проектируем процессы сбора и валидации данных, глубоко анализируем поведение моделей и выводим их на новые уровни качества. Особое внимание уделяем росту качества в экспертных срезах — областях, где корректность ответа может оценить лишь небольшое количество специалистов с профильным образованием и опытом. В таких задачах важно не только оценить вывод модели, но и определить авторитетные источники, проверить корректность аргументации и предложить визуализацию идеального, эталонного ответа.

Какие задачи вас ждут

Стратегия и лидерство

Вы будете формировать аналитическую стратегию для развития LLM-навыков модели, строить команду аналитиков, заниматься менторством и планировать ресурсы. Также вам предстоит разработать подходы к оценке качества LLM в разных продуктах компании в экспертных доменах.

Система метрик и оценок

Вы будете разрабатывать комплексные метрики, отражающие реальное качество моделей, создавать методологии оценки в сверхсложных экспертных срезах — формировать критерии, подбирать авторитетные источники, описывать идеальные ответы. Также предстоит сравнивать собственные модели с SOTA-подходами на рынке и автоматизировать оценки с помощью LLM (LLM-as-a-judge) и гибридных методов.

Сбор данных

Вы будете запускать сложные процессы разметки данных для fine-tuning и RLHF/RLAIF, работать с узкими экспертными группами, строить пайплайны с участием доменных специалистов и ускорять процессы с помощью LLM-инструментов, а также контролировать качество данных и готовить датасеты для исследовательских задач.

Внедрение лучших практик

Вы будете отслеживать и анализировать новые исследования, бенчмарки и методологии, проводить эксперименты с synthetic data, LLM feedback, active learning, expert-in-the-loop и внедрять исследовательские находки в производственные процессы.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждём, что вы

- Управляли командой аналитиков не менее трёх лет

- Любите работать с данными и умеете извлекать из них практический результат

- Знаете математическую статистику и теорию вероятностей

- Умеете писать код на Python и знаете алгоритмы

- Самостоятельны и готовы браться за новые задачи, для которых нет готового решения

- Интересуетесь развитием LLM и хотите глубоко погрузиться в тему

Узнать больше

-

Yandex R&D

-

Рабочие задачи и этапы найма для аналитиков