Хотите работать с большими языковыми моделями и участвовать в создании интеллектуальных систем? Мы ищем ML-аналитика, который поможет развивать LLM-агентов Алисы: улучшать качество ответов, анализировать поведение моделей и строить процессы оценки и обучения.

Сейчас в команде запускаются два новых проекта (подробнее расскажем на финале), где можно будет активно формировать процессы оценки качества моделей и подготовки данных.

Что мы предлагаем:

- Работу с реальными LLM-агентами для миллионов пользователей Алисы

- Возможность глубоко погрузиться в оценку качества и развитие современных языковых моделей

- Участие в новых проектах на переднем крае развития AI

- Влияние на процессы обучения и улучшения моделей

Если вам интересно работать с языковыми моделями, анализировать качество AI-систем и развивать интеллектуальных ассистентов — будем рады вашему отклику.

Какие задачи вас ждут

Улучшение качества LLM-агентов Алисы

Вы будете изучать ответы моделей, выявлять типичные ошибки и точки роста, а также участвовать в улучшении поведения агентов через prompt engineering и context engineering.

Оценка и сравнение моделей

Вам предстоит участвовать в приёмке новых версий моделей, анализировать результаты экспериментов и сравнивать модели по ключевым метрикам качества.

Работа с данными и разметкой

Вы станете формировать задания на разметку, готовить корзины данных, контролировать качество разметки и подготавливать обучающие и learn-датасеты.

Развитие инструментов оценки качества

Понадобится применять статистические методы для проверки гипотез и работать с системами автоматической оценки ответов (например, LLM-as-a-Judge).

Аналитика и развитие процессов

Ещё одна важная задача — писать аналитические скрипты на Python для обработки данных и участвовать в развитии процессов оценки и улучшения работы LLM-агентов.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждём, что вы

- Уверенно владеете Python и работали с данными

- Имели дело с текстовыми данными или задачами NLP

- Понимаете базовые статистические методы, анализировали результаты экспериментов с помощью статистических тестов

- Умеете анализировать метрики качества моделей и проверять гипотезы

- Готовили и структурировали датасеты

- Внимательны к деталям и способны работать с большими объёмами текстовых данных

- Способны разбираться в сложных системах и находить причины ошибок моделей

Будет плюсом, если вы

- Работали с LLM или генеративными моделями

- Работали с разметкой данных или управляли процессом разметки

- Строили evaluation-пайплайны для моделей

- Понимаете принципы работы современных LLM

Узнать больше

-

Алиса и Умные Устройства

-

Как в Яндексе проходят собеседования для аналитиков

-

Рабочие задачи и этапы найма для аналитиков