Привет, я Аня. Моя команда развивает ML-инфраструктуру генеративных рекомендаций: контур обучения моделей, инструменты экспериментирования и аналитику результатов. Отдельное большое направление — агентизация: мы встраиваем ИИ-агентов в инфраструктуру так, чтобы рутинных операций было меньше, а сам контур становился стабильнее и надёжнее. Наши модели работают в рекомендательных сервисах Яндекса под нагрузкой в тысячи запросов в секунду, поэтому каждая подтверждённая гипотеза сразу отражается на опыте миллионов пользователей.

Анна Липкина

Руководитель группы разработки рекомендательных сервисов

Мы создаём рекомендательные системы, которые помогают миллионам пользователей находить именно то, что им нужно. Наша команда работает на стыке рекомендаций, глубокого обучения и инфраструктуры: мы развиваем полный цикл генеративной рекомендательной модели — от подготовки данных и распределённого обучения на десятках GPU до онлайн-дообучения на свежем пользовательском фидбэке и регулярной доставки новых весов в продакшен.

Скорость проверки гипотез — главный фактор роста качества рекомендаций. При этом путь от идеи до работающей в продакшене модели проходит через множество связанных систем: подготовку данных, обучение, инференс, конфигурацию экспериментов и анализ метрик. Мы приводим этот путь к единому виду — фиксируем контракты между системами, покрываем их автоматическими проверками и строим инструменты для воспроизводимой постановки экспериментов. Это повышает надёжность контура и открывает возможность его агентизации: не только инженерных операций, но и самой исследовательской работы — генерации гипотез, запуска серий экспериментов, раннего отсечения неперспективных вариантов и подготовки выводов по результатам.

Что у нас есть:

- Высокая техническая и исследовательская культура

- Сотни топовых GPU и петабайты логов для обучения и инференса моделей

- Развитый инструментарий для прототипирования и проведения экспериментов

- Направление агентизации в самом начале пути: архитектурные решения ещё не зафиксированы, инструменты можно строить с нуля и самому определять, какими они будут

- Вариативность проектов и развитие экспертного опыта в области рекомендаций на различных доменах внутри команды

- Возможность внедрять E2E-решения, которые непосредственно влияют на пользователей

Какие задачи вас ждут

Агентизация офлайн-исследовательского цикла

Значительная часть исследовательских вопросов — архитектура модели, состав обучающих данных, гиперпараметры — проверяется офлайн, на фиксированных датасетах и метриках, без выкатки в прод. Такой цикл замкнут и потому особенно хорошо поддаётся автоматизации: гипотеза, изменение в коде, запуск обучения, сравнение с бейзлайнами, решение. Мы хотим, чтобы агент вёл этот цикл вместе с исследователем: предлагал и ранжировал гипотезы, опираясь на результаты прошлых экспериментов и внешние исследования, вносил изменения в кодовую базу вместе с проверками их корректности, запускал серии обучений и готовил сопоставимые результаты. Так больше времени остаётся на выбор направления и интерпретацию, а не на перебор вариантов.

Агентизация постановки и сопровождения экспериментов

Наш контур — это сквозной конвейер — от подготовки данных и обучения моделей до доставки весов и рантайма инференса. Каждый исследовательский эксперимент затрагивает сразу несколько его звеньев, а скорость и надёжность экспериментов напрямую определяют, насколько быстро растёт качество рекомендаций. Поэтому мы формализуем взаимодействие компонентов: описываем контракты и инварианты в коде, реализуем автоматическую верификацию конфигураций, развиваем наблюдаемость и создаём агентские сценарии для типовых операций: подготовки окружений, запуска процессов обучения, выкатки моделей. Отдельная часть этой работы — аналитика: мы хотим, чтобы система сама выделяла аномалии в метриках, готовила числовую выжимку, сопоставляла эксперимент с историей похожих и предлагала интерпретацию, которую исследователю остаётся проверить. Наша цель — довести постановку эксперимента до одной кнопки и кратно увеличить число гипотез, которые команда успевает проверить. Вам предстоит проектировать эти инструменты и расширять их применение на новые части контура.

Построение среды исполнения для агентов

Агентские сценарии должны выполняться предсказуемо и оставаться прозрачными для человека. Вы будете проектировать среду, в которой они живут: управление контекстом и доступом к внутренним системам, воспроизводимость запусков, подробное логирование действий, точки контроля, где решение принимает инженер, и механизмы отката. Отдельная задача — измерять качество работы самих агентов и улучшать их на основе накопленных траекторий.

Больше об ML в Яндексе — в канале Yandex for ML

Мы ждём, что вы

- Работали с LLM и интересуетесь агентскими сценариями, кодогенерацией и автоматизацией инженерных процессов

- Понимаете, как устроен ML-пайплайн: подготовка данных, обучение, валидация, выкатка и инференс модели

- Уверенно владеете Python и пишете надёжный код

- Умеете разбираться в чужом коде и незнакомых системах и предлагать улучшения архитектуры

Будет плюсом, если вы

- Отвечали за обучение или интеграцию генеративных моделей, особенно в рекомендательные системы

- Работали с распределёнными вычислениями и большими данными

Узнать больше

-

Yandex R&D