Привет! Я Миша, руковожу аналитикой платформы Nova, которая позволит десяткам поисков Яндекса запускаться и развиваться в разы быстрее. Идея в том, чтобы команды могли декларативно описывать требования к релевантности и интеграциям, а система сама собирала ранжирование, evaluation и подключение к продуктам вроде Алисы.

Ищу в команду человека, которому интересно решать масштабные и сложные задачи на стыке продукта, технологий и экспериментов.

Михаил Гареев

Руководитель группы новых поисков

Больше об аналитике и метриках Поиска — в видео от Лены, руководителя группы экосистемных исследований.

В Яндексе много разных поисков (квартиры, видео, афиша, врачи, услуги, товары и другие). Они различаются по технологиям, масштабу, качеству, но одно верно: сделать новый поиск — это большой инженерный и продуктовый проект. Мы радикально упрощаем эту задачу и создаём платформу, на которой поиски можно будет запускать или улучшать одним промптом.

Аналитическая команда внутри платформы отвечает за:

- формализацию продуктовых требований от заказчиков о том, как выглядит хорошее ранжирование;

- создание датасетов для валидации и обучения;

- эталонную разметку;

- разработку агентов-разметчиков;

- дизайн логов;

- офлайн- и онлайн-приёмку.

Главное отличие от обычной аналитической работы — мы делаем конвейер аналитики, а не улучшаем отдельные сервисы.

На каждом этапе мы придумываем универсальные критерии качества, которые будут работать сразу для сотен клиентов: как должны выглядеть хорошие датасеты; по каким признакам принимать работу агентов-разметчиков; как убедиться, что пользователи стали счастливее.

Какие задачи вас ждут

Датасеты

Вы будете придумывать, как агентам из логов любого сервиса собрать честный и воспроизводимый набор для оценки: что считать репрезентативным; как не потерять сложные случаи и как понять, что набор вообще способен различать хорошее ранжирование и плохое.

Разметка

Вам предстоит понять, как переводить продуктовый заказ в разметку и какими внешними знаниями должны обладать агенты для хорошей разметки. Кроме того, важно определить, как контролировать качество семантического слоя, из которого берутся эти знания, а также как обеспечить устойчивость разметки к внешним факторам.

Приёмка

Вам нужно будет определять, по каким признакам вообще можно принять новое ранжирование: какие офлайн-метрики предсказывают онлайн-эффект; как построить иерархию метрик для сервиса, который видишь впервые; как отличить настоящее улучшение от артефакта разметки; как извлекать идеи для будущих улучшений из реальных логов.

Больше о бэкенде в Яндексе — в канале Yandex for Backend

Мы ждём, что вы

- Уверенно пишете на Python и SQL

- Разбираетесь в алгоритмах и структурах данных

- Знаете математическую статистику и умеете проверять гипотезы

- Понимаете, почему важно всегда смотреть на данные

Будет плюсом, если вы

- Работали с поиском или рекомендациями

- Интересуетесь ML-аналитикой

- Знаете, как работать с кодинг-агентами

- Умеете общаться, ясно излагать мысли, понимать и учитывать мнение коллег, убеждать

Узнать больше

-

Поиск с Алисой AI

-

Офисы в Москве

-

Как в Яндексе проходят собеседования для аналитиков

-

Рабочие задачи и этапы найма для аналитиков