Описание

Мы работаем над новыми продуктами — AI-ассистентами на базе LLM. Сердце всей экосистемы — General-ассистент. Это первая точка входа для пользователя: General отвечает на общие вопросы и перенаправляет на нужного ассистента, если задача специализированная.

Задача General-ассистента — понимать запрос и отвечать на общие вопросы с помощью знаний LLM и поиска. Если запрос относится к конкретной сфере — аккуратно маршрутизировать пользователя в соответствующий вертикальный навык: Шопинг, Путешествия и так далее. Запросы могут быть разными — от оформления загранпаспорта до подбора развивающих игр для детей.

Ассистент отвечает за единый стиль общения, качество базового опыта и целостность взаимодействия со всеми ассистентами.

Ищем ML-аналитика , который будет отвечать:

— за качество LLM-ассистента : понятность ответов, отсутствие галлюцинаций, корректный роутинг, единый тон общения;

— перевод качественных метрик в продуктовые: конверсию в сценарии, удержание, удовлетворенность, глубину использования, эффективность маршрутизации и так далее.

У нас новая команда без легаси-процессов: много экспериментов, быстрые прототипы, постоянная связь с продакт-менеджером и NLP-командой .

Ждем аналитика с насмотренностью в LLM-решениях , который будет с нами на одной волне и сможет привносить новые фичи в продукт.

Обязанности

-

Создавать и прокачивать систему оценки ассистента — от создания корзинок с запросами и разработки метрик до анализа результатов и добавления фич в продукт

-

Организовывать разметку качества руками краудсорсеров и строить автоматизированные пайплайны с LLM-as - a-Judge

-

Рассчитывать продуктовые метрики и организовывать регулярную отчетность по продукту

-

Искать инсайты в пользовательских диалогах, придумывать эксперименты и предлагать, как еще улучшить качество нашего продукта

-

Собирать данные для алаймента нашей языковой модели под задачи ассистентов

Требования

-

У вас есть опыт на границе продуктовой аналитики и Data Science: чат-боты , рекламные аукционы, поисковые системы, генеративные технологии

-

Владеете SQL и Python на уверенном уровне, в приоритете Pandas

-

Умеете писать хороший аналитический продакшен-код

-

Хотите работать с текстовыми данными в LLM-продуктах

-

Пользуетесь LLM в работе и жизни

-

Будут плюсом самостоятельные pet-проекты с ML- и LLM-агентами , понимание современных подходов к оценке LLM: LLM-as - a-Judge , инструкции для разметчиков, офлайн- и онлайн-эксперименты, human-in - the-loop

Мы предлагаем

-

Гибридный график и офис у метро «Белорусская», в котором есть все что нужно: Т-Клиника , салон красоты, фитнес-зоны , комнаты для сна и медитации. Если захочется поработать на свежем воздухе — терраса с панорамным видом

-

Возможность работы в аккредитованной ИТ-компании

-

ДМС со стоматологией, включая чекапы, компенсацию покупки лекарств и льготные условия страхования для близких. Еще — страховка от несчастных случаев и болезней

-

Рост по карьерному треку: проходите курсы по софт- и хард-скиллам , развивайтесь с поддержкой ментора и повышайте уровень с матрицей компетенций и регулярным ревью

-

Сильное комьюнити. Вы будете работать с экспертами в своей области, сможете делиться знаниями и выступать на конференциях, посещать митапы и писать статьи

-

Онлайн-консультации с психологами, юристами, специалистами по финансам и здоровому образу жизни

-

Компенсацию затрат на спортивные абонементы, приложение Т-Спорта для онлайн-занятий и командные тренировки с коллегами

-

Завтраки и обеды в Т-Кафе . В офисе есть ресторан и кофейни, на каждом этаже — кухня, где можно перекусить

-

3 дополнительных дня к отпуску — можно использовать для отдыха или получить компенсацию

-

Специальные тарифы на продукты Т-Банка и широкую программу скидок от партнеров

-

Достойную зарплату — обсудим ее на собеседовании