Наша команда (70+ человек) создает технологический фундамент для внедрения GenAI в экосистему банка.

Мы разрабатываем RAG-платформу, фреймворк исполнения агентов и системы обработки неструктурированного контента (документы, коммуникации). Наши сервисы оборачивают базовые LLM в готовые интерфейсы, позволяя бизнесу быстро создавать собственных агентов и GenAI-приложения.

Мы обеспечиваем полный цикл разработки (E2E)

Мы в поиске играющего тренера - руководителя направления анализа и подготовки данных для AI. Команда 5 человек

Обязанности

* создавать и оптимизировать подходы к оценке качества моделей и AI-пайплайнов (RAG, LLM, OCR)

* построение online/offline метрик качества, написание методологий оценки для мониторинга качества и регрессионного тестирования

* проводить эксперименты, проверять гипотезы по улучшению текущих AI-решений

* выявлять уязвимости в качестве в AI-пайплайнах и оперативно предлагать решения для устранения проблем в production (проводить A/B-тестирования)

* отвечать за качество данных и методологию их подготовки для AI/ML-проектов

* поддержка и оптимизация полного цикла работы с данными: сбор, хранение датасетов, разметка, авто-разметка (LLM-as-a-judge), валидация

* автоматизация data-циклов: сбор данных, разметка, подсчет метрик, оценка качества

* совместно с ML-инженерами определять требования к моделям и к данным (состав, объем и качество датасетов)

* руководить командой Data-аналитиков, Data-менеджеров, разметчиков

* говорить на одном языке с «бизнесом» и ML-инженерами: сбор и анализ бизнес-требований, понимание применимости и ограничений AI.

Требования

* любить data-driven подход)

* кросс-функциональное уметь разговаривать с DS и разработчиками

* python, SQL, уверенный vibe-coding

* понимание процесса деплоя моделей

* понимание работы LLM и знание понятий типа RAG, fine tuning, skills/tools, Data Governance

* знание подходов по оценке качества LLM, RAG

* знание матстата

* jira, agile итд

* soft skills (уверенный problem-solving)

* системное мышление

Будет плюсом:

* опыт построения процессов по оценке качества GenAI

* опыт работы с данными для LLM и AI-агентов

* опыт управления разметчиками

* опыт создания пайплайнов data lifecycle

* знакомство с LabelStudio, Toloka

* опыт работы с качеством разметки (consistency, honeypots, golden dataset)

Условия

* комфортный современный офис - м. Кутузовская

* гибридный формат работы

* ежегодный пересмотр зарплаты, годовой бонус

* корпоративный спортзал и зоны отдыха

* более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

* расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

* гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

* подписка Прайм с возможностью совместного использования на трёх близких

* вознаграждение за рекомендацию друзей в команду Сбера

* корпоративная пенсионная программа.