О команде

Наша команда обучает собственные базовые LLM и внедряет их в бизнес-сценарии Авито. Цель команды — обеспечить продукты моделями, которые соответствуют требованиям по качеству ответов и стоимости применения.

Мы адаптируем решения с открытым исходным кодом под русский язык и доменную специфику Авито с помощью continual pre-training и подмены токенизатора. Для развития моделей команда исследует новые методы и пайплайны, включая RL и синтетические данные, а также работает с датасетами. Мы проводим регулярные LLM-семинары, где разбираем статьи и AI-тренды.

Технический фокус команды — построение масштабируемого пайплайна для претрейна и дообучения LLM, оптимизация инференса: работа с современными движками, квантованием, speculative decoding и другими методами ускорения, а также развитие LLM Gateway — единой точки входа для работы с внутренними и внешними LLM.

Какие задачи вас ждут:

- отвечать за GPU-инфраструктуру для LLM: от железа до утилизации;

- определять и реализовывать стратегию развития инференса LLM;

- оптимизировать инференс LLM;

- определять стратегию использования внешних LLM-провайдеров и развивать LLM Gateway;

- развивать платформы оценки качества, RAG и LLM Gateway;

- быть надёжным партнёром для DS UL;

-

работать с ключевыми метриками:

- cost per token × model size;

- утилизация;

- SLA;

- удовлетворённость пользователей LLM Gateway;

- экономические показатели LLM.

Мы ждём, что вы:

- имеете экспертизу в GPU;

- работали с DS в области LLM и оптимизации инференса;

- понимаете, как работают LLM, инфраструктура вокруг них и оценка качества моделей;

- имеете опыт оптимизации инференса LLM;

- управляли несколькими командами, применяли системный подход к менеджменту и работали через лидов и цели;

- вели проекты для стейкхолдеров уровня кластер-лидов и СЕО;

- умеете переводить сложные технические темы на понятный язык;

- понимаете задачи DS и умеете договариваться с командами;

- умеете оценивать ситуацию и решать проблемы до того, как они повлияют на результат.

Работа у нас — это:

- возможность реализовать свои идеи в проекте с многомиллионной аудиторией;

- талантливая команда, готовая поддержать ваши инициативы;

- мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы;

- прозрачная система премий, достойная зарплата — размер обсудим на собеседовании;

- личный бюджет на обучение, который можно тратить на книги, курсы и конференции;

- забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист;

- удалёнка из любой точки мира или замечательный офис в двух минутах от метро «Белорусская»: панорамный вид на центр города, места для уединённой работы и зоны отдыха.