Инференс LLM в масштабе — это сложная инфраструктурная задача: GPU работают на пределе, возникают сетевые задержки, возможны сбои оборудования. Мы создаём решения, чтобы эти события минимально влияли на доступность и latency нашего сервиса инференса.

Какие задачи вас ждут

Оптимизация инференсных движков

Вам предстоит повышать эффективность и снижать latency при выполнении LLM-инференса на GPU.

Развитие инструментов диагностики

Вы будете создавать и улучшать инструменты для быстрого выявления и устранения инфраструктурных проблем, которые влияют на стабильность и скорость инференса.

Исследование и внедрение

Вам предстоит работать с методами оптимизации инференса (квантованием, прунингом) и современными подходами к параллелизации.

Мы ждём, что вы

- Владеете C++ и Python: имеете уверенные навыки низкоуровневого программирования и оптимизации

- Работали с GPU (NVIDIA) и CUDA: понимаете архитектуру GPU, разрабатывали или оптимизировали алгоритмы под CUDA

- Глубоко понимаете архитектуру Transformer: знакомы с внутренними механизмами (attention, FFN, нормализацией) и их реализациями

- Знаете подходы к параллелизации: понимаете Data Parallel, Tensor Parallel, Pipeline Parallel (желательно ещё Expert Parallel) для распределённого инференса или обучения

- Интересуетесь LLM и MLOps: понимаете задачи и вызовы, связанные с эксплуатацией больших моделей в продакшне

- Умеете эффективно работать в команде и делиться знаниями

Будет плюсом, если вы

- Работали с современными решениями для оптимизации инференса: vLLM, TensorRT-LLM (TRT-LLM) или sglang

Узнать больше

-

Поиск с Алисой AI

-

Как в Яндексе проходят алгоритмические секции собеседований

-

Как мы нанимаем бэкенд-разработчиков

-

Задачи для подготовки к собеседованиям