О команде

Наша команда развивает LLM Gateway — единую точку доступа в Авито к языковым моделям. Мы помогаем продуктовым командам быстро и безопасно получать доступ к подходящим моделям, прозрачно управлять лимитами, видеть стоимость каждого запроса и мониторить поведение моделей в продакшене.

Какие задачи вас ждут:

- развивать платформу LLM Gateway для всего Авито, чтобы создавать продукты с LLM было быстро и удобно;

- автоматизировать выдачу и настройку доступов к моделям;

-

развивать управление потреблением LLM:

- рассчитывать стоимость LLM-вызова;

- настраивать бюджетные лимиты для клиентов и приоритеты;

- развивать динамическую балансировку трафика между LLM-моделями;

-

определять SLA платформы и методику его расчёта:

- настраивать мониторинг и алёрты;

- поддерживать выполнение SLA;

-

интегрироваться с платформой инференса:

- автоматизировать развёртывание моделей;

- открывать доступ к моделям для пользователей в инфраструктуре Авито;

- взаимодействовать с DS-инженерами, погружаться в работу LLM, следить за развитием индустрии и внедрять новые технологии.

Мы ждём, что вы:

-

лидировали крупные стримы с высокой степенью неопределённости:

- собирали требования;

- планировали работу;

- декомпозировали задачи;

- отвечали за реализацию и мониторинг результатов;

-

поддерживали критическую высоконагруженную инфраструктуру:

- настраивали мониторинг и алёрты;

- участвовали в дежурствах 24/7;

- программируете на Python или Go от 5 лет;

- имеете опыт в MLOps или LLMOps: поднимали и поддерживали инфраструктуру для автоматизации работы с ML- и LLM-моделями;

- понимаете базовые принципы работы LLM: чем prefill отличается от decode, зачем нужен KV-cache, что такое TTFT.

Будет здорово, если вы:

- работали с LLM API и LLM Gateway или аналогичными решениями, например LiteLLM;

- создавали внутренние платформенные решения;

- работали с системами мониторинга LLM, например Langfuse или Opik;

- создавали и поддерживали административные интерфейсы для внутренних пользователей;

- работали с Kubernetes и GPU;

- работали с DWH, например ClickHouse или Trino.

Работа у нас — это:

- расширенная забота о здоровье: ДМС, страхование жизни, онкострахование;

- сервис психологической поддержки, а также финансовые, юридические и ЗОЖ-консультации для вас и ваших близких;

- корпоративный спорт: групповые тренировки, велбиинг-приложение;

- спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование;

- компенсация питания.