LLM Platform — это единая точка входа для работы с LLM внутри Яндекса.

Мы строим платформу, которая предоставляет унифицированный доступ к различным языковым моделям: и к собственным, и к опенсорсным, развёрнутым во внутреннем контуре. Платформа помогает командам безопасно, прозрачно и эффективно использовать LLM в продуктах, внутренних сервисах и бизнес-процессах.

Каждый день платформой пользуются десятки тысяч сотрудников и сотни внутренних сервисов — поэтому для нас важны надёжность, масштабируемость, контроль ресурсов, безопасность данных и удобство интеграции.

LLM Platform решает несколько ключевых задач:

- Предоставляет единый API для работы с любыми LLM

- Управляет справедливым распределением ресурсов между пользователями, командами и сервисами

- Собирает аналитику по запросам, токенам, моделям, пользователям и бизнес-юнитам

- Поддерживает единый конфиг с возможностью подключения собственных моделей

- Помогает безопасно использовать внутренние данные компании при работе с публичными моделями

Позиция подойдёт разработчику, которому интересно строить не просто продуктовые фичи, а внутреннюю платформу масштаба крупной компании.

Здесь много задач на стыке backend-разработки, платформенной инженерии, LLM-инфраструктуры, безопасности, аналитики и управления ресурсами. Понадобится принимать инженерные решения, влияющие на стоимость, надёжность и безопасность использования LLM.

Какие задачи вас ждут

Разработка системы управления квотами

Эта система должна позволять:

- Задавать и контролировать квоты на разные типы запросов

- Управлять лимитами на уровне пользователей, команд, сервисов, namespace и бизнес-юнитов

- Предоставлять аналитику менеджерам и владельцам продуктов

- Реализовывать биллинг и cost allocation по бизнес-юнитам

- Предоставлять супервайзерам интерфейс для управления квотами внутри своих namespace

Интеграции с LLM-провайдерами и внутренними моделями

Нужно развивать единый API для работы с разными моделями и провайдерами:

- Подключать LLM-провайдеров и собственные инференсы

- Унифицировать форматы запросов и ответов

- Разрабатывать механизмы маршрутизации запросов между моделями

- Учитывать стоимость, доступность, latency, лимиты и требования безопасности

- Поддерживать конфигурацию моделей, namespace, теги и политики доступа

Безопасное использование данных

LLM-платформа должна помогать командам использовать LLM без риска утечки чувствительной информации. Поэтому вам предстоит:

- Проектировать и реализовывать механизмы безопасной передачи данных в публичные модели

- Разрабатывать фильтры, политики и алгоритмы обработки запросов

- Участвовать в проектировании решений для защиты внутренних данных

- Интегрироваться с внутренними системами контроля, аудита и доступа

Сбор и извлечение данных из веб-источников

Также вы можете выполнять задачи, связанные с получением структурированных данных из внешних веб-источников:

- Разрабатывать системы, чтобы автоматизировать извлечение данных с сайтов

- Анализировать HTML-, JavaScript-приложения, сетевые запросы и API

- Строить надёжные пайплайны сбора, нормализации и обработки данных

- Разрабатывать инструменты для работы с динамическими веб-приложениями

Больше о бэкенде в Яндексе — в канале Yandex for Backend

Мы ждём, что вы

- Занимались backend-разработкой на Go на промышленном уровне

- Понимаете принципы построения распределённых систем

- Проектировали API и интеграции между сервисами

- Умеете работать с высоконагруженными сервисами, очередями, базами данных и кешами

- Понимаете observability: метрики, логи, трассировка, алерты

- Аккуратны в вопросах безопасности данных и разграничения доступа

- Готовы разбираться в предметной области LLM, токенов, моделей, провайдеров и лимитов

Будет плюсом, если вы

- Работали с LLM API и AI-инфраструктурой

- Разрабатывали платформенные сервисы

- Строили quota management, rate limiting, billing или cost allocation систем

- Имеете опыт web scraping / web crawling / data extraction

- Анализировали веб-приложения, API и сетевой трафик

Узнать больше

-

Рекламные технологии

-

Офисы в Москве

-

Как в Яндексе проходят алгоритмические секции собеседований

-

Как мы нанимаем бэкенд-разработчиков

-

Задачи для подготовки к собеседованиям