ML Media — продукт ML R&D: единый gateway для различных AI-технологий. Продуктовые команды VK интегрируются с платформой один раз и получают доступ ко всему спектру речевых и мультимедийных ML-моделей:

- ASR — распознавание речи: синхронное, асинхронное (длинные аудио) и realtime-стриминг

- TTS — синтез речи

- CV — компьютерное зрение: детекция лиц, оценка качества видео, deepfake-детекция, OCR

- VQE — улучшение качества речи: шумоподавление, определение голосовой активности

- Диаризация — разметка аудио по спикерам

- Суммаризация — краткое содержание аудио и видео на базе LLM: главные тезисы длинных записей за секунды, а не часы прослушивания

За единым API платформа скрывает всю инженерную обвязку: маршрутизацию и балансировку нагрузки на GPU-парк с моделями на NVIDIA Triton Inference Server и vLLM, квоты и рейт-лимиты, асинхронную обработку длинных медиа, защиту GPU-парка от перегрузки и наблюдаемость всего контура.

ML Media уже интегрирована с ключевыми продуктами VK: MAX, VK Мессенджер, VK ID, VK Звонки и VK Видео. Наши пользователи — миллионы людей, которые каждый день распознают и синтезируют речь, общаются с голосовыми ассистентами и смотрят видео.

Сейчас мы проходим трек платформизации существующих технологий: ASR, TTS, CV и другие сервисы уже работают в production по отдельности — мы объединяем их в единую платформу с общим API, единой плоскостью управления и общей инфраструктурой. Отдельная инженерная задача — сделать так, чтобы подключение новой технологии к платформе занимало дни, а не месяцы.

Команда интеграции технологий разрабатывает компоненты платформы — API-шлюз (gRPC, REST и MCP для LLM-агентов), плоскость управления (пользователи, токены, квоты), асинхронный контур обработки задач и клиентский инструментарий (CLI, MCP) — и отвечает за то, чтобы research-модели становились надёжными production-API.

Задачи

- Разработка платформы: API-шлюз (gRPC, REST, MCP), плоскость управления (пользователи, токены, квоты), асинхронный контур обработки задач, клиентский инструментарий (CLI, MCP)

- Поддержка существующих интеграций: сопровождение интеграций продуктовых команд (MAX, VK Мессенджер, VK ID, VK Звонки, VK Видео), помощь в подключении, разбор инцидентов

- Балансировка и роутинг запросов к ML-бэкендам: кастомные gRPC balancer'ы, health-probing реальными inference-запросами, теговый роутинг моделей

- Admission control на основе утилизации GPU: метрики throughput, гистерезис throttle/reject, сигналы автоскейлеру

- Асинхронная обработка длинных медиа: Kafka-воркеры, outbox, ретраи и восстановление задач, партиционирование таблиц PostgreSQL

- Наблюдаемость и эксплуатация: Prometheus-метрики, Sentry, структурированные логи, поиск узких мест

- Взаимодействие с ML-командами и продуктовыми заказчиками, участие в проработке архитектуры

Требования

- Опыт коммерческой разработки на Go

- Уверенное владение конкурентностью: goroutines, context, errgroup, graceful shutdown

- Опыт проектирования отказоустойчивых высоконагруженных систем

- Опыт с gRPC (streaming, interceptors), PostgreSQL, Redis, Kafka или другими брокерами сообщений

- Навыки диагностики production-проблем: метрики, логи, профилирование

- Системное мышление

Будет плюсом

- Опыт с NVIDIA Triton Inference Server, vLLM или другими платформами ML-сервинга

- Понимание метрик ML-инференса: real-time factor, throughput, latency, утилизация GPU

- Опыт разработки кастомных gRPC balancer'ов или resolver'ов

- Опыт с admission control, capacity planning, автоскейлингом

- Понимание agentic AI: MCP, tool calling

- Опыт с sqlc, testcontainers, codegen-пайплайнами

- Знание Python — для взаимодействия с ML-кодом бэкендов