Мы — отдел экспериментальных технологий в AI VK, который решает широкий спектр ML- и DL-задач. Наша команда анализирует, как наши разработки можно переиспользовать и где применить, а затем масштабировать.

Задачи

- Развивать компоненты AI-ассистента для VK Видео: понимание намерения, удержание контекста диалога, выбор стратегии и маршрутизация инструментов

- Улучшать генерацию кандидатов, semantic retrieval и reranking для поиска и персонализированных рекомендаций

- Работать с гибридным поиском: эмбеддинги, текстовые и структурные фильтры, поисковые API, рекомендательные модели и явные критерии пользователя

- Оптимизировать candidate budget и смешивание кандидатов из разных источников

- Обучать и дообучать модели для отдельных компонентов системы: LLM-like, reranker, query rewriting, relevance-модели

- Собирать и улучшать обучающие и тестовые датасеты: реальные и синтетические запросы, сложные негативные примеры, long-tail-сценарии и размеченные диалоги

- Создавать и поддерживать golden datasets, human-aligned evaluation и автоматические проверки качества; калибровать auto-eval по человеческой оценке

- Анализировать деградации, формулировать гипотезы и проверять их в воспроизводимых экспериментах

- Оценивать модели не только по общей метрике, но и по отдельным сценариям, категориям запросов, релевантности, разнообразию, безопасности и качеству диалога

- Оптимизировать latency, стоимость и использование вычислительных ресурсов при обучении и инференсе

- Готовить компоненты к промышленной эксплуатации: интеграция, нагрузочное тестирование, мониторинг, обработка ошибок и контроль регрессий

- Участвовать в offline- и online-экспериментах, подготовке A/B-тестов и интерпретации продуктовых метрик

- Проводить code review, документировать эксперименты и участвовать в обсуждении архитектуры и исследовательских результатов

Требования

- Сильная теоретическая база и опыт работы в рекомендательных системах, информационном поиске, NLP/LLM; готовность работать на их пересечении

- Понимание устройства retrieval и ranking: embeddings, candidate generation, negative sampling, cross-encoders, reranking

- Знание основных offline-метрик поиска и рекомендаций: Recall@K, Precision@K, NDCG, MRR и их ограничений

- Опыт обучения, валидации и внедрения ML-моделей; доведённые до production либо production-like среды самостоятельно разработанные компоненты

- Навыки постановки воспроизводимых экспериментов, анализа ошибок и статистической интерпретации результатов

- Понимание жизненного цикла ML-системы: данные, обучение, inference, мониторинг, деградации и переобучение

- Опыт работы с большими объёмами данных и пайплайнами обработки; YT, Spark или аналогичные инструменты

- Базовые навыки Linux, Git, контейнеризации и работы с сервисами

Будет плюсом

- Опыт создания LLM-приложений: tool calling, agentic workflows, RAG, structured generation

- Дообучение LLM или encoder-моделей: SFT, LoRA/adapters, RL

- Построение lexical, semantic или hybrid retrieval

- LLM-as-a-judge, human evaluation, построение golden datasets и калибровка автоматических оценок

- Оптимизация GPU-инференса, batching, quantization, model serving

- Опыт с распределённым обучением и промышленной ML-инфраструктурой

- Практика A/B-тестирования рекомендательных или поисковых моделей

- Мультимодальные модели, VLM, понимание видео или рекомендательные системы для медиаконтента

- Наличие публикаций по тематике LLM, NLP, multimodal models