Команда AI VK строит контентную систему для рекомендаций, поиска и рекламы. Твоя задача — разработать и поддерживать высоконагруженные пайплайны обработки данных, которые ежедневно обрабатывают миллионы текстов и видео. Ты будешь создавать микросервисы на Java, которые применяют ML-модели, агрегируют данные из разных источников и доставляют их в системы ранжирования с минимальной задержкой.

Задачи

- Разработка пайплайнов обработки данных: создание и вывод в прод сервисов для поисковых вертикалей и рекомендаций

- Микросервисная архитектура: разработка и поддержка высоконагруженных сервисов на Java

- Платформизация DWH: участие в проектировании и реализации архитектуры контентного хранилища данных (Data Warehouse) от концепции до реализации

- Интеграция с ML: внедрение и оптимизация ML-моделей в пайплайны обработки данных

- Оптимизация производительности: обеспечение минимальных задержек при доставке контента в сервисы дистрибуции

- Работа с Big Data: обработка больших объёмов данных в батч-режиме и поточно (streaming)

- Взаимодействие с командами: тесная работа с Data Scientists, аналитиками и разработчиками других сервисов

Требования

- Опыт промышленной разработки на Java от трёх лет

- Опыт работы с распределёнными системами и базами данных высокого уровня

- Навыки работы с Big Data: опыт обработки больших объёмов данных в батч-режиме и потоково

- Понимание принципов микросервисной архитектуры и высоконагруженных систем

- Умение работать в команде и решать сложные архитектурные задачи