Наша команда делает сервис для поставки данных, который связывает реалтайм-потоки данных на базе YDB Topics и систему хранения и обработки больших данных YTsaurus .

Сервис обрабатывает десятки тысяч поставок (а это петабайты данных) каждый день. Благодаря этому сервисы Яндекса могут решать задачи пакетной обработки (batch processing) и архивного хранения своих данных, а также многие другие.

Мы ищем опытного ответственного разработчика, который будет вместе с нами делать поставки быстрее, надёжнее и удобнее в использовании.

Наши преимущества

- Масштаб : возможность поработать с большими данными и познакомиться с тем, как с ними работают разные команды, получить или передать опыт в данной области.

- Крутые коллеги : мы близко и активно взаимодействуем с другими инфраструктурными сервисами, составляющими технологический фундамент Яндекса (в первую очередь это YTsaurus и YDB).

- Гибкий график и распределённая команда.

Какие задачи вас ждут

Оптимизация производительности и инфраструктурные задачи

Из-за масштабов сервисов даже небольшие изменения дают заметный эффект на уровне всей компании. Вам предстоит работать и с горячими путями работающего кода (профилированием, снижением потребления CPU и памяти, ускорением критичных операций), и с архитектурными улучшениями (пересмотром компонентов, где текущий дизайн стал узким местом). Также нужно будет поддерживать баланс между скоростью переноса данных, их консистентностью и нагрузкой на источники и приёмники.

Повышение качества и упрощение эксплуатации

Стабильность сервисов напрямую влияет на бизнес-процессы большинства продуктов Яндекса, включая денежные показатели. Ваша задача — усилить механизмы наблюдаемости, автоматизировать регламентные операции, снизить количество ручных действий при инцидентах, поднять покрытие тестами и учениями отказоустойчивости.

Улучшение User Experience

Работаем над тем, чтобы сервисы были проще и доступнее — от понятных сообщений об ошибках и предсказуемого поведения API до документации, шаблонов и инструментов, которые снижают порог входа для новых пользователей.

Работа над механизмом поставки exactly-once

Вам предстоит проработать и реализовать механизм, который обеспечит семантику поставки exactly-once для тех хранилищ, где она не поддерживается из коробки.

Развитие сервиса Data Transfer

Вы поможете сервису Data Transfer эволюционировать в полноценный ETL-инструмент с возможностью потоковой обработки данных непосредственно в процессе их переноса.

Больше о бэкенде в Яндексе — в канале Yandex for Backend

Мы ждём, что вы

- Разрабатывали и эксплуатировали сервисы в проде

- Умеете и хотите писать код на С++ и Python

- Интересуетесь областью работы с данными

Больше о команде

Видео о команде

Узнать больше

-

Yandex Cloud Managed Services

-

Как в Яндексе проходят алгоритмические секции собеседований

-

Как мы нанимаем бэкенд-разработчиков

-

Задачи для подготовки к собеседованиям