Вы всегда мечтали работать с высокой нагрузкой и коммитить в опенсорс? Команда YDB Topics разрабатывает основной брокер сообщений Яндекса и Yandex Cloud. Каждую секунду через нас протекают сотни гигабайт данных.

YDB Topics доступна как во внутренних инсталляциях Яндекса, так и пользователям Yandex Cloud через сервис Data Streams, on-prem-клиентам на собственном железе или в составе ПАК и пользователям по всему миру в опенсорсе. Мы активно развиваем YDB Topics для выхода на рынок. Для этого нам нужны сильные инженеры, которым интересен мир стриминга, больших данных и высоких нагрузок.

Про транзакционную работу с топиками и сравнение с Apache Kafka, а также про архитектуру и ряд интересных деталей я рассказывал на Highload 2024 .

Алексей Николаевский

Руководитель команды разработки стриминговых систем

YDB — это распределённая отказоустойчивая реляционная БД с открытым исходным кодом, которая сочетает высокую доступность и масштабируемость со строгой согласованностью и транзакциями ACID. Вместе со стеком serverless-технологий YDB позволяет организовать систему хранения и обработки данных для самых сложных и требовательных приложений. Она поддерживает одновременное выполнение транзакционных (OLTP), аналитических (OLAP) и потоковых нагрузок.

YDB Topics — часть платформы YDB, аналог Apache Kafka. Мы постоянно развиваем YDB Topics для реагирования на растущие потребности компании и внешних клиентов. Наши топики доступны по протоколам, признанным мировыми стандартами: Apache Kafka и Amazon Kinesis. Мы развиваем интеграции с Apache Spark, Apache Flink, Apache NiFi, Confluent Schema Registry.

Гарантии доставки сообщений в YDB Topics

YDB Topics: история взаимоотношений с Kafka

YDB — параллельная асинхронная репликация в распределённой базе

Какие задачи вас ждут

Развитие новой функциональности

У нас много сложных и интересных задач: мы реализовали и развиваем первую в мире систему, обеспечивающую транзакции между топиками и таблицами, обеспечиваем автомасштабирование топиков по нагрузке, интеграцию платформы с внешними системами, включая поставку данных в аналитические таблицы.

Оптимизация высоконагруженной распределённой системы

Вы будете искать узкие места в системе и оптимизировать их для работы с сотнями тысяч партиций поверх тысяч серверов.

Опенсорс-разработка

Большую часть разработки мы ведём в GitHub, поэтому вы всегда сможете показать всему миру результаты вашей работы. Кроме того, мы много выступаем на различных конференциях в России и за рубежом.

Больше о бэкенде в Яндексе — в канале Yandex for Backend

Мы ждём, что вы

- Уверенно владеете одним из языков: С++, C# или Java

- Готовы вести разработку на С++

- Понимаете ключевые аспекты построения отказоустойчивых распределённых систем

- Знаете классические алгоритмы и структуры данных

- Разрабатывали многопоточные приложения

Будет плюсом, если вы

- Работали с Apache Kafka, Apache Pulsar или другими брокерами сообщений

- Разрабатывали высоконагруженные распределённые системы

- Способны создавать новые алгоритмы и протоколы

- Занимались задачами оптимизации

Узнать больше

-

YDB

-

Офисы в Новосибирске

-

Офисы в Екатеринбурге

-

Офисы в Москве

-

Офисы в Санкт-Петербурге

-

Офисы в Нижнем Новгороде

-

Как в Яндексе проходят алгоритмические секции собеседований

-

Как мы нанимаем бэкенд-разработчиков

-

Задачи для подготовки к собеседованиям