DataLens — облачный сервис визуализации и анализа данных. Он широко используется как внутри Яндекса, так и за его пределами: в составе платформы Yandex Cloud .

Сервис позволяет подключаться ко множеству различных источников данных, строит поверх них абстракции в виде датасетов и предоставляет инструменты для отображения этих данных в нужном виде. На входе — исходные данные, на выходе — красивые и удобные дашборды.

Ядро сервиса разрабатывается в опенсорсе с открытой лицензией.

Бэкенд DataLens решает следующие задачи:

- Работа со множеством источников данных (БД, внешние API, онлайн-таблицы, загружаемые файлы) и предоставление единого интерфейса для получения разнородных данных

- Формирование сложных SQL-запросов на лету: мы предоставляем простой для использования язык описания формул, который за кулисами преобразуется в оптимальные запросы с учётом особенностей конкретного источника данных

- Фоновая обработка данных из файлов и онлайн-таблиц с использованием очередей задач

- Обеспечение безопасности данных и инфраструктуры: отдельные операции изолируются в специализированных средах исполнения

Чтобы больше узнать о сервисе, вы можете посмотреть краткий проморолик или более подробное демо .

Мы ищем опытных Python-разработчиков. Ждём и тех, кто отлично владеет другими языками и готов перейти на Python. У нас живой и дружный коллектив, мы вместе формулируем цели и принимаем решения. Присоединяйтесь!

Какие задачи вас ждут

Строить гибкий API для решения задач анализа данных, оптимизировать построение модели данных

Датасеты — это способ объединить большое количество данных в модель, которая независимо от источника данных позволяет строить запросы к нему благодаря универсальному API. Датасеты должны быстро работать с любым количеством полей: это достигается различными оптимизациями и несколькими уровнями кеширования. Помимо развития API датасетов, мы также наполняем сервис и другими возможностями, улучшающими пользовательский опыт (это, к примеру, экспорты, алертинг, публичный API).

Разрабатывать коннекторы для подключения к новым источникам

Мы постоянно увеличиваем набор доступных коннекторов к источникам данных, чтобы покрывать больше сценариев аналитики. Задача подключения каждого нового источника по-своему уникальна: необходимо не только разобраться в тонкостях его работы, но и продумать взаимодействие с коннектором с точки зрения пользователя.

Работать над масштабированием, стабильностью и скоростью работы сервиса

Наша команда отвечает за все этапы жизни сервиса, от проектирования и разработки до развёртывания и поддержания работоспособности всех окружений. Мы сами обслуживаем как DataLens внутри Яндекса — одну из крупнейших инсталляций среди подобных инструментов, так и DataLens в Yandex Cloud — крупнейший облачный сервис аналитики и визуализации в России. Оптимизация пайплайнов CI/CD, улучшение инструментов мониторинга, развитие средств диагностики без прямого доступа к инсталляции и данным пользователей — в наших планах всегда находится место для актуальных инфраструктурных задач.

Развивать ядро сервиса в опенсорсе , чтобы открыть новые возможности для его расширения

Чтобы каждый желающий мог добавить в сервис новый коннектор или иную функциональность, собрать и настроить систему под свои требования, необходимо поддерживать и развивать модульную архитектуру кода: выделять общие части, предоставляя точки для расширения.

Больше о бэкенде в Яндексе — в канале Yandex for Backend

Мы ждём, что вы

- Разрабатывали на Python или готовы перейти на него с другого языка

- Работали с реляционными базами данных

- Строили и поддерживали отказоустойчивые системы

Будет плюсом, если вы

- Работали с Flask, AIOHTTP, SQLAlchemy

- Знакомы с Docker, Terraform, Kubernetes

- Работали с другими облаками

- Интересуетесь анализом и визуализацией данных и работали с другими BI-системами

Больше о команде

Подписывайтесь на телеграм-канал Inside Yandex Cloud , чтобы узнать больше про нашу команду и технологии!

Узнать больше

-

Yandex Cloud

-

Офисы в Санкт-Петербурге

-

Офисы в Москве

-

Как в Яндексе проходят алгоритмические секции собеседований

-

Как мы нанимаем бэкенд-разработчиков

-

Задачи для подготовки к собеседованиям