Мы разрабатываем крупнейший мессенджер в России, чтобы соединять людей, сервисы и компании. Создаём простые и удобные инструменты коммуникации.

Сейчас развиваем платформу и ищем ведущего дата-инженера.

Задачи

- Проектировать, реализовывать и оптимизировать сложные ETL-процессы (в том числе разработка DAG для автоматизации)

- Участвовать в проработке и пилотировании нового: Data Quality, развитие собственного ETL-фреймворка, тесные интеграции с аналитическими инструментами

- Работать с данными на каждом этапе их трансформации: от появления информации в конкретном источнике до принятия решений на данных

- Извлекать из исходных данных ценную информацию и скрупулёзно обрабатывать её для последующего анализа

- Реализовывать стабильный расчёт бизнес-метрик вместе с командой аналитиков

- Поддерживать и модифицировать созданные решения, обеспечивать доступность сервиса и корректность данных для принятия решений

Требования

- Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов

- Умеете проектировать DWH: слои, модели хранения данных, процессы ETL

- Хорошо понимаете принципы работы распределённых систем Hadoop или YTsaurus, ClickHouse

- Использовали Airflow, Luigi или другой оркестратор

- Умеете выбирать технологии для решения конкретных задач

- Понимаете принципы работы инструментов мониторинга и способны настраивать алерты для отслеживания состояния ETL-процессов

- Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными

- Эффективно общаетесь с людьми, находите общий язык с разными специалистами