Вакансия: Data engineer в Москва

Необходимые навыки

• > Linux
• > Python
• > SQL
• > Работа с базами данных
• > PostgreSQL
• > Базы данных
• > DWH
• > Greenplum
• > Airflow

Требования

Понимаете концепции хранилищ данных (DWH, Data Lake): модели данных, слои, витрины, агрегаты, Data Quality, полная-инкрементальная загрузка. Имеете опыт работы...

Обязанности

Проектировать и разрабатывать ETL-процессы для batch и streaming загрузки данных. Участвовать в проектировании DWH слоев и озера данных (data...

Описание

Мы в поиске Ведущего Data инженера в IT-компанию, которая развивает собственный продукт - агрегатор кэшбеков и сервисов подписки. Клиентами являются физ. лица, а в мультисервисной подписке представлены более чем 45 b2b партнеров.

Внутри компании: гибкие процессы, отсутствие бюрократии и своя продуктовая команда, которая в поиске того, кто готов развивать сервис и внедрять новые технологии. Вся инфраструктура в облаке, реализована как код и три распределенных дата центра.

Стек технологий в проекте:

· Linux (CentOS/Ubuntu)

· GitLab + GitLab Registry + GitLabCI

· ClickHouse,PostgreSQL + Patroni + WAL-G + миграция на Greenplum

· Kafka, Temporal

· Airflow

· Python, Golang

✔️ Что делать?

• Проектировать и разрабатывать ETL-процессы для batch и streaming загрузки данных
• Участвовать в проектировании DWH слоев и озера данных (data lake)
• Выстраивать систему автоматической кодогенерации для сборки данных на детальном слое согласно модели Data Vault
• Разрабатывать средства мониторинга и проверки качества данных
• Автоматизация процессов построения моделей и витрин данных
• Оптимизация существующих процессов обработки и преобразования данных

⠀⭐️ Мы ожидаем, что вы:

• Понимаете концепции хранилищ данных (DWH, Data Lake): модели данных, слои, витрины, агрегаты, Data Quality, полная-инкрементальная загрузка
• Имеете опыт работы с PostgreSQL, GreenPlum
• Понимаете принципы работы БД: оптимизация запросов, планы выполнения, индексы, join
• Имеете опыт продуктовой разработки на Python, PySpark и Scala от года
• Писали data pipelines, batch, streaming jobs
• Работали с Kafka / Spark / Airflow / NiFi

⠀ Мы предлагаем:

• Компания в реестре аккредитованных ИТ компаний Минцифры со всеми преференциями от государства, включая освобождение от мобилизации
• Проект с финансовой поддержкой крупных инвесторов
• Инновационные сложные продукты
• В команде: разработчики, продуктовые аналитики, бизнес-аналитики, системные аналитики, тестировщики - обеспечивают высокий уровень результата и профессионализм команды
• Белую заработную плату + годовые бонусы
• Поддержку рыночного уровня заработных плат за счет регулярного пересмотра компенсации
• Удаленный формат работы
• ДМС расширенный
• Любая форма трудоустройства в рамках законодательства РФ
• Гибкий график работы 5/2 с 10:00 до 19:00, по Мск или удобному времени для вас

Откликайтесь и мы свяжемся с вами