Вакансия: Ведущий Data Engineer в Москва

Необходимые навыки

• > Python
• > Java
• > Docker
• > Clickhouse
• > Kafka
• > Hadoop
• > DWH
• > Greenplum
• > ETL
• > Numpy
• > pandas
• > Airflow
• > Postgres
• > SQLAlchemy
• > Metabase
• > CDC

Требования

Наличие опыта разработки на Python от 2 лет. Уверенное знание Pandas, Numpy, SQLAlchemy. Уверенное знание SQL. Агрегации, джойны, оконные функции...

Обязанности

Формирование единой стратегии по управлению данными. Создание и защита архитектуры выгрузки данных. Регламентирование процесса предоставления отчетности в регионы.

Описание

Мы работаем над развитием передовых способов платежей и предлагаем пассажирам городского транспорта в регионах максимально широкий выбор вариантов оплаты проезда.

К единой билетной системе подключены как муниципальные, так и коммерческие перевозчики, а сервисы системы надежно защищают данные карт пользователей. Мы стали единственным подобным проектом в сфере транспорта.

К концу 2022 года мы внедрили инновационную билетную систему в 25 российских регионах!

Перед тобой будут стоять задачи:

• Формирование единой стратегии по управлению данными
• Создание и защита архитектуры выгрузки данных
• Регламентирование процесса предоставления отчетности в регионы
• Разработка архитектуры решений по загрузке данных в DWH
• Интеграция систем обмена данным с различными источниками
• Оптимизация вычислений и работа с узкими местами платформы
• Реализация и анализ требований к витринам данных
• Разработка и оптимизация ETL пайплайнов
• Оркестрация ETL процессов в Airflow
• Оценка пригодности, качества исходных данных

Мы ожидаем:

• Наличие опыта разработки на Python от 2 лет
• Уверенное знание Pandas, Numpy, SQLAlchemy
• Уверенное знание SQL
• Агрегации, джойны, оконные функции, вложенные запросы, индексы, оптимизации запросов и т.д.
• Git + linux обязательно
• Знание инструментов ETL и CDC
• Понимание алгоритмов и опыт оптимизации кода
• Уверенное знание Airflow, Postgres, Docker
• Большим плюсом будет опыт работы с GreenPlum, Hadoop, Kafka, Clickhouse, Metabase и знание java/scale

Твои преимущества с нами:

• Наша компания включена в реестр аккредитованных организаций, осуществляющих деятельность в области информационных технологий;
• С нами у вас будет уверенность в завтрашнем дне, благодаря сильным и надежным партнерам - Сбербанку и Правительству Москвы и МО;
• У нас официальное оформление с первого дня выхода на работу в соответствии с ТК;
• У нас нет бюрократии - гибкое начало и завершение рабочего дня, предлагаем как офис так и гибридный формат работы на выбор на территории РФ;
• Так как мы, динамичный и быстроразвивающийся проект который вошел с успехом в многие регионы нашей необъятной Родины, у тебя будет возможность сделать вместе с нами лучший продукт, и достигнуть карьерных высот по профессии.