Вакансия: Разработчик DWH в Москва

Необходимые навыки

• > SQL
• > PostgreSQL
• > DWH
• > Greenplum
• > Apache NiFi

Требования

Активно участвовать в распространении знаний и хороших практик. Требования: Опыт работы в роли разработчика DWH или инженера данных не менее...

Обязанности

Выполнять функциональные обязанности в рамках проектов по созданию хранилищ данных на Arenadata Greenplum DB. Осуществлять разработку сервисов по интеграции и...

Описание

Обязанности:

• Выполнять функциональные обязанности в рамках проектов по созданию хранилищ данных на Arenadata Greenplum DB;
• Осуществлять разработку сервисов по интеграции и управлению ETL-процессами с использованием Apache NiFi;
• Осуществлять разработку и проверку работоспособности ETL процессов по загрузке данных из систем-источников в слои хранилища с использованием SQL, других языков (pl/pgSQL и т.п.) и специализированных средств разработки (разработка DAG-ов в Airflow, процедур в Greenplum, работа с ETL фреймворком);
• Выполнять оптимизацию существующего кода ETL-процессов;
• Активно участвовать в организации процессов тестирования, автоматизации разработки, документировании кода;
• Участие в сборке поставки и выката на продуктивный контур;
• Активно участвовать в распространении знаний и хороших практик.

• Опыт работы в роли разработчика DWH или инженера данных не менее 2 лет;
• Уверенные знания по работе с Apache NiFi, включая:
  • создание пайплайнов из стандартных процессоров;
  • понимание разницы между Avro, JSON, XML;
  • интеграцию с шинами данных или брокерами сообщений;
  • желательно - работа с NiFi Registry;
• Уверенные знания SQL;
• Опыт работы с Greenplum, PostgreSQL (приветствуется также Teradata, Oracle, MSSQL);
• Опыт работы с Git.

Преимуществом будет:

• Опыт разработки на java или python;
• Опыт работы в проектах Teradata;
• Опыт работы с DBT;
• Опыт работы со стеком Hadoop (HDFS, Hive, Impala, Spark).