Вакансия: Разработчик ETL (Hadoop, Greenplum) в Москва

Необходимые навыки

• > Linux
• > Python
• > Git
• > Docker
• > Kubernetes
• > Hadoop
• > ETL
• > SCALA

Требования

Какие знания и навыки для нас важны: Высшее образование обязательно. Опыт работы с хранилищами данных, опыт построения исторических витрин, прототипов...

Обязанности

Разработка витрин с нуля на стеке Hadoop/Spark. Разработка новой функциональности витрин, реализованных на Hadoop/Spark. Совместно с архитектором - решение...

Описание

Вместе с нами тебе предстоит выполнять следующие задачи:

• Разработка витрин с нуля на стеке Hadoop/Spark;

• Разработка новой функциональности витрин, реализованных на Hadoop/Spark;

• Совместно с архитектором - решение задач архитектурного бэклога;

• Разработка задач из архитектурного бэклога;

• Разметка yaml-файлов, представляющих собой ETL на самописном фреймворке;

• Разработка витрин с нуля и доработка текущего функционала на хранилище GreenPlum.

Какие знания и навыки для нас важны:

• Высшее образование обязательно;

• Опыт работы с хранилищами данных, опыт построения исторических витрин, прототипов и подготовки требований к инкрементальной загрузке;

• Опыт разработки ELT/ETL;
• Опыт работы с MPP (massive parallel processing);

• Понимание принципов модели распределенных вычислений;

• Опыт создание интеграционных решений в современных BI системах;

• Понимание принципов организации Data Lake/DWH;

• Опыт работы с экосистемой Hadoop;

• Опыт разработки DAGs на Apache Airflow.