Вакансия: Разработчик ETL (Hadoop, Greenplum) в Москва

Полное описание вакансии: Разработчик ETL (Hadoop, Greenplum) в Москва

ID Название вакансии Город Компания От До Валюта Тип вакансии Дата и время публикации вакансии Роль
1309445 Разработчик ETL (Hadoop, Greenplum) Москва > Т1 open 2024-03-27
Необходимые навыки
  • > Linux
  • > Python
  • > Git
  • > Docker
  • > Kubernetes
  • > Hadoop
  • > ETL
  • > SCALA
Требования

Какие знания и навыки для нас важны: Высшее образование обязательно. Опыт работы с хранилищами данных, опыт построения исторических витрин, прототипов...

Обязанности

Разработка витрин с нуля на стеке Hadoop/Spark. Разработка новой функциональности витрин, реализованных на Hadoop/Spark. Совместно с архитектором - решение...

Описание

Вместе с нами тебе предстоит выполнять следующие задачи:

  • Разработка витрин с нуля на стеке Hadoop/Spark;

  • Разработка новой функциональности витрин, реализованных на Hadoop/Spark;

  • Совместно с архитектором - решение задач архитектурного бэклога;

  • Разработка задач из архитектурного бэклога;

  • Разметка yaml-файлов, представляющих собой ETL на самописном фреймворке;

  • Разработка витрин с нуля и доработка текущего функционала на хранилище GreenPlum.

Какие знания и навыки для нас важны:

  • Высшее образование обязательно;

  • Опыт работы с хранилищами данных, опыт построения исторических витрин, прототипов и подготовки требований к инкрементальной загрузке;

  • Опыт разработки ELT/ETL;
  • Опыт работы с MPP (massive parallel processing);
  • Понимание принципов модели распределенных вычислений;

  • Опыт создание интеграционных решений в современных BI системах;

  • Понимание принципов организации Data Lake/DWH;

  • Опыт работы с экосистемой Hadoop;

  • Опыт разработки DAGs на Apache Airflow.

Вверх