Вакансия: Ведущий разработчик Hadoop в Санкт-Петербург

Полное описание вакансии: Ведущий разработчик Hadoop в Санкт-Петербург

ID Название вакансии Город Компания От До Валюта Тип вакансии Дата и время публикации вакансии Роль
1019247 Ведущий разработчик Hadoop Санкт-Петербург > Т1 open 2023-05-22
Необходимые навыки
  • > Высшее образование
  • > Python
  • > Работа в команде
  • > Базы данных
  • > Hadoop
  • > Spark
Требования

Какие знания и навыки для нас важны: Высшее ИТ-образование. Знания принципов построения систем хранения и обработки данных.

Обязанности

Разработка программного кода. Разработка внутренних сервисов Аналитического модуля в соответствии с бизнес-требованиями. Разработка интеграционных решений "реляционная СУБД - Hadoop", разработка...

Описание

Задачи, которые мы предлагаем:

  • Разработка программного кода;

  • Разработка внутренних сервисов Аналитического модуля в соответствии с бизнес-требованиями;

  • Разработка интеграционных решений "реляционная СУБД - Hadoop", разработка решений построения аналитических витрин

  • Разработка микросервисных решений на базе Python;

  • Разработка кода аналитических витрин на Python, фреймворк Apache Spark;

  • Участие в разработки платформы консолидации данных на базе Hadoop;

  • Преимуществом является знание ETL инструментов Airflow;

  • Разработка и оптимизация ETL процессов;
  • Разработка витрины данных в корпоративном хранилище данных Hadoop;
  • Участие в составлении плана проекта, детализации, оценка проектных сроков и рисков;
  • Участие в проектировании системы, решение исследовательских задач по реализации функционала;
  • Взаимодействие со смежными стримами по задачам команды.
  • Написание технической документации;

Какие знания и навыки для нас важны:

  • Высшее ИТ-образование;
  • Знания принципов построения систем хранения и обработки данных;
  • Опыт работы с аналитическими хранилищами, знание теории БД, хорошее знание SQL;
  • Наличие опыта работы с экосистемой Hadoop (Hive, Spark, Parquet) - высокий приоритет;
  • Опыт работы с реляционными СУБД (Oracle, PostgreSQL);
  • Опыт программирования на Python; - расценивается как плюс;
  • Опыт промышленной разработки ETL Apache AirFlow;
  • Опыт работы в Jira и Confluence;
  • Понимание методологий Agile и DevOps;
  • Опыт работы с ALM-системами будет большим плюсом;
  • Опыт работы в Банке на решение задач подразделений рисков, казначества, финансового департамента, управленческой и регуляторной отчетности будет плюсом

Вверх