Вакансия: Ведущий разработчик Hadoop в Санкт-Петербург

Необходимые навыки

• > Высшее образование
• > Python
• > Работа в команде
• > Базы данных
• > Hadoop
• > Spark

Требования

Какие знания и навыки для нас важны: Высшее ИТ-образование. Знания принципов построения систем хранения и обработки данных.

Обязанности

Разработка программного кода. Разработка внутренних сервисов Аналитического модуля в соответствии с бизнес-требованиями. Разработка интеграционных решений "реляционная СУБД - Hadoop", разработка...

Описание

Задачи, которые мы предлагаем:

• Разработка программного кода;

• Разработка внутренних сервисов Аналитического модуля в соответствии с бизнес-требованиями;

• Разработка интеграционных решений "реляционная СУБД - Hadoop", разработка решений построения аналитических витрин

• Разработка микросервисных решений на базе Python;

• Разработка кода аналитических витрин на Python, фреймворк Apache Spark;

• Участие в разработки платформы консолидации данных на базе Hadoop;

• Преимуществом является знание ETL инструментов Airflow;

• Разработка и оптимизация ETL процессов;
• Разработка витрины данных в корпоративном хранилище данных Hadoop;
• Участие в составлении плана проекта, детализации, оценка проектных сроков и рисков;
• Участие в проектировании системы, решение исследовательских задач по реализации функционала;
• Взаимодействие со смежными стримами по задачам команды.
• Написание технической документации;

Какие знания и навыки для нас важны:

• Высшее ИТ-образование;
• Знания принципов построения систем хранения и обработки данных;
• Опыт работы с аналитическими хранилищами, знание теории БД, хорошее знание SQL;
• Наличие опыта работы с экосистемой Hadoop (Hive, Spark, Parquet) - высокий приоритет;
• Опыт работы с реляционными СУБД (Oracle, PostgreSQL);
• Опыт программирования на Python; - расценивается как плюс;
• Опыт промышленной разработки ETL Apache AirFlow;
• Опыт работы в Jira и Confluence;
• Понимание методологий Agile и DevOps;
• Опыт работы с ALM-системами будет большим плюсом;
• Опыт работы в Банке на решение задач подразделений рисков, казначества, финансового департамента, управленческой и регуляторной отчетности будет плюсом