Вакансия: Программист-разработчик в Москва

Необходимые навыки

• > Python
• > KAfka
• > Spark
• > SCALA
• > ETL Framework
• > Spark SQL

Требования

Какие знания и навыки для нас важны: Опыт работы в роли разработчика на стеке Hadoop (Желательно). Опыт разработки на Java...

Обязанности

Выполнение функциональных обязанностей в рамках проекта по Миграции ODS на импорт замещённый стэк. Архитектура на картинке. Проектирование и разработка, тестирование...

Описание

Вместе с нами ты будешь:

• выполнение функциональных обязанностей в рамках проекта по Миграции ODS на импорт замещённый стэк. Архитектура на картинке
• проектирование и разработка, тестирование и внедрение ETL процессов, используя ETL Framework и конвейер данных
• реализация различных интеграций в гетерогенной среде с помощью Python/Spark
• оптимизация существующего кода и используемых платформ
• конфигурация потоков данных из систем источников, их мониторинг, своевременную модификацию, оптимизацию
• оптимизация конвейера данных и ETL-процессов для поддержания процессов проверки качества данных
• контейнеризация процессов загрузки/выгрузки данных в ODS

Какие знания и навыки для нас важны:

• опыт работы в роли разработчика на стеке Hadoop
• опыт разработки приложений с использованием инструментария экосистемы Hadoop (Spark streaming, Hbase, Spark SQL, KAfka, Hive, Impala, Hue и т.д.)
• опыт разработки на Java / Python / Spark / Scala
• понимание принципов модели распределенных вычислений
• опыт решения ETL/data engineering задач
• опыт реализации интеграции в гетерогенных средах
• навыки работы с системами контроля версий / репозиториями кода на основе Git
• успешный опыт работы в команде от 7 человек
• понимание методологий Agile/Scrum
• знание Unix/Linux, навыки работы в shell
• опыт развертывания Linux серверов/ контейнеров, использования скриптовых языков (Bash) как преимущество
• базовые знания работы kerberos как преимущество
• знание и опыт работы с инструментами DevOPS рассматривается как преимущество