Вакансия: Data Engineer / Hadoop в Москва

Необходимые навыки

• > SQL
• > Hadoop
• > Spark
• > Airflow

Требования

Уверенный уровень sql (в пределах стандарта, без привязки к СУБД). Представления о java / python( иногда приходится писать фрагменты кода - как...

Обязанности

Определение источников, выявление проблем с качеством данных в источниках. Разработка схем данных конечных витрин в Hive по утвержденному проекту.

Описание

Рассматриваем в свою команду, кандидатов готовых работать в гибридном графике работы:

• Москва, ул. Вавилова

• Санкт Петербург, ул. Уральская

• Санкт-Петербург, пл. Карла Фаберже

СТЕК: Hadoop, Hive, Spark, Hue, Jupyter.

ЧЕМ ТЫ БУДЕШЬ ЗАНИМАТЬСЯ:

• Определение источников, выявление проблем с качеством данных в источниках;

• Разработка схем данных конечных витрин в Hive по утвержденному проекту;

• Маппинг атрибутов источников на приёмник;

• Разработка ETL-процессов с помощью внутреннего фреймворка;

• Реконсиляция данных, написание базовых тестов на качество данных.

ТЫ НАШ ИДЕАЛЬНЫЙ КАНДИДАТ, ЕСЛИ У ТЕБЯ:

• Уверенный уровень sql (в пределах стандарта, без привязки к СУБД);
• Представления о java / python( иногда приходится писать фрагменты кода - как обертку над sql);
• Желательно:
• Опыт работы с Hive, Spark;
• Опыт работы с Оozie, Airflow;
• Умение работать с Confluence;
• Есть представление о работе с Jira, Git.

У НАС ТЫ СМОЖЕШЬ НАЙТИ:

• Официальное трудоустройство по ТК РФ;
• График работы удаленный или гибрид, в зависимости от проекта;
• Амбициозные задачи и проекты;
• Работа в команде профессионалов в доброжелательной атмосфере;
• Подключение к программе ДМС (включает стоматологию, обследования, лечение заболеваний и т.д.), а также возможность страхования родственников по корпоративной цене;
• Корпоративное обучение и развитие (портал обучения и развития удаленным доступом 24/7; собственный Центр развития компетенций);
• Насыщенная корпоративная жизнь: яркие корпоративы, праздники для детей сотрудников, корпоративные спортивные мероприятия; мотивационные награждения.