Вакансия: Data engineer (Big Data Office) в Москва

Необходимые навыки

• > Python
• > Git
• > SQL
• > Big Data
• > Hadoop
• > Spark
• > Scala
• > Hive

Требования

Отличное знание Spark, SQL и Python. Опыт работы с Hadoop, Kafka как плюс. Знание принципов feature engineering в машинном обучении.

Обязанности

Разрабатывать прототипы витрин, развитие и поддержание процесса формирования слоев данных на транзакциях, необходимых для разработки продуктов аналитики больших данных.

Описание

На практике это значит, что мы будем решать следующие задачи:

• Разрабатывать прототипы витрин, развитие и поддержание процесса. формирования слоев данных на транзакциях, необходимых для разработки продуктов аналитики больших данных.
• Поддерживать процессы развития методологии качества данных и фичей.
• Внедрять функционал в продуктив, подготовка документации.
• Презентовать результаты проведенной разработки заинтересованным лицам, помощь в использовании разработанного функционала.
• Поддерживать кросс-функциональное взаимодействие с архитектором структур данных для анализа новых источников, прототипов, витрин, фичей и Data Quality.

Что для нас важно в тебе:

• Отличное знание Spark, SQL и Python.
• Опыт работы с Hadoop, Kafka как плюс.
• Знание принципов feature engineering в машинном обучении.
• Знание статистики на уровне основных описательных статистик, распределений, статистических тестов и их применимости.
• Знание основных подходов data quality.
• Английский – upper intermediate – чтение профильной литературы.
• Опыт сбора потребностей от DS в новых признаках и создавать на их основе новые фичи.
• Опыт написания ETL-процесса сбора признаков.
• Опыт проведения аудита существующих признаков на предмет их заполняемости, стабильности и адекватности.
• Опыт создания процесса контроля справочников, использующихся в скриптах расчёта признаков.
• Опыт обогащения признакового пространства внешними источниками.

Что вас ждет:

• Оформление по ТК РФ.
• Расширенный ДМС, страхование от несчастных случаев и страхование жизни сразу после трудоустройства.
• Корпоративная мобильная связь.
• Возможность получить помощь опытных психологов, финансистов и юристов по важным жизненным вопросам.
• Материальная помощь при рождении ребенка, вступлении в брак и т. п.
• Возможность выбирать льготы, которые действительно нужны: уровень ДМС, компенсация занятий спортом, массаж, чекап здоровья, изучение иностранных языков и многое другое после трёх месяцев работы.
• Широкие возможности для обучения, в том числе возможность изучить новые навыки и технологии вместе с лучшими провайдерами профессионального образования.