Вакансия: Data engineer (Big Data Office) в Москва

Полное описание вакансии: Data engineer (Big Data Office) в Москва

ID Название вакансии Город Компания От До Валюта Тип вакансии Дата и время публикации вакансии Роль
1527265 Data engineer (Big Data Office) Москва > T2 open 2024-07-08
Необходимые навыки
  • > Python
  • > Git
  • > SQL
  • > Big Data
  • > Hadoop
  • > Spark
  • > Scala
  • > Hive
Требования

Отличное знание Spark, SQL и Python. Опыт работы с Hadoop, Kafka как плюс. Знание принципов feature engineering в машинном обучении.

Обязанности

Разрабатывать прототипы витрин, развитие и поддержание процесса формирования слоев данных на транзакциях, необходимых для разработки продуктов аналитики больших данных.

Описание

На практике это значит, что мы будем решать следующие задачи:

  • Разрабатывать прототипы витрин, развитие и поддержание процесса. формирования слоев данных на транзакциях, необходимых для разработки продуктов аналитики больших данных.
  • Поддерживать процессы развития методологии качества данных и фичей.
  • Внедрять функционал в продуктив, подготовка документации.
  • Презентовать результаты проведенной разработки заинтересованным лицам, помощь в использовании разработанного функционала.
  • Поддерживать кросс-функциональное взаимодействие с архитектором структур данных для анализа новых источников, прототипов, витрин, фичей и Data Quality.

Что для нас важно в тебе:

  • Отличное знание Spark, SQL и Python.
  • Опыт работы с Hadoop, Kafka как плюс.
  • Знание принципов feature engineering в машинном обучении.
  • Знание статистики на уровне основных описательных статистик, распределений, статистических тестов и их применимости.
  • Знание основных подходов data quality.
  • Английский – upper intermediate – чтение профильной литературы.
  • Опыт сбора потребностей от DS в новых признаках и создавать на их основе новые фичи.
  • Опыт написания ETL-процесса сбора признаков.
  • Опыт проведения аудита существующих признаков на предмет их заполняемости, стабильности и адекватности.
  • Опыт создания процесса контроля справочников, использующихся в скриптах расчёта признаков.
  • Опыт обогащения признакового пространства внешними источниками.

Что вас ждет:

  • Оформление по ТК РФ.
  • Расширенный ДМС, страхование от несчастных случаев и страхование жизни сразу после трудоустройства.
  • Корпоративная мобильная связь.
  • Возможность получить помощь опытных психологов, финансистов и юристов по важным жизненным вопросам.
  • Материальная помощь при рождении ребенка, вступлении в брак и т. п.
  • Возможность выбирать льготы, которые действительно нужны: уровень ДМС, компенсация занятий спортом, массаж, чекап здоровья, изучение иностранных языков и многое другое после трёх месяцев работы.
  • Широкие возможности для обучения, в том числе возможность изучить новые навыки и технологии вместе с лучшими провайдерами профессионального образования.

Вверх