ID | Название вакансии | Город | Компания | От | До | Валюта | Тип вакансии | Дата и время публикации вакансии | Роль |
---|---|---|---|---|---|---|---|---|---|
1527265 | Data engineer (Big Data Office) | Москва | > T2 | open | 2024-07-08 |
Требования
Отличное знание Spark, SQL и Python. Опыт работы с Hadoop, Kafka как плюс. Знание принципов feature engineering в машинном обучении.
Обязанности
Разрабатывать прототипы витрин, развитие и поддержание процесса формирования слоев данных на транзакциях, необходимых для разработки продуктов аналитики больших данных.
Описание
На практике это значит, что мы будем решать следующие задачи:
- Разрабатывать прототипы витрин, развитие и поддержание процесса. формирования слоев данных на транзакциях, необходимых для разработки продуктов аналитики больших данных.
- Поддерживать процессы развития методологии качества данных и фичей.
- Внедрять функционал в продуктив, подготовка документации.
- Презентовать результаты проведенной разработки заинтересованным лицам, помощь в использовании разработанного функционала.
- Поддерживать кросс-функциональное взаимодействие с архитектором структур данных для анализа новых источников, прототипов, витрин, фичей и Data Quality.
Что для нас важно в тебе:
- Отличное знание Spark, SQL и Python.
- Опыт работы с Hadoop, Kafka как плюс.
- Знание принципов feature engineering в машинном обучении.
- Знание статистики на уровне основных описательных статистик, распределений, статистических тестов и их применимости.
- Знание основных подходов data quality.
- Английский – upper intermediate – чтение профильной литературы.
- Опыт сбора потребностей от DS в новых признаках и создавать на их основе новые фичи.
- Опыт написания ETL-процесса сбора признаков.
- Опыт проведения аудита существующих признаков на предмет их заполняемости, стабильности и адекватности.
- Опыт создания процесса контроля справочников, использующихся в скриптах расчёта признаков.
- Опыт обогащения признакового пространства внешними источниками.
Что вас ждет:
- Оформление по ТК РФ.
- Расширенный ДМС, страхование от несчастных случаев и страхование жизни сразу после трудоустройства.
- Корпоративная мобильная связь.
- Возможность получить помощь опытных психологов, финансистов и юристов по важным жизненным вопросам.
- Материальная помощь при рождении ребенка, вступлении в брак и т. п.
- Возможность выбирать льготы, которые действительно нужны: уровень ДМС, компенсация занятий спортом, массаж, чекап здоровья, изучение иностранных языков и многое другое после трёх месяцев работы.
- Широкие возможности для обучения, в том числе возможность изучить новые навыки и технологии вместе с лучшими провайдерами профессионального образования.