Вакансия: Data Engineer/Дата Инженер/Инженер Данных в Москва

Необходимые навыки

• > Python
• > SQL
• > Big Data
• > Hadoop
• > Spark
• > Airflow
• > Hive

Требования

Необходимые навыки: ∙ Отличное знание Python. ∙ Опыт работы c Spark, Hadoop, Hive. ∙ Отличное знание SQL. ∙ Понимание и интерес к области больших...

Обязанности

Мероприятия для поддержания хорошего настроения (корпоративы, презентации новых IT-продуктов, сюрпризы). ∙ Разработка архитектуры решений по загрузке данных в кластер. ∙

Описание

Приветствуем тебя, будущий участник нашей прогрессивной команды! Мы аккредитованная IT-компания "Платформа больших данных" – разрабатываем IT-продукты для бизнеса на основе big data. Наша компания объединила данные и компетенции крупнейших игроков рынка, ВТБ, Ростелекома и множества других партнеров. Мы создали 9 уникальных IT-продуктов для бизнеса на основе bid data по различным направлениям: финансовые сервисы, геоаналитика и рекламные направления.

Сейчас мы находимся в поисках дата-инженера на финансовый IT-продукт: скоринг физических и юридических лиц;

Стек технологий: Python, Hadoop, Spark, Hive, Airflow и др.;

Наши преимущества:

- Работа в одной из высокотехнологичных аккредитованных российских IT-компаний;

- Участник Сколково;

- Работу с отличной командой настоящих профессионалов (в компании более 100 человек);

- Полис ДМС со стоматологией;

- Гибкое начало дня;

- Можно работать полностью удаленно либо гибридно (по вашему усмотрению);

- Официальное оформление с 1-ого рабочего дня;

- Баланс жизни и работы, отличная команда;

- Мероприятия для поддержания хорошего настроения (корпоративы, презентации новых IT-продуктов, сюрпризы);

- Современное оборудование для работы

Необходимые навыки:

∙ Отличное знание Python;

∙ Опыт работы c Spark, Hadoop, Hive;

∙ Отличное знание SQL;

∙ Понимание и интерес к области больших данных;

∙ Понимание и интерес к data science решениям и ML;

∙ Опыт работы с NiFi и Ariflow;

∙ Опыт работы BI-инструментами (умение быстро спроектировать витрины статистики и поддержание их стабильной работы);

Будет плюсом:

∙ Умеете работать с Docker;

∙ Опыт работы с Kafka;

∙ Строили CI/CD в gitlab или в других системах;

∙ Опыт работы с noSQL базами данных;

∙ Опыт работы с Yandex.Cloud;

∙ Опыт работы с пространственными БД (PostGIS, Oracle Spatial и др.)

Твоими задачами станут:

∙ Разработка архитектуры решений по загрузке данных в кластер;

∙ Интеграция систем обмена данным с различными источниками;

∙ Оптимизация вычислений и работа с узкими местами платформы;

∙ Реализация витрин данных на Spark;

∙ Разработка и оптимизация ETL пайплайнов;

∙ Перенос моделей машинного обучения в прод;

∙ Refactoring, code review

Будем рады видеть тебя в нашей дружной команде профессионалов!