Вакансия: Data Engineer в Москва

Необходимые навыки

• > Python
• > Базы данных
• > Kafka
• > Hadoop
• > Greenplum
• > Apache Airflow
• > SCALA
• > Apache Spark
• > Feast
• > Atlas
• > Amundsen
• > Delta lake

Требования

Опыт работы на Scala от 3х лет. Опыт работы с экосистемой кластера Hadoop (CDP, Arenadata, Hortonworks). Опыт работы с...

Обязанности

Разрабатывать пайплайны загрузки данных из различных источников (РСУБД, NoSQL, files, streaming) в Datalake. Проводить RnD новых инструментов и технологий обработки...

Описание

Вакансии Middle и Senior Data Engineer в команду одного из крупнейших Бюро кредитных историй в России. Компания на рынке с 2004 года, предоставляет своим клиентам высокоэффективные сервисы по оценке рисков, управлению кредитным портфелем и противодействию мошенничеству.

Что мы делаем?

Мы не выдаем кредиты, мы храним и обрабатываем крупнейший в России массив данных о кредитных историях. Наш уникальный ресурс – самая большая база данных, в которой более 560 миллионов кредитных историй, и мы уделяем большое внимание не только количеству данных, но и качеству их обработки.

Мы помогаем нашим частным клиентам контролировать свою кредитную историю и получать лучшие финансовые предложения, а компаниям – принимать взвешенные решения и оценивать риски на основе аналитики данных.

О проекте

Мы строим нашу инфраструктуру данных без легаси с использованием современного стека и подходов. Мы занимаемся имплементацией и развитием Data Lake gen 3 и аналитической платформы данных, строим витрины данных, внедряем лучшие практики обработки и доставки данных в компании, реализуем MLOPS, следим за качеством и «чистотой» данных.

О команде

Тим лид, 2 архитектора, системные аналитики, 8 data engineer (уровня junior, middle) + сейчас ищем middle и senior data engineer.

• Разрабатывать пайплайны загрузки данных из различных источников (РСУБД, NoSQL, files, streaming) в Datalake;
• Проводить RnD новых инструментов и технологий обработки и хранения данных;
• Решать алгоритмические задачи наполнения слоев хранилищ;
• Оптимизировать процессы хранения и обработки данных с использованием современных технологии и подходов;
• Реализовывать распределенные алгоритмы обработки больших данных;
• Разрабатывать компоненты загрузки данных между разрозненными компонентами платформы данных (Hadoop <-> Greenplum).

• Опыт работы на Scala от 3х лет;
• Опыт работы с экосистемой кластера Hadoop (CDP, Arenadata, Hortonworks);
• Опыт работы с БД: Delta lake, HBase, Redis, Greenplum;
• Опыт работы с Apache Airflow, Feast, Datahub (Atlas, Amundsen), Great Expectation;
• Отличные навыки – Apache Spark, Apache Spark structured streaming, Kafka.

Дополнительные навыки и приветствуемые компетенции:

• Опыт работы с табличным форматом хранения данных Delta lake;
• Опыт работы разработки приложений распределенных вычислений и обработки данных на Apache Flink;
• Опыт работы с Data science в части доставки данных и продукционализации моделей машинного обучения;
• Опыт построения Data lineage;
• Опыт работы с БД: Cassandra, Redis;
• Опыт работы с Feast.

• Оформление по ТК РФ: оклад + годовой бонус;
• Компания входит в реестр ИТ компаний (сотрудники получают отсрочку от мобилизации);
• Удаленный формат работы (в пределах РФ). При желании можно работать в офисе класса А (г. Москва, м. Павелецкая, 6 минут от метро пешком;) или гибридно;
• ДМС со стоматологией (с 1 рабочего дня, + полис путешественника);
• Частичная компенсация фитнеса / обучения / доп. мед. услуг (лимит - 25 тыс. рублей в год);
• Льготная ипотека (от Сбербанк), в том числе рефинансирование (ставка по ипотеке на 2 пункта ниже);
• Дополнительные дни к ежегодному отпуску (всего 31 день в году);
• Современное оборудование (ThinkPad);
• Возможности для роста внутри компании.

1. 15-20 минут - общение с рекрутером (tg аудио);
2. 60-90 минут - тимлид команды (гугл мит, видео-встреча);
3. 60- 90 минут - руководитель направления (гугл мит, видео-встреча);
4. Проверка документов СБ - 1-3 дня (анкета в электронном виде);
5. Оффер, обсуждение даты выхода на работу.

Мы стараемся как можно быстрее принимать решения.