Вакансия: ETL разработчик (Data Engineer) в Санкт-Петербург

Необходимые навыки

• > Python
• > PostgreSQL
• > Big Data
• > ETL
• > Spark
• > NiFi
• > Хранилище данных
• > Data Engineer
• > Data lake
• > Feature store
• > витрины данных

Требования

Опыт работы от 1 года. Опыт разработки на Python. Хорошее знания SQL. Хорошее знание OS Linux / bash. Опыт работы с...

Обязанности

Совместно с командой разработать концепцию решения и план реализации. Подготавливать ETL процессы по регулярной загрузке нужных данных в требуемом формате.

Описание

В дружную команду Big Data Локо-Банка требуется data engineer на проект по реализации Feature store.

Чем предстоит заниматься:

• Совместно с командой разработать концепцию решения и план реализации;
• Подготавливать ETL процессы по регулярной загрузке нужных данных в требуемом формате;
• Настраивать автоматизированные процессы по сбору статистики по предикторам;
• Участвовать в работах по подготовке мониторинга;
• Разрабатывать Feature store для ML моделей банка;
• Разрабатывать и поддерживать компоненты Big Data платформы сбора, обработки и анализа данных;
• Разрабатывать ETL - процессов;
• Построить аналитические витрины данных;
• Построение автоматизированных процессов обеспечения и контроля качества данных;
• Проектировать интеграции данных различных проектов;
• Участвовать в проектировании и развитии архитектуры Big Data платформы;

Основные технологии, с которыми необходимо будет работать:

Apache NiFi; Apache Hadoop; Apache Airflow; Apache Spark; Apache Hive; Jupyter Notebook;Microsoft SQL Server; PostgreSQL; RabbitMQ;

Что мы ждём от кандидата:

• Опыт работы от 1 года;
• Опыт разработки на Python;
• Хорошее знания SQL;
• Хорошее знание OS Linux / bash;
• Опыт работы с экосистемой Hadoop и решениями Big Data;
• Опыт работы с базами данных MS SQL, PostgreSQL;
• Опыт работы с Apache NiFi \ Spark \ Airflow \ Hive;
• Большим плюсом будет опыт работы с Feature store;
• Желателен опыт вывода ML моделей в production;

Условия:

• Оформление по ТК РФ;
• ДМС после испытательного срока;
• Удалённый формат работы;
• График работы: 5/2 с 9.30-18.30, в пятницу - до 17:30;
• Уровень ЗП обсуждается на собеседовании, исходя из навыков и опыта работы кандидата.