Вакансия: Эксперт ETL (DataOps) в Новосибирск

Необходимые навыки

• > Python
• > SQL
• > Kafka
• > Big Data
• > Hadoop
• > Greenplum
• > ETL
• > NiFi
• > Postgre

Требования

Опыт проектирования и разработки архитектуры БД. Опыт работы c MPP системами (Greenplum). Опыт разработки Python и Java/Scala.

Обязанности

Разработка и поддержка автоматизированных ETL/ELT процессов. Интеграция источников данных в Data Lake. Сбор, обработка и парсинг "сырых" данных.

Описание

Чем вы будете заниматься:

• Разработка и поддержка автоматизированных ETL/ELT процессов;
• Интеграция источников данных в Data Lake;
• Сбор, обработка и парсинг "сырых" данных;
• Написание сервисов для работы с внешними источниками/потребителями данных;
• Создание инфраструктуры передачи больших данных;
• Обработка и аркестрация данных при помощи Spark и Airflow, NiFi и аналоги;
• Обработка real-time данных;
• Написание ТЗ для DevOps, DevSecOps, Data Ingineer;
• Развитие систем управления данными, систем ETL и BI отчетности.

Эта работа для вас, если имеете:

• Опыт проектирования и разработки архитектуры БД;
• Опыт работы c MPP системами (Greenplum);
• Опыт разработки Python и Java/Scala;
• Опыт разработки сложных SQL запросов;
• Опыт работы с ETL инструментами;
• Опыт работы и понимание принципов оптимизации структур данных, потоков данных и алгоритмов;
• Опыт проектирования и реализации загрузки и преобразования данных.

Преимуществом будет:

• Уверенные знание Python;

• Опыт развития BI отчетности;

• Знание принципов гибкого подхода MLOps;
• Знание Dags.

Ждём ваше резюме!