Вакансия: Data engineer в Санкт-Петербург

Необходимые навыки

• > Linux
• > Python
• > Git
• > MS SQL
• > SQL
• > PostgreSQL
• > Базы данных
• > ClickHouse
• > DWH
• > Greenplum
• > ETL
• > Airflow
• > NiFi
• > Vertica

Требования

Понимание концепции построения хранилищ данных (DWH). Опыт разработки пайплайнов в Airflow, NiFi. Базовые знания Python, Linux и написания Cron-ов.

Обязанности

Разработка развитие и сопровождение хранилищ данных. Проектирование и разработка пайплайнов (ETL процессов). Написание функций и хранимых процедур для преобразования и...

Описание

Компания «BI Consult» является аккредитованной IT-компанией и специализируется на интеграции систем BI и DWH. Сейчас, в связи с активным развитием, мы ищем к себе в команду Data engineer.

Обязанности:

• Разработка развитие и сопровождение хранилищ данных;
• Проектирование и разработка пайплайнов (ETL процессов);
• Написание функций и хранимых процедур для преобразования и агрегации данных, создание витрин;
• Рефакторинг и оптимизация;
• Разработка сопроводительной документации.

Требования:

• Понимание концепции построения хранилищ данных (DWH);
• Опыт разработки пайплайнов в Airflow, NiFi;
• Базовые знания Python, Linux и написания Cron-ов;
• Опыт работы с высоконагруженными СУБД (MS SQL, Greenplum, PostgreSQL);
• Уверенные навыки написания запросов SQL;
• Понимание принципов хранения данных в SQL, секционирования, сегментирования, использование индексов.

Будет преимуществом:

• Опыт управления качеством данных и управления данными (Data Governance);
• Опыт работы с колоночными БД (Vertica, Clickhouse, GreenPlum /Arenadata);
• Наличие сертификата по DWH.

Условия:

• Интересные, сложные задачи, профессиональный коллектив
• Обучение недостающим технологиям
• Возможности карьерного роста
• Конкурентоспособная заработная плата по результатам интервью
• Комфортный офис в 7 минутах ходьбы от ст.м. "Василеостровская" или "Спортивная" с оборудованной кухней и комнатами отдыха (настольный теннис, массажное кресло, тренажеры, кухня)
• ДМС, корпоративный спорт (йога, кроссфит, АРБ)
• Официальное оформление
• График работы 5/2, гибкое начало рабочего дня (8:00-11:00)
• Корпоративные мероприятия, внерабочие активности