Вакансия: Data engineer в Санкт-Петербург

Необходимые навыки

• > Linux
• > Python
• > Git
• > MS SQL
• > SQL
• > PostgreSQL
• > Базы данных
• > ClickHouse
• > DWH
• > Greenplum
• > ETL
• > Airflow
• > NiFi
• > Vertica

Требования

Понимание концепции построения хранилищ данных (DWH). Опыт разработки пайплайнов в Airflow, NiFi. Базовые знания Python, Linux и написания Cron-ов.

Обязанности

Разработка развитие и сопровождение хранилищ данных. Проектирование и разработка пайплайнов (ETL процессов). Написание функций и хранимых процедур для преобразования и...

Описание

Компания «BI Consult» является аккредитованной IT-компанией и специализируется на оказании услуг в области создания систем бизнес-анализа (BI) и консалтинга. Сейчас, в связи с активным развитием, мы ищем к себе в команду Data engineer.

Обязанности:

• Разработка развитие и сопровождение хранилищ данных;
• Проектирование и разработка пайплайнов (ETL процессов);
• Написание функций и хранимых процедур для преобразования и агрегации данных, создание витрин;
• Рефакторинг и оптимизация;
• Разработка сопроводительной документации.

Требования:

• Понимание концепции построения хранилищ данных (DWH);
• Опыт разработки пайплайнов в Airflow, NiFi;
• Базовые знания Python, Linux и написания Cron-ов;
• Опыт работы с высоконагруженными СУБД (MS SQL, Greenplum, PostgreSQL);
• Уверенные навыки написания запросов SQL;
• Понимание принципов хранения данных в SQL, секционирования, сегментирования, использование индексов.

Будет преимуществом:

• Опыт управления качеством данных и управления данными (Data Governance);
• Опыт работы с колоночными БД (Vertica, Clickhouse, GreenPlum /Arenadata);
• Наличие сертификата по DWH.

Условия:

• Интересные, сложные задачи, дружный профессиональный коллектив;
• Возможности профессионального и карьерного роста;
• Конкурентоспособная заработная плата по результатам интервью;
• Комфортный офис в 7 минутах ходьбы от ст.м. "Василеостровская" или "Спортивная" с оборудованной кухней (ароматный чай, кофе, фрукты и сладости) и комнатой отдыха (настольный теннис, тренажеры, кухня);
• ДМС, корпоративный спорт;
• Официальное оформление;
• График работы 5/2, гибкое начало рабочего дня;
• Корпоративные мероприятия, внерабочие активности.