Вакансия: Junior Разработчик ELT фреймворка платформы данных (Python, SQL, DBT) в Москва

Необходимые навыки

• > Python
• > SQL
• > ClickHouse
• > Kafka
• > DWH
• > GreenPlum
• > ETL
• > Spark
• > Airflow
• > IBM DataStage
• > DBT

Требования

Обязателен опыт разработки на Python, а так же хорошее понимание шаблонов проектирования ООП и основных принципов работы языка. —

Обязанности

Участие в внедрении фреймворка DBT в масштабной платформе данных банка ТОП-3. — Проектирование функциональной, компонентной и технической архитектуры-инфраструктуры DBT...

Описание

Ищем самостоятельного и ответственного специалиста для задачи внедрения DBT фреймворка. Масштаб CORE - 10k атрибутов.

Предстоит:

— Участие в внедрении фреймворка DBT в масштабной платформе данных банка ТОП-3.
— Проектирование функциональной, компонентной и технической архитектуры-инфраструктуры DBT, выработка решений и их реализация "руками" для внедрения DBT;
— Участие проекте создания Платформы данных банка (GreenPlum, ClickHouse, S3, DBT, AirFlow, Spark, OpenMetadata, etc / DataMesh);
— Разработка методологии, стандартов для разработки моделей DBT для большой распределенной команды.
— Обеспечение производительности DBT моделей;
— Интеграция с сервисами оркестрации, доставки данных (AirFlow, Spark, GreenPlum, etc)
— Реализация API для DG/DQ решений;
— Разработка моделей в новой платформе данных. Развитие функционала.

— Обязателен опыт разработки на Python, а так же хорошее понимание шаблонов проектирования ООП и основных принципов работы языка;
— Обязательно хорошее знание SQL, понимания принципов написания и оптимизации SQL запросов, процедур, представлений;
— Понимание предназначения и специфики корпоративных хранилищ данных, аналитических платформ, фреймворка трансформации данных;
— Понимание специфики работы с одной современной СУБД, желательно MPP (GreenPlum, PostgeeSQL, MS SQL Server, Oracle, Teradata, и т.д.).
— Понимание методики построения ETL/ELT процессов (Informatica, Pentaho, MS SSIS, DBT, AirFlow, Spark, Kafka, ...) + Python;
— Умение анализировать и оценивать поставленные задачи.

—Работа в крупнейшем банке России;
—Оформление согласно ТК РФ;
—Расширенный социальный пакет;
—Условия для развития и обучения.

Рассматриваем в том числе студентов последних курсов ВУЗов, при возможности работать полный день 40 ч. в неделю. График работы: пн-чт: 09.00 - 18.00, пт: 09.00 - 17.00 (Мск).

Возможна удаленная работа