Вакансия: Разработчик ETL в Москва

Требования

Экспертный уровень знания SQL. Опыт в написании процедур и функций в БД. Опыт в разработке ETL/DWH. Опыт в подготовке...

Обязанности

Линейное развитие ЦХД: предстоит заниматься разработкой модуля метаданных. Модуль хранит информацию о структуре объектов хранилища данных, т.е.

Описание

Проект:

• Линейное развитие ЦХД: предстоит заниматься разработкой модуля метаданных. Модуль хранит информацию о структуре объектов хранилища данных, т.е. содержит информацию о структурах таблиц, параметрах полей, типах партиционирования. Так же модуль метаданных имеет функцию генерации ddl-скриптов, которые после генерации устанавливаются в хранилище данных, является сервисом, который по средствам REST API предоставляет информацию об объектах хранилища другим системам. Модуль реализован на базе технологий: Postgres, Python, React JS (React JS занимается отдельный разработчик).

Обязанности:

• Разработка ETL-продуктов для загрузки данных в ХД;
• Участие в проектировании новых систем и продуктов загрузки данных в ХД;
• Работа с REST API, СУБД (Greenplum, PostgreSQL, Hive), интеграция со сторонними приложениями и сервисами;
• Анализ и оптимизация производительности систем;
• Тестирование («ручное», автоматическое);
• Проведение Code Review;
• Написание технической документации и инструкций для пользователей;

• Экспертный уровень знания SQL;
• Опыт в написании процедур и функций в БД;
• Опыт в разработке ETL/DWH;
• Опыт в подготовке технической документации;
• Опыт работы с системой контроля версий (GIT);
• Опыт работы с БД от 2 лет;
• Готовность изучать новые технологии.

Основной технологический стек:

• СУБД: Greenplum, PostgreSQL, Hive, Oracle;
• Языки программирования: PostgreSQL PL/pgSQL, Oracle PL/SQL, Python;
• CI/CD: GitLab;
• Готовность изучать или опыт работы с технологиями:
  • Python
  • Airflow
  • Clickhouse
  • Hadoop (HDFS, Hive)
  • S3, Trino Minio

• Работа в крупнейшем в России интегрированном провайдере цифровых решений;

• Возможность проходить обучение с момента трудоустройства (внутреннее и внешнее обучение, доступ к корпоративным библиотекам технической и бизнес литературы);
• Возможность работы в удалённом формате 5/2 с 9:00 до 18:00;
• Официальное оформление — согласно ТК РФ (полный соц. пакет: ежегодный оплачиваемый отпуск 28 календарных дней, оплата больничных);
• Официальная заработная плата (оклад + годовая премия);
• Интересные задачи и перспективы развития;
• Корпоративные мероприятия;
• Корпоративные скидки в компаниях партнерах.