Вакансия: Senior Data Engineer (ClickHouse) в Москва

Необходимые навыки

• > Python
• > SQL
• > Clickhouse
• > Vertica

Требования

Знание python (практический опыт от 2х лет), обязательно опыт разработки промышленных приложений\сложных ETL процессов. Опыт работы с AirFlow.

Обязанности

Разрабатывать ETL\ELT процессы. Чинить ошибки, выявленные в ходе эксплуатации. Разрабатывать общие шаблоны типовых трансформаций, инструментарий автодокументирования и линеджа.

Описание

О компании

Мы — важная часть большой частной структуры с высокой диверсификацией бизнеса — Группы компаний Merlion.
Сотрудники компании работают над многими внешними и внутренними проектами, включая развитие ИТ-систем Ситилинка.

Мы не ограничены одной методологией в разработке и используем комбинацию подходов. Поэтому каждый из нас может постоянно развиваться и прокачивать свои навыки, оставаясь важной частью команды.

• Разрабатывать ETL\ELT процессы
• Чинить ошибки, выявленные в ходе эксплуатации
• Разрабатывать общие шаблоны типовых трансформаций, инструментарий автодокументирования и линеджа
• Разработка Framework и инструментов для автоматизации сервисов DWH\ETL
• Тестировать свой код, рефакторить код и поддерживать читаемость кода и документации

• Наш стек: OpenMetadata, Python, Vertica SQL, MS SQL, Atlassian Jira, Confluence, Bitbucket/GitLab, SSIS, SSAS, Tabular, S3, PBI, DataLens, ClickHouse, Apache AirFlow, SSRS.

• Знание python (практический опыт от 2х лет), обязательно опыт разработки промышленных приложений\сложных ETL процессов
• Опыт работы с AirFlow
• Уверенное владение SQL, диалекты MPP RDBMS, опыт работы с ClickHouse/ Vertica
• Знание принципов организации и типовых практик по загрузке и базовой трансформации (очистка, приведение типов и т.д.) данных
• Навыки получения данных с различных типов источников: БД, API, Web сервисы, e-mail, Kafka, различные форматы файлов (Excel, JSON, Xml, Parquet) на различных источниках (S3, папка, Sftp)
• Понимание как работать в рамках организованного CI/CD процесса

Как мы работаем:

• У нас in-house разработка.
• Долгосрочные проекты – игра «в долгую» (не проектная занятость).
• Используем agile-подход с двухнедельными спринтами.
• Один на один с трудностями не оставляем, всё обсуждаем и помогаем друг другу.

Мы предлагаем:

• Удаленный график работы, пн-пт 10:00 – 18:30
• Корпоративная программа лояльности, скидки на товары и услуги партнёров
• Сильная команда специалистов по разным направлениям
• Официальное трудоустройство в штат аккредитованной IT компании по ТК РФ.