Вакансия: Data Engineer в Москва

Необходимые навыки

• > Python
• > SQL
• > docker
• > Clickhouse
• > Kubernetes
• > Airflow

Требования

Отличные знания SQL: оптимизация запросов, понимание планов запроса, внутренней работы SQL (оптимизация запросов, join, типы индексов и тд).

Обязанности

Разработка и оптимизация архитектуры облачного хранилища данных (Data Lake + Data Warehouse). Написание ETL/ELT пайплайнов обработки данных.

Описание

Cheelee - платформа коротких видео, где пользователи получают деньги за просмотр видео
Подробнее на — cheelee.io

Мы ищем тех, кто готов стать инициатором глобальных изменений и внести свой вклад в развитие нашей индустрии. В данный момент у нас открыта вакансия Senior Data Engineer.

Основные задачи:

• Разработка и оптимизация архитектуры облачного хранилища данных (Data Lake + Data Warehouse);
• Написание ETL/ELT пайплайнов обработки данных;
• Создание и поддержка витрин данных;
• Развитие инструментов контроля и поддержания качества данных (data quality / data governance).

Что мы ждем:

• Отличные знания SQL: оптимизация запросов, понимание планов запроса, внутренней работы SQL (оптимизация запросов, join, типы индексов и тд);
• Уверенное знание Python: написание API (Django, fastAPI), алерт-ботов, небольших скриптов и сервисов;
• Понимание ETL-оркестраторов: Airflow, Dagster (dbt);
• Понимание концепции (звезда, Data Mesh, Data Vault) хранилищ данных (DWH, Data Lake): слои, витрины, агрегаты, Data Quality;
• Знание инфраструктурных инструментов: Docker, bash, git, CI/CD, kubernetes, grafana, sentry;
• Опыт работы с clickhouse.

Необязательно, но хорошо если:

• Работал с hadoop, spark;
• Есть навык писать сервисы с нуля;
• Есть опыт проектирование архитектуры DWH;
• Есть опыт работы с сервисами AWS Amazon.

• GPU/CPU сервера в облаке;
• Топовое оборудование и весь необходимый софт;
• Офис в шаговой доступности от метро Добрынинская / Серпуховская;
• Возможность удаленной работы;
• Возможность получения опциона;
• Гибкий график.