Вакансия: Data Engineer в Москва

Необходимые навыки

• > Python
• > SQL
• > Базы данных
• > ClickHouse
• > DWH
• > Greenplum
• > ETL
• > StreamLit
• > Data Engineer
• > Luxms
• > Data Lake

Обязанности

Управлять инструментами интеграции и контроля качества данных. Проводить нетиповые интеграции. Участвовать в формировании архитектурных паттернов интеграции данных. Холдинг Fplus запускает...

Описание

Команда М-Тех, входящая в ИТ-холдинг Fplus, ищет кандидата на должность «Инженера данных».

Холдинг Fplus входит в Toп 3 российских ИТ-компаний и занимается производством смартфонов, серверов, планшетов, персональных компьютеров, систем хранения данных под собственным брендом, дистрибуцией оборудования, а также развивает розничную сеть «Всесмарт».

Мы предлагаем:

• Трудоустройство в соответствии с ТК РФ в аккредитованное ЮЛ холдинга;
• Работу в комфортном современном офисе;
• График работы: 5/2 с 9.30 до 18.30;
• Возможности профессионального развития;
• ДМС и программу лояльности для сотрудников;
• Спортивные мероприятия, экскурсии, мастер-классы;
• Корпоративное обучение, вебинары и тренинги.

Холдинг Fplus запускает проект централизации функций управления корпоративными данными. В рамках данной активности формируется новая команда Data Office. Перед командой стоит цель построить новую экосистему аналитических инструментов.

Чем предстоит заниматься:

• Разработкой и оптимизацией облачного хранилища данных (Data Warehouse);

• Управлять инструментами интеграции и контроля качества данных;

• Проводить нетиповые интеграции;

• Внедрять практики и инструменты контроля и поддержания качества данных;

• Помогать аналитикам в сложных алгоритмах, требующих оптимизации.

Сейчас в работе:

• Создание хранилища данных на MPP-платформе Greenplum и ClickHouse;
• Внедрение self-service продуктов анализа данных Luxms и StreamLit;
• Формирование базы знаний о данных Data Catalog.

Также у команды есть прикладные задачи по внедрению Campaign (рассылки, акции, ссылки) системы и Loyalty движка (бонусная программа), и дополнительно внедрение NLP и GPT алгоритмов для работы со справочниками и документами.

Сейчас стартовала фаза пилотов и готовится защита целевой архитектуры. Идёт инсталляция инфраструктуры, начинается развёртывание систем.

В основе новой стратегии работы с данными стоит принцип self-service, что значительно повышает доступность данных для бизнеса и минимизирует рутинные функции на стороне ИТ.

Наши ожидания:

• Отличные знания SQL: оптимизация запросов, понимание планов запроса, внутренней работы SQL (оптимизация запросов, hash join, nested loop, типы индексов и т.п.);

• Уверенное знание Python: написание API, небольших скриптов и сервисов;

• Понимание ETL-оркестраторов: Airflow;

• Понимание концепции хранилищ данных (DWH, Data Lake): слои, витрины, агрегаты;

• Инфраструктурные инструменты: Docker, CI/CD.